Teknikleri Ders Notları, 2015 Doç. Dr. Fevzi Karslı Harita Mühendisliği Bölümü Mühendislik Fakültesi KTÜ 19 Ekim 2015 Pazartesi 1
Ders Planı ve İçeriği 1. Hafta Giriş, dersin kapsamı, temel kavramlar, kaynaklar. 2. Hafta Dijital görüntünün temelleri, görüntü geometrisi. 3. Hafta Görüntü sayısallaştırma, örnekleme. 4. Hafta Dijital görüntü özellikleri, görsel algılama elemanları. 5. Hafta Görüntü işlemede veri yapıları. 6. Hafta Görüntü ön işleme, piksel parlaklık dönüşümleri, geometrik transformasyon, görüntü restorasyonu. 7. Hafta Kontrast iyileştirme, Lineer kontrast iyileştirme, görüntü eşikleme. 8. Hafta 1. Arasınav 19 Ekim 2015 Pazartesi 2
Ders Planı ve İçeriği 9. Hafta 10. Hafta 11. Hafta Histogram, Gri-düzey histogram, Lineer olmayan iyileştirme (Histogram eşitleme). Uzaysal iyileştirme, uzaysal filtreleme, gürültü giderme. Frekans uzayında görüntü iyileştirme, alçak geçişli filtreler, yüksek geçişli filtreler. 12. Hafta Morfolojik görüntü işleme algoritmaları. 13. Hafta Görüntü segmentasyonu, geometrik dönüşümler. 14. Hafta 15. Hafta Görüntü sınıflandırma, detay görüntüleme ve tanıma. MATLAB yazılımı ile görüntü işleme uygulamaları. 19 Ekim 2015 Pazartesi 3
Kaynaklar-Yazılım 1. Digital Image Processing http://www.engr.uiowa.edu/~dip/lecture/lecture.html 1. Lillesand, T.M, Kiefer, R.W., Remote Sensing and Image Interpretation, John Wiley Sons, USA, 1997. 1. Schowengerdt, R.A., Techniques for Image Processing and Classification in Remote Sensing, Academic Press, 1983. 2. Gonzalez, R. C., Woods, R. E., Eddins, S. L., Digital Image Processing Using Matlab, Prentice Hall, 2004. 3. Russ, C. J., Image.Processing.Handbook, CRC Press, Taylor & Francis, 2007. 4. MATLAB (Image Processing Toolbox) 19 Ekim 2015 Pazartesi 4
Ölçme ve Değerlendirme Etkinlik Sayı Katkı Oranı Ara Sınav 1 % 20 Yarıyıl Sonu Sınavı 1 % 60 Ödev (Proje) 1 % 20 19 Ekim 2015 Pazartesi 5
Bilgisayarda Görüşü (Computer Vision) nedir? Görüş/görme nedir? Sağlıklı bir bireyin cevabı: bakarak öğrenme. Görüntü ve videoların otomatik olarak anlaşılması veya anlamlandırılması - 3B gerçek dünyaya ilişkin özelliklerin görsel veriden hesaplanması (ölçme) - Algoritma ve bazı gösterimlerle bir bilgisayarın obje, insan veya herhangi bir detayı tanıması (algılama ve yorumlama). 19 Ekim 2015 Pazartesi 6
Neden bilgisayarda görme? Görüntü/görüntü uygulamaları açısından, İnsan faktörünü azaltma, görev kolaylaştırma, İnsan kabiliyetini artırma: insan-bilgisayar etkileşimi, gösterim (visualization) Robotik algı/otomatik işlem Görsel içeriği organize etme/erişim Görüş/görme araştırma hedefi açısından, Bilgisayara görüntüleri anlama kabiliyeti kazandırma, İnsan beynine anlama ve modelleme desteği verme, Görsel operasyonları otomatikleştirme. 19 Ekim 2015 Pazartesi 7
Neden bilgisayarda görme? Kişisel fotoğraf Sinema, haber/gazete, spor İzleme/gözetim ve güvenlik Tıbbi ve bilimsel görüntü 19 Ekim 2015 Pazartesi 8
İlgili disiplinler Grafik Görüntü işleme Yapay zeka Bilgisayarda görme Algoritma Bilgisayarda öğrenme Bilişim 19 Ekim 2015 Pazartesi 9
Uygulama Alanları Tıbbi görüntü analizi Güvenlik Biyometrik Gözetim/izleme Takip/izleme Hedef tanıma Uzaktan algılama Robotik Endüstriyel işleme, kalite kontrol Doküman analiz Multimedya İnsan-bilgisayar etkileşimi 19 Ekim 2015 Pazartesi 10
Tıbbi görüntü analizi 19 Ekim 2015 Pazartesi 11
Tıbbi görüntü analizi 19 Ekim 2015 Pazartesi 12
Tıbbi görüntü analizi 19 Ekim 2015 Pazartesi 13
Tıbbi görüntü analizi 3B görüntü: MRI, CT Görüntü destekli tedavi 19 Ekim 2015 Pazartesi 14
Tıbbi görüntü analizi Kanser tespiti ve sınıflandırma 19 Ekim 2015 Pazartesi 15
Tıbbi görüntü analizi Akciğer kesiti 19 Ekim 2015 Pazartesi 16
Biometrik 19 Ekim 2015 Pazartesi 17
Gözetim ve izleme 19 Ekim 2015 Pazartesi 18
Gözetim ve izleme 19 Ekim 2015 Pazartesi 19
Gözetim ve izleme 19 Ekim 2015 Pazartesi 20
Gözetim ve izleme Trafik detay/yoğunluğunu çıkarma 19 Ekim 2015 Pazartesi 21
Gözetim ve izleme UAV (IHA) videosundan takip 19 Ekim 2015 Pazartesi 22
Araç ve yaya koruma Şerit ihlal uyarımı, çarpışma uyarısı, trafik ışığı tanıma, yaya tanıma, kör nokta uyarısı 19 Ekim 2015 Pazartesi 23
Orman yangını izleme sistemi Erken uyarı: orman yangını 19 Ekim 2015 Pazartesi 24
Robotik 19 Ekim 2015 Pazartesi 25
Robotik 19 Ekim 2015 Pazartesi 26
Otomatik navigasyon 19 Ekim 2015 Pazartesi 27
Otomatik navigasyon Michigan State Üniversitesi 19 Ekim 2015 Pazartesi 28
Yüz belirleme ve tanıma 19 Ekim 2015 Pazartesi 29
Endüstriyel otomasyon Otomatik meyve dizimi 19 Ekim 2015 Pazartesi 30
Posta hizmet otomasyonu 19 Ekim 2015 Pazartesi 31
Optik karakter tanıma Rakam tanıma Plaka tanıma 19 Ekim 2015 Pazartesi 32
Doküman analizi 19 Ekim 2015 Pazartesi 33
Sportif görüntü analizi Tenis izleme sisteki 19 Ekim 2015 Pazartesi 34
Obje tanıma 19 Ekim 2015 Pazartesi 35
Arazi örtüsü sınıflandırma 19 Ekim 2015 Pazartesi 36
Arazi örtüsü sınıflandırma 19 Ekim 2015 Pazartesi 37
Obje (arazi nesnesi) tanıma 19 Ekim 2015 Pazartesi 38
Obje (arazi nesnesi) tanıma Bina ve bina gruplarını tanıma/tespit/belirleme 19 Ekim 2015 Pazartesi 39
3B tarama ve model oluşturma 19 Ekim 2015 Pazartesi 40
3B modelleme 19 Ekim 2015 Pazartesi 41
Hareket algılama/yakalama 19 Ekim 2015 Pazartesi 42
Hareket algılama/yakalama Microsoft XBox Kinect 19 Ekim 2015 Pazartesi 43
Görüntü mozaiği 19 Ekim 2015 Pazartesi 44
Görüntü mozaiği 19 Ekim 2015 Pazartesi 45
Kritik konular/durumlar Görüntü üzerinde: Hangi bilgiler çıkarılmalı? Nasıl çıkarılabilir (bu bilgiler)? Nasıl temsil edilebilir/gösterilebilir (bilgiler)? Bilginin anlaşılması ve analizi için nasıl kullanılmalı? 19 Ekim 2015 Pazartesi 46
Algılama ve gruplandırma Subjektif şekiller 19 Ekim 2015 Pazartesi 47
Algılama ve gruplandırma 19 Ekim 2015 Pazartesi 48
Algılama ve gruplandırma Müller-Lyer Illusion 19 Ekim 2015 Pazartesi 49
Bilgisayar ne elde eder (görüntüden)? 19 Ekim 2015 Pazartesi 51
Zorluk 1: bakış açısı 2012, Selim Aksoy 19 Ekim 2015 Pazartesi 52
Zorluk 2: aydınlatma 19 Ekim 2015 Pazartesi 53
Zorluk 3: oklüzyon (ölü bölge oluşumu) 2012, Selim Aksoy 54 19 Ekim 2015 Pazartesi 54
Zorluk 4: ölçek 19 Ekim 2015 Pazartesi 55
Zorluk 1: deformasyon 19 Ekim 2015 Pazartesi 56
Zorluk 1: arkaplan karışıklığı 19 Ekim 2015 Pazartesi 57
Tanıma (recognition) Renk (color), doku (texture), şekil (shape) ve hareket (motion) gibi işaretler tanıma için nasıl kullanılır? Resmin hangi bölgeleri birlikte tanınmalıdır? Detaylara odaklanmaksızın objeler nasıl tanınabilir? Bağımsız parametreli objeler nasıl tanınabilir? 19 Ekim 2015 Pazartesi 58
Renk 19 Ekim 2015 Pazartesi 59
Doku 19 Ekim 2015 Pazartesi 60
Renk, doku ve yakınlık (proximity) 19 Ekim 2015 Pazartesi 61
Segmentasyon (bölünme) Orjinal görüntüler Renk bölgeleri Doku bölgeleri Çizgi kümeleri 19 Ekim 2015 Pazartesi 62
Segmentasyon 19 Ekim 2015 Pazartesi 63
Şekil Tanınan objeler Model veritabanı 19 Ekim 2015 Pazartesi 64
Belirleme/tespit 19 Ekim 2015 Pazartesi 65
Belirleme/tespit 19 Ekim 2015 Pazartesi 66
Belirleme/tespit 19 Ekim 2015 Pazartesi 67
Tanıma 19 Ekim 2015 Pazartesi 68
Parça/bölümler ve ilişkiler 19 Ekim 2015 Pazartesi 69
İçerik 19 Ekim 2015 Pazartesi 70
İçerik 19 Ekim 2015 Pazartesi 71
İçerik 19 Ekim 2015 Pazartesi 72
İçerik 2012, Selim Aksoy 19 Ekim 2015 Pazartesi 73
Bilgisayarda görme aşamaları Alt-düzey görüntü görüntü Orta-düzey görüntü detaylar (features / attributes) Yüksek-düzey Görüntü analizi / görüntü anlama detaylar akla uygunlaştırma (making sense), tanıma 19 Ekim 2015 Pazartesi 74
Düşük-düzey Keskinleştirme (sharpening) Bulanıklaştırma (blurring) 19 Ekim 2015 Pazartesi 75
Düşük-düzey Canny orjinal görüntü Orta-düzey kenar görüntüsü Uzaysal Filtre kenar görüntüsü dairesel çizgi ve segmentler 19 Ekim 2015 Pazartesi 76
Orta-düzey K-means kümeleme orjinal renkli görüntü bölge homojen renkli görüntü 19 Ekim 2015 Pazartesi 77
Düşük-düzey den yüksek-düzeye düşük-düzey Kenar görüntüsü Orta-düzey Yüksek-düzey düzenli çizgi kümesi 19 Ekim 2015 Pazartesi 78
Görüntü oluşumu 19 Ekim 2015 Pazartesi 79
Görüntü oluşumu Işık kaynağı Projeksiyon merkezi Obje görüntüsü 19 Ekim 2015 Pazartesi 80
Görüntü oluşumu Ayrık sensor dizileri üzerine projeksiyon dijital kamera 19 Ekim 2015 Pazartesi 81
Görüntü oluşumu Ortalama renk kaydı Örneklenmiş görüntü 19 Ekim 2015 Pazartesi 82
Görüntü oluşumu Sürekli renk, ayrık lokasyon Ayrık gerçek renkli görüntü 19 Ekim 2015 Pazartesi 83
Ayrık renler (çıkış) Dijital Görüntü oluşumu: Sayısallaştırma (Quantization) Sürekli renkler (giriş) 19 Ekim 2015 Pazartesi 84
Örnekleme ve Sayısallaştıma pixel grid Gerçek görüntü örnekleme sayısallaştırma Örneklenmiş & sayısallaşmış görüntü 19 Ekim 2015 Pazartesi 85
Dijital Görüntü Renkli görüntü her pikselde 3 değere; gri düzeyli görüntü ise 1 değere sahiptir. Her bir grid (piksel, resim elemanı) tek bir renge sahiptir. 19 Ekim 2015 Pazartesi 86
Renkli görüntü l l l l 3 farklı banttan oluşur. Her bir bant temel renkleri temsil eder (red, green, or blue, or cyan, magenta, or yellow) ve gri düzeylidir. 3 bant birleşimi renkli görüntüyü oluşturur. Her piksel 3 elemanlı renk vektörü üretir. 19 Ekim 2015 Pazartesi 87
Nokta işleme operasyonları - gamma - brightness orjinal + brightness + gamma histogram mod - contrast orjinal + contrast histogram EQ 19 Ekim 2015 Pazartesi 88
Renkli algılama/renk algısı 19 Ekim 2015 Pazartesi 89
Renkli algılama/renk algısı luminance hue saturation beyin foto alıcılar Göz 3 tip foto alıcı görevi görür: RGB ye duyarlıdır. Beyin RGB yi ayrık parlaklık ve renk kanllarına dönüştürür (LHS). Luminace: parlaklık, Hue: renk, Saturation: doygunluk. 19 Ekim 2015 Pazartesi 90
Yeniden örnekleme (resampling) nearest neighbor nearest neighbor 8 16 bicubic interpolation bicubic interpolation 19 Ekim 2015 Pazartesi 91
Döndürme (rotation) Görüntü yürümesi. 19 Ekim 2015 Pazartesi 92
Görüntü eğme (warping) 19 Ekim 2015 Pazartesi 93
Uzaysal filtreleme blurred orjinal sharpened 19 Ekim 2015 Pazartesi 94
Uzaysal filtreleme bandpass filter orjinal unsharp masking 19 Ekim 2015 Pazartesi 95
Görüntü yürümesi regional vertical original zoom rotational 19 Ekim 2015 Pazartesi 96
Gürültü giderme blurred image color noise color-only blur 19 Ekim 2015 Pazartesi 97
Gürültü giderme blurred image color noise 5x5 Wiener filter 19 Ekim 2015 Pazartesi 98
Tuz & Biber Gürültü + shot noise s&p noise - shot noise 19 Ekim 2015 Pazartesi 99
Lineer olmayan filtre: Medyan original s&p noise median filter 19 Ekim 2015 Pazartesi 100
Lineer olmayan filtre: Min ve Max + shot noise min filter maxmin filter 19 Ekim 2015 Pazartesi 101
Lineer olmayan işleme: İkili Morfoloji L shaped SE O marks origin Foreground: white pixels Background: black pixels Cross-hatched pixels are indeterminate. 19 Ekim 2015 Pazartesi 102
Lineer olmayan işleme original opened reconstructed 19 Ekim 2015 Pazartesi 103
Görüntü birleştirme Prof. Peters in his home office. Needs a better shirt. 19 Ekim 2015 Pazartesi 104
Görüntü birleştirme This shirt demands a monogram. 19 Ekim 2015 Pazartesi 105
Görüntü birleştirme He needs some more color. 19 Ekim 2015 Pazartesi 106
Görüntü birleştirme Nice. Now for the way he d wear his hair if he had any. 19 Ekim 2015 Pazartesi 107
Görüntü birleştirme He can t stay in the office like this. 19 Ekim 2015 Pazartesi 108
Görüntü birleştirme Where s a hepcat Daddy-O like this belong? 19 Ekim 2015 Pazartesi 109