Teknikleri Ders Notları, 2014 Doç. Dr. Fevzi Karslı Harita Mühendisliği Bölümü Mühendislik Fakültesi KTÜ 16 Ekim 2014 Perşembe 1
Ders Planı ve İçeriği 1. Hafta Giriş, dersin kapsamı, temel kavramlar, kaynaklar. 2. Hafta Dijital görüntünün temelleri, görüntü geometrisi. 3. Hafta Görüntü sayısallaştırma, örnekleme. 4. Hafta Dijital görüntü özellikleri, görsel algılama elemanları. 5. Hafta Görüntü işlemede veri yapıları. 6. Hafta Görüntü ön işleme, piksel parlaklık dönüşümleri, geometrik transformasyon, görüntü restorasyonu. 7. Hafta Kontrast iyileştirme, Lineer kontrast iyileştirme, görüntü eşikleme. 8. Hafta 1. Arasınav 16 Ekim 2014 Perşembe 2
Ders Planı ve İçeriği 9. Hafta 10. Hafta 11. Hafta Histogram, Gri-düzey histogram, Lineer olmayan iyileştirme (Histogram eşitleme). Uzaysal iyileştirme, uzaysal filtreleme, gürültü giderme. Frekans uzayında görüntü iyileştirme, alçak geçişli filtreler, yüksek geçişli filtreler. 12. Hafta Morfolojik görüntü işleme algoritmaları. 13. Hafta Görüntü segmentasyonu, geometrik dönüşümler. 14. Hafta 15. Hafta Görüntü sınıflandırma, detay görüntüleme ve tanıma. MATLAB yazılımı ile görüntü işleme uygulamaları. 16 Ekim 2014 Perşembe 3
Kaynaklar-Yazılım 1. Digital Image Processing http://www.engr.uiowa.edu/~dip/lecture/lecture.html 1. Lillesand, T.M, Kiefer, R.W., Remote Sensing and Image Interpretation, John Wiley Sons, USA, 1997. 1. Schowengerdt, R.A., Techniques for Image Processing and Classification in Remote Sensing, Academic Press, 1983. 2. Gonzalez, R. C., Woods, R. E., Eddins, S. L., Digital Image Processing Using Matlab, Prentice Hall, 2004. 3. Russ, C. J., Image.Processing.Handbook, CRC Press, Taylor & Francis, 2007. 4. MATLAB (Image Processing Toolbox) Post message: d@yahoogroups.com Subscribe: -subscribe@yahoogroups.com 16 Ekim 2014 Perşembe 4
Ölçme ve Değerlendirme Etkinlik Sayı Katkı Oranı Ara Sınav 1 % 30 Yarıyıl Sonu Sınavı 1 % 50 Ödev (Proje) 1 % 20 16 Ekim 2014 Perşembe 5
Bilgisayarda Görüşü (Computer Vision) nedir? Görüş/görme nedir? Sağlıklı bir bireyin cevabı: bakarak öğrenme. Görüntü ve videoların otomatik olarak anlaşılması veya anlamlandırılması - 3B gerçek dünyaya ilişkin özelliklerin görsel veriden hesaplanması (ölçme) - Algoritma ve bazı gösterimlerle bir bilgisayarın obje, insan veya herhangi bir detayı tanıması (algılama ve yorumlama). 16 Ekim 2014 Perşembe 6
Neden bilgisayarda görme? Görüntü/görüntü uygulamaları açısından, İnsan faktörünü azaltma, görev kolaylaştırma, İnsan kabiliyetini artırma: insan-bilgisayar etkileşimi, gösterim (visualization) Robotik algı/otomatik işlem Görsel içeriği organize etme/erişim Görüş/görme araştırma hedefi açısından, Bilgisayara görüntüleri anlama kabiliyeti kazandırma, İnsan beynine anlama ve modelleme desteği verme, Görsel operasyonları otomatikleştirme. 16 Ekim 2014 Perşembe 7
Neden bilgisayarda görme? Kişisel fotoğraf Sinema, haber/gazete, spor İzleme/gözetim ve güvenlik Tıbbi ve bilimsel görüntü 16 Ekim 2014 Perşembe 8
İlgili disiplinler Grafik Görüntü işleme Yapay zeka Bilgisayarda görme Algoritma Bilgisayarda öğrenme Bilişim 16 Ekim 2014 Perşembe 9
Uygulama Alanları Tıbbi görüntü analizi Güvenlik Biyometrik Gözetim/izleme Takip/izleme Hedef tanıma Uzaktan algılama Robotik Endüstriyel işleme, kalite kontrol Doküman analiz Multimedya İnsan-bilgisayar etkileşimi 16 Ekim 2014 Perşembe 10
Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 11
Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 12
Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 13
Tıbbi görüntü analizi 3B görüntü: MRI, CT Görüntü destekli tedavi 16 Ekim 2014 Perşembe 14
Tıbbi görüntü analizi Kanser tespiti ve sınıflandırma 16 Ekim 2014 Perşembe 15
Tıbbi görüntü analizi Akciğer kesiti 16 Ekim 2014 Perşembe 16
Biometrik 16 Ekim 2014 Perşembe 17
Gözetim ve izleme 16 Ekim 2014 Perşembe 18
Gözetim ve izleme 16 Ekim 2014 Perşembe 19
Gözetim ve izleme 16 Ekim 2014 Perşembe 20
Gözetim ve izleme Trafik detay/yoğunluğunu çıkarma 16 Ekim 2014 Perşembe 21
Gözetim ve izleme UAV (IHA) videosundan takip 16 Ekim 2014 Perşembe 22
Araç ve yaya koruma Şerit ihlal uyarımı, çarpışma uyarısı, trafik ışığı tanıma, yaya tanıma, kör nokta uyarısı 16 Ekim 2014 Perşembe 23
Orman yangını izleme sistemi Erken uyarı: orman yangını 16 Ekim 2014 Perşembe 24
Robotik 16 Ekim 2014 Perşembe 25
Robotik 16 Ekim 2014 Perşembe 26
Otomatik navigasyon 16 Ekim 2014 Perşembe 27
Otomatik navigasyon Michigan State Üniversitesi 16 Ekim 2014 Perşembe 28
Yüz belirleme ve tanıma 16 Ekim 2014 Perşembe 29
Endüstriyel otomasyon Otomatik meyve dizimi 16 Ekim 2014 Perşembe 30
Posta hizmet otomasyonu 16 Ekim 2014 Perşembe 31
Optik karakter tanıma Rakam tanıma Plaka tanıma 16 Ekim 2014 Perşembe 32
Doküman analizi 16 Ekim 2014 Perşembe 33
Sportif görüntü analizi Tenis izleme sisteki 16 Ekim 2014 Perşembe 34
Obje tanıma 16 Ekim 2014 Perşembe 35
Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe 36
Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe 37
Obje (arazi nesnesi) tanıma 16 Ekim 2014 Perşembe 38
Obje (arazi nesnesi) tanıma Bina ve bina gruplarını tanıma/tespit/belirleme 16 Ekim 2014 Perşembe 39
3B tarama ve model oluşturma 16 Ekim 2014 Perşembe 40
3B modelleme 16 Ekim 2014 Perşembe 41
Hareket algılama/yakalama 16 Ekim 2014 Perşembe 42
Hareket algılama/yakalama Microsoft XBox Kinect 16 Ekim 2014 Perşembe 43
Görüntü mozaiği 16 Ekim 2014 Perşembe 44
Görüntü mozaiği 16 Ekim 2014 Perşembe 45
Kritik konular/durumlar Görüntü üzerinde: Hangi bilgiler çıkarılmalı? Nasıl çıkarılabilir (bu bilgiler)? Nasıl temsil edilebilir/gösterilebilir (bilgiler)? Bilginin anlaşılması ve analizi için nasıl kullanılmalı? 16 Ekim 2014 Perşembe 46
Algılama ve gruplandırma Subjektif şekiller 16 Ekim 2014 Perşembe 47
Algılama ve gruplandırma 16 Ekim 2014 Perşembe 48
Algılama ve gruplandırma Müller-Lyer Illusion 16 Ekim 2014 Perşembe 49
Bilgisayar ne elde eder (görüntüden)? 16 Ekim 2014 Perşembe 51
Zorluk 1: bakış açısı 2012, Selim Aksoy 16 Ekim 2014 Perşembe 52
Zorluk 2: aydınlatma 16 Ekim 2014 Perşembe 53
Zorluk 3: oklüzyon (ölü bölge oluşumu) 2012, Selim Aksoy 54 16 Ekim 2014 Perşembe 54
Zorluk 4: ölçek 16 Ekim 2014 Perşembe 55
Zorluk 1: deformasyon 16 Ekim 2014 Perşembe 56
Zorluk 1: arkaplan karışıklığı 16 Ekim 2014 Perşembe 57
Tanıma (recognition) Renk (color), doku (texture), şekil (shape) ve hareket (motion) gibi işaretler tanıma için nasıl kullanılır? Resmin hangi bölgeleri birlikte tanınmalıdır? Detaylara odaklanmaksızın objeler nasıl tanınabilir? Bağımsız parametreli objeler nasıl tanınabilir? 16 Ekim 2014 Perşembe 58
Renk 16 Ekim 2014 Perşembe 59
Doku 16 Ekim 2014 Perşembe 60
Renk, doku ve yakınlık (proximity) 16 Ekim 2014 Perşembe 61
Segmentasyon (bölünme) Orjinal görüntüler Renk bölgeleri Doku bölgeleri Çizgi kümeleri 16 Ekim 2014 Perşembe 62
Segmentasyon 16 Ekim 2014 Perşembe 63
Şekil Tanınan objeler Model veritabanı 16 Ekim 2014 Perşembe 64
Belirleme/tespit 16 Ekim 2014 Perşembe 65
Belirleme/tespit 16 Ekim 2014 Perşembe 66
Belirleme/tespit 16 Ekim 2014 Perşembe 67
Tanıma 16 Ekim 2014 Perşembe 68
Parça/bölümler ve ilişkiler 16 Ekim 2014 Perşembe 69
İçerik 16 Ekim 2014 Perşembe 70
İçerik 16 Ekim 2014 Perşembe 71
İçerik 16 Ekim 2014 Perşembe 72
İçerik 2012, Selim Aksoy 16 Ekim 2014 Perşembe 73
Bilgisayarda görme aşamaları Alt-düzey görüntü görüntü Orta-düzey görüntü detaylar (features / attributes) Yüksek-düzey Görüntü analizi / görüntü anlama detaylar akla uygunlaştırma (making sense), tanıma 16 Ekim 2014 Perşembe 74
Düşük-düzey Keskinleştirme (sharpening) Bulanıklaştırma (blurring) 16 Ekim 2014 Perşembe 75
Düşük-düzey Canny orjinal görüntü Orta-düzey kenar görüntüsü Uzaysal Filtre kenar görüntüsü dairesel çizgi ve segmentler 16 Ekim 2014 Perşembe 76
Orta-düzey K-means kümeleme orjinal renkli görüntü bölge homojen renkli görüntü 16 Ekim 2014 Perşembe 77
Düşük-düzey den yüksek-düzeye düşük-düzey Kenar görüntüsü Orta-düzey Yüksek-düzey düzenli çizgi kümesi 16 Ekim 2014 Perşembe 78
Görüntü oluşumu 16 Ekim 2014 Perşembe 79
Görüntü oluşumu Işık kaynağı Projeksiyon merkezi Obje görüntüsü 16 Ekim 2014 Perşembe 80
Görüntü oluşumu Ayrık sensor dizileri üzerine projeksiyon dijital kamera 16 Ekim 2014 Perşembe 81
Görüntü oluşumu Ortalama renk kaydı Örneklenmiş görüntü 16 Ekim 2014 Perşembe 82
Görüntü oluşumu Sürekli renk, ayrık lokasyon Ayrık gerçek renkli görüntü 16 Ekim 2014 Perşembe 83
Ayrık renler (çıkış) Dijital Görüntü oluşumu: Sayısallaştırma (Quantization) Sürekli renkler (giriş) 16 Ekim 2014 Perşembe 84
Örnekleme ve Sayısallaştıma pixel grid Gerçek görüntü örnekleme sayısallaştırma Örneklenmiş & sayısallaşmış görüntü 16 Ekim 2014 Perşembe 85
Dijital Görüntü Renkli görüntü her pikselde 3 değere; gri düzeyli görüntü ise 1 değere sahiptir. Her bir grid (piksel, resim elemanı) tek bir renge sahiptir. 16 Ekim 2014 Perşembe 86
Renkli görüntü l l l l 3 farklı banttan oluşur. Her bir bant temel renkleri temsil eder (red, green, or blue, or cyan, magenta, or yellow) ve gri düzeylidir. 3 bant birleşimi renkli görüntüyü oluşturur. Her piksel 3 elemanlı renk vektörü üretir. 16 Ekim 2014 Perşembe 87
Nokta işleme operasyonları - gamma - brightness orjinal + brightness + gamma histogram mod - contrast orjinal + contrast histogram EQ 16 Ekim 2014 Perşembe 88
Renkli algılama/renk algısı 16 Ekim 2014 Perşembe 89
Renkli algılama/renk algısı luminance hue saturation beyin foto alıcılar Göz 3 tip foto alıcı görevi görür: RGB ye duyarlıdır. Beyin RGB yi ayrık parlaklık ve renk kanllarına dönüştürür (LHS). Luminace: parlaklık, Hue: renk, Saturation: doygunluk. 16 Ekim 2014 Perşembe 90
Yeniden örnekleme (resampling) nearest neighbor nearest neighbor 8 16 bicubic interpolation bicubic interpolation 16 Ekim 2014 Perşembe 91
Döndürme (rotation) Görüntü yürümesi. 16 Ekim 2014 Perşembe 92
Görüntü eğme (warping) 16 Ekim 2014 Perşembe 93
Uzaysal filtreleme blurred orjinal sharpened 16 Ekim 2014 Perşembe 94
Uzaysal filtreleme bandpass filter orjinal unsharp masking 16 Ekim 2014 Perşembe 95
Görüntü yürümesi regional vertical original zoom rotational 16 Ekim 2014 Perşembe 96
Gürültü giderme blurred image color noise color-only blur 16 Ekim 2014 Perşembe 97
Gürültü giderme blurred image color noise 5x5 Wiener filter 16 Ekim 2014 Perşembe 98
Tuz & Biber Gürültü + shot noise s&p noise - shot noise 16 Ekim 2014 Perşembe 99
Lineer olmayan filtre: Medyan original s&p noise median filter 16 Ekim 2014 Perşembe 100
Lineer olmayan filtre: Min ve Max + shot noise min filter maxmin filter 16 Ekim 2014 Perşembe 101
Lineer olmayan işleme: İkili Morfoloji L shaped SE O marks origin Foreground: white pixels Background: black pixels Cross-hatched pixels are indeterminate. 16 Ekim 2014 Perşembe 102
Lineer olmayan işleme original opened reconstructed 16 Ekim 2014 Perşembe 103
Görüntü birleştirme Prof. Peters in his home office. Needs a better shirt. 16 Ekim 2014 Perşembe 104
Görüntü birleştirme This shirt demands a monogram. 16 Ekim 2014 Perşembe 105
Görüntü birleştirme He needs some more color. 16 Ekim 2014 Perşembe 106
Görüntü birleştirme Nice. Now for the way he d wear his hair if he had any. 16 Ekim 2014 Perşembe 107
Görüntü birleştirme He can t stay in the office like this. 16 Ekim 2014 Perşembe 108
Görüntü birleştirme Where s a hepcat Daddy-O like this belong? 16 Ekim 2014 Perşembe 109