Dijital Görüntü İşleme Teknikleri

Transkript

1 Teknikleri Ders Notları, 2014 Doç. Dr. Fevzi Karslı Harita Mühendisliği Bölümü Mühendislik Fakültesi KTÜ 16 Ekim 2014 Perşembe 1

2 Ders Planı ve İçeriği 1. Hafta Giriş, dersin kapsamı, temel kavramlar, kaynaklar. 2. Hafta Dijital görüntünün temelleri, görüntü geometrisi. 3. Hafta Görüntü sayısallaştırma, örnekleme. 4. Hafta Dijital görüntü özellikleri, görsel algılama elemanları. 5. Hafta Görüntü işlemede veri yapıları. 6. Hafta Görüntü ön işleme, piksel parlaklık dönüşümleri, geometrik transformasyon, görüntü restorasyonu. 7. Hafta Kontrast iyileştirme, Lineer kontrast iyileştirme, görüntü eşikleme. 8. Hafta 1. Arasınav 16 Ekim 2014 Perşembe 2

3 Ders Planı ve İçeriği 9. Hafta 10. Hafta 11. Hafta Histogram, Gri-düzey histogram, Lineer olmayan iyileştirme (Histogram eşitleme). Uzaysal iyileştirme, uzaysal filtreleme, gürültü giderme. Frekans uzayında görüntü iyileştirme, alçak geçişli filtreler, yüksek geçişli filtreler. 12. Hafta Morfolojik görüntü işleme algoritmaları. 13. Hafta Görüntü segmentasyonu, geometrik dönüşümler. 14. Hafta 15. Hafta Görüntü sınıflandırma, detay görüntüleme ve tanıma. MATLAB yazılımı ile görüntü işleme uygulamaları. 16 Ekim 2014 Perşembe 3

4 Kaynaklar-Yazılım 1. Digital Image Processing 1. Lillesand, T.M, Kiefer, R.W., Remote Sensing and Image Interpretation, John Wiley Sons, USA, Schowengerdt, R.A., Techniques for Image Processing and Classification in Remote Sensing, Academic Press, Gonzalez, R. C., Woods, R. E., Eddins, S. L., Digital Image Processing Using Matlab, Prentice Hall, Russ, C. J., Image.Processing.Handbook, CRC Press, Taylor & Francis, MATLAB (Image Processing Toolbox) Post message: Subscribe: 16 Ekim 2014 Perşembe 4

5 Ölçme ve Değerlendirme Etkinlik Sayı Katkı Oranı Ara Sınav 1 % 30 Yarıyıl Sonu Sınavı 1 % 50 Ödev (Proje) 1 % Ekim 2014 Perşembe 5

6 Bilgisayarda Görüşü (Computer Vision) nedir? Görüş/görme nedir? Sağlıklı bir bireyin cevabı: bakarak öğrenme. Görüntü ve videoların otomatik olarak anlaşılması veya anlamlandırılması - 3B gerçek dünyaya ilişkin özelliklerin görsel veriden hesaplanması (ölçme) - Algoritma ve bazı gösterimlerle bir bilgisayarın obje, insan veya herhangi bir detayı tanıması (algılama ve yorumlama). 16 Ekim 2014 Perşembe 6

7 Neden bilgisayarda görme? Görüntü/görüntü uygulamaları açısından, İnsan faktörünü azaltma, görev kolaylaştırma, İnsan kabiliyetini artırma: insan-bilgisayar etkileşimi, gösterim (visualization) Robotik algı/otomatik işlem Görsel içeriği organize etme/erişim Görüş/görme araştırma hedefi açısından, Bilgisayara görüntüleri anlama kabiliyeti kazandırma, İnsan beynine anlama ve modelleme desteği verme, Görsel operasyonları otomatikleştirme. 16 Ekim 2014 Perşembe 7

8 Neden bilgisayarda görme? Kişisel fotoğraf Sinema, haber/gazete, spor İzleme/gözetim ve güvenlik Tıbbi ve bilimsel görüntü 16 Ekim 2014 Perşembe 8

9 İlgili disiplinler Grafik Görüntü işleme Yapay zeka Bilgisayarda görme Algoritma Bilgisayarda öğrenme Bilişim 16 Ekim 2014 Perşembe 9

10 Uygulama Alanları Tıbbi görüntü analizi Güvenlik Biyometrik Gözetim/izleme Takip/izleme Hedef tanıma Uzaktan algılama Robotik Endüstriyel işleme, kalite kontrol Doküman analiz Multimedya İnsan-bilgisayar etkileşimi 16 Ekim 2014 Perşembe 10

11 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 11

12 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 12

13 Tıbbi görüntü analizi 16 Ekim 2014 Perşembe 13

14 Tıbbi görüntü analizi 3B görüntü: MRI, CT Görüntü destekli tedavi 16 Ekim 2014 Perşembe 14

15 Tıbbi görüntü analizi Kanser tespiti ve sınıflandırma 16 Ekim 2014 Perşembe 15

16 Tıbbi görüntü analizi Akciğer kesiti 16 Ekim 2014 Perşembe 16

17 Biometrik 16 Ekim 2014 Perşembe 17

18 Gözetim ve izleme 16 Ekim 2014 Perşembe 18

19 Gözetim ve izleme 16 Ekim 2014 Perşembe 19

20 Gözetim ve izleme 16 Ekim 2014 Perşembe 20

21 Gözetim ve izleme Trafik detay/yoğunluğunu çıkarma 16 Ekim 2014 Perşembe 21

22 Gözetim ve izleme UAV (IHA) videosundan takip 16 Ekim 2014 Perşembe 22

23 Araç ve yaya koruma Şerit ihlal uyarımı, çarpışma uyarısı, trafik ışığı tanıma, yaya tanıma, kör nokta uyarısı 16 Ekim 2014 Perşembe 23

24 Orman yangını izleme sistemi Erken uyarı: orman yangını 16 Ekim 2014 Perşembe 24

25 Robotik 16 Ekim 2014 Perşembe 25

26 Robotik 16 Ekim 2014 Perşembe 26

27 Otomatik navigasyon 16 Ekim 2014 Perşembe 27

28 Otomatik navigasyon Michigan State Üniversitesi 16 Ekim 2014 Perşembe 28

29 Yüz belirleme ve tanıma 16 Ekim 2014 Perşembe 29

30 Endüstriyel otomasyon Otomatik meyve dizimi 16 Ekim 2014 Perşembe 30

31 Posta hizmet otomasyonu 16 Ekim 2014 Perşembe 31

32 Optik karakter tanıma Rakam tanıma Plaka tanıma 16 Ekim 2014 Perşembe 32

33 Doküman analizi 16 Ekim 2014 Perşembe 33

34 Sportif görüntü analizi Tenis izleme sisteki 16 Ekim 2014 Perşembe 34

35 Obje tanıma 16 Ekim 2014 Perşembe 35

36 Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe 36

37 Arazi örtüsü sınıflandırma 16 Ekim 2014 Perşembe 37

38 Obje (arazi nesnesi) tanıma 16 Ekim 2014 Perşembe 38

39 Obje (arazi nesnesi) tanıma Bina ve bina gruplarını tanıma/tespit/belirleme 16 Ekim 2014 Perşembe 39

40 3B tarama ve model oluşturma 16 Ekim 2014 Perşembe 40

41 3B modelleme 16 Ekim 2014 Perşembe 41

42 Hareket algılama/yakalama 16 Ekim 2014 Perşembe 42

43 Hareket algılama/yakalama Microsoft XBox Kinect 16 Ekim 2014 Perşembe 43

44 Görüntü mozaiği 16 Ekim 2014 Perşembe 44

45 Görüntü mozaiği 16 Ekim 2014 Perşembe 45

46 Kritik konular/durumlar Görüntü üzerinde: Hangi bilgiler çıkarılmalı? Nasıl çıkarılabilir (bu bilgiler)? Nasıl temsil edilebilir/gösterilebilir (bilgiler)? Bilginin anlaşılması ve analizi için nasıl kullanılmalı? 16 Ekim 2014 Perşembe 46

47 Algılama ve gruplandırma Subjektif şekiller 16 Ekim 2014 Perşembe 47

48 Algılama ve gruplandırma 16 Ekim 2014 Perşembe 48

49 Algılama ve gruplandırma Müller-Lyer Illusion 16 Ekim 2014 Perşembe 49

50

51 Bilgisayar ne elde eder (görüntüden)? 16 Ekim 2014 Perşembe 51

52 Zorluk 1: bakış açısı 2012, Selim Aksoy 16 Ekim 2014 Perşembe 52

53 Zorluk 2: aydınlatma 16 Ekim 2014 Perşembe 53

54 Zorluk 3: oklüzyon (ölü bölge oluşumu) 2012, Selim Aksoy Ekim 2014 Perşembe 54

55 Zorluk 4: ölçek 16 Ekim 2014 Perşembe 55

56 Zorluk 1: deformasyon 16 Ekim 2014 Perşembe 56

57 Zorluk 1: arkaplan karışıklığı 16 Ekim 2014 Perşembe 57

58 Tanıma (recognition) Renk (color), doku (texture), şekil (shape) ve hareket (motion) gibi işaretler tanıma için nasıl kullanılır? Resmin hangi bölgeleri birlikte tanınmalıdır? Detaylara odaklanmaksızın objeler nasıl tanınabilir? Bağımsız parametreli objeler nasıl tanınabilir? 16 Ekim 2014 Perşembe 58

59 Renk 16 Ekim 2014 Perşembe 59

60 Doku 16 Ekim 2014 Perşembe 60

61 Renk, doku ve yakınlık (proximity) 16 Ekim 2014 Perşembe 61

62 Segmentasyon (bölünme) Orjinal görüntüler Renk bölgeleri Doku bölgeleri Çizgi kümeleri 16 Ekim 2014 Perşembe 62

63 Segmentasyon 16 Ekim 2014 Perşembe 63

64 Şekil Tanınan objeler Model veritabanı 16 Ekim 2014 Perşembe 64

65 Belirleme/tespit 16 Ekim 2014 Perşembe 65

66 Belirleme/tespit 16 Ekim 2014 Perşembe 66

67 Belirleme/tespit 16 Ekim 2014 Perşembe 67

68 Tanıma 16 Ekim 2014 Perşembe 68

69 Parça/bölümler ve ilişkiler 16 Ekim 2014 Perşembe 69

70 İçerik 16 Ekim 2014 Perşembe 70

71 İçerik 16 Ekim 2014 Perşembe 71

72 İçerik 16 Ekim 2014 Perşembe 72

73 İçerik 2012, Selim Aksoy 16 Ekim 2014 Perşembe 73

74 Bilgisayarda görme aşamaları Alt-düzey görüntü görüntü Orta-düzey görüntü detaylar (features / attributes) Yüksek-düzey Görüntü analizi / görüntü anlama detaylar akla uygunlaştırma (making sense), tanıma 16 Ekim 2014 Perşembe 74

75 Düşük-düzey Keskinleştirme (sharpening) Bulanıklaştırma (blurring) 16 Ekim 2014 Perşembe 75

76 Düşük-düzey Canny orjinal görüntü Orta-düzey kenar görüntüsü Uzaysal Filtre kenar görüntüsü dairesel çizgi ve segmentler 16 Ekim 2014 Perşembe 76

77 Orta-düzey K-means kümeleme orjinal renkli görüntü bölge homojen renkli görüntü 16 Ekim 2014 Perşembe 77

78 Düşük-düzey den yüksek-düzeye düşük-düzey Kenar görüntüsü Orta-düzey Yüksek-düzey düzenli çizgi kümesi 16 Ekim 2014 Perşembe 78

79 Görüntü oluşumu 16 Ekim 2014 Perşembe 79

80 Görüntü oluşumu Işık kaynağı Projeksiyon merkezi Obje görüntüsü 16 Ekim 2014 Perşembe 80

81 Görüntü oluşumu Ayrık sensor dizileri üzerine projeksiyon dijital kamera 16 Ekim 2014 Perşembe 81

82 Görüntü oluşumu Ortalama renk kaydı Örneklenmiş görüntü 16 Ekim 2014 Perşembe 82

83 Görüntü oluşumu Sürekli renk, ayrık lokasyon Ayrık gerçek renkli görüntü 16 Ekim 2014 Perşembe 83

84 Ayrık renler (çıkış) Dijital Görüntü oluşumu: Sayısallaştırma (Quantization) Sürekli renkler (giriş) 16 Ekim 2014 Perşembe 84

85 Örnekleme ve Sayısallaştıma pixel grid Gerçek görüntü örnekleme sayısallaştırma Örneklenmiş & sayısallaşmış görüntü 16 Ekim 2014 Perşembe 85

86 Dijital Görüntü Renkli görüntü her pikselde 3 değere; gri düzeyli görüntü ise 1 değere sahiptir. Her bir grid (piksel, resim elemanı) tek bir renge sahiptir. 16 Ekim 2014 Perşembe 86

87 Renkli görüntü l l l l 3 farklı banttan oluşur. Her bir bant temel renkleri temsil eder (red, green, or blue, or cyan, magenta, or yellow) ve gri düzeylidir. 3 bant birleşimi renkli görüntüyü oluşturur. Her piksel 3 elemanlı renk vektörü üretir. 16 Ekim 2014 Perşembe 87

88 Nokta işleme operasyonları - gamma - brightness orjinal + brightness + gamma histogram mod - contrast orjinal + contrast histogram EQ 16 Ekim 2014 Perşembe 88

89 Renkli algılama/renk algısı 16 Ekim 2014 Perşembe 89

90 Renkli algılama/renk algısı luminance hue saturation beyin foto alıcılar Göz 3 tip foto alıcı görevi görür: RGB ye duyarlıdır. Beyin RGB yi ayrık parlaklık ve renk kanllarına dönüştürür (LHS). Luminace: parlaklık, Hue: renk, Saturation: doygunluk. 16 Ekim 2014 Perşembe 90

91 Yeniden örnekleme (resampling) nearest neighbor nearest neighbor 8 16 bicubic interpolation bicubic interpolation 16 Ekim 2014 Perşembe 91

92 Döndürme (rotation) Görüntü yürümesi. 16 Ekim 2014 Perşembe 92

93 Görüntü eğme (warping) 16 Ekim 2014 Perşembe 93

94 Uzaysal filtreleme blurred orjinal sharpened 16 Ekim 2014 Perşembe 94

95 Uzaysal filtreleme bandpass filter orjinal unsharp masking 16 Ekim 2014 Perşembe 95

96 Görüntü yürümesi regional vertical original zoom rotational 16 Ekim 2014 Perşembe 96

97 Gürültü giderme blurred image color noise color-only blur 16 Ekim 2014 Perşembe 97

98 Gürültü giderme blurred image color noise 5x5 Wiener filter 16 Ekim 2014 Perşembe 98

99 Tuz & Biber Gürültü + shot noise s&p noise - shot noise 16 Ekim 2014 Perşembe 99

100 Lineer olmayan filtre: Medyan original s&p noise median filter 16 Ekim 2014 Perşembe 100

101 Lineer olmayan filtre: Min ve Max + shot noise min filter maxmin filter 16 Ekim 2014 Perşembe 101

102 Lineer olmayan işleme: İkili Morfoloji L shaped SE O marks origin Foreground: white pixels Background: black pixels Cross-hatched pixels are indeterminate. 16 Ekim 2014 Perşembe 102

103 Lineer olmayan işleme original opened reconstructed 16 Ekim 2014 Perşembe 103

104 Görüntü birleştirme Prof. Peters in his home office. Needs a better shirt. 16 Ekim 2014 Perşembe 104

105 Görüntü birleştirme This shirt demands a monogram. 16 Ekim 2014 Perşembe 105

106 Görüntü birleştirme He needs some more color. 16 Ekim 2014 Perşembe 106

107 Görüntü birleştirme Nice. Now for the way he d wear his hair if he had any. 16 Ekim 2014 Perşembe 107

108 Görüntü birleştirme He can t stay in the office like this. 16 Ekim 2014 Perşembe 108

109 Görüntü birleştirme Where s a hepcat Daddy-O like this belong? 16 Ekim 2014 Perşembe 109