Hafta 3 Görüntü İşleme ile İlgili Temel Kavramlar

BLM429 Görüntü İşlemeye Giriş Hafta 3 Görüntü İşleme ile İlgili Temel Kavramlar Yrd. Doç. Dr. Caner ÖZCAN Those who wish to succeed must ask the right preliminary questions. (Başarmak isteyenler doğru başlangıç soruları sormalıdır.) ~Aristotle

İçerik 2. Sayısal Görüntü Temelleri Görsel Algının Unsurları Işık ve Elektromanyetik Spektrum Görüntü Algılama ve Edinme Görüntü Örnekleme ve Nicemleme Pikseller Arasındaki Bazı Temel İlişkiler Sayısal Görüntü İşlemede Kullanılan Matematiksel İşlemlere Giriş 2

Pikseller Arasındaki Bazı Temel İlişkiler Komşuluk Bitişiklik Bağlanırlık Yollar Bölgeler ve Sınırlar 3

Pikseller Arasındaki Bazı Temel İlişkiler (x,y) koordinatındaki bir p pikseli komşuları p nin 4-komşusu için N 4 (p) olarak: (x-1, y), (x+1, y), (x,y-1) ve (x, y+1). p nin 4 köşegen komşusu için N D (p) olarak: (x-1, y-1), (x+1, y+1), (x+1,y-1) ve (x-1, y+1). p nin 8-komşusu için N 8 (p) olarak N 8 (p) = N 4 (p) U N D (p) 4

Pikseller Arasındaki Bazı Temel İlişkiler Bitişiklik V bitişikliği tanımlamak için kullanılan yeğinlik değerleri kümesi olsun. 4-bitişiklik: Eğer q N 4 (p) kümesinde ise, değerleri V den olan p ve q pikselleri 4-bitişiktir. 8-bitişiklik: Eğer q N 8 (p) kümesinde ise, değerleri V den olan p ve q pikselleri 8-bitişiktir. 5

Pikseller Arasındaki Bazı Temel İlişkiler Bitişiklik V bitişikliği tanımlamak için kullanılan yeğinlik değerleri kümesi olsun. m-bitişiklik: Değerleri V den olan p ve q pikselleri m-bitişiktir, eğer (i) q N 4 (p) kümesinde ise, veya (ii) q N D (p) kümesinde ve N 4 (p) N 4 (q) kümesinin piksel değerleri V de değilse. 6

Pikseller Arasındaki Bazı Temel İlişkiler Yol (x,y) koordinatlı p pikselinden (s,t) koordinatlı q pikseline bir (sayısal) yol (veya eğri) (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) koordinatlarına sahip farklı piksellerin oluşturduğu bir dizidir. Burada, (x i, y i ) ve (x i-1, y i-1 ) pikselleri 1 i n için bitişiktir. Bu durumda n yolun uzunluğudur. Şayet (x 0, y 0 ) = (x n, y n ) ise yol kapalı yoldur. Belirtilen bitişikliğin tipine bağlı olarak 4-, 8- veya m-yollar tanımlayabiliriz. 7

Örnekler: Bitişiklik ve Yol V = {1, 2} 0 1 1 0 1 1 0 1 1 0 2 0 0 2 0 0 2 0 0 0 1 0 0 1 0 0 1 8

Örnekler: Bitişiklik ve Yol V = {1, 2} 0 1 1 0 1 1 0 1 1 0 2 0 0 2 0 0 2 0 0 0 1 0 0 1 0 0 1 8-bitişik 9

Örnekler: Bitişiklik ve Yol V = {1, 2} 0 1 1 0 1 1 0 1 1 0 2 0 0 2 0 0 2 0 0 0 1 0 0 1 0 0 1 8-bitişik m-bitişik 10

Örnekler: Bitişiklik ve Yol V = {1, 2} 01,1 11,2 11,3 0 1 1 0 1 1 02,1 22,2 02,3 0 2 0 0 2 0 03,1 03,2 13,3 0 0 1 0 0 1 8-bitişik m-bitişik (1,3) den (3,3) e 8-yol: (i) (1,3), (1,2), (2,2), (3,3) (ii) (1,3), (2,2), (3,3) (1,3) den (3,3) e m-yol: (1,3), (1,2), (2,2), (3,3) 11

Pikseller Arasındaki Bazı Temel İlişkiler S de bağlantılı S bir görüntüdeki piksellerin bir alt kümesini temsil etsin. İki piksel p ve q eğer aralarında tamamen S deki piksellerden oluşan bir yol varsa S de bağlantılı denir. (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) Burada i,0 i n,( x, y ) S i i 12

Pikseller Arasındaki Bazı Temel İlişkiler S bir görüntüdeki piksellerin bir alt kümesini temsil etsin. S deki herhangi bir p pikseli için, S de ona bağlantılı olan piksellerin kümesi S nin bağlantılı bileşeni olarak adlandırılır. Eğer S sadece bir bağlı bileşene sahipse, S kümesi bağlantılı küme olarak adlandırılır. 13

Pikseller Arasındaki Bazı Temel İlişkiler R bir görüntüdeki piksellerin alt kümesi olsun. Eğer R bağlantılı bir küme ise R görüntünün bir bölgesi olarak adlandırılır. Eğer R i ve R j bölgelerinin birleşimi bağlı bir küme oluşturursa R i ve R j bitişik olarak adlandırılır. Bitişik olmayan bölgeler de ayrışık olarak adlandırılır. 14

Pikseller Arasındaki Bazı Temel İlişkiler Sınır (çevrit) Bir R bölgesinin sınırı R nin tümleyenindeki noktalarla bitişik olan noktalar kümesidir. Eğer R tüm bir görüntü olursa, o zaman sınırı görüntünün ilk ve son satır ve sütunlardaki piksellerin kümesi olarak tanımlanır. Önplan ve Arkaplan Varsayalım ki bir görüntü, hiçbiri görüntü sınırına dokunmayan K tane ayrışık bölge, R k, k = 0,1, 2,, K içersin. R u tüm K bölgelerinin birleşimini göstersin ve (R u ) c de tümleyenini göstersin (Bir S kümesinin tümleyeninin S de olmayan noktaların kümesi olduğunu hatırlayınız). R u daki tüm noktaları görüntünün önplanı, (R u ) c deki tüm noktaları ise arkaplanı olarak adlandırırız. 15

Soru 1 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) bitişik midir? (şayet 8-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 Bölge 1 Bölge 2 16

Soru 1 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) bitişik midir? (şayet 8-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 Bölge 1 Bölge 2 Cevap: EVET!! 17

Soru 1 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) bitişik midir? (şayet 4-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 Bölge 1 Bölge 2 18

Soru 1 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) bitişik midir? (şayet 4-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 Bölge 1 Bölge 2 Cevap: HAYIR!! 19

Soru 2 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) ayrışık mıdır? (şayet 4-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 Bölge 1 Bölge 2 20

Soru 2 Aşağıdaki piksel yerleşiminde, iki bölge (1 ler) ayrışıktır (şayet 4-bitişiklik kullanılırsa) 1 1 1 1 0 1 0 1 0 0 0 1 1 1 1 1 1 1 önplanı arkaplanı 21

Soru 3 Aşağıdaki piksel yerleşiminde, işaretlenmiş nokta 1-değerli piksellerin sınırının bir parçasıdır (şayet 8-bitişiklik kullanılırsa doğru mu yanlış mı?) 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 22

Soru 3 Aşağıdaki piksel yerleşiminde, işaretlenmiş nokta 1-değerli piksellerin sınırının bir parçasıdır (şayet 8-bitişiklik kullanılırsa doğru mu yanlış mı?) 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 Cevap: EVET!! 23

Soru 4 Aşağıdaki piksel yerleşiminde, işaretlenmiş nokta 1-değerli piksellerin sınırının bir parçasıdır (şayet 4-bitişiklik kullanılırsa doğru mu yanlış mı?) 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 24

Soru 4 Aşağıdaki piksel yerleşiminde, işaretlenmiş nokta 1-değerli piksellerin sınırının bir parçasıdır (şayet 4-bitişiklik kullanılırsa doğru mu yanlış mı?) 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 Cevap: HAYIR!! 25

Uzaklık Ölçütleri Sırasıyla koordinatları (x, y), (s, t) ve (v, w) olan p, q ve z pikselleri için D, bir uzaklık fonksiyonu veya bir metriktir eğer: D(p, q) 0 [D(p, q) = 0, ancak ve ancak p = q] D(p, q) = D(q, p) ve D(p, z) D(p, q) + D(q, z) ise. 26

Uzaklık Ölçütleri Aşağıdakiler farklı uzaklık ölçütleridir. a. Öklid Uzaklığı: D e (p, q) = [(x-s) 2 + (y-t) 2 ] 1/2 b. Şehir-Blok Uzaklığı: D 4 (p, q) = x-s + y-t c. Satranç Tahtası Uzaklığı: D 8 (p, q) = max( x-s, y-t ) 27

Soru 5 Aşağıda verilen piksel düzenlemesindeki daire içerisindeki iki nokta arasındaki satranç tahtası uzaklığı değeri nedir? 0 0 0 0 0 0 0 1 1 0 0 1 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 28

Soru 6 Aşağıda verilen piksel düzenlemesindeki daire içerisindeki iki nokta arasındaki şehir-blok uzaklığı değeri nedir? 0 0 0 0 0 0 0 1 1 0 0 1 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 29

Sayısal Görüntü İşlemede Kullanılan Matematiksel İşlemlere Giriş Dizi ve Matris İşlemleri Dizi çarpım operatörü Matris çarpım operatörü A A.* * a A a a b B a b a 11 12 a 21 22 a b 11 11 12 12 a b 21 21 22 22 B a b a b a b a b B a b a b a b a b b b 11 11 12 21 11 12 12 22 21 11 22 21 21 12 22 22 b 11 12 b 21 22 Dizi çarpımı Matris çarpımı 30

Sayısal Görüntü İşlemede Kullanılan Matematiksel İşlemlere Giriş Doğrusal ve Doğrusal Olmayan İşlemler H f ( x, y) g( x, y) Eğer H ai fi ( x, y) a j f j ( x, y) H a (, ) i fi x y H a j f j ( x, y) a (, ) ih fi x y a jh f j ( x, y) a g ( x, y) a g ( x, y) i i j j Toplanabilirlik Homojenlik ise H a doğrusal operatör denir. Şayet H yukarıdaki niteliği sağlamıyorsa doğrusal olmayan operatör olarak ifade edilir. 31

Aritmetik İşlemler Görüntüler arasındaki aritmetik dizi işlemleridir. Dört aritmetik işlem şu şekildedir: s(x,y) = f(x,y) + g(x,y) d(x,y) = f(x,y) g(x,y) p(x,y) = f(x,y) g(x,y) v(x,y) = f(x,y) g(x,y) 32

Örnek: Gürültü Azaltma İçin Gürültülü Görüntülerin Toplanması Gürültüsüz görüntü: f(x,y) Gürültü: n(x,y) (her (x,y) koordinat ikilisinde gürültünün ilintisiz ve sıfır ortalama değere sahip olduğu varsayılmaktadır) Bozulmuş görüntü: g(x,y) g(x,y) = f(x,y) + n(x,y) Gürültülü bir görüntü kümesini, {g i (x,y)} toplayarak gürültü içeriğini azaltmak: K 1 g( x, y) g ( x, y) K i 1 i 33

Örnek: Gürültü Azaltma İçin Gürültülü Görüntülerin Toplanması K 1 g( x, y) g ( x, y) K i 1 i K 1 Eg( x, y) E gi( x, y) K i1 K 1 E f ( x, y) ni ( x, y) K i1 K 1 f ( x, y) E ni ( x, y) K i1 f ( x, y) 2 2 g ( x, y ) 1 K g i ( x, y ) K i 1 2 2 n( x, y) 1 K n i ( x, y ) K i 1 1 K 34

Örnek: Gürültü Azaltma İçin Gürültülü Görüntülerin Toplanması Astronomide, çok düşük ışık seviyeleri altında yapılan görüntüleme çoğu kez algılayıcı gürültüsünün oluşmasına yol açar. Bu da görüntülerin analiz için işlenmesini neredeyse işe yaramaz hale getirir. Astronomik gözlemlerde, benzer algılayıcıların gürültüyü azaltma amacıyla yeteneklerini birleştirmeyi kullanmasıdır. Bu algılayıcılarda gürültü azaltma, uzun bir süre boyunca aynı yeri gözlemleyerek yapılmaktadır. 35

Örnek: Gürültü Azaltma İçin Gürültülü Görüntülerin Toplanması 36

Bir Görüntü Çıkarma Örneği: Maske Modlu Radyografi Mask h(x,y): hasta vücudunun bir bölgesinin bir X-ışını görüntüsü Canlı görüntüler f(x,y): TV kamerası ile yakalanan bir X-ışını görüntüsü Güçlendirilmiş detaylar g(x,y) g(x,y) = f(x,y) - h(x,y) Görüntüler TV hızında alındığı için bu yöntem esas itibariyle kontrast maddenin gözlemlenen alandaki çeşitli atardamarlarda nasıl yayıldığını gösteren bir film oluşturur. 37

Bir Görüntü Çıkarma Örneği: Maske Modlu Radyografi 38

Bir Görüntü Çıkarma Örneği: Maske Modlu Radyografi 39

Bir Görüntü Çarpma Örneği 40

Bir Görüntü Çarpma Örneği 41

Küme ve Mantık İşlemleri 42

Küme ve Mantık İşlemleri Gri-ölçekli bir görüntünün elemanları bir A kümesiyle temsil edilsin. A ve B kümesinin elemanları x ve y uzamsal koordinatları ve z yeğinliği göstermek üzere (x,y,z) üçlüleri şeklinde olsun. A {( x, y, z) z f ( x, y)} A nın tümleyeni A c olarak ifade edilir: c A {( x, y, K z) ( x, y, z) A} k K 2 1; kk:z yi is the temsil number etmek of için intensity kullanılan bits yeğinlik used bitlerinin to represent sayısı z 43

Küme ve Mantık İşlemleri Gri-ölçekli A ve B kümelerinin birleşimi A B {max( a, b) a A, bb} z 44

Uzamsal İşlemler Tek-piksel İşlemleri Bir görüntünün piksel değerlerini yeğinliğe bağlı olarak değiştirmektir. s T ( z) Örnek: 47

Uzamsal İşlemler Komşuluk İşlemleri Bu pikselin değeri koordinatları S xy içinde olan giriş görüntüsündeki pikselleri içeren tanımlanan bir işlemle belirlenir. 48

Uzamsal İşlemler Komşuluk İşlemleri 49

Geometrik Uzamsal Dönüşümler Geometrik lastik-levha (rubber-sheet) dönüşümleri 1. Koordinatların uzamsal dönüşümü ( x, y) T{( v, w)} 2. Uzamsal olarak dönüşmüş piksellere yeğinlik değerleri atayan yeğinlik aradeğerlemesi İlgin dönüşüm (Affine transform) t11 t12 0 x y 1 v w 1 t21 t22 0 t31 t32 1 50

Yeğinlik Atama İleri Yönde Eşleme (Forward Mapping) ( x, y) T{( v, w)} İlgili bir problem giriş görüntüsündeki iki veya daha fazla piksel çıkış görüntüsünde aynı konuma dönüştürülebilir. Tersine Eşleme (Inverse Mapping) 1 ( v, w) T {( x, y)} Çıkış piksel değerinin şiddetini belirlemek için en yakın giriş piksel değerleri arasında aradeğerleme yapar. Tersine eşlemeyi uygulamak daha verimlidir. 52

Örnek: Görüntü Döndürme ve Yeğinlik Aradeğerleme 53

Görüntü Çakıştırma (Image Registration) Giriş ve çıkış görüntüleri var, fakat giriş görüntüsünden çıkış görüntüsünü oluşturan dönüşümün tipi genellikle belli değildir. Amaç: dönüşüm fonksiyonunu tahmin etmek ve sonra onu iki görüntüyü çakıştırmak için kullanmaktır. Görüntü çakıştırmadaki en temel yaklaşımlardan biri konumları giriş ve referans görüntülerinde kesin bilinen birbirine karşılık gelen düğüm noktaları (kontrol noktaları olarak da adlandırılır) kullanmaktır. 54

Görüntü Çakıştırma Çift doğrusal yaklaşıma dayalı basit bir model: x c v c w c vw c y c v c w c vw c 1 2 3 4 5 6 7 8 Where ( v, w) and ( x, y) are the coordinates of Burada, kestirim evresi süresince (v,w) ve (x,y) sırasıyla giriş Ve referans tie points görüntülerindeki the input and düğüm reference noktalarının images. koordinatlarıdır. 55

Vektör ve Matris İşlemleri Çoklu spektral görüntü işleme vektör ve matris işlemlerinin her zaman kullanıldığı özgün bir alandır. Örneğin, Bölüm 6 da renkli görüntülerin aşağıdaki şekilde gösterildiği gibi kırmızı, yeşil ve mavi bileşenli görüntüler kullanılarak RGB renk uzayında oluşturulduğunu öğreneceksiniz. 57

Vektör ve Matris İşlemleri Çoklu spektral görüntü işleme vektör ve matris işlemlerinin her zaman kullanıldığı özgün bir Vektörler ve matrisler alandır. üzerine kısa bir giriş için Örneğin, Bölüm 6 da renkli kitabın görüntülerin Web sitesindeki aşağıdaki şekilde gösterildiği gibi kırmızı, Eğitim yeşil kısmına ve mavi başvurunuz. bileşenli görüntüler kullanılarak RGB renk uzayında oluşturulduğunu öğreneceksiniz. 58

Problemler Kitap içerisinde yer alan problemlerden yıldız ile işaretlenmiş olanların ayrıntılı çözümleri kitabın Web sitesinde bulunmaktadır. 59

Görüntü Dönüşümleri 2-D doğrusal dönüşümlerin çok önemli bir sınıfı T(u, v) ile gösterilir: M1N1 T( u, v) f ( x, y) r( x, y, u, v) x0 y0 burada, where ff(x,y) ( y) giriş is the görüntüsü, input image, r(x,y,u,v) ileri dönüşüm r( x, y, u, vçekirdeği, ) is the forward u ve v değişkenleri transformation dönüşüm ker nel, değişkenleri variables u and olarak v are adlandırılır. the transform variables, u = 0, 1, 2,..., M-1 and ve v = 0, 1,..., N-1. 60

Görüntü Dönüşümleri T(u, v), f(x,y) nin ileri dönüşüm olarak adlandırılır. Verilen bir T(u,v) için T(u,v) nin ters dönüşümünü M1N1 f ( x, y) T( u, v) s( x, y, u, v) u0 v0 where burada, s( xs(x,y,u,v), is ters the dönüşüm inverse transformation çekirdeğidir. ker nel, x = 0, 1, 2,..., M-1 and ve y = 0, 1,..., N-1. 61

Görüntü Dönüşümleri 62

Örnek: DCT Dönüşümü Kullanarak Görüntü İyileştirme 63

İleri Dönüşüm Çekirdeği M1N1 T( u, v) f ( x, y) r( x, y, u, v) x0 y0 Eğer The kernel r( x, y, u, v) is said to be SEPERABLE if r x, y, u, v = r 1 (x, u) r 2 (y, v) r( x, y, u, v) r1( x, u) r2( y, v) ise ileri dönüşüm çekirdeği ayrıştırılabilir denir. Buna ek olarak, eğer r In addition, the 1 (x, y) işlevsel olarak r kernel is said to be SYMMETRIC 2 (x, y) ye eşitse if r1( x, u) is rfunctionally x, y, u, v = equal r 1 (x, to u) rr 2( 1 y(y,, v), v) so that çekirdek r( x, y, u, simetriktir v) r ( x, u) denir. r ( y, u) 1 1 64

2-D Fourier Dönüşümü İçin Çekirdekler The forward İleri çekirdek r( x, y, u, v) e Burada Where j= 1 kernel j2 ( ux/ M vy/ N ) The inverse Ters çekirdek kernel 1 s( x, y, u, v) MN e j2 ( ux/ M vy/ N ) 65

2-D Fourier Dönüşümü M1N1 T( u, v) f ( x, y) e x0 y0 j2 ( ux/ M vy/ N ) M1N1 1 f ( x, y) T( u, v) e MN u0 v0 j2 ( ux/ M vy/ N ) 66

Olasılıksal Yöntemler Örneğin, Let zi, i z 0, i = 1, 0,1,2,..., L -1,, L denote 1 MxN lik the values sayısal of all bir possible görüntüdeki intensities tüm olası in an yeğinlik M N digital değerlerini image. göstersin. The probability, Verilen p( zbir k ), görüntüdeki of intensity level yeğinlik seviyesi z occurring z k nın in olasılığı a given image p(z k ) is estimated as k nk pz ( k ), MN olarak where tahmin nk is the edilir. number Burada of times n k that, z k intensity yeğinliğinin zk occurs görüntüde in the image. kaç kez bulunduğu sayısı ve MN ise toplam piksel sayısıdır. Açık bir şekilde, L1 k0 pz ( ) 1 dir. The Örneğin, mean (average) ortalama intensity yeğinlik is değeri given şu byşekilde verilir: L1 k0 k m = z p( z ) k k 67

Olasılıksal Yöntemler The Benzer variance şekilde yeğinliklerin of the intensities varyansı is given by 2 L1 k 2 k0 = ( z m) p( z ) k The n th moment of the intensity variable z is Genel olarak z rasgele değişkeninin ortalama etrafında n. momenti L1 n n k k k0 u ( z) = ( z m) p( z ) 68

Örnek: Standart Sapma Değerlerinin Karşılaştırılması 14.3 31.6 49.2 69

Kaynaklar Sayısal Görüntü İşleme, Palme Yayıncılık, Üçüncü Baskıdan Çeviri (Orj: R.C. Gonzalez and R.E. Woods: "Digital Image Processing", Prentice Hall, 3rd edition, 2008). Lecture Notes, CS589-04 Digital Image Processing, F.(Qingzhong) Liu, http://www.cs.nmt.edu/~ip Ders Notları, BIL717-Image Processing, E.Erdem Ders Notları, EBM537-Görüntü İşleme, F.Karabiber 70