İMGE İŞLEME Ders-2. İmge Dosya Tipleri ve Temel İşlemler. Dersin web sayfası:

Transkript

1 İMGE İŞLEME Ders-2 İmge Dosya Tipleri ve Temel İşlemler (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

2 MATLAB temel bilgiler 16 Mart

3 16 Mart

4 İmge Dosya Tipleri Sayısal imgeler genellikle bmp, jpg, tiff, raw gibi formatlarda saklanmaktadır. Gri tonlu, 8bit/piksel bit derinliğinde, 1000x1000 piksel boyutlu bir imgenin bellekte kaplayacağı alan nedir? Yanıt: bayt = 977 kbayt Eğer yukarıdaki imge renkli olsaydı, bu imgenin bellekte kaplayacağı alan: 977 kbayt x 3 = 2931 kbayt = 2.86 Mbayt 16 Mart

5 İmge Dosya Tipleri (raw) Yalnızca piksel ışıklılık değerlerini barındıran dosya tipidir. İmgenin piksel boyutunu gösteren herhangi bir başlık bilgisi içermez. İmgeyi açmal için piksel boyutunu bilmek gerekir. Bu tip dosyaları Matlab ya da C gibi programlama dillerini kullanarak açmak için bilinen dosya açma işlemlerini yapmak gerekmektedir. w=256; h=256; % imgenin yatay boyutu % imgenin düşey boyutu f=fopen('c:\documents\lena.raw','r'); % açılacak dosyanın konumu ve adı f dosya değişkenine yüklendi I=fread(f); I=reshape(I,w,h); status=fclose(f); % imge I değişkenine dizi olarak alındı % 2-boyutlu matrise dönüştürüldü % dosya kapandı figure; imshow(uint8(i')); % Ekranda imge görüntülendi 16 Mart

6 İmge Dosya Tipleri (yuv) Renk bileşenleri sıkıştırılmıştır. Raw dosya tipine benzer şekilde, bu dosya tipinde de imgenin piksel boyutu dosya içerisinde yoktur. Bu nedenle imgenin boyutlarının önceden bilinmesi gerekmektedir. 16 Mart

7 İmge Dosya Tipleri (bmp) Sıkça kullanılan bir imge dosya tipidir. Sıkıştırılmamış ve sıkıştırılmış dosya yapısı mevcuttur. Sıkıştırılmamış dosya yapısında, raw dosya tipine ek olarak imgenin piksel boyutu, bit derinliği gibi bilgileri turan başlık kısmı vardır. Matlab ile.bmp uzatılı bir imgeyi okumak için I=imread('C:\Documents\lena.bmp'); Kodunu yazmak yeterlidir. C ve diğer programlama dillerinde ise mevcut kütüphanelerden faydalanılarak bu dosya tipi okunabilmektedir. 16 Mart

8 İmge Dosya Tipleri (diğer) Tiff, jpeg, png, gif, pbm, pgm, hdf, pcx... gibi imge dosya tipleri de vardır. Tiff genellikle bmp benzeri bir dosya tipi olmakta birlikte kayıplı sıkıştırma modu da vardır. Bunun yanında 10 bit/piksel, 16 bit/piksel gibi bit derinliklerinde kayıt olanagına sahiptir. Matlab imread komutu ile okunmaktadır. Jpeg kayıplı bir imge dosya tipidir. Bu sıkıştırma kullanılarak imge yüksek verimlilikle sıkıştırılabilmektedir. Bu dosya tipi de Matlab imread komutu ile okunmaktadır. 16 Mart

9 İmge standart boyutları CIF: Common Intermediate Format VGA: Video Graphics Array SIF: Source Intermediate Format SQCIF QCIF CIF CIF CIF VGA QVGA SCIF Mart

10 devirme B= A B( ji, ) = Ai (, j) ( i = 0,..., N 1, j = 0,..., M 1) 16 Mart

11 düşeyde çevirme B( im, j 1 ) = Ai (, j) ( i = 0,..., N 1, j = 0,..., M 1) 16 Mart

12 döndürme 90, 180, 270 gibi açılarda döndürme işlemlerini kolayca gerçekleştirebiliriz. Bu açıların dışındaki değerlerde ise açısal döndürme işlemlerinin (Sin x, Cos x değerlerini kullanarak) yapılması gerekmektedir. Bunun yerine, Matlab hazır işlevlerinden imrotate kullanılabilir. Ir=imrotate(I,açı,yöntem); Örn; açı: saat yönünün tersi dönülecek açı değeri. yöntem: döndürme işlemi sonrasında yeni piksel değerlerinin hesaplanacağı aradeğerleme yöntemi. nearest, bilinear, bicubic, Ir=imrotate(I,45, bilinear ); 16 Mart

13 kırpma B( i, j) = An ( 1+ in, 2 + j) ( i = 0,..., m1 1, j = 0,..., m2 1) ( n1, n2) şlangıç ba noktası ( m, m ) pencere boyutlar ı Mart

14 öteleme ( ) 1 2 ( i = n1,..., N, j = n2,..., M) ( n, n ) şlangıç ba noktası B i, j = Ai ( n+ 1, j n + 1) Mart

15 öteleme Öteleme işlemi yapan bir Matlab işlevi yazalım: function [B]=my_otele(A,n1,n2) [w,h]=size(a); B=zeros(w,h); for i=n1:w for j=n2:h end end B(i,j)=A(i-n1+1,j-n2+1); Burada for döngüleri yerine tek bir satır yazarak aynı işlem yapılabilir.? 16 Mart

16 boyut değiştirme-yakınlaştırma Yakınlaştırma, düşük piksel boyutlu bir imgenin piksel boyutunun yazılımsal olarak arttırılmasıdır. Sayısal yakınlaştırma (digital zoom). 16 Mart

17 boyut değiştirme-yakınlaştırma Boyut büyültmede daha yumuşak geçişler için: 16 Mart

18 boyut değiştirme-yakınlaştırma Hangisi daha görünür? 16 Mart

19 boyut değiştirme-uzaklaştırma Birden fazla pikselin değeri çeşitli matematiksel işlemlerden geçirilerek bir piksele atanır. 16 Mart

20 boyut değiştirme Matlab ile boyut değiştirme için imresize adındaki işlev kullanılabilmektedir. Is=imresize(I,oran,yöntem); oran : giriş imgesinin boyutunun değişme oranını verir. oran>1 (büyütme), oran<1 (küçültme). yöntem : boyut değiştirmede kullanılacak aradeğerleme yöntemi. Örn; Is=imresize(I,0.97, bicubic ); 16 Mart

21 İmge oluşturma Mart

22 İmge oluşturma (128,128) merkezli, yarıçapı 80 piksel beyaz bir daire 16 Mart

23 İmge oluşturma??? A B C = X / Mart

24 Ortalama ve Değişinti Bir imgenin örnek ortalaması (sample mean): Örnek değişintisi (sample variance): Örnek standart sapması (örnek st. sapma): 16 Mart

25 İMGE İŞLEME Ders-3 İmge Pekiştirme (Nokta İşlemleri) (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

26 Nokta İşlemleri Piksellerden oluşan imge uzayına uzamsal düzlem (spatial domain) denir. Uzamsal düzlem işlemleri aşağıdaki gösterimle ifade edilmektedir. (, ) (, ) g xy = T f xy işlev Buradaki T işlevi, doğrudan (x,y) pikselini işleyebileceği gibi, (x,y) pikselinin komşuluklarını da hesaba katabilir. 16 Mart

27 Nokta İşlemleri Eğer komşuluk boyutu 1x1 ise (yalnızca (x,y) pikseli alınıyor), bu durumda T gri-seviye dönüşüm işlevi (grayscale-level transformation function) olarak adlandırılır. Bu tür işlemlere de nokta işlemleri (point operations) adı verilir. Bu işlem kısaca aşağıdaki şekilde yazılabilir. ( ) s = T r 16 Mart

28 Parlaklık Ayarı (, ) (, ) = (, ) + g xy = T f xy f xy b b>0 ise parlaklık artar b<0 ise parlaklık azalır s = r+ b orjinal b = -50 b = Mart

29 Karşıtlık (Kontrast) Ayarı (, ) (, ) = af ( x, y) g xy = T f xy a>1 ise karşıtlık artar a<1 ise karşıtlık azalır s = ar orjinal a = 0.5 a = 2 16 Mart

30 Parlaklık+Karşıtlık Ayarı g (, ) (, ) = (, ) + g xy = T f xy af x y b 255 s = r s = ar + b b 255 f 16 Mart

31 Parlaklık+Karşıtlık Ayarı g 255 (, ) (, ) g xy = T f xy s = r MATLAB imadjust işlevi b 255 f 16 Mart

32 Parlaklık+Karşıtlık Ayarı Kısmi-doğrusal dönüşüm 16 Mart

33 Eşikleme g 255 s = r Sonuçta ikili (binary) imge oluşuyor. T 255 f 16 Mart

34 Olumsuzlama g 255 s = r s = L r ( L = 255) 255 f 16 Mart

35 Histogram Her bir gri ton seviyesinin ([0,255]) imgedeki bulunma sıklığını (frekansını) gösterir. Yani imgedeki piksellerin dağılımı hakkında bilgi verir. İmge pekiştirmede sıkça kullanılmaktadır. ( ) h r rk n k k = n k : k. gri seviye : k. gri seviyedeki toplam piksel sayısı Histogram normalize edildiğinde ise gri seviyelerin imge içerisindeki bulunma olasılıklarını verir. imgedeki toplam piksel sayısı İlgili seviyenini olasılık değeri ( ) = / p r n n k k = 0,1,..., L 1 k 16 Mart

36 Histogram gri ton seviyesi MATLAB imhist işlevi 16 Mart

37 Histogram Piksel konum bilgisi bulunmaz! 16 Mart

38 Histogram Karanlık imge Parlak imge 16 Mart

39 Histogram Karşıtlığı düşük imge Karşıtlığı yüksek imge 16 Mart

40 Sürekli Genlik Rastlantı Değişkenleri 16 Mart

41 Sürekli Genlik Rastlantı Değişkenleri 16 Mart

42 Ortalama ve Değişinti 16 Mart

43 Ayrık Genlik Rastlantı Değişkenleri 16 Mart

44 Ayrık Genlik Rastlantı Değişkenleri 16 Mart

45 Olasılık Yoğun Fonk. Olarak Histogram 16 Mart

46 Histogram Eşitleme Amaç: İmgedeki düşük görünürlüğü iyileştirmek. Olasılık dağılımına bağlı olarak doğrusal olmayan dönüşüm gerçekleştirilir. Bu sayede, bulunma olasılığı yüksek pikseller arası fazlaca açılırken, düşük olasılıklı seviyeler birbirine daha yakın hale gelir. cdf ( v) cdf ( v) ( M N ) cdf min = round 1 cdf min ( L ) 16 Mart

47 Histogram Eşitleme cdf ( v) cdf ( v) ( M N ) cdfmin = round 1 cdfmin ( L ) blok cdf ( v) ( v) cdf 1 = round cdf ( 78 ) = round 255 = 182 histogram cdf ( 154 ) = round 255 = 255 cdf 16 Mart

48 Histogram Eşitleme İmgenin olasılık dağılım fonksiyonu doğrusallaştırılmaktadır. Doğrusallaştırılmış cdf 16 Mart

49 Histogram Eşitleme 16 Mart

53 İMGE İŞLEME Ders-4 Piksel Komşuluk İşlemleri (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

54 İmgenin Ortalama ve Değişintisi Bir imgenin ortalaması (mean): µ 1 N i =Ε ( ) = = X x x N i= 1 Bir imgenin değişintisi (variance): Var X ( 2 ) ( ) ( X ) 2 σ = =Ε µ 1 N i i= 1 ( x x) = N MATLAB da 2-boyutlu matrisin ortalamasını almak için mean2 işlevi kullanılaktadır. Değişinti hesabı için std2 standart sapma bulma işlevi kullanılmaktadır. Daha sonra standart sapmanın karesi alınarak değişinti bulunabilmektedir. 16 Mart

55 İmgenin Ortalama ve Değişintisi MATLAB da 8 bitlik bir I imgesi açıp, imgenin her bir pikseline erişerek etrafından nxn boyutlu bir blok alın ve bloğun standart sapmasını hesaplayın. I ile aynı boyutta oluşturacağınız I2 imgesinin ilgili pikseline bulunan standart sapma değerini yazınız. Bu işlemi imgedeki bütün pikseller için yapınız. 16 Mart

56 Piksel Komşuluk İşlemleri Her bir piksel için yeni bir değer hesaplanmaktadır. İlgili pikselin yeni değeri, komşu piksellerin değerleri de dikkate alınarak bulunur. Kullanılacak piksellerin ağırlıkları, yapılacak işleme bağlı olarak değişmektedir. Kenar bulma, gürültü giderme, imge keskinleştirme, yumuşatma gibi işlemlerde kullanılmaktadır. Hesapsal yükü, nokta işlemlerine göre oldukça fazla olabilmektedir. 16 Mart

57 Evrişim (Convolution) İki fonksiyonun etkileşimi olarak ifade edilebilir. ( ) ( ) f * g = f τ g t τ dτ İmge işlemede sıkça kullanılmaktadır. Sistemin, giriş işaretine etkisini vermektedir. 16 Mart

58 Evrişim (Convolution) Evrişimin ayrık zamanlı 2-boyutlu ifadesi: ( ) g xy, = k* f ( xy) ( m+ n+ ) m n i= mj= n (, ) (, ) = kij f x iy j k, evrişim çekirdeği (convolution kernel) f, giriş imgesi g, çıkış imgesi,, ilgili piksel konumu 2 1, 2 1, ğin çekirde yatay ve düşey uzunluğ Evrişim çekirdeği (kernel) genelde, evrişim maskesi (convolution mask), evrişim penceresi (convolution window) olarak da adlandırılabilmektedir. 16 Mart u

59 Evrişim (Convolution) ( ) g xy, = k* f m n i= mj= n (, ) (, ) = kij f x iy j (, ) = (, ) ( +, + ) + k( m+ 1, n+ 1) f ( x+ m 1, y+ n 1) g xy k m n f x my n +... (, ) (, ) + k mn f x my n (, ) = ( 1, 1) ( + 1, + 1) + k( 1, 0) f ( x+ 1, y) g xy k f x y +... ( 1,1) ( 1, 1) + k f x y 16 Mart

60 Evrişim (Convolution) ( ) g xy, = k* f m n i= mj= n (, ) (, ) = kij f x iy j 16 Mart

61 Evrişim (Convolution) 1 * Giriş imgesi Evrişim çekirdeği Çıkış imgesi MATLAB da 2-boyutlu evrişim conv2 işlevi ile yapılabilmektedir. Bunun yanında imge süzgeçlerken genellikle imfilter işlevi kullanılmaktadır. 16 Mart

62 Evrişim (Convolution) Evrişim işleminde kenar bölgelerindeki taşma durumunda olası işlemler: Kenar bölgelerini işlememe, Kenar bölgelerini kesme, Kenar bölgelerinde evrişim çekirdeğini kırpma, Kenar bölgelerini aynen kopyalama (imge boyutları büyür), Kenar bölgelerini aynalayarak kopyalama (imge boyutları büyür)... Hesapsal yük: ( ) mn, boyutlu bir evrişim çekirdeği kullanıldığında bir piksel için çıkış değerinin hesaplanmasında gerekli işlem sayısı: ( m n)[ çarpma] + ( m n 1)[ toplama] 16 Mart

63 Evrişim (Convolution) Delta fonksiyonu Kaydır ve çıkart 16 Mart

64 Evrişim (Convolution) 1/8 1/8 1/8 1/8 1 1/8 1/8 1/8 1/8 Kenar bulma k/8 k/8 k/8 k/8 k 1 k/8 + k/8 k/8 k/8 Kenar pekiştirme 16 Mart

65 Uzamsal Frekans Kavramı İmgede pikseller arasındaki yumuşak geçişler uzamsal düşük frekanslara karşılık gelir. Sert geçişler (kenarlar, nesne sınırları...) uzamsal yüksek frekanslara karşılık gelir. 16 Mart

66 Evrişim (Convolution)-Yumuşatma En temel evrişim çekirdeğidir. İmgedeki gürültü etkilerini azaltır. Kenarları yumuşatır / / Mart

67 Evrişim (Convolution)-Yumuşatma Çekirdek boyutunun yumuşatmaya etkisi: Orjinal imge 3x3 5x5 9x9 15x15 35x35 16 Mart

68 Evrişim (Convolution)-Yumuşatma Ağırlıklı ortalama alma işlemi de yapılabilmektedir. (, ) g xy = m n i= mj= n (, ) (, ) wij f x iy j m n i= mj= n (, ) wij / Kenar bölgelerindeki yumuşamayı azaltmak için kontrollü ortalama alma yapılabilir. (, ) g xy 1 1 f ( x i, y j), f ( x, y) f ( x i, y j) < T ws ws ws ws = i j i j f ( xy),, ğer di MATLAB da uygulayınız 16 Mart

69 İMGE İŞLEME Ders-5 Piksel Komşuluk İşlemleri-2 (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

70 Ortanca (Median) Süzgeç Süzgeçleme işlemi, pencere içerisindeki piksellerin sıralanması temelinde yapmaktadır. Doğrusal olmayan bir süzgeçlemedir. Dürtü ve tuz-biber gürültülerinin giderilmesinde etkin başarım sağlamaktadır. İmgenin kenar bölgelerini bozmaktadır. 25, 28, 29, 34, 38, 41, 45, 46, 56 Yeni piksel değeri MATLAB da imgeye gürültü eklemek için imnoise işlevi kullanılmaktadır. 16 Mart

71 Ortanca (Median) Süzgeç Tuz ve biber gürültüsünün (salt and pepper noise) ortanca süzgeç ile giderilmesi Gürültü eklenmiş imge 3x3 ortalama süzgeç ile gürültü giderme 3x3 ortanca süzgeç ile gürültü giderme MATLAB da ortanca süzgeçleme için medfilt2 işlevi kullanılmaktadır. 16 Mart

72 Evrişim (Convolution)-Keskinleştirme Kenar: İmgedeki keskin ışıklılık değişimleridir. Keskinleştirme işlemindeki temel hedef detayları daha görünür hale getirmek ve bulanık bölgelerden detay çıkartmaya çalışmaktır. Keskinleştirme işlemi, çıktı kalitesini arttırma, tıbbi görüntüleme, endüstriyel denetim, kendi kendine dolaşan robot gibi uygulamalarda kullanılmaktadır. 16 Mart

73 Evrişim (Convolution)-Kenar Bulma Kenar bulma imge içerisindeki anlamlı kenarların bulunması olarak ifade edilmektedir. Bölütlemede nesne sınırlarının bulunması, tanımada örüntü çıkartma, hareket analizinde bölgeleri takip etme gibi uygulamalarda kenar bulma kullanılmaktadır. 16 Mart

74 Evrişim (Convolution)-Keskinleştirme Keskinleştirme işlemi, sayısal türevleme kullanılarak farklı yollarla yapılabilmektedir. Temelde, türev alma işleminin yanıtı, imge operatörün uygulandığı noktadaki süreksizlik ile orantılıdır. Tek boyutlu bir fonksiyon için 1. dereceden türev: 2. dereceden türev: f = f x + f x x ( 1) ( ) 2 f = f x+ 1 + f x 1 2f x 2 x ( ) ( ) ( ) 16 Mart

75 Evrişim (Convolution)-Keskinleştirme gürültü 1. ve 2. dereceden türev değerlerini karşılaştırınız 16 Mart

76 Evrişim (Convolution)-Keskinleştirme 1. dereceden türev kalın kenarlar üretmektedir. 2. dereceden türev, detay bölgelerinde daha fazla tepki vermektedir (örn; dikey ince çizgi ve gürültü bölgeleri). 2. dereceden türev, kenar bölgelerinde ve nokta değişimlerinde daha fazla tepki vermesinden dolayı, keskinleştirmede daha fazla tercih edilmektedir. 2. Dereceden Türev Kullanımı - Laplacian Filtresi: ayrık şekilde: f x f y f = f = f x+ 1, y + f x 1, y 2 f x, y 2 2 x ( ) ( ) ( ) 2 f = f xy, f xy, 1 2 f xy, 2 2 y ( ) ( ) ( ) 16 Mart

77 Evrişim (Convolution)-Keskinleştirme Tek bir ifade ile 2-B Laplacian: ( 1, ) ( 1, ) (, 1 ) (, 1) 4 (, ) 2 = f f x y f x y f x y f x y f x y Mart

78 Evrişim (Convolution)-Keskinleştirme 2-B Laplacian çekirdeği kullanılarak süzgeçlenen imge ile orjinal imge kullanılarak keskinleştirilmiş imge aşağıdaki şekilde elde edilir: (, ) g xy = ( 2 ) ( ) ( 2 ) + ( ) f xy, ğer fçekirdeğin xy,, emerkez değeri neg f xy, ğer fçekirdeğin xy,, emerkez değeri poz atif ise itif ise Orjinal imge Laplacian filtrelenmiş imge Sonuç imgesi 16 Mart

79 Evrişim (Convolution)-Kenar Bulma 1. Dereceden Türev Kullanımı Eğim (Gradyan-The Gradient): 2-B sütun vektörü olarak gradyan: f G x x f = = G f y y Bu vektörün genliği: 2 1/2 2 2 f f f = mag ( f ) = Gx + G y = + x y 2 1/2 Gradyeni bulurken kare ve karekök alma işlemlerinin hesapsal yükünü azaltmak için pratikte mutlak toplam kullanılmaktadır: f G + G x y 16 Mart

80 Evrişim (Convolution)-Kenar Bulma z z z z z z z z z Robert cross gradient operator: G = z z x y 8 5 G = z z 6 5 G = z z x y 9 5 G = z z 8 6 f G + G x z z + z z y f G + G x z z + z z y Sobel Operatörleri Boyutu çift sayılardan (2x2) oluşan maske yerine 3x3 maske oluşturursak: ( 2 ) ( 2 ) ( 2 ) ( 2 ) f z + z + z z + z + z + z + z + z z + z + z Mart

81 Evrişim (Convolution)-Kenar Bulma Prewitt Operatörü: h yatay = h düşey = Not: Çekirdekler kullanılarak elde edilen imgenin eşiklenmesi ile ikili kenar imgesi oluşmaktadır. 16 Mart

82 Evrişim (Convolution)-Kenar Bulma Kirsch Operatörü: Örüntü tanımada şablon eşleştirmede kullanılmaktadır. Kenar yönlerine çok duyarlıdır. h = h = h = Mart

83 Uygulama a- Orjinal imge b- Laplacian c- Orjinal + Laplacian d- Sobel 16 Mart

84 Uygulama-devam 16 Mart

85 İlinti (Correlation) İki işaret ya da imge arasındaki ilişkinin bulunması, Bir imgenin içerisinde imge parçası arama gibi işlemlerde kullanılmaktadır. (, ) r xy : imge ortalaması ( xy) ( (, ) ) (, ) ( ) m n 2 m n 2, : ilgili piksel konumu m n i= mj= n hij h f x+ iy+ j f ( (, ) ) (, ) ( ) hij h f x+ iy+ j f i= mj= n i= mj= n h : aracak blok f : aramanın yapılacağı imge h : blok ortalaması f = 16 Mart

86 İlinti (Correlation) 16 Mart