İMGE İŞLEME. (Yrd. Doç. Dr. M. Kemal GÜLLÜ)

Transkript

1 İMGE İŞLEME (Yrd. Doç. Dr. M. Kemal GÜLLÜ)

2 Değerlendirme Ara dönem notu: %20 ödev, %80 sınav Final notu: %30 sınav, %70 dönem ödevi Geçme Notu: %40 ara dönem + %60 final 3/16/2012 2

3 İçerik Temel Kavramlar Dosya Tipleri ve Temel İşlemler İmge Pekiştirme İmge Nicemleme (Lloyd Max) Piksel Komşuluk İşlemleri İmge Bölütleme Renkli İmge İşleme Morfolojik İşlemler Frekans Uzayı İşlemleri İmge Sıkıştırma 3/16/2012 3

4 Kaynaklar Digital Image Processing (2nd Edition) Rafael C. Gonzalez, Richard E. Woods, 2002 Digital Image Processing Using MATLAB(R) Rafael C. Gonzalez, 2003 Image Processing Handbook The: Second Edition John C. Russ, /16/2012 4

5 İMGE İŞLEME Ders-1 Temel Kavramlar (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Hazırlayan: M. Kemal GÜLLÜ

6 Camera Obscura: A Pinhole Camera History Chinese philosopher Mo-Ti (5th century BC) was the earliest to report such a device Aristotle ( BC) understood the optical principle of pinhole projection 11 th century, Al-Haytham wrote a book on optics 1490 Leonardo Da Vinci gave a well defined description Lenses were used in 16 th century allowing more light Common use as a drawing tool in 17 th century Aristotle s pinhole camera Drawing tool used for recording human anatomy 3/16/2012 6

7 İlk Fotoğraf Inspired by the newlyinvented art of lithography (a printing technique), after several years of work Joseph Nicéphore Niépce succeded in recording an image captured by a camera obscura (1826) 3/16/ reproduction with touchups

8 Fotoğrafın tarihçesi The word photography was first used in the year 1839, "the year the invention of the photographic process was made public". Eastman Kodak establishes his company (at age 24) in After roll film is introduced in 1889 Photographic process becomes widely-used. Louis Lumiere invents the first motion picture camera (Cinematographe) in : development of Kodachrome, the first color multi-layered color film. In 1971 C-41 color negative process introduced 199X- Digital age 3/16/2012 8

9 Sayısal İmge İşleme (Digital Image Processing): İmgeyi iyileştirmek, dönüştürmek ya da bilgi çıkartmak Bilgisayarla Görü (Computer Vision): İmgeleri işleyerek gerçek dünya ile ilgili bilgi çıkartmak. 3/16/2012 9

10 Uygulama Alanları Gama ışını görüntüleme: X ışını görüntüleme: 3/16/

11 Uygulama Alanları Mor ötesi bandı görüntüleme: Görünür ve kızılberisi görüntüleme: 3/16/

12 Uygulama Alanları Çok bantlı görüntüleme: Kalite kontrol: 3/16/

13 Uygulama Alanları Örüntü tanıma: Radar görüntüleme: 3/16/

14 3/16/

15 3/16/

16 Elektromanyetik Spektrum Görünür Bölge 700 nm 400 nm 3/16/

17 Işık ve Elektromanyetik Spektrum Cam prizmadan geçirilen güneş ışığının sürekli renk spektrumu oluşturduğunu kim bulmuştur? (Isaac Newton-1666) Dalgaboyu: λ = c f, c = m / s Enerji: E = hv, h : plank sabiti 3/16/

18 Across the EM Spectrum Crab Nebula 3/16/

19 Across the EM Spectrum Cargo inspection using Gamma Rays Mobile Vehicle and Cargo Inspection System (VACIS ) Gamma rays are typically waves of frequencies greater than Hz Gamma rays can penetrate nearly all materials and are therefore difficult to detect Courtesy:Science 3/16/2012 Applications International Corporation (SAIC), 19

20 Across the EM Spectrum Medical X-Rays 3/16/

21 Across the EM Spectrum Chandra X-Ray Satellite 3/16/

22 Across the EM Spectrum Flower Patterns in Ultraviolet Dandelion - UV Potentilla 3/16/

23 Across the EM Spectrum Messier 101 in Ultraviolet 3/16/

24 Across the EM Spectrum Traditional images 3/16/

25 Across the EM Spectrum IR: Near, Medium, Far (~heat) 3/16/

26 Across the EM Spectrum IR: Near, Medium, Far (~heat) 3/16/

27 Across the EM Spectrum IR: Finding chlorophyll -the green coloring matter of plants that functions in photosynthesis 3/16/

28 Across the EM Spectrum Microwave Imaging: Synthetic Aperture Radar (SAR) San Fernando Valley Tibet: Lhasa River Red: L-band (24cm) Green: C-band (6 cm) Blue:C/L 3/16/ Athens, Greece Thailand: Phang Hoei Range

29 Across the EM Spectrum Radio Waves (images of cosmos from radio telescopes) 3/16/

30 Dalgaboyları 3/16/2012 Yengeç gök cismi 30

31 İmge İşleme ve İlgili Alanlar Image Processing: image to image Computer Vision: Image to model Computer Graphics: model to image All three are interrelated! Pattern Recognition: image to class image data mining/ video mining Artificial Intelligence: machine smarts AI Applications Photogrammetry: camera geometry, 3D reconstruction Medical Imaging: CAT, MRI, 3D reconstruction (2 nd meaning) Video Coding: encoding/decoding, compression, transmission Physics: basics Mathematics: basics Computer Science: programming skills Fundamentals 3/16/

32 Uygulama Alanları Tıp ve biyoloji (x-ışınları, biyomedikal görüntüler ) Coğrafi bilimler (hava ve uydu görüntülerinden hava tahmini) Eski, hasar görmüş fotoğrafların onarılması, GPR-mayın tarama, arkeolojik kalıntıların tespiti Oyun Programlama ( bilgisayarda görü, 3-B modelleme) Fizik (spektrometreler, elektron mikroskobu görüntüleri) Uzay bilimleri (uydu, mikrodalga radar görüntüleri ) Savunma sanayi (gece görüş, akıllı roket sistemleri ) Endüstriyel uygulamalar (süreç, ürün denetimi ) Tüketici elektroniği (Video kayıt cihazları, cep telefonları ) Biyometrik tanıma ve güvenlik sistemleri (iris-parmak izi tanıma, güvenlikkamera uygulamaları) Uzaktan algılama 3/16/

33 Different Layers of Image Processing Classification / decision Acquisition, preprocessing Algorithm Complexity Increases HIGH MEDIUM LOW Amount of Data Decreases no intelligence Extraction, edge joining Recognition, interpretation intelligent Raw data 3/16/

34 İmge Kavramı Sözlük anlamı: Işık etkisi veya optik mercek ile meydana gelen suret, hayal (3B 2B) 3/16/

35 Görsel Algı Elemanları Gözün retina bölgesinde iki tip algılayıcı vardır: Koni (6-7 milyon), renge duyarlı. Çubuk ( milyon), ışığa duyarlı. 3/16/

36 Görsel Algı Elemanları İmgenin gözde oluşumu: Gözde oluşan imgenin uzunluğu nedir? 3/16/

37 İmge nasıl oluşturulur? Paralel izdüşüm (orthographic projection) 3/16/

38 İmge nasıl oluşturulur? Perspektif izdüşüm (perspective projection) 3/16/

39 Görsel Algı Elemanları Işıklılık uyumu ve ayrımsama: Mach bandı İnsan görme sistemi tarafından alınan ışık (öznel ışık), göze gelen ışık yoğunluğunun logaritmik bir fonksiyonudur. 3/16/ Eş zamanlı karşıtlık

40 Görsel Algı Elemanları 3/16/

41 Görsel Algı Elemanları Optik yanılsamalar: 3/16/

42 Görsel Algı Elemanları 3/16/

43 İmge Algılama ve Alma 3/16/

44 İmge Algılama ve Alma Tek algılayıcı ile imge alma: Algılayıcı dizisi kullanarak imge alma: 3/16/

45 İmge Algılama ve Alma Algılayıcı dizileri ile imge alma: 3/16/

46 İmge Gösterim Modeli Temel olarak bir imge iki boyutlu bir fonksiyon ile ifade edilir: ( ) ( x y) f, xy, yatay şey ve dü konumları belirtir. Fiziksel işlemlerle oluşan bir imgede elde edilen ışık değeri, fiziksel kaynaktan saçılan enerji ile orantılıdır. Bu nedenle; ( xy) 0 < f, < ( x y) f, Sonuç: Mutlaka bir enerji vardır. Bu nedenle kesinlikle sıfır olamaz. 3/16/

47 İmge Gösterim Modeli ( x y) f, fonksiyonu iki bileşen ile tanımlanabilir: Sahneyi aydınlatan ışık kaynağının aydınlatması (illumination). Aydınlatma ışığının sahnedeki nesnelerden yansıması (reflectance). (, ) = (, ) (, ) 0 < ixy (, ) < 0 < r( xy, ) < 1 f xy ixyr xy Gri tonlu imgelerde ışıklılık değeri: max L min = min f ( xy, ) L [ Lmin Lmax ] < < min min max max max L = i r 10 L = i r 1000, : Gri ton ığı. aral Pratikte: L = siyah, L = beyaz 3/16/ min max

48 İmge Örnekleme ve Nicemleme Koordinat değerlerini sayısallaştırma örnekleme. Genlik değerlerini sayısallaştırma nicemleme. 3/16/

49 Örnekleme Örnekleme 3/16/

50 3/16/

51 Genelde seviye sayısı P=2 8 =256 ve log 2 (P)=log 2 (2 8 )=8 bit nicemleme. 3/16/

52 Sayısal İmge Gösterimi ( x y) f, imgesi örneklendiğinde M satır ve N sütunluk bir sayısal imge oluşur. Resim elemanı (piksel) 3/16/

53 Sayısal İmge Gösterimi Bazen sayısal imge gösterimi: ( ) ( ) ai, j= f x= iy, = j = f ij, Sayısallaştırmda genellikle uzamsal boyutlar önemli değildir. Donanımsan açıdan asıl önemli olan, gri ton seviyesinin 2 nin kuvveti olmasıdır. [ L ] L = 0, 1 : imgenin dinamik ığı aral (dynamic ran 2 k ge). 3/16/

54 Sayısal İmge Gösterimi Sayısal imgeyi saklamak için gerekli olan bit sayısı: M = N : b= M N k 3/16/

55 Sayısal İmge Uzamsal çözünürlük: 64x64 128x x x x1024 3/16/

56 Sayısal İmge Bit derinliği: L=8 L=7 L=6 L=5 3/16/ L=4 L=3 L=2 L=1

57 İMGE İŞLEME Ders-2 İmge Dosya Tipleri ve Temel İşlemler (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

58 MATLAB temel bilgiler 16 Mart

59 16 Mart

60 İmge Dosya Tipleri Sayısal imgeler genellikle bmp, jpg, tiff, raw gibi formatlarda saklanmaktadır. Gri tonlu, 8bit/piksel bit derinliğinde, 1000x1000 piksel boyutlu bir imgenin bellekte kaplayacağı alan nedir? Yanıt: bayt = 977 kbayt Eğer yukarıdaki imge renkli olsaydı, bu imgenin bellekte kaplayacağı alan: 977 kbayt x 3 = 2931 kbayt = 2.86 Mbayt 16 Mart

61 İmge Dosya Tipleri (raw) Yalnızca piksel ışıklılık değerlerini barındıran dosya tipidir. İmgenin piksel boyutunu gösteren herhangi bir başlık bilgisi içermez. İmgeyi açmal için piksel boyutunu bilmek gerekir. Bu tip dosyaları Matlab ya da C gibi programlama dillerini kullanarak açmak için bilinen dosya açma işlemlerini yapmak gerekmektedir. w=256; h=256; % imgenin yatay boyutu % imgenin düşey boyutu f=fopen('c:\documents\lena.raw','r'); % açılacak dosyanın konumu ve adı f dosya değişkenine yüklendi I=fread(f); I=reshape(I,w,h); status=fclose(f); % imge I değişkenine dizi olarak alındı % 2-boyutlu matrise dönüştürüldü % dosya kapandı figure; imshow(uint8(i')); % Ekranda imge görüntülendi 16 Mart

62 İmge Dosya Tipleri (yuv) Renk bileşenleri sıkıştırılmıştır. Raw dosya tipine benzer şekilde, bu dosya tipinde de imgenin piksel boyutu dosya içerisinde yoktur. Bu nedenle imgenin boyutlarının önceden bilinmesi gerekmektedir. 16 Mart

63 İmge Dosya Tipleri (bmp) Sıkça kullanılan bir imge dosya tipidir. Sıkıştırılmamış ve sıkıştırılmış dosya yapısı mevcuttur. Sıkıştırılmamış dosya yapısında, raw dosya tipine ek olarak imgenin piksel boyutu, bit derinliği gibi bilgileri turan başlık kısmı vardır. Matlab ile.bmp uzatılı bir imgeyi okumak için I=imread('C:\Documents\lena.bmp'); Kodunu yazmak yeterlidir. C ve diğer programlama dillerinde ise mevcut kütüphanelerden faydalanılarak bu dosya tipi okunabilmektedir. 16 Mart

64 İmge Dosya Tipleri (diğer) Tiff, jpeg, png, gif, pbm, pgm, hdf, pcx... gibi imge dosya tipleri de vardır. Tiff genellikle bmp benzeri bir dosya tipi olmakta birlikte kayıplı sıkıştırma modu da vardır. Bunun yanında 10 bit/piksel, 16 bit/piksel gibi bit derinliklerinde kayıt olanagına sahiptir. Matlab imread komutu ile okunmaktadır. Jpeg kayıplı bir imge dosya tipidir. Bu sıkıştırma kullanılarak imge yüksek verimlilikle sıkıştırılabilmektedir. Bu dosya tipi de Matlab imread komutu ile okunmaktadır. 16 Mart

65 İmge standart boyutları CIF: Common Intermediate Format VGA: Video Graphics Array SIF: Source Intermediate Format SQCIF QCIF CIF CIF CIF VGA QVGA SCIF Mart

66 devirme B= A B( ji, ) = Ai (, j) ( i = 0,..., N 1, j = 0,..., M 1) 16 Mart

67 düşeyde çevirme B( im, j 1 ) = Ai (, j) ( i = 0,..., N 1, j = 0,..., M 1) 16 Mart

68 döndürme 90, 180, 270 gibi açılarda döndürme işlemlerini kolayca gerçekleştirebiliriz. Bu açıların dışındaki değerlerde ise açısal döndürme işlemlerinin (Sin x, Cos x değerlerini kullanarak) yapılması gerekmektedir. Bunun yerine, Matlab hazır işlevlerinden imrotate kullanılabilir. Ir=imrotate(I,açı,yöntem); Örn; açı: saat yönünün tersi dönülecek açı değeri. yöntem: döndürme işlemi sonrasında yeni piksel değerlerinin hesaplanacağı aradeğerleme yöntemi. nearest, bilinear, bicubic, Ir=imrotate(I,45, bilinear ); 16 Mart

69 kırpma B( i, j) = An ( 1+ in, 2 + j) ( i = 0,..., m1 1, j = 0,..., m2 1) ( n1, n2) şlangıç ba noktası ( m, m ) pencere boyutlar ı Mart

70 öteleme ( ) 1 2 ( i = n1,..., N, j = n2,..., M) ( n, n ) şlangıç ba noktası B i, j = Ai ( n+ 1, j n + 1) Mart

71 öteleme Öteleme işlemi yapan bir Matlab işlevi yazalım: function [B]=my_otele(A,n1,n2) [w,h]=size(a); B=zeros(w,h); for i=n1:w for j=n2:h end end B(i,j)=A(i-n1+1,j-n2+1); Burada for döngüleri yerine tek bir satır yazarak aynı işlem yapılabilir.? 16 Mart

72 boyut değiştirme-yakınlaştırma Yakınlaştırma, düşük piksel boyutlu bir imgenin piksel boyutunun yazılımsal olarak arttırılmasıdır. Sayısal yakınlaştırma (digital zoom). 16 Mart

73 boyut değiştirme-yakınlaştırma Boyut büyültmede daha yumuşak geçişler için: 16 Mart

74 boyut değiştirme-yakınlaştırma Hangisi daha görünür? 16 Mart

75 boyut değiştirme-uzaklaştırma Birden fazla pikselin değeri çeşitli matematiksel işlemlerden geçirilerek bir piksele atanır. 16 Mart

76 boyut değiştirme Matlab ile boyut değiştirme için imresize adındaki işlev kullanılabilmektedir. Is=imresize(I,oran,yöntem); oran : giriş imgesinin boyutunun değişme oranını verir. oran>1 (büyütme), oran<1 (küçültme). yöntem : boyut değiştirmede kullanılacak aradeğerleme yöntemi. Örn; Is=imresize(I,0.97, bicubic ); 16 Mart

77 İmge oluşturma Mart

78 İmge oluşturma (128,128) merkezli, yarıçapı 80 piksel beyaz bir daire 16 Mart

79 İmge oluşturma??? A B C = X / Mart

80 Ortalama ve Değişinti Bir imgenin örnek ortalaması (sample mean): Örnek değişintisi (sample variance): Örnek standart sapması (örnek st. sapma): 16 Mart

81 İMGE İŞLEME Ders-3 İmge Pekiştirme (Nokta İşlemleri) (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

82 Nokta İşlemleri Piksellerden oluşan imge uzayına uzamsal düzlem (spatial domain) denir. Uzamsal düzlem işlemleri aşağıdaki gösterimle ifade edilmektedir. (, ) (, ) g xy = T f xy işlev Buradaki T işlevi, doğrudan (x,y) pikselini işleyebileceği gibi, (x,y) pikselinin komşuluklarını da hesaba katabilir. 16 Mart

83 Nokta İşlemleri Eğer komşuluk boyutu 1x1 ise (yalnızca (x,y) pikseli alınıyor), bu durumda T gri-seviye dönüşüm işlevi (grayscale-level transformation function) olarak adlandırılır. Bu tür işlemlere de nokta işlemleri (point operations) adı verilir. Bu işlem kısaca aşağıdaki şekilde yazılabilir. ( ) s = T r 16 Mart

84 Parlaklık Ayarı (, ) (, ) = (, ) + g xy = T f xy f xy b b>0 ise parlaklık artar b<0 ise parlaklık azalır s = r+ b orjinal b = -50 b = Mart

85 Karşıtlık (Kontrast) Ayarı (, ) (, ) = af ( x, y) g xy = T f xy a>1 ise karşıtlık artar a<1 ise karşıtlık azalır s = ar orjinal a = 0.5 a = 2 16 Mart

86 Parlaklık+Karşıtlık Ayarı g (, ) (, ) = (, ) + g xy = T f xy af x y b 255 s = r s = ar + b b 255 f 16 Mart

87 Parlaklık+Karşıtlık Ayarı g 255 (, ) (, ) g xy = T f xy s = r MATLAB imadjust işlevi b 255 f 16 Mart

88 Parlaklık+Karşıtlık Ayarı Kısmi-doğrusal dönüşüm 16 Mart

89 Eşikleme g 255 s = r Sonuçta ikili (binary) imge oluşuyor. T 255 f 16 Mart

90 Olumsuzlama g 255 s = r s = L r ( L = 255) 255 f 16 Mart

91 Histogram Her bir gri ton seviyesinin ([0,255]) imgedeki bulunma sıklığını (frekansını) gösterir. Yani imgedeki piksellerin dağılımı hakkında bilgi verir. İmge pekiştirmede sıkça kullanılmaktadır. ( ) h r rk n k k = n k : k. gri seviye : k. gri seviyedeki toplam piksel sayısı Histogram normalize edildiğinde ise gri seviyelerin imge içerisindeki bulunma olasılıklarını verir. imgedeki toplam piksel sayısı İlgili seviyenini olasılık değeri ( ) = / p r n n k k = 0,1,..., L 1 k 16 Mart

92 Histogram gri ton seviyesi MATLAB imhist işlevi 16 Mart

93 Histogram Piksel konum bilgisi bulunmaz! 16 Mart

94 Histogram Karanlık imge Parlak imge 16 Mart

95 Histogram Karşıtlığı düşük imge Karşıtlığı yüksek imge 16 Mart

96 Sürekli Genlik Rastlantı Değişkenleri 16 Mart

97 Sürekli Genlik Rastlantı Değişkenleri 16 Mart

98 Ortalama ve Değişinti 16 Mart

99 Ayrık Genlik Rastlantı Değişkenleri 16 Mart

100 Ayrık Genlik Rastlantı Değişkenleri 16 Mart

101 Olasılık Yoğun Fonk. Olarak Histogram 16 Mart

102 Histogram Eşitleme Amaç: İmgedeki düşük görünürlüğü iyileştirmek. Olasılık dağılımına bağlı olarak doğrusal olmayan dönüşüm gerçekleştirilir. Bu sayede, bulunma olasılığı yüksek pikseller arası fazlaca açılırken, düşük olasılıklı seviyeler birbirine daha yakın hale gelir. cdf ( v) cdf ( v) ( M N ) cdf min = round 1 cdf min ( L ) 16 Mart

103 Histogram Eşitleme cdf ( v) cdf ( v) ( M N ) cdfmin = round 1 cdfmin ( L ) blok cdf ( v) ( v) cdf 1 = round cdf ( 78 ) = round 255 = 182 histogram cdf ( 154 ) = round 255 = 255 cdf 16 Mart

104 Histogram Eşitleme İmgenin olasılık dağılım fonksiyonu doğrusallaştırılmaktadır. Doğrusallaştırılmış cdf 16 Mart

105 Histogram Eşitleme 16 Mart

109 Nicemleme 16 Mart

115 İMGE İŞLEME Ders-4 Piksel Komşuluk İşlemleri (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

116 İmgenin Ortalama ve Değişintisi Bir imgenin ortalaması (mean): µ 1 N i =Ε ( ) = = X x x N i= 1 Bir imgenin değişintisi (variance): Var X ( 2 ) ( ) ( X ) 2 σ = =Ε µ 1 N i i= 1 ( x x) = N MATLAB da 2-boyutlu matrisin ortalamasını almak için mean2 işlevi kullanılaktadır. Değişinti hesabı için std2 standart sapma bulma işlevi kullanılmaktadır. Daha sonra standart sapmanın karesi alınarak değişinti bulunabilmektedir. 16 Mart

117 İmgenin Ortalama ve Değişintisi MATLAB da 8 bitlik bir I imgesi açıp, imgenin her bir pikseline erişerek etrafından nxn boyutlu bir blok alın ve bloğun standart sapmasını hesaplayın. I ile aynı boyutta oluşturacağınız I2 imgesinin ilgili pikseline bulunan standart sapma değerini yazınız. Bu işlemi imgedeki bütün pikseller için yapınız. 16 Mart

118 Piksel Komşuluk İşlemleri Her bir piksel için yeni bir değer hesaplanmaktadır. İlgili pikselin yeni değeri, komşu piksellerin değerleri de dikkate alınarak bulunur. Kullanılacak piksellerin ağırlıkları, yapılacak işleme bağlı olarak değişmektedir. Kenar bulma, gürültü giderme, imge keskinleştirme, yumuşatma gibi işlemlerde kullanılmaktadır. Hesapsal yükü, nokta işlemlerine göre oldukça fazla olabilmektedir. 16 Mart

119 Evrişim (Convolution) İki fonksiyonun etkileşimi olarak ifade edilebilir. ( ) ( ) f * g = f τ g t τ dτ İmge işlemede sıkça kullanılmaktadır. Sistemin, giriş işaretine etkisini vermektedir. 16 Mart

120 Evrişim (Convolution) Evrişimin ayrık zamanlı 2-boyutlu ifadesi: ( ) g xy, = k* f ( xy) ( m+ n+ ) m n i= mj= n (, ) (, ) = kij f x iy j k, evrişim çekirdeği (convolution kernel) f, giriş imgesi g, çıkış imgesi,, ilgili piksel konumu 2 1, 2 1, ğin çekirde yatay ve düşey uzunluğ Evrişim çekirdeği (kernel) genelde, evrişim maskesi (convolution mask), evrişim penceresi (convolution window) olarak da adlandırılabilmektedir. 16 Mart u

121 Evrişim (Convolution) ( ) g xy, = k* f m n i= mj= n (, ) (, ) = kij f x iy j (, ) = (, ) ( +, + ) + k( m+ 1, n+ 1) f ( x+ m 1, y+ n 1) g xy k m n f x my n +... (, ) (, ) + k mn f x my n (, ) = ( 1, 1) ( + 1, + 1) + k( 1, 0) f ( x+ 1, y) g xy k f x y +... ( 1,1) ( 1, 1) + k f x y 16 Mart

122 Evrişim (Convolution) ( ) g xy, = k* f m n i= mj= n (, ) (, ) = kij f x iy j 16 Mart

123 Evrişim (Convolution) 1 * Giriş imgesi Evrişim çekirdeği Çıkış imgesi MATLAB da 2-boyutlu evrişim conv2 işlevi ile yapılabilmektedir. Bunun yanında imge süzgeçlerken genellikle imfilter işlevi kullanılmaktadır. 16 Mart

124 Evrişim (Convolution) Evrişim işleminde kenar bölgelerindeki taşma durumunda olası işlemler: Kenar bölgelerini işlememe, Kenar bölgelerini kesme, Kenar bölgelerinde evrişim çekirdeğini kırpma, Kenar bölgelerini aynen kopyalama (imge boyutları büyür), Kenar bölgelerini aynalayarak kopyalama (imge boyutları büyür)... Hesapsal yük: ( ) mn, boyutlu bir evrişim çekirdeği kullanıldığında bir piksel için çıkış değerinin hesaplanmasında gerekli işlem sayısı: ( m n)[ çarpma] + ( m n 1)[ toplama] 16 Mart

125 Evrişim (Convolution) Delta fonksiyonu Kaydır ve çıkart 16 Mart

126 Evrişim (Convolution) 1/8 1/8 1/8 1/8 1 1/8 1/8 1/8 1/8 Kenar bulma k/8 k/8 k/8 k/8 k 1 k/8 + k/8 k/8 k/8 Kenar pekiştirme 16 Mart

127 Uzamsal Frekans Kavramı İmgede pikseller arasındaki yumuşak geçişler uzamsal düşük frekanslara karşılık gelir. Sert geçişler (kenarlar, nesne sınırları...) uzamsal yüksek frekanslara karşılık gelir. 16 Mart

128 Evrişim (Convolution)-Yumuşatma En temel evrişim çekirdeğidir. İmgedeki gürültü etkilerini azaltır. Kenarları yumuşatır / / Mart

129 Evrişim (Convolution)-Yumuşatma Çekirdek boyutunun yumuşatmaya etkisi: Orjinal imge 3x3 5x5 9x9 15x15 35x35 16 Mart

130 Evrişim (Convolution)-Yumuşatma Ağırlıklı ortalama alma işlemi de yapılabilmektedir. (, ) g xy = m n i= mj= n (, ) (, ) wij f x iy j m n i= mj= n (, ) wij / Kenar bölgelerindeki yumuşamayı azaltmak için kontrollü ortalama alma yapılabilir. (, ) g xy 1 1 f ( x i, y j), f ( x, y) f ( x i, y j) < T ws ws ws ws = i j i j f ( xy),, ğer di MATLAB da uygulayınız 16 Mart

131 İMGE İŞLEME Ders-5 Piksel Komşuluk İşlemleri-2 (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

132 Ortanca (Median) Süzgeç Süzgeçleme işlemi, pencere içerisindeki piksellerin sıralanması temelinde yapmaktadır. Doğrusal olmayan bir süzgeçlemedir. Dürtü ve tuz-biber gürültülerinin giderilmesinde etkin başarım sağlamaktadır. İmgenin kenar bölgelerini bozmaktadır. 25, 28, 29, 34, 38, 41, 45, 46, 56 Yeni piksel değeri MATLAB da imgeye gürültü eklemek için imnoise işlevi kullanılmaktadır. 16 Mart

133 Ortanca (Median) Süzgeç Tuz ve biber gürültüsünün (salt and pepper noise) ortanca süzgeç ile giderilmesi Gürültü eklenmiş imge 3x3 ortalama süzgeç ile gürültü giderme 3x3 ortanca süzgeç ile gürültü giderme MATLAB da ortanca süzgeçleme için medfilt2 işlevi kullanılmaktadır. 16 Mart

134 Evrişim (Convolution)-Keskinleştirme Kenar: İmgedeki keskin ışıklılık değişimleridir. Keskinleştirme işlemindeki temel hedef detayları daha görünür hale getirmek ve bulanık bölgelerden detay çıkartmaya çalışmaktır. Keskinleştirme işlemi, çıktı kalitesini arttırma, tıbbi görüntüleme, endüstriyel denetim, kendi kendine dolaşan robot gibi uygulamalarda kullanılmaktadır. 16 Mart

135 Evrişim (Convolution)-Kenar Bulma Kenar bulma imge içerisindeki anlamlı kenarların bulunması olarak ifade edilmektedir. Bölütlemede nesne sınırlarının bulunması, tanımada örüntü çıkartma, hareket analizinde bölgeleri takip etme gibi uygulamalarda kenar bulma kullanılmaktadır. 16 Mart

136 Evrişim (Convolution)-Keskinleştirme Keskinleştirme işlemi, sayısal türevleme kullanılarak farklı yollarla yapılabilmektedir. Temelde, türev alma işleminin yanıtı, imge operatörün uygulandığı noktadaki süreksizlik ile orantılıdır. Tek boyutlu bir fonksiyon için 1. dereceden türev: 2. dereceden türev: f = f x + f x x ( 1) ( ) 2 f = f x+ 1 + f x 1 2f x 2 x ( ) ( ) ( ) 16 Mart

137 Evrişim (Convolution)-Keskinleştirme gürültü 1. ve 2. dereceden türev değerlerini karşılaştırınız 16 Mart

138 Evrişim (Convolution)-Keskinleştirme 1. dereceden türev kalın kenarlar üretmektedir. 2. dereceden türev, detay bölgelerinde daha fazla tepki vermektedir (örn; dikey ince çizgi ve gürültü bölgeleri). 2. dereceden türev, kenar bölgelerinde ve nokta değişimlerinde daha fazla tepki vermesinden dolayı, keskinleştirmede daha fazla tercih edilmektedir. 2. Dereceden Türev Kullanımı - Laplacian Filtresi: ayrık şekilde: f x f y f = f = f x+ 1, y + f x 1, y 2 f x, y 2 2 x ( ) ( ) ( ) 2 f = f xy, f xy, 1 2 f xy, 2 2 y ( ) ( ) ( ) 16 Mart

139 Evrişim (Convolution)-Keskinleştirme Tek bir ifade ile 2-B Laplacian: ( 1, ) ( 1, ) (, 1 ) (, 1) 4 (, ) 2 = f f x y f x y f x y f x y f x y Mart

140 Evrişim (Convolution)-Keskinleştirme 2-B Laplacian çekirdeği kullanılarak süzgeçlenen imge ile orjinal imge kullanılarak keskinleştirilmiş imge aşağıdaki şekilde elde edilir: (, ) g xy = ( 2 ) ( ) ( 2 ) + ( ) f xy, ğer fçekirdeğin xy,, emerkez değeri neg f xy, ğer fçekirdeğin xy,, emerkez değeri poz atif ise itif ise Orjinal imge Laplacian filtrelenmiş imge Sonuç imgesi 16 Mart

141 Evrişim (Convolution)-Kenar Bulma 1. Dereceden Türev Kullanımı Eğim (Gradyan-The Gradient): 2-B sütun vektörü olarak gradyan: f G x x f = = G f y y Bu vektörün genliği: 2 1/2 2 2 f f f = mag ( f ) = Gx + G y = + x y 2 1/2 Gradyeni bulurken kare ve karekök alma işlemlerinin hesapsal yükünü azaltmak için pratikte mutlak toplam kullanılmaktadır: f G + G x y 16 Mart

142 Evrişim (Convolution)-Kenar Bulma z z z z z z z z z Robert cross gradient operator: G = z z x y 8 5 G = z z 6 5 G = z z x y 9 5 G = z z 8 6 f G + G x z z + z z y f G + G x z z + z z y Sobel Operatörleri Boyutu çift sayılardan (2x2) oluşan maske yerine 3x3 maske oluşturursak: ( 2 ) ( 2 ) ( 2 ) ( 2 ) f z + z + z z + z + z + z + z + z z + z + z Mart

143 Evrişim (Convolution)-Kenar Bulma Prewitt Operatörü: h yatay = h düşey = Not: Çekirdekler kullanılarak elde edilen imgenin eşiklenmesi ile ikili kenar imgesi oluşmaktadır. 16 Mart

144 Evrişim (Convolution)-Kenar Bulma Kirsch Operatörü: Örüntü tanımada şablon eşleştirmede kullanılmaktadır. Kenar yönlerine çok duyarlıdır. h = h = h = Mart

145 Uygulama a- Orjinal imge b- Laplacian c- Orjinal + Laplacian d- Sobel 16 Mart

146 Uygulama-devam e- 5x5 ortalama f- (c x e) g- (a+f) h- İmge pekiştirme 16 Mart

147 Uygulama-devam 16 Mart

148 İlinti (Correlation) İki işaret ya da imge arasındaki ilişkinin bulunması, Bir imgenin içerisinde imge parçası arama gibi işlemlerde kullanılmaktadır. (, ) r xy : imge ortalaması ( xy) ( (, ) ) (, ) ( ) m n 2 m n 2, : ilgili piksel konumu m n i= mj= n hij h f x+ iy+ j f ( (, ) ) (, ) ( ) hij h f x+ iy+ j f i= mj= n i= mj= n h : aracak blok f : aramanın yapılacağı imge h : blok ortalaması f = 16 Mart

149 İlinti (Correlation) 16 Mart

150 İMGE İŞLEME Ders-6 Renkli İmge İşleme Renk Uzayları (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

151 Renk Nesne tanımlama ve sahneden çıkartmada önemli bir tanımlayıcıdır. İnsan gözü ışıklılık tonlarını ayırt etmede zayıfken, renk ve ışık tonlarının bir arada olması durumunda ayırt edicilik çok artmaktadır. Renkli imge işleme temelde iki grupta incelenebilir: Tam renk (full color) Sahte renk (pseudo color) Renkli bir algılayıcı vasıtasıyla alınan imgeler. Gri tonlu imgelerin renklendirilmesiyle oluşan imgeler. 16 Mart

152 Renk - Elektromanyetik Spektrum Optik Prizma (Isaac Newton-1666) Eğer ışık renksiz ise ışığın yalnızca şiddeti (intensity) ya da miktarı vardır. 16 Mart

153 Renk - Algılama Renkli ışık kaynağını tanımlamada üç ayrı nicelik kullanılır: Işınırlık (Radiance): Işık kaynağından çıkan enerji miktarı (Watt). Işıklılık (Işık): Işık kaynağından alınan enerji miktarı (lümen). Parlaklık (Brightness): Pratik olarak ölçülemeyen, rengin ışık miktarının öznel tanımlayıcısı. İnsan gözündeki koni (cone) algılayıcılarının yaklaşık olarak %65 i kırmızı, %33 ü yeşil ve %2 si de mavi renge duyarlıdır. İnsan gözünde renkler de bu üç ana rengin birleşimi şeklinde alınmaktadır. Bu üç renk kullanılarak görünür bölgedeki bütün renkler elde edilebilmektedir. Ana renklerin (kırmızı (R), yeşil (G), mavi (B)) birbirlerine eklenmesi ile ara renkler ya da ikincil renkler (turkuaz (C), mor (M), sarı (Y)) elde edilir. 16 Mart

154 Renk Ana ve Ara Renkler Ana renkler (RGB) Ara renkler (CMY) Sarı (Y) Yeşil (G) Kırmızı (R) Sarı (Y) Kırmızı (R) Beyaz (W) Turkuaz (C) Mor (M) Black (B) Yeşil (G) Mor (M) Mavi (B) Mavi (B) Turkuaz (C) 16 Mart

155 Renk Ayırt Edicilik Bir rengi diğerinden ayırt etmede kulanılan özellikler: Parlaklık (brightness), Renk özü (hue), Doygunuk (saturation). Renkteki baskın dalga boyunu verir. Rengin saflığı ya da renk özündeki beyaz ışık katkısı. Saf spektrum renkleri tamamen doygundur. Örn; pembe=kırmızı+beyaz (az doygun) Renk özü ve doygunluk, renksellik olarak ele alınır. Parlaklık ile renksellik kullanılarak bir renk ifade edilebilir. 16 Mart

156 Renk Üç Uyartı Herhangi bir rengi oluşturmak için kullanılan kırmızı, yeşil ve mavi miktarlarına üç uyartı değeri denir ve X, Y, Z ile gösterilir. Bu gösterimde bir renk: x y z = = = X X + Y + Z Y X + Y + Z Z X + Y + Z x+ y+ z = 1 katsayıları ile ifade edilebilir. 16 Mart

157 Renk CIE * Renksellik Çizgesi Bu gösterimde herhangi bir renk x (kırmızı) ve y (yeşil) ile ifade edilir ve ( ) z = 1 x+ y bulunmuş olur. eşitliğinden z (mavi) çekilerek bileşenlerin tamamı CIE RGB renk uzayı x=0.33, y=0.33, z= Mart *CIE: Int. Commission on Illumination

158 Renk Modelleri RGB (Red, Green, Blue): Renkli monitör, renkli video kamera. CMY (Cyan, Magenda, Yellow), CMYK (Cyan, Magenda, Yellow, black) Renkli yazıcı. HSI (Hue, Saturation, Intensity) İnsan renk tanımlama ve ayırt etmede. YIQ Renkli NTSC yayın. YCbCr Renkli sayısal TV yayını. 16 Mart

159 Renk Modelleri - RGB RGB Yeşil (G) Sarı (Y) Kırmızı (R) Beyaz (W) Turkuaz (C) Mor (M) Mavi (B) 16 Mart

160 Renk Modelleri - RGB 16 Mart

161 Renk Modelleri - CMY RGB renk uzayı ile CMY renk uzayı arasındaki geçişler: C 1 R R 1 C M 1 G, G 1 M = = Y 1 B B 1 Y CMYK renk modelinin ortaya çıkmasının nedeni ise, C, M ve Y ile saf siyahın elde edilememesidir. Renkli bir yazıcının saf siyah basabilmesi bu sayede mümkün kılınmıştır. 16 Mart

162 Renk Modelleri - HSI RGB, CMY gibi renk uzayları insan gözünün renk alma yapısındadır. İnsan beyninde renkler tanınırken ya da birbiri ile karşılaştırılırken bu modellerin kullanımı zordur. Bu nedenle bu tür çalışmalarda renk özü (hue-h), doygunluk (saturation-s) ve şiddet (intensity-i) tanımlamaları kullanılır. Bu bileşenlerden oluşan modele de HSI (hue, saturation, intensity) renk modeli adı verilir. Sonuçta söyleyebiliriz ki, RGB renk modeli renk oluşturma için idealdir (örn; monitör) fakat betimlemede kötüdür. HSI renk modeli ise renge bağlı tanımlamada çok iyidir. 16 Mart

163 Renk Modelleri - HSI Renk Özü (Hue-H): Baskın renk dalgaboyunu gösterir ve açısal olarak [0,360 ] aralığında ifade edilir. Doygunluk (Saturation-S): Saf rengin beyaz ışık ile hangi oranda karıştığını gösterir. Yarıçapa karşılık gelir ve [0,1] aralığında değer alır. Şiddet (Intensity-I): Işık miktarını gösterir. 16 Mart

164 Renk Modelleri - HSI RGB HSI geçiş: 16 Mart

165 Renk Modelleri - HSI HSI RGB geçiş: 16 Mart

166 Renk Modelleri - YUV PAL, NTSC, SECAM kompozit renkli video standartlarında kullanılır. Y, ışıklılık (luma); U ve V renklilik (chrominance) bileşenleridir. YUV bileşenleri RGB den türetilir. Y, ortalama parlaklığı veren ve R, G, B bileşenlerinin ağırlıklı ortalaması ile elde edilen ışıklılık bileşeni; U, mavi bileşeninden Y nin; V, kırmızı bileşeninden Y nin çıkartılması ile elde edilen fark bileşenleridir. RGB YUV geçiş: YUV RGB geçiş: İmge sayısal ise bu model YCbCr renk modeli olarak isimlendirilir. 16 Mart

167 Renk Modelleri - Karşılaştırma 16 Mart

168 Renk Modelleri MATLAB Komutlar MATLAB da renk uzayı dönüşümleri için: RGB... YCbCr YIQ HSI rgb2ycbcr rgb2ntsc rgb2hsv... RGB YCbCr YIQ HSI ycbcr2rgb ntsc2rgb hsv2rgb 16 Mart

169 RGB Renk Modelinden Gri Tonlu İmge Oluşturma R+ G+ B Y =, renk özü ve doygunluk atılırsa 3 Y = 0.299R G B, NTSC ına standard göre 16 Mart

170 İMGE İŞLEME Ders-7 Morfolojik İmge İşleme (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

171 Morfoloji Biyolojinin canlıların şekil ve yapıları ile ilgilenen dalına morfoloji (biçim bilim) adı verilmektedir. Matematiksel morfoloji ise temel küme işlemlerine dayanan, imgedeki sınırlar (borders), iskelet (skeleton) gibi yapıların tanımlanması ve çıkartılması, gürültü giderimi, bölütleme gibi uygulamalar için gerekli bir araçtır. İmge işlemede genellikle, morfolojik süzgeçleme, inceltme (thinning), budama (pruning) gibi ön/son işlem olarak da sıkça kullanılırlar. Gri tonlu imgeler üzerinde de yapılabileceği gibi, genellikle ikili imgeler üzerinde yapılan işlemlerdir. 16 Mart

172 İkili İmgelerde Mantıksal İşlemler 16 Mart

173 Morfolojik İmge İşleme Yayma ve Aşındırma Aşındırma (Erosion): Matematiksel morfolojinin temel operasyonlarından biridir. Ele alınan bölgenin sınır bölgelerinin aşındırılmasında kullanılmaktadır. Yayma (Dilation): Diğer bir temel morfolojik işlemdir. Ele alınan bölgenin sınırlarının genişletilmesinde kullanılmaktadır. 16 Mart

174 Morfolojik İmge İşleme Yayma Morfolojik operatörlerin iki girişi vardır: 1. Yayılacak imge, 2. Yayma işleminin şeklini belirleyen yapı elemanı (structure element). Z 2 uzayında verilen A ve B kümeleri için yayma işlemi aşağıdaki gibi tanımlanmaktadır: Yayma operatörü { ( ˆ ) } A B= z B A Bˆ : B 'nin bire tümleyeni A: işlenecek imge B : yapı elemanı 16 Mart z MATLAB da yayma için imdilate fonksiyonu kullanılmaktadır.

175 Morfolojik İmge İşleme Yayma Yapı elemanı, yayma işleminin nasıl yapılacağını belirlemektedir Mart

176 Morfolojik İmge İşleme Yayma Input image Structuring Element Output Image 1 16 Mart

177 Morfolojik İmge İşleme Yayma Input image Structuring Element Output Image Mart

184 Morfolojik İmge İşleme Yayma 16 Mart

185 Morfolojik İmge İşleme Aşındırma Z 2 uzayında verilen A ve B kümeleri için aşındırma işlemi { ( ) } AΘ B= z B A z MATLAB da aşındırma için imerode fonksiyonu kullanılmaktadır. 16 Mart

186 Morfolojik İmge İşleme Aşındırma Input image Structuring Element Output Image 0 16 Mart

187 Morfolojik İmge İşleme Aşındırma Input image Structuring Element Output Image Mart

194 Morfolojik İmge İşleme Aşındırma 16 Mart

195 Morfolojik İmge İşleme Gri Tonlu Yayma Morfolojik operasyonlar ikili imgelere uygulanabileceği gibi, gri tonlu imgeler için de tanımlıdırlar. Gri tonlu imgede yayma işlemi, imgedeki koyu tonlu bölgeleri açmaktadır. İmgede koyu tonlu bölgelerle çevrili parlak bölgeler genişlerken, parlak bölgelerle çevrili koyu tonlu bölgeler zayıflamakta, hatta yapı elemanı ve koyu tonlu bölgenin boyutuna bağlı olarak kaybolabilmektedir. 16 Mart

196 Morfolojik İmge İşleme Gri Tonlu Aşındırma Gri tonlu imgede aşındırma işlemi, imgenin parlaklığını arttırmaktadır. İmgede koyu tonlu bölgelerle çevrili parlak bölgeler daralırken, parlak bölgelerle çevrili koyu tonlu bölgeler genişlemektedir. 16 Mart

197 Morfolojik İmge İşleme Gri Tonlu Morfoloji 16 Mart

198 Morfolojik İmge İşleme Gri Tonlu Morfoloji İşlemler basitleştirilirse: max filter min filter 16 Mart

199 Morfolojik İmge İşleme Açma ve Kapama Açma ve kapama, yayma ve aşındırma işlemlerinin iki değerli imgeye ardışıl uygulanmasıyla yapılan işlemlerdir. Açma (Opening): Kapama (Closing): A B= ( AΘB) B A B= ( A B) ΘB MATLAB da açma işlemi için imopen fonksiyonu, kapama işlemi için imclose fonksiyonu kullanılmaktadır. 16 Mart

200 Morfolojik İmge İşleme Açma 16 Mart

201 Morfolojik İmge İşleme Kapama 16 Mart

202 Morfolojik İmge İşleme Sınır Çıkarma A kümesinin sınırları β ( A) = A ( AΘB) 16 Mart

203 Morfolojik İmge İşleme Uygulamalar 16 Mart

204 Morfolojik İmge İşleme Uygulamalar 16 Mart

205 Morfolojik İmge İşleme Uygulamalar (Gri ton) Hedef Algılama: 16 Mart

206 Morfolojik İmge İşleme Uygulamalar (Gri ton) Distance hesabı (bwdist) eklenecek 16 Mart

207 İMGE İŞLEME Ders-8 Frekans Uzayında İmge İşleme (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

208 Frekans Uzayı İmge uzayında yapılabilecek işlemlerin yanında, frekans düzlemindeki bilgi de imge işlemede sıkça kullanılmaktadır. Daha önce imge süzgeçleme için evrişimden bahsedilmişti. İmge uzayında yapılan bu işlem her bir piksel için tekrarlanmakla birlikte, çekirdek elemanına bağlı olarak hesapsal yükü oldukça fazla olabilmektedir. Frekans uzayına geçildiğinde evrişim işlemi çarpma işlemine dönüşeceğinden, bu uzayda yapılacak süzgeçleme işlemlerinde frekans uzayına geçiş ve geri dönüş işlemleri için hesapsal yükten bahsedilebilir. Ayrıca frekans uzayında imgedeki piksellerin dağılımına ilişkin bilgileri gözlemlemek de mümkündür. Frekans uzayına geçiş için genellikle Fourier dönüşümü kullanılmaktadır. 16 Mart

209 Frekans Uzayı Fourier Dönüşümü 1-B Fourier Dönüşümü: πux F u f x e dx j2 ( ) = ( ) j = 1 πux f x F u e du j2 ( ) ( ) = 16 Mart

210 Frekans Uzayı Fourier Dönüşümü 2-B Fourier Dönüşümü: j 2π ( ux+ vy) F u v f x y e dxdy (, ) (, ) = j 2π ( ux+ vy) f x y F u v e dudv (, ) (, ) = 16 Mart

211 Frekans Uzayı Ayrık Fourier Dönüşümü Ayrık uzayda 1-B Fourier Dönüşümü (AFD): M 1 1 F( u) = f ( x) e M x= 0 j2 πux / M u = 0,1,2,..., M 1 M 1 ( ) = ( ) f x F u e u= 0 j2 πux / M x= 0,1,2,..., M 1 16 Mart

212 Frekans Uzayı Ayrık Fourier Dönüşümü M 1 1 F( u) = f ( x) e M x= 0 j2 πux / M u = 0,1,2,..., M 1 F(u) yu bulmak için: u=0 için x in bütün değerlerinde yukarıdaki toplamı hesapla, u=1 için x in bütün değerlerinde yukarıdaki toplamı hesapla, u=m için x in bütün değerlerinde yukarıdaki toplamı hesapla. 16 Mart

213 Frekans Uzayı Ayrık Fourier Dönüşümü M 1 1 F( u) = f ( x) e M x= 0 F(u) yu bulmak için: Bu işlem için M 2 çarpma ve toplama gerekli. j2 πux / M u = 0,1,2,..., M 1 Euler teoremine göre: = θ + jθ e Cos jsin = θ jθ e Cos jsin M 1 1 F u f x Cos ux M jsin ux M M ( ) = ( ) ( 2 π / ) ( 2 π / ) x= 0 16 Mart θ θ u = 0,1,2,..., M 1

214 Frekans Uzayı Ayrık Fourier Dönüşümü M 1 1 F u f x Cos ux M jsin ux M M ( ) = ( ) ( 2 π / ) ( 2 π / ) x= 0 u = 0,1,2,..., M 1 Özetle f(x), farklı frekanslardaki Sin ve Cos bileşenleri ile çarpılıyor. F F... ( 0) ( 1) ( ) F M Dönüşümün frekans bileşenleri ( ) = ( ) F u ( u) 2 2 ( ) = ( ) + ( ) ( u) F u e tan jϕ F u R u I u ϕ ( ) ( ) I u 1 = R u 1/2 Faz açısı Genlik 16 Mart

215 Frekans Uzayı Ayrık Fourier Dönüşümü Güç spektrumu: 2 ( ) = F( u) 2 2 = R ( u) + I ( u) P u Spektral yoğunluğu verir 2-B AFD: M 1N 1 1 F( uv, ) = f( xy, ) e MN x= 0 y= 0 M 1N 1 1 f( xy, ) = F( uv, ) e MN u= 0 v= 0 ( ) j 2 π ux / M + vy / N u = 0,1, 2,..., M 1 v= 0,1, 2,..., N 1 ( + ) j 2 π ux / M vy / N x= 0,1,2,..., M 1 = 0,1,2,..., N 1 16 Mart y

216 Frekans Uzayı Ayrık Fourier Dönüşümü (, ) = (, ) F uv (, 2 ) = F( uv, ) 2 2 = R ( uv, ) + I ( uv, ) Puv ( uv, ) 2 2 (, ) = (, ) + (, ) ( uv) (, ) (, ) 1 =, tan F uv e jϕ F uv R uv I uv ϕ I uv Ruv 1/2 16 Mart

217 Frekans Uzayı İmge İşleme Aşamaları ( ) = ( ) ( ) F' uv, F uv, H uv, H : Süzgeç 16 Mart

218 Frekans Uzayı Örnek Genlik İmgeleri 16 Mart

219 Frekans Uzayı AFD imge genlik AFD 16 Mart

220 Frekans Uzayı Temel AGS Örneği genlik Alçak geçiren süzgeç imge Ters AFD 16 Mart

221 Frekans Uzayı Temel YGS Örneği genlik Yüksel geçiren süzgeç imge Ters AFD 16 Mart

222 Frekans Uzayı Çentik Süzgeci Bazı temel süzgeç yapıları: Çentik süzgeci (notch filter): (, ) H uv ( uv) = ( M N ) 0, eğer, /2, /2 = 1, diğer 16 Mart

223 Frekans Uzayı AGS İdeal AGS: Butterworth AGS: 16 Mart

224 Frekans Uzayı AGS Gauss Süzgeci: 16 Mart

225 Frekans Uzayı YGS YGS: (, ) = 1 (, ) H uv H uv 16 Mart YG AG

226 Frekans Uzayı AGS ve YGS AGS ve YGS: 16 Mart

227 Frekans Uzayı Matlab da Frekans Uzayı İşlemleri MATLAB da frekans uzayı süzgeçleme için: 1. İmgenin AFD sini al (fft2 fonksiyonu). 2. Karmaşık imgeye kaydırma işlemi uygula (fftshift fonksiyonu). 3. Kaydırılmış F(u,v) yi H(u,v) ile noktasal çarp. 4. Karmaşık imgeye tekrar kaydırma işlemi uygula (fftshift). 5. Karmaşık imgenin ters AFD sini al (ifft2 fonksiyonu). 6. Elde edilen sonucun gerçek kısmını süzgeçlenmiş imge olarak kullan (real fonksiyonu). NOT: Farklı tipte süzgeç yapıları için fspecial fonksiyonunu kullanabilirsiniz. 16 Mart

228 Frekans Uzayı İlinti Frekans Uzayında İlinti (correlation): * (, ) (, ) (, ) (, ) f xy h xy F uv H uv *: karmaşık eşleniği göstermektedir. Frekans Uzayında Öz ilinti (autocorrelation): (, ) (, ) (, ) 2 f xy hxy Fuv 16 Mart

229 Frekans Uzayı İlinti ilintideki en büyük genlik seviyesi (aranan nesne konumu) 16 Mart

230 İMGE İŞLEME Ders-9 İmge Sıkıştırma (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

231 İmge Sıkıştırma Veri sıkıştırmanın sayısal imgeler üzerindeki uygulamasıdır. Amaç; imgeyi en verimli şekilde saklamak ya da iletmek. İmge Sıkıştırma Kayıpsız Sıkıştırma Kayıplı Sıkıştırma Sıkıştırılan imge; Bellekte daha az yer kaplar, Aynı bellekte daha fazla veri saklanmasını sağlar, İletimi kolaylaştırır (Bant genişliğini azaltır), Yazılım ya da donanım yükünü arttırır. 16 Mart

232 İmge Sıkıştırma İmge Sıkıştırma Kayıpsız Sıkıştırma (Run length encoding, Entropy coding, LZW, Deflation...) Kayıplı Sıkıştırma (Chroma subsampling, Transform coding, Fractal compression...) Genel Yapı: f ( xy, ) Kodlayıcı Kanal Kod Çözücü ( xy) f ˆ, 16 Mart

233 İmge Sıkıştırma f ( xy, ) Eşleme (Dönüştürme) Nicemleme Sembol Kodlama Kanal Kanal Sembol Kod Çözme Ters Eşleme ( xy) f ˆ, Eşleme: f ( xy, ) Eşleme (Dönüştürme) Nicemleme Sembol Kodlama Kanal Pikseller arası artıklığı sıkıştırma için uygun biçime dönüştürme işlemi yapar. İmgenin yeniden elde edilebilmesi için tersi alınabilen dönüşümler kullanılır. 16 Mart

234 İmge Sıkıştırma Nicemleme: f ( xy, ) Eşleme (Dönüştürme) Nicemleme Sembol Kodlama Kanal Eşleyicinin çıkışınındaki verinin verimliliğini, önceden belirlenmiş belirli kurallar çerçevesinde düşürür. Geri dönüşümü yoktur. Bu nedenle kayıpsız sıkıştırmada ihmal edilmelidir. Sembol Kodlama: f ( xy, ) Eşleme (Dönüştürme) Nicemleme Sembol Kodlama Kanal Nicemleyici çıkışındaki veriyi sabit veya değişken uzunluklu kodlar. 16 Mart

235 İmge Sıkıştırma - JPEG JPEG (Joint Photographic Experts Group ): 1992 yılında uluslararası standart olarak belirlendi ve 1994 yılında bu standard ISO olarak onaylandı. Kodlayıcı, kod çözücü ve dosya yapısını standartlaştırmaktadır. Genellikle kayıplı sıkıştırma tekniği olarak bilinir fakat kayıpsiz sıkıştırma yapan temel JPEG de vardır. Kayıpsız sıkıştırma yöntemlerinin veri sıkıştırma oranları düşüktür (Huffmann, LZW, Aritmetik kodlama ). JPEG de ise yüksek sıkıştırma oranları elde edilebilir. Dönüşüm kodlama kullanılır. 16 Mart

236 İmge Sıkıştırma - JPEG JPEG Kodlama Aşamaları: RGB YCbCr dönüşümü ile ışıklılık ve renk bileşenleri ayrılır. Işıklılık bileşeni korunur ve renk bileşenlerinin sayısı yarıya indirilir (insan gözü ışığa, renkten daha fazla duyarlıdır). İmge 8x8 lik bloklara ayrılır ve her bir bloğa Ayrık Kosinüs Dönüşümü (Discrete Cosine Transform-DCT) uygulanarak frekans dönüşümü yapılır. Frekans bileşenleri nicemlenerek veri boyutunda azaltma sağlanır. Nicemleme temel olarak düşük frekans bileşenlerini yüksek oranda, yüksek frekans bileşenlerini düşük oranda koruyan yapıdadır. Her bir 8x8 blok için elde edilen nicemlenmiş frekans verisi kayıpsız olarak sıkıştırılır. 16 Mart

237 İmge Sıkıştırma - JPEG Kodlayıcı Yapısı: 16 Mart

238 İmge Sıkıştırma - DCT JPEG de blokların 8x8 olmasının nedeni, tümdevre teknolojisi ile kullanılmasının daha kolay olmasındandır (2 3 ). Tek bir işlem süresinde alınan bir blok kolaylıkla işlenebilir. JPEG de ayrık kosinüs dönüşümü (Discrete Cosine Transform-DCT) kullanılmaktadır. Fourier dönüşümünde sinüs ve kosinüs bileşenleri kullanılırken, ayrık kosinüs dönüşümünde yalnızca kosinüs bileşenleri kullanılmaktadır. Yani, işaret kosinüs bileşenleri ile ifade edilmekte ve karmaşık uzaya geçilmemektedir. 16 Mart

239 İmge Sıkıştırma - DCT 8x8 DCT temel fonksiyonlar: DC Ters DCT (IDCT): HF 16 Mart

240 İmge Sıkıştırma - DCT Avantajı: Enerji yoğunluğu 16 Mart

241 İmge Sıkıştırma - DCT Avantajı (Örnek): 16 Mart

242 İmge Sıkıştırma - DCT 8x8 bir imge bloğunun DCT sini alma: (-128) DC bilgisi (DCT) 16 Mart

243 İmge Sıkıştırma - DCT DCT katsayılarının nicemlenmesi: Nicemleme tablosu F(u,v) 8 q(u,v) 8 Nicemleme matrisi DCT katsayıları 8 DCT blok 16 Mart Nicemleme matrisi Nicemlenmiş blok

244 İmge Sıkıştırma - DCT DCT katsayılarının nicemlenmesi: Düşük sıkıştırma oranı, yüksek kalite Yüksek sıkıştırma oranı, düşük kalite 16 Mart

245 İmge Sıkıştırma Entropi Kodlama Zig-zag tarama: Mart

246 İmge Sıkıştırma Entropi Kodlama Bloğu sonlandırma: EOB Mart

247 İmge Sıkıştırma Entropi Kodlama Blokların DC katsayıları büyük ve değişkendir fakat yanındaki bloğun DC değerine yakındır (ilişki yüksektir). Bloklar için DC değerlerin farkları, Farksal Darbe Kod Modülasyonu (Differential Phase Code Modulation-DPCM) ile kodlanır. Zig zag tarama sonrası oluşan veride çok sayıda sıfır bulunabilmektedir (Bu sıfırlar yüksek frekans bileşenlerini içermekteydi). Bu verileri daha verimli kodlamak için Dizi Uzunluğu Kodlaması (Run Length Encoding-RLE) kullanılmaktadır. Örn; WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWW WWWWWWWWWWWBWWWWWWWWWWWWWW RLE sonrası: Şeklini almaktadır. 12W1B12W3B24W1B14W 16 Mart

248 İmge Sıkıştırma Entropi Kodlama Tek bir blok için kodlama ve kod çözme: 16 Mart

249 İmge Sıkıştırma Entropi Kodlama RLE ile kodlanmış dizi en son Entropi Kodlama dan geçirilerek JPEG dosyası oluşturulur. Entropi kodlamada: Aritmetik Kodlama Huffman Kodlama kullanılır. 16 Mart

250 İmge Sıkıştırma - JPEG 10:1 sıkıştırma oranı orijinal imge 16 Mart :1 sıkıştırma oranı

251 İmge Sıkıştırma - JPEG %100 kalite, 83 kbayt %25 kalite, 9.5 kbayt 16 Mart %10 kalite, 4.8 kbayt %1 kalite 1.5 kbayt

252 İmge Sıkıştırma Kalite Ölçütü Kalite Ölçütü: Sıkıştırılmış imgenin orjinaline ne kadar benzer olduğunu bulmak için genelde kullanılan metrik RMS (root mean square) dir. Hata: Toplam hata: (, ) = ˆ (, ) (, ) exy f xy f xy M 1N 1 x= 0 y= 0 ( ) ( ) e= f ˆ xy, f xy, İşaret bağımlı Toplam ortalama karesel hatanın karekökü (RMS): M 1N 1 1 e ˆ RMS = f xy, f xy, MN x= 0 y= 0 ( ) ( ) 2 1/2 16 Mart

253 İmge Sıkıştırma SNR (Signal to Noise Ratio): SNR RMS M 1N 1 ( xy, ) x= 0 y= 0 = M 1N 1 2 x= 0 y= 0 f ( ) ( ) fˆ xy, f xy, 2 1/2 PSNR (Peak Signal to Noise Ratio): PSNR MAX I 20 log = 10 erms 16 Mart

254 İMGE İŞLEME Ders-10 İmge Sıkıştırma-2 (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: Hazırlayan: M. Kemal GÜLLÜ

255 İmge Sıkıştırma-JPEG2000 JPEG2000 JPEG e alternatif olarak geliştirilen yeni imge sıkıştırma standardıdır. Aynı anda kayıplı ve kayıpsız sıkıştırmaya olanak sağlar. 64Mp den büyük imgeleri sıkıştırabilmektedir. Düşük bit hızlarında, JPEG e göre çok daha iyi sonuçlar vermektedir. İkili imgelerdeki sıkıştırma kalitesi arttırılmaktadır. Bölgesel (ROI) kodlama sağlamaktadır. İletim hattında bozulmalardan daha az etkilenmektedir. İmge içerisine bilgi saklama mümkündür. Ayrık dalgacık dönüşümünü (discrete wavelet transform) kullanmaktadır. 16 Mart

256 İmge Sıkıştırma - 2B DWT Ayrık Dalgacık Dönüşümü İşaretin farklı ölçeklerde ve farklı çözünürlüklerde ayrıştırılmasına olanak sağlar. 2-Boyutlu ayrık dalgacık dönüşümü (Discrete Wavelet Transform-DWT), imgeyi farklı çözünürlük seviyelerinde dört bileşenin toplamı olarak açar. Dalgacık dönüşüm işlemi satır ve sütunlar için ayrı ayrı 1-boyutlu olarak ayrıştırılabilirdir. 1-B alçak geçiren süzgeç ve yüksek geçiren süzgeç çiftinden oluşmaktadır. 16 Mart

257 İmge Sıkıştırma 2B DWT 16 Mart

258 İmge Sıkıştırma - 2B DWT 16 Mart

260 İmge Sıkıştırma - 2B DWT 32 örnekli bir işaret için Level Frequencies Samples 3 0 to f n / 8 4 f n / 8 to f n / f n / 4 to f n / f n / 2 to f n Mart seviyeli 2-B dalgacık ayrıştırma