EGE ÜN VERS TES FEN B L MLER ENST TÜSÜ (YÜKSEK L SANS TEZ ) VES KALIK FOTO RAFLARIN SINIFLANDIRILMASI Ç N ÖZELL K ÖLÇÜTLER ÜZER NE KIYASLAMALI B R ÇALI MA Snem ASLAN Uluslararası Blgsayar Anablm Dalı Blm Dalı Kodu : 619.02.04 Sunu Tarh : 08.08.2007 Tez Danı manı : Prof. Dr. Turhan Tunalı BORNOVA - ZM R
Snem ASLAN tarafından YÜKSEK L SANS TEZ olarak sunulan Veskalık Foto rafların Sınıflandırılması çn Özellk Ölçütler Üzerne Kıyaslamalı Br Çalı ma ba lıklı bu çalı ma E.Ü. Fen Blmler Ensttüsü E tm ve Ö retm Yönerges nn lgl hükümler uyarınca tarafımızdan de erlendrlerek savunmaya de er bulunmu ve 08.08.2007 tarhnde yapılan tez savunma sınavında aday oybrl /oyçoklu u le ba arılı bulunmu tur. III Jür Üyeler: mza: Jür Ba kanı : Prof. Dr. Turhan Tunalı... Raportör Üye: Yrd. Doç. Dr. Cengz Güngör... Üye : Yrd. Doç. Dr. Ayln Kantarcı...
V ÖZET VES KALIK FOTO RAFLARIN SINIFLANDIRILMASI Ç N ÖZELL K ÖLÇÜTLER ÜZER NE KIYASLAMALI B R ÇALI MA ASLAN, Snem Yüksek Lsans Tez, Uluslararası Blgsayar Ensttüsü Tez Yönetcs: Prof. Dr. Turhan TUNALI A ustos 2007, 96 sayfa Günümüzde, özellkle nternet kullanımının yaygınla ması le, gen boyuttak çokluortam vertabanlarının etkl br eklde yönetlmes önem kazanmı tır. Bu sebeple, etkl br çokluortam yönetm çn çe tl, çokluortam verlernden özntelk çıkartma, vertabanı ndeksleme ve çokluortam vers sınıflandırma uygulamaları gel trlm tr. Bu tez çalı masında, lteratürde yüz tanıma problemnn çözümü çn kullanımına sıkça yer verlm olan Ba lıca Ble enler Çözümlemes ve Do rusal Ayrı tırma Çözümlemes özntelk çıkartma yöntemler, etkn br ndeksleme yapısı kullanan MUVIS çoklu ortam ndeksleme sstemne entegre edlm ve veskalık foto raflardan olu an br resm vertabanı üzernde bu yöntemler le, MUVIS sstemnde mevcut olan Gabor Fltres özntelk çıkartma yöntemnn sınıflandırma performansı kar ıla tırılmı tır. Anahtar sözcükler: MUVIS, Ba lıca Ble enler Çözümlemes, Do rusal Ayrı tırma Çözümlemes, Hyerar k Hücresel A aç, yüz resmlernn sınıflandırılması
VII ABSTRACT A COMPARATIVE STUDY OF FEATURE METRICS FOR CLASSIFICATION OF HUMAN PASSPORT PHOTOS ASLAN, Snem MSc. n Internatonal Computer Insttute Supervsor: Prof. Dr. Turhan TUNALI August 2007, 96 pages Due to wdespread use of the Internet, effcent management of multmeda databases has attracted many researchers. Varety of technques ncludng database ndexng, classfcaton and feature extracton are developed. In ths thess, Prncpal Component Analyss (PCA) and Lnear Dscrmnant Analyss (LDA) methods that have been wdely used for face recognton problem n lterature, are ntegrated to MUVIS, a multmeda ndexng and classfcaton system wth an effectve ndexng structure. PCA and LDA are ntegrated nto MUVIS and ther classfcaton performance on a human passport photo database s compared wth that of Gabor Flter that already exsts n MUVIS. Keywords: MUVIS, Prncpal Component Analyss, Lnear Dscrmnant Analyss, Herarchcal Cellular Tree, classfcaton of face photographs
VIII
IX TE EKKÜR Tez çalı mamın, engn akademk tecrübes ve yönlendrmeler le ekllenmesn ve zengnle mesn sa layan saygıde er hocam Prof. Dr. Turhan Tunalı ya, özvers, katkıları ve bu çalı ma le akademk hayata br adım atmamı sa ladı ı çn çok te ekkür ederm. Tez çalı mam sırasında, MUVIS sstem le lgl sorularımı cevapsız bırakmayan MUVIS takımı üyes Sayın Serkan Kıranyaz a, takıldı ım ve çıkı noktası göremed m durumlarda, bana yen tavsyelerde bulunarak fkr veren ve lerlememe yardım eden Sayın Yard. Doç. Dr. Muhammed Cnsdkc ye te ekkürü br borç blrm. Zor anlarımda deste n esrgemeyen sevgl mesa arkada larıma ve kız karde me te ekkürlerm sunarım. Bu çalı mayı, her türlü özvery göstererek bana güzel br çalı ma ortamı sa layan sevgl annem ve babama adıyorum.
X
XI Ç NDEK LER Sayfa ÖZET... V ABSTRACT...VII TE EKKÜR... IX Ç NDEK LER... XI EK LLER D Z N... XIII Ç ZELGELER D Z N...XV KISALTMALAR... XVI 1 G R... 1 2 LG L ÇALI MALAR... 4 2.1 MUVIS... 4 2.2 Yüz Tanıma... 5 2.2.1 Bütünsel-tabanlı yöntemler... 6 2.2.1.1 Renk hstogramları:... 6 2.2.1.2 Ba lıca Ble enler Çözümlemes (BBÇ ):... 9 2.2.1.3 Do rusal Ayrı tırma Çözümlemes (DAÇ):... 12 2.2.2 Özell e-dayalı yöntemler... 15 2.2.2.1 Gabor fltres:... 15 2.2.3 Karma yöntemler... 17 2.3 ndeksleme ve Sınıflandırma... 18 2.3.1 Uzaysal Er m Yöntemler (UEY)... 18 2.3.2 Metrksel Er m Yöntemler (MEY)... 19 2.3.3 Hyerar k Hücresel A aç (HHA)... 22 2.3.3.1 Hücre yapısı:... 22 2.3.3.2 Sevye yapısı:... 24 2.3.3.3 HHA lemler:... 26 2.3.3.4 HHA ndeksleme:... 27 3 MUVIS LE YÜZ TANIMA... 31 3.1 Ba lıca Ble enler Çözümlemes... 31 3.1.1 Yöntem... 31 3.1.2 Özyüz uzayının MUVIS de kullanımı... 35 3.2 Do rusal Ayrı tırma Çözümlemes... 37 3.2.1 Yöntem... 37 3.2.2 Ayrı tırma uzayının MUVIS de kullanımı... 39 4 PERFORMANS ÖLÇÜTLER... 40
XII 4.1 Kullanılan Yüz Resmler Vertabanı...40 4.2 Kullanılan HHA Parametre De erler...41 4.3 Her Hücredek K Yo unlu u Test...42 4.4 9+1 Test...43 4.5 Br K ye At Resmlern Hücrelere Da ılımı...44 4.6 Kırkar Resmlk On Devr Test...45 4.7 Sınıflandırma Ba arımı Test...47 4.8 BBÇ Duyarlık Test...48 5 TEST SONUÇLARI...53 5.1 Hücrelerdek K Yo unlu u Test...53 5.2 9+1Test...55 5.3 Br K nn Resm Da ılımı...59 5.4 Kırkar Resmlk On Devr Test...62 5.5 Sınıflandırma Ba arımı Test...71 6 SONUÇ...74 KAYNAKLAR D Z N...77 EKLER...83 Ek 1 MUVIS...84 Temel MUVIS Uygulamaları...84 DbsEdtor...85 MBrowser...86 MUVIS de Görsel Özntelk Çıkarımı...87 FeX skelet...88 FeX ver yapıları...89 Modüllerdek kullanıcı arayüzü fonksyonları...89 MUVIS de özntelk çıkartma lemler...90 Resm özntelk dosya formatı...92 Ek 2 Türkçe - nglzce Termler Sözlü ü...94 ÖZGEÇM...96
XIII EK LLER D Z N Sayfa ekl 2.1 Yüz resmnden yüz vektörü olu turma... 9 ekl 2.2 Yüz uzayı... 10 ekl 2.3 Boyut Küçültme... 11 ekl 2.4 Alt uzaya yansıma... 12 ekl 2.5 M-A aç durumları... 21 ekl 2.6 HHA Sevye yapısı... 24 ekl 2.7 ve C hücrelerne brle trme lem uygulanması... 29 C1 2 ekl 4.1 Kullanılan yüz resmler vertabanından br kest... 41 ekl 4.2 Örnek her hücredek k yo unlu u test sonucu... 42 ekl 4.3 Örnek 9+1 test sonucu... 43 ekl 4.4 Örnek k ye at resmlern hücrelere da ılımı test sonucu... 44 ekl 4.5 Örnek kırkar resmlk on devr test graf... 46 ekl 4.6 Örnek sınıflandırma ba arımı test graf... 48 ekl 4.7 Grd Resm... 49 ekl 4.8 Özuzay olu turulurken kullanılan vertabanındak resm sayısı: 400, kullanılan özvektör sayısı: 400... 49 ekl 4.9 Özuzay olu turulurken (a) kullanılan vertabanındak resm sayısı 10, kullanılan özvektör sayısı: 10, (b) kullanılan vertabanındak resm sayısı: 400, kullanılan özvektör sayısı: 10... 50
XIV ekl 4.10 Özuzay olu turulurken (a) kullanılan vertabanındak resm sayısı 80, kullanılan özvektör sayısı: 80, (b) kullanılan vertabanındak resm sayısı: 400, kullanılan özvektör sayısı: 80...50 ekl 4.11 Özuzay olu turulurken (a) kullanılan vertabanındak resm sayısı 120, kullanılan özvektör sayısı: 120, (b) kullanılan vertabanındak resm sayısı: 400, kullanılan özvektör sayısı: 120...51 ekl 4.12 Özuzay olu turulurken (a) kullanılan vertabanındak resm sayısı 240, kullanılan özvektör sayısı: 240, (b) kullanılan vertabanındak resm sayısı: 400, kullanılan özvektör sayısı:240...51 ekl 5.1 Her hücredek k yo unlu u test sonucu...54 ekl 5.2 9+1 Test sonucu (a) 120 Özvektörlük yüz uzayı kullanan BBÇ, (b) Gabor fltres, (c) 240 Özvektörlük yüz uzayı kullanan BBÇ, (d)daç...57 ekl 5.3 9+1 Ara A amaları...59 ekl 5.4 Br K ye At Resmlern Hücrelere Da ılımı Test Sonucu (a) 52 nn üzernde de erler alan noktaları da çeren graf n genel görüntüsü, (b) 52 nn altındak de erler çn yakınla tırılmı (a) graf 61 ekl 5.5 Kırkar Resmlk On Devr Test Sonucu...70 ekl 5.6 Sınıflandırma Ba arımı Test Sonucu...73 Ek 1 ekl 1 MUVIS skeletnn genel yapısı...84 Ek 1 ekl 2 MUVIS DbsEdtor Uygulaması...85 Ek 1 ekl 3 MUVIS Mbrowser Uygulaması...86 Ek 1 ekl 4 MUVIS uygulamaları le FeX modül etkle m...88
XV Ç ZELGELER D Z N Sayfa Tablo 4.1 HHA olu tururken kullanılan parametreler... 42 Tablo 5.1 Özntelk Çıkartma Yöntemler çn Sınıflandırma Ba arımı Test Sonuçları... 72 Ek 1 Tablo 1.Örnek resm özntelk dosyası formatı... 93
XVI KISALTMALAR BBÇ DAÇ EB-Çekrdek FAÇ HHA MEY MÖA TUT UEY : Ba lıca Ble enler Çözümlemes : Do rusal Ayrı tırma Çözümlemes : En Benzer Çekrdek : Fsher Ayrı tırma Çözümlemes : Hyerar k Hücresel A aç : Metrksel Er m Yöntemler : Mnmum Örten A aç : Tampere Unversty of Technology : Uzaysal Er m Yöntemler
1 1 G R Günümüzde özellkle nternet kullanımının yaygınla masından sonra fazla mktardak çoklu ortam versnn kullanımının kolayla tırılmasına ve dolayısıyla çoklu ortam vertabanlarının etkl br eklde ndekslenmes ve saklanmasına olan htyaç artmı tır. Bu yüzden, akademk çevrelerce çe tl çalı malar yapılarak, bu probleme çözüm aranmı tır. ndeksleme üzerne gerçekle trlm olan bu çalı malar uzaysal ve metrksel er m tabanlı olmak üzere kye ayrılablr. Uzaysal er m tabanlı yöntemler, nesnelern temsller olan ekller çok boyutlu uzayda etkl br eklde saklamayı amaçlarken, metrksel ndeksleme yöntemler ndeksleme çn metrk özellkler gösteren benzerlk uzaklı ı fonksyonuna gereksnm duydu u çn bu metr n hesaplanma süresn kısaltarak etknl arttırmayı amaçlar. Bu tez çalı masında kullanılan, MUVIS (TUT Muvs Xt Projes, nternet er m) takımı tarafından gel trlen, br metrksel er m yöntem olan Hyerar k Hücresel A aç (HHA), dnamk, hücre tabanlı ve hyerar k olarak tasarlanmı olan br ndeksleme yöntem olmakla brlkte, etkl br sınıflandırma mkanı sunmaktadır. Bununla brlkte, vertabanı elemanlarına uygulanması stenen herhang br çoklu ortam özntelk çıkartma yöntem, MUVIS n DbsEdtor adlı modülüne entegre edlerek kullanılablmektedr. MUVIS sstemnn sahp oldu u bu özellk, onu çe tl özntelk çıkartma yöntemlernn çalı tırılarak, sınıflandırma üzerndek etksnn gözleneblece mükemmel br skelet sstem halne getrmektedr. Bu sebeple, bu tez çalı masında, çe tl özntelk çıkartma yöntemlernn sınıflandırma üzerne etks ara tırılırken bu sstem terch edlm tr. Bu sstemn üzernde sınıflandırma etks ncelenen resm çe d se yüz resmler olmu tur. Br k ye at yüz özellkler onu d erlernden farklı ve e sz kılan öneml ayırt edc özellklernden brsdr ve bu sebeple özellkle güvenlk alanında olmak üzere yüz tanıma uygulamalarının kullanımı son yıllarda oldukça yaygınla mı tır. Kullanılan yüz tanıma uygulamalarına verleblecek olan br örnek, güvenlk merkezlernde suçlu tanıma sstemlernde, daha önceden suç scl bulunan k lern yüz kaydı tutuldu unda, suç leme sonucu yakalanan br k nn yüz resm çeklerek bu kayıtlar arasında yer alıp
2 almadı ı ara tırılarak o k ye at suç sclne ula ılması olablr. Bu senaryoda, suçlu tanıma sstemnde kayıtlı olan suçlulara at yüz resmlernn etkl br eklde saklanması htyacı, özellkle resm sayısı arttıkça fazlala ır. Bu probleme br çözüm, bell formattak yüz resmlernden olu an vertabanından etkl yöntemler le yüzün karakterstk özellklern ta ıyan özntelk vektörler çıkartılarak, bu resmlern etkl br yöntemle ndekslenmesn sa lamak olablr. Bu ndeksleme sonucunda, br k ye at tüm resmler aynı ortamda toparlanablrse, sonrak aramalarda o k nn tüm resmlerne ula ım daha kolay ve masrafsız olacaktır. Bu tez çalı masında, bu senaryodan yola çıkılarak, pasaport foto rafı formatında resmler çeren br vertabanındak yüz resmlernn etkl br eklde sınıflandırılması amaçlanmaktadır. MUVIS takımının daha önce gerçekle trm oldu u resmlerden Gabor fltres le özntelk çıkartma yöntem, lteratürde yüz tanıma problem üzerne yapılan çalı malarda sıkça yer almaktadır. Bu çalı mada, yüz tanıma problem çn yaygın br eklde kullanılmı olan d er k yöntem olan Ba lıca Ble enler Çözümlemes (BBÇ) ve Do rusal Ayrı tırma Çözümlemes (DAÇ), MUVIS sstemne entegre edlerek Gabor fltresnn sınıflandırma ba arımı üzerne çıkmak hedeflenm tr. Buna ek olarak, yüz resmler üzernde çalı ılırken kullanılan özntelk çıkartma yöntemlernn sınıflandırma üzerndek etksn ortaya koyan çe tl performans ölçütler gel trlm tr. Bu ölçütler le, lgl özntelk çıkartma yöntem kullanılarak HHA le gerçekle trlen ndekslemeden sonra olu an a acın, br hücresnde br k ye at resmlern bulunma yo unlu unu ortaya koymak amaçlanmaktadır. Bölüm 2 de öncelkle, lteratürde yüz tanıma problem çn gerçekle trlm ba lıca yöntemler hakkında blg verlerek, kullanılmı olan temel kavramlar açıklanacaktır. Bunun sonrasında, çoklu ortam ndeksleme üzerne gerçekle trlm olan çalı malar tanıtılarak, bu tez çalı masında kullanılmı olan ndeksleme yöntem hakkında detaylı blg verlecektr. Bölüm 3 de tez kapsamı dahlnde gerçekle trlm olan çalı malar açıklanacaktır. Bu bölümde uygulanan özntelk çıkartma yöntemlernn algortmk detaylarına yer verlecektr. Bölüm 4 de sınıflandırma ba arımını ortaya koymak üzere gel trlm olan performans ölçütler örnek test sonuçları ve yorumlarına yer verlerek tanıtılacaktır.
Son olarak Bölüm 5 de, sonuç ve tartı ma yer alacak ve bu tezde elde edlen sonuçlar kullanılarak bundan sonra yapılablecek çalı malar önerlecektr. 3
4 2 LG L ÇALI MALAR Bu bölümde, bu tez çalı masında kullanılan çoklu-ortam ndeksleme ve er m sstem olan MUVIS tanıtılarak, bu platformda gerçekle trlm olup yüz resmler vertabanına uygulanablecek olan resm özntelk çıkartma yöntemler le lteratürde yer alan yüz tanıma yöntemler hakkında blg verlm tr. Yüz tanıma problemnn çözümüne yönelk yöntemler le lgl blg verldkten sonra, çok sayıda yüz resmnden olu an vertabanında resmlere etkn br eklde er m mkanı sa layablecek ndeksleme yöntemler açıklanarak, bu çalı mada kullanılmı olan sstemn sahp oldu u ndeksleme yapısı ayrıntılı br eklde ncelenecektr. 2.1 MUVIS MUVIS, 90lı yılların sonlarında, Tampere Teknoloj Ünverstesnde, gen resm vertabanlarının, renk, doku ve ekl gb görsel ve anlamsal özntelkler kullanarak ndekslenmesn ve er mn sa layan br Java uygulaması olarak gel trlm tr (Kranyaz, 2005). Ba langıçta gel trlm olan bu sstem temel alınarak, ses/vdeo klpler ve resmlern yakalanması, kaydedlmes, farklı özntelkler le ndekslenmes, sorgu yoluyla ve vertabanı taranarak er lmes gb eklentler le daha gen kullanımlı yen br uygulama çatısı elde edlm tr. MUVIS, özntelk (feature) çıkarma algortmalarının entegre edlerek ssteme kazandırılmasını sa lar ve böylece yen özntelk çıkarma yöntemlernn gel trlmes ve test edlmes çn br deneme platformuna sahp olunur. Etkn br çoklu-ortam ndeskleme yöntem kullanan MUVIS n yen özntelk yöntemler kullanmada sa ladı ı bu kolaylık tez çalı masında bu sstem terch etmemze sebep olmu tur. Bu uygulama platformu, Wndows letm sstem çn tasarlanmı olan üç temel uygulama çermektedr (Kranyaz, 2005): AVDatabase: Gerçek zamanlı vdeo / ses vertabanı yaratıcısı DbsEdtor: Vertabanı düzenleme uygulaması
5 MBrowser: Er m ve tarama uygulaması Bu tez çalı masında, DbsEdtor ve MBrowser modüller kullanılmı tır. MUVIS modüllernn genel yapısı ve MUVIS e özntelk çıkartma yöntemlern ekleme lemlernn ayrıntıları EK 1 de verlm tr 2.2 Yüz Tanıma K nn sahp oldu u yüz özellkler, onu d erlernden farklı ve e sz kılan çok öneml ayırd edc özellklernden brsdr. Bu sebeple, ba langıçta asker uygulamalarda, k nn kml nde olu ablecek üpheler tamamen ortadan kaldırmak çn kullanılan yüz tanıma teknolojler, günümüzde güvenl n önemnn hızla artması dolayısıyla gen kullanım alanı bulacak teknolojlerden br olacaktır. Yüz tanıma uygulamaları, güvenlk tedbrlernn sa lanmak stend br ortamda alınan vdeo görüntülerndek nsan yüzlernn otomatk olarak algılanması ve takp edlmes eklnde gerçekle trleblece gb, boyutu gttkçe artacak br vertabanında belrl artlarda çeklm pasaport foto rafı formatındak nsan yüzü foto raflarının, benzer formata getrlm lgl yüz foto rafları le kar ıla tırılması eklnde de gerçekle trleblmektedr. Br otomatk yüz tanıma sstem, yukarıda bahsedlen uygulama alanlarında kullanılırken, foto raftak yüz bölgesnn tespt edlmes, ı ıklandırma farklılıklarından veya gürültüden kaynaklanan yanılmaları engellemeye yönelk ön lemler ve sonuçta elde edlen yüz bölges le kmlk tespt yapma olmak üzere üç temel lem gerçekle trr (Hesher, 2003). Bu tez çalı masında, yüz bölgeler çıkartılmı foto raflar kullanılaca ı çn lk lem üzernde durulmamı tır. Bahsedlen üçüncü lemn gerçekle trlmes a amasında yüz resmlernden bazı yöntemler le yüz bölgesnn karakterstk özellklern fade eden özntelkler çıkarılmaktadır ve yüz resmler arasındak benzerlk ara tırması yapılırken bu özntelkler kullanılmaktadır.
6 Herhang br resm vertabanının elemanlarından çıkartılan özntelkler, genel özntelkler ve alana özel özntelkler olarak k sınıfa ayrılablr (Ru, Huang ve Chang, 1999). Genel özntelkler, renk, doku ve ekl özntelklern kapsarken, alana özel özntelkler nsan yüzler ve parmak zler tanıma gb uygulama-ba ımlıdır. Ayrıca, br Otomatk Yüz Tanıma (Automatc Face Recognton) sstemnn en öneml ble enlernden brs olan yüz bölgesnden özntelkler çıkarılması lem üzernde çalı ılırken üç temel yakla ım kullanılmaktadır (Zhao et al., 2003):. Bütünsel-tabanlı (Holstc-based) Yöntemler. Özell e Dayalı (Feature-based) Yöntemler. Karma (Hybrd) Yöntemler Bu bölümde yüz bölges çıkartılmı resmlerden, resm ndekslemeye ve yüz tanımaya temel olu turacak olan genel ve alana özel özntelk çıkarma yöntemler, yukarıdak üç temel yakla ım esas alınarak açıklanacaktır. 2.2.1 Bütünsel-tabanlı yöntemler Bu tp yöntemler kullanılırken, br yüz tanıma sstemne, yüz bölges blgsnn tamamı br vektör halne getrlerek verlr. Bu bölümde yüz tanımada kullanılan ba lıca bütünsel-tabanlı yöntemler hakkında blg verlecektr. 2.2.1.1 Renk hstogramları: Renk hstogramları, olu turulması ve kullanımı bast br yöntem oldu u çn resm tanımada sıkça kullanılmı tır. Yüz tanımada se renk hstogramları genellkle, ba ka tpdek özntelkler le brlkte, do rulu u gel trmek amacıyla kullanılmaktadır (Marcel ve Bengo, 2002 ), (Nastar ve Mtschke, 1998).
En sık kullanılan renk özntel gösterm yöntem renk hstogramlarıdır. Br M resmndek renkler n adet renk çeren ayrık renk uzayına e lersek, H(M) renk hstogramı, her h c j elemanı, M resmndek c j rengnn pksel sayısını belrten ( h c, hc,..., hc ) vektöründen olu ur. M 1 2 n resmnn N pksel ta ıdı ını dü ünürsek n hc N olur. 1 Renk ndeksleme üzerne yapılan lk çalı malarda -metr kullanılmaktaydı (Swan ve Ballard, 1991). H ve I renk hstogramları arasındak uzaklı ı (2.1) dek gb tanımlanmaktadır. L 1 n L1 1 d ( H, I ) h ( 2.1) c c Bu metrk le, brbrne benzer renk hstogramlarına sahp olan tüm resmlere ula ılamıyordu, çünkü bu metrk bölmeler (bn) arasındak renk benzerl n dkkate almıyordu. L 1 7 (Nblack ve Barber, 1993) tarafından 1993 de gel trlen metr renk hstogramlarında bulunan bnler arasındak renk benzerl n dkkate almaktadır. Bu metrk Ökld Uzaklı ı (Eucldean Dstance) olarak da blnr ve (2.2) dek gb fade edlr. n 2 d L ( H, I) ( ) 21 hd l dl (2.2) l 1 Ço u renk hstogramının da ınık yapılı ve dolayısıyla gürültüye kar ı oldukça hassas olması üzerne (Strcker ve Orengo,1995) tarafından kümülatf renk hstogramları kullanılması önerlm tr. Br M resmnn ~ ~ ~ ~ kümülatf renk hstogramı olan H ( M ) hc, hc,..., h 1 2 c n, H(M) termler cnsnden (2.3) dek gb tanımlanır. h ~ c h c j cl c j l L 2 (2.3) Bu hstogramlar arasındak benzerlk (2.4), (2.5) ve (2.6) dan brs kullanılarak belrlenmektedr (Strcker ve Orengo,1995):
8 d L1 ~ ( H, I ~ ) n j 1 ~ h c j ~ c j (2.4) n L ( H, I ) 2 j 1 2 ~ ~ ~ ~ d ( h ) (2.5) d L c j ~ ~ ( H, I ~ ) maks h c j ~ c 1 j c j n j (2.6) Kümülatf renk hstogramları kullanmak do rulu u arttırmı tır, fakat bunlar çok büyük boyutlu vektörler oldukları çn bellek htyacı artmı ve er m hızı yava lamı tır. Kümülatf renk hstogramları, momentler le temsl edl nde malyet sorunu çözülür. j. resm pkselndek. renk kanalının de er p j olmak üzere, (Strcker ve Orengo,1995) bu amaç çn (2.7), (2.8) ve (2.9) le gösterlen hstogram özellklernn kullanılablece n belrtm tr: Brnc Moment: Resmn ortalama reng E 1 N p j N j 1 (2.7) knc Moment: Her kanalın varyansı N 1 2 ( ( p E ) 2 ) 1/ (2.8) N j 1 j Üçüncü Moment: Her kanalın çarpıklı ı (skewness) 1 N 3 1/3 s ( ( pj E ) ) (2.9) N j 1 1 l, k 3 ken w kl 0 kullanıcının belrled a ırlık katsayıları olmak üzere r renk kanalına sahp, sırayla E ve F brnc moment,
ve knc moment, s ve t üçüncü moment olan k resmn H ve I renk da ılımları arasındak benzerlk (2.10) dak gb tanımlanablr (Strcker ve Orengo,1995): 9 d mom r ( H, I) w 1 E F w 2 w 3 s t 1 (2.10) 2.2.1.2 Ba lıca Ble enler Çözümlemes (BBÇ ): Yüz resmlernn küçük-boyutlu uzayda karakterze edlmes fkr lk olarak (Srovch ve Krby, 1987) tarafından önerlm tr. Daha sonra (Turk ve Pentland, 1991), Karhunen-Loéve veya statstkte Ba lıca Ble enler Çözümlemes (Prncpal Component Analyss) olarak da blnen özuzay yansıması kullanarak br yüz tanıma çalı ması gerçekle trm tr. Gen l g, uzunlu u u olan br yüz resm, ble en sayısı g u olan br vektör eklnde fade edleblmektedr. Resmn her pksel de er, vektörün br ble en le gösterlmektedr. Bu vektör olu turulurken ekl 2.1 de gösterlen yöntem zlenr. Yüz resmnn her satır pksel blgs brbr ardına eklenerek lgl vektör elde edlm olur. ekl 2.1 Yüz resmnden yüz vektörü olu turma Elde edlen bu yüz vektörü, g u pksel büyüklü ündek tüm resmlern yer aldı ı resm uzayına (mage space) attr. Tüm yüz resmlerndek göz, a ız, burun sayısının e t olması ve bu özellklern
10 benzer yerlerde yer alması sebebyle tüm yüz vektörler bu resm uzayında ekl 2.2 de gösterld gb çok küçük br bölgey gal eder. ekl 2.2 Yüz uzayı Bu sebeple, yüz tanımlanırken resm uzayının tamamını kullanmak yerne, yüzler daha y tanımlayablen br alt uzay kullanmak daha uygun olur. te bu alt uzaya yüz uzayı (face space) ve bu uzayın sahp oldu u temel vektörlere ba lıca ble enler adı verlmektedr. Yüz uzayının boyutu, resm uzayınınknden çok daha küçüktür. BBÇ nn amacı, br kümenn veya uzayın boyutunu, yen eksenlern kümenn modeln daha y tanımlamasını sa layacak eklde küçültmektr. Burada küme modeln, vertabanında blgsne önceden sahp olunan e tm kümes resmler olu turmaktadır ve yüz uzayının eksenler veya özvektörler ortogonal ve ver noktaları arasındak de m maksmze edecek eklde olacaktır.
11 1 2 2 1 1 ekl 2.3 Boyut Küçültme Örne n ekl 2.3 dek brnc ba lıca ble en, k ver grubunun bu do ru çevresnde brbryle l ksn göstermektedr. knc ba lıca ble en, ver noktaları arasındak daha az öneme sahp de mn yönünü ortaya koymaktadır. Özvektörler olu turulduktan sonra özde erler büyükten küçü e olacak eklde sıralanırsa, özvektörlern very modellemedek önem sırası elde edlr ve daha az öneme sahp özvektörler kullanımdan çıkarılablr. Bu durumda, özde erler küçükse, küçük br mktar blg kaybı olur. Bazı özvektörler kullanımdan çıkarıldı ında, ver toplulu u daha az boyutla fade edlr duruma gelecektr. Bu yöntemn bu özell, resm sıkı tırmada kullanılmasına olanak sa lamı tır. Br yüz resmnn, özvektörlern olu turdu u Yüz Uzayı olarak adlandırılan alt uzaya yansıtılması o resmn en öneml özellklern ta ıyan daha küçük boyutlu br göstermnn elde edlmesn sa layacaktır. Vertabanındak her resm, olu turulan yüz uzayına yansıtıldı ında her resm çn br a ırlık vektörü elde edlr. Her resmn sahp oldu u bu a ırlık vektörü, o resmn özntelk vektörü olarak kullanılır. Br yüz resm, bu eklde bulunan kendsne at a ırlık vektörü de erleryle çarpılıp toplandı ında yenden olu turulablr. Bu durum elektrk mühendsl nn temel konularından br olan Fourer Analzne benzer. Fourer Analzne göre br snyal farklı frekanslardak snosodlern belrl a ırlıklarla çarpılıp toplanması sonucu elde edleblmektedr.
12 2.2.1.3 Do rusal Ayrı tırma Çözümlemes (DAÇ): Fsher Ayrı tırma Çözümlemes (FAÇ) olarak da adlandırılan Do rusal Ayrı tırma Çözümlemes (Lnear Dscrmnant Analyss), daha küçük boyutda yen br alt uzay olu tururken, aynı türdek ver noktalarını braraya toplayan ve farklı türdek ver noktalarını brbrnden ayıran do ruları bulmaya çalı ır (Guterrez-Osuna, nternet er m). BBÇ DAÇ ekl 2.4 Alt uzaya yansıma Br sınıfta, br k ye at farklı ı ık artlarında veya yüz mmklernde çeklm yüz resmler bulunmaktadır. Resmler N (N: resmdek pksel sayısı) boyutlu uzaydan, M - 1 (M: vertabanındak farklı sınıf sayısı) boyutlu uzaya yansıtılır. Özyüzler yöntemnden farkı, alt uzayın hesaplanma ekldr. Fsher Ayrı tırma Çözümlemes, yüz resmlernde farklı ı ık artlarında gerçekle trlm çekmlerden kaynaklanan aydınlanma farklılıklarının yüz tanıma üzerndek etksn azaltma amacıyla (Belhumeur et. al, 1997) tarafından önerlm tr. DAÇ de, sınıflar arasındak ayrı tırma analzn, Sınıflar-arası ( S ) ve Sınıf-ç ( S ) Yayılım Matrsler kullanılarak formülarze edlr. SA S Sınıf-ç Yayılım Matrs (Wthn Class Scatter Matrx), tüm sınıfların, kend ortalamaları etrafındak yayılımını göstermektedr. x br yüz vektörünü, (2.11) le formülarze edlen. sınıfın satır pksel m
n ortalamalarını çeren vektörü,. sınıftak resm sayısını, C vertabanındak sınıfları ve C. sınıfı göstermek üzere Sınıf-ç Yayılım Matrs (2.12) ve (2.13) de gösterld gb hesaplanır: 13 1 ( m x) (2.11) n x C S ( x m )( x m ) C S S S 1 T (2.12) (2.13) D er yandan, Sınıflar-arası Yayılım Matrs (Between Class Scatter Matrx), sınıf ortalamalarının, tüm vertabanı ortalaması etrafındak yayılımını göstermektedr. N sınıf sayısını ve (2.14) de verlen m vertabanındak resmlern satır pksel ortalamalarını çeren vektörü gösterecek eklde Sınıflar-arası Yayılım Matrs de (2.15) de gösterld gb hesaplanır: N 1 ( m m ) N 1 (2.14) S SA C 1 n ( m m)( m m) T (2.15) Sınıfları brbrnden ayrı tırma krtern formülle treblmek çn bu matrslern brer sayıya dönü türüleblmes gerekmektedr (Fukunaga, 1990). Bu sayı, Sınıflar-arası Yayılım Matrs büyüdükçe ve Sınıf-ç Yayılım Matrs küçüldükçe maksmum de erne ula ır ve dolayısıyla en do ru ayrı tırma blgsne sahp olunur. Bu ayrı tırma krternn hesaplanı ı üzerne çe tl çalı malar yapılmı tır. Lteratürde kullanılan ba lıca ayrı tırma krter Fsher yöntem olmu tur. Bu bölümde bu yöntem ayrıntılı br eklde ncelenecektr. Kullanılmı olan d er yöntemler hakkındak detaylı blgye, (Sebestyen, 1962) ve (Fukunaga, 1990) ncelenerek ula ılablr.
14 DAÇ le yapılmak stenen, daha önce de bahsedld gb ver noktalarından aynı sınıftakler braraya toplayan ve farklı sınıftakler brbrnden ayrı tıran alt uzayı ba ka br dey le w yansıma vektörlern bulmaktır. Sonuç olarak x yüz vektörlernn, y ayrı tırma do ruları le gösterlmesn sa layacak br W yansıma matrs bulunmak stenmektedr: y w T x Y W T X Yüz vektörler çn (2.11), (2.13), (2.14) ve (2.15) de sınıf ortalamalarının, m vertabanı ortalamasının ve S SA ve S S matrslernn nasıl hesaplanaca ı açıklanmı tı. Buna benzer eklde, hesaplanan alt uzaya yansıma lem yapıldıktan sonra elde edlen ayrı tırma do ruları çn m ~ sınıf ortalamaları, m ~ vertabanı ortalaması (2.16), (2.17) de ve yayılım matrsler (2.18) ve (2.19) de tanımlanır. m m 1 y y w N (2.16) m~ y N (2.17) C ~ S T ( y m~ )( y m~ ) (2.18) ~ S SI SA 1 y w C 1 N ( m ~ m~ )( m~ m~ ) T (2.19) ~ T (2.18) ve (2.19) da, S SI W S SIW ve S ~ tanımlanablr (Guterrez-Osuna, nternet er m). SA W T S SA W eklnde Yansıma lemnden sonra, Sınıflar-arası Yayılım Matrsnn Sınıf-ç Yayılım Matrsne oranı br sabt olamayaca ı çn, (2.20) de gösterld gb yayılım matrslernn determnantı kullanılablr.
15 ~ T S SA W S SAW J ( W ) ~ (2.20) T S W S W SI SI (2.21) dek Genelle trlm Özde er Problem (Generalzed Egenvalue Problem) çözüldü ünde elde edlen en büyük özde ere sahp özvektörler W matrsnn sütunlarını olu turmaktadır. T W S SAW arg maks ( S SA S SI ) w 0 (2.21) T W S SIW 2.2.2 Özell e-dayalı yöntemler Bu tp yöntemler kullanılırken, br yüz tanıma sstemne, gözler, burun, a ız gb yerel yüz bölgeler blgs etkl br eklde fade edlerek grd olarak verlr. Bu bölümde yüz tanımada kullanılan ba lıca özell edayalı yöntemler hakkında blg verlecektr. 2.2.2.1 Gabor fltres: 2-Boyutlu Gabor dalgacık (wavelet) gösterm üzerne önde gelen çalı malar (Daugman,1980) tarafından gerçekle trlm tr. Gabor fonksyonları le, yüz resm üzerndek göz, a ız, burun sınırları gb yüze dar öneml bölgelern yanı sıra ben, gamze, yara z gb bölgeler de güçlendrlerek ön plana çıkarılır. Dolayısıyla; bu güçlendrlm noktalar le her yüz resm çn br özellk hartası çıkartılablr ve her yüz resm kend karakterstk özellkler le temsl edlm olur. Memellern brncl görsel korteksnde bulunan hücre tepklern modelleyen Gabor dalgacıkları, μ ve v Gabor çekrdeklernn (kernel) yönünü ve büyüklü ünü,. norm lemn göstermek ve z=(x,y) olmak üzere (2.22) dek gb tanımlanır (Lu ve Wechsler, 2001).
16 2 2 2 k 2, v z k, v 2 k 2, v z 2, v ( z) e e e (2.22) 2 (2.22) dek, dalga vektörü, k k e eklnde tanımlanır. k,v, v v / 8 ve k maks maksmum frekans, f freakans uzayında çekrdekler v arasındak aralık çarpanı olmak üzere, k k / f olur. (2.22) le tüm Gabor çekrdekler, ana dalgacık olarak smlendrlen br fltreden, k,v dalga vektörü etrafında ölçeklendrlerek ve döndürülerek üretleblr. Yüz resm tanımada, Gabor dalgacıkları genellkle be farklı v {0,...,4} ölçek (scale) ve sekz farklı yön (orentatton) {0,...,7} le kullanılmaktadır. Br resmn Gabor dalgacık göstermn bulmak çn, o resmn bu Gabor çekrdekler le konvolüsyon lemnden geçrlmes gerekr. I(x, y) br resmn gr sevyel da ılımı se, z=(x, y), ve konvolüsyon v maks operatörünü göstermek üzere, I resmnn ve br konvolüsyonu (2.23) dek gb tanımlanır:, v Gabor çekrde nn O ( z) I( z),, v v z ( ) (2.23) Bu lemn çıktısı olan farklı konumda, ölçekte ve yöndek özntelkler çermektedr ve bu özntelklern heps X özntelk vektörünü elde etmek çn kullanılır. Özntelk vektörü olu turulmadan önce, uzay boyutunu azaltmak çn her ( ) br çarpanı le ( O, v z ) O, v z örneklenr. Be ölçek ve sekz yönlü gabor çekrde kullanılarak elde ( ) edlen X Gabor özntelk vektörü, T transpoz lemn göstermek üzere, (2.24) dek gb tanımlanır: ( ) ( ) T ( ) T ( ) T T ( O0,0 O0,1... O4,7 (2.24) X )
17 2.2.3 Karma yöntemler Bu yöntemler yüz tanıma problemne çözüm ararken, bütünsel yöntemler le özell e dayalı yöntemler brlkte kullanır. Bütünsel yöntemler ve özell e dayalı yöntemlern her brnden daha fazla blgye sahp olunaca ı çn, bu yöntemlern do rulu u daha yüksek olan sonuçlar vermes bekleneblr. Bu yöntemlere br örnek olarak (Pentland et al., 1994) ın gerçekle trm oldu u, özyüzler le brlkte öza ız, özgözler ve özburun gb yerel özntelkler kullanan modüler özyüzler yöntem verleblr. Bu çalı mada gerçekle trlen testlerde, küçük boyutlu uzaylarda, yerel özntelklern, özyüzlerden daha y sonuç verd görülmü tür. Bu k yüz tanıma yöntem brle trld nde se çok az br gel me elde edlm tr. Bu testler, özellk çıkarmaya dayalı yöntemlern, grd resmler arasında büyük de klkler oldu u durumlarda daha kullanı lı olaca ı sonucunu vermektedr. mdye kadar gel trlm olan otomatk yüz tanıma sstemler le kıyaslanamayacak derecede ba arılı tanıma gerçekle tren nsan beyn, yüz tanıma lemn gerçekle trrken, bütünsel ve özell e dayalı kar ıla tırma yöntemlernn her ksn brlkte kullanmaktadır. Karma yöntemlern çıkı noktası nsan beynnn bu özell n modellemek olmu tur (Zhao et al., 2003). Bütünsel kar ıla tırma tabanlı yakla ımlar tanıma lemn hızlı br eklde gerçekle trrken, bu yöntemlern sa ladı ı ayrı tırma blgs çok gen vertabanları çn yeternce zengn olmayablr ve bu yeterszlk yerel özellk yöntemler kullanılarak tamamlanablr. Ancak, bu tpte br brle k sstemn gerçekle trlmes çn önce cevaplanması gereken bazı sorular bulunmaktadır. Bunlardan lk akla gelen, bütünsel ve özell e dayalı kar ıla tırma yöntemlernn hang a ırlıklarda uygulanaca ıdır. Ayrıca özntelklern nasıl belrlenece ve nasıl kullanılaca ı konusu, üzernde ara tırma yapılmaya hala açık olan konulardır (Zhao et al., 2003).