Programı : Elektronik Müh.

Transkript

1 İSTANBUL TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜZ RESİMLERİNDEN CİNSİYET TAYİNİ YÜKSEK LİSANS TEZİ Özlem ÖZBUDAK Anablm Dalı : Elekronk e Haberleşme Müh. Programı : Elekronk Müh. OCAK 009

2 İSTANBUL TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜZ RESİMLERİNDEN CİNSİYET TAYİNİ YÜKSEK LİSANS TEZİ Özlem ÖZBUDAK ( ) Tezn Ensüye Verldğ Tarh : 9 Aralık 008 Tezn Saunulduğu Tarh : Ocak 009 Tez Danışmanı : Prof. Dr. Ece Olcay GÜNEŞ (İTÜ) Dğer Jür Üyeler : Prof. Dr. Blge GÜNSEL (İTÜ) Doç. Dr. Zehra ÇATALTEPE (İTÜ) ŞUBAT 009

3

4 ÖNSÖZ Bu ez çalışmasının meydana gelmesnde kendsnden her ürlü yardımı aldığım, blg e deneymlern benden esrgemeyen değerl danışmanım Prof. Dr. Ece Olcay GÜNEŞ e, çalışmalarımızda bz yalnız bırakmayan segl hocalarım Doç. Dr. Müre ÜÇER e Öğr. Gör. Yüksel ÇAKIR a, ayrıca benden blgsn esrgemeyen segl arkadaşım Kadr KIRTAÇ a, çalışmalarım sırasında ben madd açıdan desekleyen TÜBİTAK Blm Adamı Yeşrme Grubu na, son olarak da, ben bugünlere geren e çalışmalarım boyunca bana her konuda desek olan segl aleme en çen eşekkürlerm sunarım. Aralık 008 Özlem ÖZBUDAK

5

6 İÇİNDEKİLER Sayfa ÖZET... x SUMMARY...x. GİRİŞ.... CİNSİYET TAYİNİNDE KULLANILAN ALGORİTMALAR...5. Temel Bleşen Analz PCA eors PCA nın uygulanması.... Fsher Lneer Ayrışırma Analz..... FLD eors..... FLD nn uygulanması En Yakın k Komşu Algorması knn eors Merk uzaklıklar CİNSİYET TAYİNİNDE KULLANILAN ALGORİTMALARIN BAŞARIMLARININ KARŞILAŞTIRILMASI Tes Yönemler Holdou yönem Rasgele al örnekleme yönem K-kalı çapraz geçerllk yönem Brn bırakarak çapraz geçerllk yönem Yapılan ncelemeler SONUÇLAR e ÖNERİLER...37 KAYNAKLAR...39 EKLER...43

7

8 KISALTMALAR PCA LDA FLD KNN FDF GMM SVM FLD RBF : Prncpal Componen Analyss : Lnear Dscrmnan Analyss : Fsher Lnear Dscrmnan : K-Neares Neghbour : Four Dreconal Feaure Felds : Gaussan Mxure Model : Suppor Vecor Machne : Fsher Lnear Dscrmnan : Radal Bass Funcon

9

10 ÇİZELGE LİSTESİ Sayfa Çzelge 3. : FLD e knn sınıflandırıcılarının başarımlarının karşılaşırılması...7 Çzelge 3. : Kullanılan sınıflandırıcı esnde hesaba kaılan özdeğer oranlarının karşılaşırılması....7 Çzelge 3.3 : Mesafe hesaplanmasında kullanılan normların karşılaşırılması...8 Çzelge 3.4 : knn sınıflandırıcısının farklı norm değerlerne göre haa hesabı....8 Çzelge 3.5 : Sınıflandırıcı esnde mesafe hesaplanmasında Mahalonobs e Ökl normu nun karşılaşırılması....8 Çzelge 3.6 : Farklı K değerlernn kullanılması le oraya çıkan es sonuçları...9 Çzelge 3.7 : Gauss beyaz gürülüsünün cnsye belrleme üzerndek eks...30 Çzelge 3.8 : Yüzün al e üs kısımlarının cnsye belrleme üzerndek eks...3 Çzelge 3.9 : Şer halnde maskeleme yapıldığına elde edlen haa oranları....3 Çzelge 3.0 : Yalnızca organların maskelenmes le elde edlen haa oranları Çzelge 3. : Resmn alan üsen sağdan soldan e her yönden keslmes le elde edlen haa oranları Çzelge 3. : Farklı ırkların cnsye belrleme üzerndek eksnn es edlmes...35 x

11 x

12 ŞEKİL LİSTESİ Şekl. : Bell br er kümesnn boyulu uzaydak dağılımı: (a)uygun olmayan doğrulu seçmnden kaynaklanan zdüşüm haaları. (b)uygun doğrulu seçmnden oluşan zdüşüm haaları...6 Şekl. : Örnek kümesnn farklı k eksen üzerndek dağılımı: (a)oralaması µ olan örneklern x - x eksenler üzerndek dağılımı. (b)herbr örneken oralaması çıkarılarak elde edlmş 0 oralamalı yen örnek kümesnn x - x eksenler üzerndek dağılımı...7 Şekl.3 : λ e λ özdeğerlerne sahp örnek kümesnn boyulu eksen üzerndek dağılımı....0 Şekl.4 : Örnek e zdüşüm kümelernn dağılımı: (a) x örnek kümesnn boyulu eksen üzerndek dağılımı. (b) y zdüşüm kümesnn boyulu eksen üzerndek dağılımı... Şekl.5 : Görünü marsnn saırları kullanılarak ekör oluşurulması.... Şekl.6 : boyulu belrl br örnek kümesnn pca uygulanması sonucu boyuak dağılımı....3 Şekl.7 : Belrl br örnek kümesnn farklı k doğrulu üzerndek zdüşümler...3 Şekl.8 : x örnek kümesnn, bulunan doğrulusu üzerndek zdüşümü...4 Şekl.9 : Sınıf oralamaları µ e µ olan k sınıflı örnek kümesnn yaay e dkey doğrulular üzerndek zdüşümler....5 Şekl.0 : J () y maksmum yapan doğrulusu e örneklern bu doğrulu üzerndek zdüşümler...6 Şekl. : Sınıfı bell olmayan br örneğn sınıfının knn yönem le sınıfının belrlenmes amacıyla çzlen hperküreler....9 Şekl 3. : Örnek kümesnn rasgele al örnekleme yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması....4 Şekl 3. : Örnek kümesnn k-kalı çapraz geçerllk yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması....5 Şekl 3.3 : Örnek kümesnn brn bırakarak çapraz geçerllk yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması....5 Şekl 3.4 : 8*8 pksel boyuundak es fooğrafları: (a)orjnal es fooğrafları. (b)üzerne gürülü bndrlmş es fooğrafları...9 Şekl 3.5 : Cnsye belrlemede yüzün al e üs kısımlarının eksnn araşırıldığı es resmler: (a)orjnal es fooğrafları. (b)yüz fooğraflarında üs üçgen. (c)yüz fooğraflarında al üçgen. (d)alın e gözler kapsayacak şeklde yüzün üs kısmının maskelendğ fooğraf. (e)dudak e çeney kapsayacak şeklde yüzün al kısmının maskelendğ fooğraflar...3 Sayfa x

13 Şekl 3.6 : Yüz fooğraflarında bell kısımların şer halnde maskelenmes: (a)orjnal fooğraflar. (b)alnın şer halnde maskelenmes. (c)gözlern şer halnde maskelenmes. (d)burnun şer halnde maskelenmes. (e)dudakların şer halnde maskelenmes. (f)çenenn şer halnde maskelenmes....3 Şekl 3.7 : Yüzde belrl organların maskelenmes: (a)orjnal fooğraflar. (b)alnın maskelenmes. (c)kaşların maskelenmes. (d)gözlern maskelenmes. (e)burnun maskelenmes. (f)dudakların maskelenmes. (g)çenenn maskelenmes Şekl 3.8 : Fooğrafların belrl kısımlarının keslmes: (a)orjnal fooğraflar. (b)üsen kesme. (c)alan kesme. (d)sağdan kesme. (e)soldan kesme. (f)her yönden kesme x

14 YÜZ RESİMLERİNDEN CİNSİYET TAYİNİ ÖZET Örünü anıma günümüzde önem gkçe aran br çalışma alanı halne gelmşr. El yazısını mene çerme, sesn kme a olduğunu bulma, mza sahbn belrleme, ıbb erye bakarak kşnn hasa olup olmadığını esp eme gb brçok farklı amaç çn kullanılmakadır. Bu ez çalışmasında yüz resmlernden cnsye ayn konusu ele alınmışır. Bu konunun farklı uygulama alanları ardır. Esas olarak cnsye ayn, kmlk esp çalışmalarında br ön aşama olarak kullanılır. Ayrıca çok farklı br bakış açısıyla mağazalarda müşer proflnn belrlenmesnde de kullanılablr. Cnsye sınıflandırması görünüş e geomerk abanlı olmak üzere k farklı şeklde yapılablr. Bu ezde görünüş abanlı yönem kullanılarak sınıflandırma yapılmışır. Ayrıca cnsye sınıflandırmada yüzdek en ekn bölgenn neres olduğu belrlenmşr. İlk bölümde daha önce bu konu le lgl yapılan çalışmalardan kısaca bahsedlmşr e bu çalışmada problemn nasıl ele alındığı anlaılmışır. İknc bölümde, bu çalışmada resmlern boyuunu azalmak amacıyla kullanılan Temel Bleşen Analz (PCA) le cnsye sınıflandırması amacıyla kullanılan Fsher Lneer Ayrışırma (FLD) e En Yakın K Komşuluk (KNN) algormaları anlaılmışır. Üçüncü bölümde öncelkle, kullanılan es yönem anlaılmış, sonrasında bahsedlen algormalar kullanılarak yapılan esler e sonuçları göserlmşr. Dördüncü e son bölümde se bu sonuçlar yorumlanmış e lerk dönemlerde bu konu le lgl hang çalışmaların yapılableceğnden bahsedlmş, ayrıca gelşrmeler çn önerlerde bulunulmuşur. x

15 x

16 GENDER CLASSIFICATION FROM PICTURES OF HUMAN FACES SUMMARY Paern recognon has become a work area whch s geng more mporance gradually. I s used n seeral domans lke conerng hand wrng o ex, recognzng human oce, processng medcal daa, recognzng sgnaure and denfcaon from fnger prn or rs. In hs hess, gender classfcaon subjec from pcures of human faces was suded. There are dfferen applcaon areas of hs subjec. Especally, s used as a pre-process of denfcaon. Besdes, wh a dfferen pon of ew, may be used o deermne cusomer profle n shoppng ceners. Gender classfcaon problem s soled by wo mehods. These are appearance-based and geomerc-based mehods. In hs hess, gender was classfed by usng appearance-based mehod. In addon, whch par of he face s effece on gender classfcaon was suded. In he frs chaper, he oerew of gender classfcaon mehods preously used were presened and how he gender classfcaon problem was soled n hs hess was old brefly. In chaper wo, dealed nformaon was gen abou Prncple Componen Analyss (PCA) algorhm used o reduce he dmensons of pcure, Fsher Lnear Dscrmnan (FLD) and K-Neares Negbor (KNN) algorhms used o classfy he gender. In chaper hree, frsly he es mehod was old and hen es resuls were presened. In chaper four, hese resuls were consdered, some nformaon was gen abou he feaure works and some suggesons were gen for beer performance. x

17 x

18 . GİRİŞ Örünü anıma, aralarında orak özellk bulunan nesneler eya şareler, esp edlen özellkler ya da karakerler aracılığı le anımlama eya sınıflandırmadır. Teknolojnn lerlemesyle nsan hayaında öneml br yere sahp olmuşur. Günümüzde çok farklı alanlarda kullanılmakadır. El yazısının mene çerlmes, mzanın gerçek m akl m olduğunun belrlenmes, sesn mene çerlmes, yüz resmlernden yaş e cnsye belrlenmes, parmak znden kş anıma e sesn kme a olduğunun bulunması, bu konuda yapılmış çalışmalardan sadece brkaçıdır. Yüz özellklernden kşye a özellklern belrlenmes 960 lı yıllara kadar uzanan br geçmşe sahpr [-]. Bugün hala, yüz resm kullanılarak özellk belrleme problemnn henüz amamlanamamış kısımları çn çeşl yönemler kullanılarak çözümler ürelmeye çalışılmakadır. Bu problemlern br kısmı yüzün dnamk br eleman olmasından kaynaklanmakadır. Yüz resm kullanılarak özellk belrleme problem, ancak belrl br poz, mesafe, aydınlık düzey e hçbr yüz fades olmayan resmler çn y sonuç ermekedr. Yüz resmlern kullanarak cnsye ayn, gün geçkçe gelşen örünü anımanın kullanım alanlarından brdr. Günümüzde suç oranlarının armasıyla kş anımanın önem de armışır. Cnsye ayn, çeşl güenlk ssemlernde, kş anımanın br ön aşaması olarak kullanılableceğnden dolayı, cnsye anıma da gderek önem kazanmakadır. Bunun yanında br mağazanın genelndek ya da belrl reyonlarındak müşer profln esp emek amacıyla da kullanılablr. Geçmşe örünü anıma le lgl brçok çalışma yapılması le brlke, cnsye belrlenmes le lgl yapılan çalışmaların sayısı daha azdır. Cnsye belrleme, pskolojk çalışmalarda öneml br yer umasına rağmen, öğrenme abanlı görünüleme ssemlernde bu konuda fazla çalışma yokur. Bu çalışmaların çoğunu da yapay snr ağı abanlı çalışmalar oluşurmakadır. Bu konuda lk çalışma, 99 yılında Yapay Snr Ağları kullanılarak Jan e Huang arafından yapılmışır [3]. Sonrak çalışma se yne 99 yılında Yapay Snr Ağları kullanılarak % 8. haa oranı le Golomb, Lawrence, e Sejnowsk arafından gerçekleşrlmşr [4]. Kawano, Kao, e Yamamoo, yüzü belrl bölümlere ayırmış e üm yüz le ayırmış

19 oldukları bölümler üzerne LDA (Lnear Dscrmna Analyss) e FDF (Four Dreconal Feaure Felds) algormalarını uygulayarak cnsye ayn yapmışlardır. Bunun sonucunda %93.7 doğruluk elde edlmş, ayrıca cnsye aynnde en ekl organın çene olduğu sonucuna arılmışır [5]. Bundan braz farklı olarak cnsye aynnde GMM (Gaussan Mxure Model) algorması da kullanılmış, burada hem bayan hem de erkek çn özellk çıkarımı le Gauss model oluşurulmuş ayrıca cnsye belrlemede yüz le brlke saç sl e ücudun üs bölgesnn gym arzı da dkkae alınmışır, böylelkle oplamda %7.8 haa oranı le sınıflandırma yapılmışır [6]. Bu konuda, öneml çalışmalardan br anes de Moghaddam e Yang arafından yapılmışır. Bu çalışmada SVM (Suppor Vecor Machne) sınıflandırıcısı Lneer, Kuadrak, FLD (Fsher Lnear Dscrmnan) e knn (k-neares Neghbour) algormaları le ayrıca daha modern br eknk olan RBF (Radal Bass Funcon) yönem le karşılaşırılmışır. Sonuç olarak %3.4 haa oranı le sınıflandırıcı asarlanmışır [7]. Yukarıda bahsedlen yönemler görünüş bazlı olmakla brlke, bu konuda geomerk bazlı yönemler kullanılarak da sınıflandırma yapılmışır. Yan bu yönemlerle yüz uzunluğu, yüz genşlğ e benzer mesafeler cnsye belrlenmesnde öneml hale gelmşr. V. Bruce e çalışma grubu yüzde am olarak 73 noka belrlemş e her nokanın brbr le mesafesn hesapladıkan sonra ayrışırma analz yaparak sınıflandırma yapmışır [8]. Ayrıca Brunell e Poggo yüzden 6 geomerk özellk çıkarımı yapmış e bu özellkler cnsye sınıflandırmada kullanılmışır [9]. Bu çalışmada boyu azalma amacıyla PCA algorması, sınıflandırma amacıyla da FLD e knn algormaları kullanılmışır. Ver kümes olarak Sanford Ünerses Tıp Faküles öğrenclernn oluşurduğu 00 ü bayan e 00 ü erkek olmak üzere 400 ane yüksek çözünürlüklü resm kullanılmışır. Bu resmlerden 360 anes eğm amacıyla, 40 anes de es amacıyla kullanılmışır. İlk olarak resmlere, C de OpenC küüphanesnn yüz bulma amacıyla kullanılan facedeec.c sml programı uygulanmışır [0], sonrasında bulunan yüz resmler kullanılarak FLD e knn sınıflandırıcılarını asarlamak çn Malab da program yazılmışır [Ek.A]. Bu programda FLD sınıflandırıcısı asarlanırken her resm br ekör halne gerlmşr. Eğm kısmında öncelkle PCA doğrulusu bulunmuş e ekörler bu doğruluya zdüşürülerek boyu azalılmışır. Sonrasında se FLD uygulanarak, sınıf ç dağılım az, sınıflar arası dağılım fazla olacak şeklde yen br doğrulu bulunmuş e bu

20 doğrulu üzernden sınıflandırma yapılmışır. Dğer sınıflandırma yönemnde se PCA uygulandıkan sonra knn yönem uygulanmışır e bu k sınıflandırıcının başarımları karşılaşırılmışır. Ayrıca yüzün hang kısmının cnsye belrlenmesnde daha ekn olduğu üzerne de esler yapılmışır. Leraürde cnsye belrlemede ırk e yaş fakörü konusunda herhang br çalışmaya raslanmamışır. Bu nedenle bu çalışmada enk kökenn yüz resmlernden cnsye ayn yapmadak eks de ncelenmş, bu amaçla esler gerçekleşrlmşr. Yaş fakörünü ncelemek çn aynı kşlern değşk yaş gruplarındak resmler le es yapılmaya çalışılmış, ancak yeerl er abanı elde edlemedğ çn bu esler gerçekleşrlememşr. 3

21 4

22 . CİNSİYET TAYİNİNDE KULLANILAN ALGORİTMALAR. Temel Bleşen Analz.. PCA eors Temel Bleşen Analz, er anımada e sıkışırmada kullanılan en ekl yönemlerden br anesdr. PCA da amaç boyu azalmakır. PCA le ahmn, gereksz blgnn aılması, özellk çıkarımı, er sıkışırma gb şler de yapılablr, çünkü PCA lneer bölgede çalışan br algormadır e şare şleme, görünü şleme, ssem e konrol eors, haberleşme gb lneer modellere sahp uygulamalar yapmaya uygundur. PCA br ekör uzayı dönüşümüdür, sıklıkla çok boyulu er kümelernn boyularını azalmada kullanılır. Uygulama alanına bağlı olarak, ayrık Karhunen-Loèe dönüşümü eya Hoellng dönüşümü olarak da adlandırılır. PCA lk olarak 90 de Karl Pearson arafından bulunmuşur []. PCA nın gelşmnde, Pearson d boyulu uzayda nokaların ssemne en uygun olacak şeklde br doğrulu ya da düzlem bulmakla lglenmşr. Geomerk olarak nokaları, kle merkez orjn olacak şeklde yenden yerleşrmş e koordna eksenlern maksmum aryansı sağlayacak şeklde döndürmüşür. Daha öncede belrldğ gb PCA da amaç, er kaybı mnmum olacak şeklde boyuu azalmakır. İzdüşürme şlem yapılırken, aryansın en fazla olduğu doğrulu seçlerek, oraya çıkablecek haa sayısı da en aza ndrgenmş olur. Örneğn; boyulu br uzay olduğu arsayılsın, bunun boyulu uzaya zdüşürülmes sensn e bu şeklde boyua br azalma yapılsın. Şekl.a e Şekl.b de aynı er kümes çn farklı k doğrulu seçlmş e örnekler bu doğrulular üzerne zdüşürülmüşür. Şeklden de anlaşılacağı gb zdüşürme şlem yapılırken, brnc şeklde projeksyondan kaynaklanan haa knc şekle göre daha fazladır. Yan boyulu uzaydan boyulu uzaya geçmek senmş e farklı k doğrulu seçlmşr. Bu doğrululardan kncs, aryansın yan dağılımın en fazla olduğu doğruludur, e bu doğrulu üzerne örnek kümes zdüşürüldüğünde oluşacak haa dğerne göre daha azdır. 5

23 Boyu Boyu (a) Şekl. : Bell br er kümesnn boyulu uzaydak dağılımı: (a)uygun olmayan doğrulu seçmnden kaynaklanan zdüşüm haaları. (b)uygun doğrulu seçmnden oluşan zdüşüm haaları. PCA da amaç, zdüşürmenn yapılacağı doğruluyu bulmak e bu doğrulu üzerne örnekler zdüşürmekr. Bunu yaparken zdüşümden kaynaklanan haanın mnmum olması gerekmekedr, haanın mnmum olması se doğrulunun maksmum aryansı sağlayacak şeklde seçlmesne bağlıdır. PCA da bu doğrulu aryansın en fazla olduğu doğruludur. Bu doğrulu çok değşkenl, oralaması µ, e aryansı Σ olan, N ( µ, Σ) Normal dağılıma sahp olan x örnek kümesnn koaryans marsnn en büyük özdeğerne lşkn olan özekördür. Bu doğruluya ulaşablmek çn yapılması gereken şlemler şunlardır. V, d boyulu lneer uzay e W, k boyulu V nn lneer al uzayı olsun. Bu durumda her zaman W çn oranormal baz oluşuracak d boyulu ekörler bulunablr e {e,e,,e k } e j => <e, e j > = 0 e => <e, e > = eşlkler yazılablr. Bu yüzden W nn herhang br ekörü çn α, α k skaler olmak üzere aşağıdak eşlk yazılablr. Boyu k α e + α e +.+ α k e k = α e (.) = Boyu (b) PCA uygulanmadan önce örnek kümesnn oralaması her br örneken çıkarılır. n x x = x µ n = (.) Bunun sonucu olarak yen elde edlen küme 0 oralamaya sahp olur. E ( X E( X )) = E( X ) E( X ) = 0 (.3) Böylelkle Şekl.a dak gb br dağılıma sahp olan örnek kümesnn oralaması 0 olacak şeklde koordna eksenler kaydırılır. Şekl.b de 0 oralamaya sahp örnek kümesnn dağılımı göserlmşr. 6

24 (a) (b) Şekl. : Örnek kümesnn farklı k eksen üzerndek dağılımı: (a)oralaması µ olan örneklern x - x eksenler üzerndek dağılımı. (b)herbr örneken oralaması çıkarılarak elde edlmş 0 oralamalı yen örnek kümesnn x - x eksenler üzerndek dağılımı. Bundan sonra k < d boyulu W aluzayında D = {x, x,.x n } örneklernn en doğru göserm bulunur. {e,e,, e k }, W nn oronormal bazı olsun. W dek herhang br k ekör α e şeklnde yazılablr. Böylelkle x, W dek bazı ekörler arafından k = α e = şeklnde fade edleblr. Bu gösermdek haa hesaplanırsa, haa = k x α e (.4) = şeklnde olacakır. Toplam haayı bulmak çn se her br x j örneğnn haası bulunur e bunlar oplanır. Herhang br x j örneğ α j e şeklnde yazılablr. Böylelkle üm örneklerden kaynaklanan oplam haa şu şeklde göserleblr. k = J n k ( e,..., ek,,..., α nk ) = x j j= = j α α e (.5) Haanın en az olacağı doğrulunun bulunması çn J nn mnmum yapılması gerekmekedr. Bunun çn her k arafın ürenn alınması gerekmekedr. Bunu gösermek gerekrse: Önce eşlğn her k arafı düzenlenr, böylelkle fade daha bas e anlaşılır olur. n n k,..., ek,,..., α nk ) = x j x j j= j= = n k J ( e α α je + α j (.6a) j= = 7

25 n n k,..., ek,,..., α nk ) = x j j= j= = J ( e α α x e + α (.6b) j j n k j= = İfade bu şeklde açıldıkan sonra α ml e göre kısm üre alınsın. j α ml J e e α α (,..., k,,..., nk ) = m l + x e α ml (.7) Böylelkle α ml çn opmum değer, x e + α = 0 α = x e (.8) m l ml ml m l olur. α ml çn opmum değern bulunmasının ardından, daha önceden bulunan α = x e değer (.6b) de yerne konulursa, ml m l n n k n k,..., ek ) = x j ( x je ) x je + ( x je ) j= j= = j= = J ( e (.9) fades elde edlmş olur. (.9) fades sadeleşrldğnde se aşağıdak fade elde edlr. n n k,..., ek ) = x j ( x je ) j= j= = J ( e (.0) Küçük br haırlama yapılırsa: ( a b) ( a b)( a b) = ( b a) ( a b) = b ( aa ) b = (.) olduğunu blnmekedr. Buna göre (.0) fades yenden düzenlenrse, n k n J ( e ek x j e x j x,..., ) = ( j ) e (.a) j= = j=,..., ek ) n j= j k J ( e = x e Se (.b) = fadeler elde edlmş olur. Burada S, denklemlerden de anlaşılacağı üzere n S = j= x x j j fadesne eşr. S saçılma mars olarak adlandırılır. Bu saçılma mars aynı zamanda, örneklern koaryans marsnn (n-) kaıdır. Böylece aşağıdak gb fade edleblr. 8

26 n = ( x j µ )( x j µ ) (.3) n j= (.b) de amaç J y mnmum yapmakır. Burada (.b) nn mnmum yapılması, k e Se = nn maksmum yapılması le eşdeğerdr. Her çn e = sınırlamasının göz önüne alınması gerekmekedr. Belrsz e λ,...,λk sınırlamaları le brleşrlp, Lagrange çarpanı meodu kullanılır e (.4) eşlğ elde edlr, bu yen eşlke se u nun mmmum yapılması gerekmekedr. ( e e ) k k,..., ek ) = e Se j j j = j= u( e λ (.4) Kısa br haırlama yapılırsa: x br ekör e f x) = f ( x,..., x ) br fonksyon olsun, ( d her k arafın ürenn alınması (.5) eşlğ le göserleblr. d dx f x f ( x) = (.5) f x d d dx ( x x) = x (.6a) (.6a) eşlğ bu üre almaya örnek olarak göserleblr. Eğer A smerk mars se d dx ( x Ax) = Ax (.6b) (.6b) eşlğ yazılablr. (.4) eşlğnde her k arafın e m ye göre üre alınırsa, e m u( e,..., e ) = Se λ e = 0 (.7) k eşlğ bulunur. Buradan da m m m λ m e özekörler olduğu söyleneblr. Buradan, Se m m m e m n S saçılma marsnn özdeğerler e = λ e (.8) 9

27 fades elde edlr. (.b) eşlğnde (.8) fades yerne konulursa (.9) eşlğ elde edlr. n j= k e = x j J ( e,..., e = x λ λ (.9) k ) j = j= = n (.9) da J y mnmze emek çn S nn k ane özekörlerne lşkn olan k ane özdeğerler alınır. Varyansın en büyük olduğu doğrulu, S nn en büyük özdeğerne lşkn özekörün doğrulusudur. Şekl.3 en de görüldüğü gb özdeğerlerden λ > λ dr. Buradan da anlaşılacağı gb, λ özdeğerne lşkn özekörün doğrulusu aryansın en büyük olduğu doğruludur, o halde zdüşüm yapılması gereken doğrulu da budur. Yan zdüşüm yapılacak doğrulu örnek saçılmasının en fazla olduğu doğruludur. k Şekl.3 : λ e λ özdeğerlerne sahp örnek kümesnn boyulu eksen üzerndek dağılımı. Doğrulunun bulunmasından sonra en büyük aryansın olduğu eksen, x eksen le örüşecek şeklde döndürülür. Bu doğrulu bulunurken örneğn; d ade { e e,..., }, özekör S saçılma marsnn özekörler olsun e bunlar büyüken küçüğe sıralansın. x örnek kümes denklem (.0) de görüldüğü gb fade edlsn. e d x = d j= α je j = α e α kek + α k + ek α d e (.0) d x nn yaklaşıklığı yaklaşıklık haası Burada lk k ade özekör seçlr bunlar emel bleşenler olur. k ne kadar büyük olursa, x nn yaklaşıklığı da o kadar büyük olur e yaklaşıklık haası da o derece küçük olur. PCA yı uygulamadak son aşama se örnekler yen doğrulu üzerne 0

28 zdüşürmekr. Bu doğrulu üzerne zdüşürülen örnek kümes se şu şeklde bulunur. S saçılma marsnn en büyük k ane özdeğerlerne lşkn özekörler mars oluşurulur. E [ e... ] =, Şekl.4a dak örnek kümesnn yen doğrulu üzerndek e k zdüşümüne yan, Şekl.4b dek y zdüşüm kümesne y = E x le ulaşılır. (a) Şekl.4 : Örnek e zdüşüm kümelernn dağılımı: (a) x örnek kümesnn boyulu eksen üzerndek dağılımı. (b) y zdüşüm kümesnn boyulu eksen üzerndek dağılımı... PCA nın uygulanması PCA nın uygulanması emel olarak anlaılmak senrse: Her yüz br görünüdür, bu görünüler brer ekör olarak kabul edleblrler. Örneğn görününün genşlğ w e yükseklğ h olsun. Burada w yaay doğruludak pksel sayısı, h se dkey doğruludak pksel sayısı se her ekörün oplam pksel sayısı w*h olmakadır. Görünüden br ekör elde edeblmek çn Şekl.5 dek gb her saır, sırası le yan yana dzlr e görünüden ekör oluşur. (b) Şekl.5 : Görünü marsnn saırları kullanılarak ekör oluşurulması.

29 Böylelkle oluşan herbr ekör br yüzü gösermekedr. Görünü marsnn boyuu NxN ken, görünü ekörü yan yüz ekörünün boyuu N x olmuşur. { x x } D,..., =, x n bu ekörlerden oluşan er kümes olsun. Her br x ekörünün d boyulu olduğu blnsn e PCA le k boyua azalılmak sensn. Öncelkle yapılması gereken ş µ er kümesnn yan örnek oralamasının n = x n = bulunmasıdır. Daha sonra bulunan bu oralama le her br örnek arasındak fark z = x µ bulunur. Daha sonra saçılma mars S = z z n = hesaplanır e buradan da S nn en büyük k ane özdeğer e bu özdeğerlere lşkn özekörler hesaplanır e bu özekörlerden E = e, e,..., e ] mars oluşurulur. Son olarak senen k [ k boyulu y zdüşüm kümesne y = E z şlem le ulaşılır.. Fsher Lneer Ayrışırma Analz.. FLD eors Lneer Ayrışırma Analz yüz anımada sıklıkla kullanılan sasksel br yönemdr. LDA le boyu azalma şlem yapılırken sınıfların da brbrnden mümkün olduğunca ayrı olmasına dkka edlr. PCA le karşılaşırmak gerekrse, ks de boyu azalmak amacı le kullanılablr. PCA özellk sınıflandırması yaparken, LDA er sınıflandırması yapar. PCA aryansın maksmum olduğu doğruluya zdüşüm yaparken, LDA sınıflar arası aryansın, sınıf ç aryansına oranının maksmum olduğu doğruluya zdüşüm yapar. PCA da örneklern hang sınıfan geldğ blnmezken e önemsenmezken, LDA da örneklern hang sınıfan geldğ blnmekedr e kullanılmakadır. Fsher Lneer Ayrışırma da LDA le benzer br meoddur, boyu azalma yapığı gb sınıflandırma da yapablmekedr. FLD e LDA sıklıkla brbrlernn yerlerne kulanılablrler. Fsher 936 da bu k algorma arasında çok az fark olduğunu belrmşr. FLD, LDA nın yapığı gb normal olarak dağılmış sınıflar e eş sınıf koaryansları gb arsayımlar yapmaz []. Daha önce de belrldğ gb PCA boyu azalma yaparken aryansın maksmum olduğu doğruluya zdüşüm yapar. Şekl.6 da görüldüğü gb sınıfan oluşan belrl br örnek kümes aryansın maksmum olduğu doğruluya zdüşürülmüşür. Ancak, şeklden de anlaşıldığı gb aryansın maksmum olduğu doğrulu ernn

30 sınıflandırılması çn uygun br doğrulu değldr. Bunun yanında FLD kullanılarak zdüşüm yapılan doğrulu se er sınıflandırması çn en uygun doğruludur. Şekl.6 : boyulu belrl br örnek kümesnn pca uygulanması sonucu boyuak dağılımı. Şekl.7 den de görüleceğ gb, sınıfan oluşan belrl br örnek kümes farklı k doğruluya zdüşürülmüşür. Bunlardan lk aryansın maksmum olduğu doğruludur. Ancak görüldüğü gb bu doğrulu üzerndek örnekler, sınıfların brbrnden ayrılması çn pek uygun değldr. Buna karşılık dğer doğrulunun sınıfların brbrnden ayrılmasında en uygun doğrulu olduğu görülmekedr. Bu doğrulu FLD kullanılarak bulunan doğruludur. Buradak amaç se bu doğrulunun ne olduğunun bulunmasıdır. Şekl.7 : Belrl br örnek kümesnn farklı k doğrulu üzerndek zdüşümler. x,...,, x x n n sınıflı e d boyulu br örnek kümes olduğu arsayılsın. Burada n brnc sınıfa a örneklern sayısı, n se knc sınıfa a örneklern sayısı, de bu örneklern zdüşürüleceğ doğrulu olsun. Şekl.8 de görüldüğü gb x örneğ doğrulusu üzerne zdüşürülmüşür. Burada x, x nn doğrulusu üzerndek 3

31 zdüşümünün orjnden olan uzaklığıdır. Yan boyulu olan al uzaya yan doğrulusu üzerne zdüşümüdür. x, x boyulu örnek kümesnn br Şekl.8 : x örnek kümesnn, bulunan doğrulusu üzerndek zdüşümü. Şmd amaç farklı sınıfların zdüşümlernn arasındak ayrımın belrlenmesdr. ~µ e ~µ sırasıyla. e. sınıfak örneklern zdüşümlernn oralaması olsun. µ e µ se sırası le. e. sınıfak örneklern oralaması olsun. Her k sınıfın zdüşümler arasındak fark ~ µ ~ µ bağınısı le fade edleblr. Burada ~µ e ~µ, n n ~ µ = x = x µ n = x C n x C (.a) n n ~ µ = x = x µ n = x C n x C (.b) şeklnde fade edlr. Sınıfların brbrnden kolaylıkla ayrılablmes çn, zdüşüm oralamaları arasındak fark olan ~ µ ~ µ y br krerdr. Bu fark ne kadar büyük olursa, sınıfların brbrnden ayrılması da o kadar y olur. Şekl.9 da örnekler hem yaay hem de düşey eksen üzerne zdüşürülmüşür. 4

32 Şekl.9 : Sınıf oralamaları µ e µ olan k sınıflı örnek kümesnn yaay e dkey doğrulular üzerndek zdüşümler. Şeklden de görüldüğü gb sınıfların ayrılmasında dkey eksen, yaay eksenden daha ydr. Ancak buna rağmen ) µ ) µ ~ ~ > µ µ dr. Yan yaay eksendek zdüşüm oralamaları arasındak fark, düşey eksendek zdüşüm oralamaları arasındak farkan daha büyükür. Burada yaay eksendek aryans dkey eksene göre daha büyük olmasına rağmen, sınıfların ayrılablrlğ daha zordur. Bu nedenle FLD de ~ µ ~ µ bulunurken, PCA da olduğu gb aryansın maksmum olduğu doğrulu dkkae alınmaz. Ancak aryans le oranılı br çarpan le ~ µ ~ µ normalze edlr. Bunu yaparken; n, z zn belrl br örnek kümes, z = z n = z,..., µ se bu örnek kümesnn oralaması olsun. Buradan s = ( ) n = z z µ fades le saçılma bulunmuş olur. Bu saçılma, örneklern aryansının örnek sayısı n le çarpımından elde edlmşr. Saçılma, aryans gb örneklern oralama erafındak yayılımını ölçer ancak derecelendrme bakımından aryansan farklıdır. Fsher ın buna lşkn çözümü ncelenrse; göserlsn. y C ( ~ ) y y ler örnek zdüşümler olsun e y = x bağınısı le ~ s = µ (.a) y C ( ~ ) y ~ s = µ (.b) 5

33 . sınıfa e. sınıfa a örnek zdüşümlernn saçılması sırası le (.a) e (.b) bağınıları le göserlmşr. Bundan sonra. sınıfın e. sınıfın saçılmalarının normalze edlmes gerekmekedr. Bunun çn FLD bu örnekler öyle br doğrulusu üzerne zdüşürür k bu doğrulusu J () nn maksmum olduğu doğruludur. J ( ) = ( ~ µ ~ µ ) ~ s + ~ s (.3) J () nn maksmum olması her k sınıfın kend çndek saçılmanın, yan sınıf ç saçılmanın küçük olması e aynı zamanda her k sınıfın örnek oralamalarının farkının büyük olması le mümkün olmakadır. Şekl.0 dan da görüleceğ gb her k sınıfa a örnek zdüşümlernn oralamaları arasındak fark sınıfların brbrnden ayrılmasını sağlayacak büyüklükedr. Şekl.0 : J () y maksmum yapan doğrulusu e örneklern bu doğrulu üzerndek zdüşümler. Burada öncelkle J y nn fonksyonu olarak fade emek gerekmekedr. Bunun çn de öncelkle her k sınıfa a örneklern saçılması anımlanır. ( x )( x ) S = µ µ (.4a) x C ( x )( x ) S = µ µ (.4b) x C Daha sonra sınıf ç saçılma S w = S + S olarak anımlanır. (.a) e (.b) bağınıları, düzenlenecek olursa, ~ s y = x le (.a) e (.b) dek sonuçlar kullanılarak yenden ( x µ ) = ( ( x µ ) ) ( ( x µ ) ) = y C y C (.5a) ~ s = y C ( x µ ) ) ( x µ ) ) (.5b) 6

34 7 S x x s C y ) )( ( ~ = = µ µ (.5c) S x x s C y ) )( ( ~ = = µ µ (.5d) denklem akımları elde edlr, buradan da S s ~ = (.6a) S s ~ = (.6b) (.6a) e (.6b) bağınıları kullanılarak (.7) bağınısına ulaşılır. S S S s s w = + = + ~ ~ (.7) Sınıflar arası saçılma mars olan B S se (.8) bağınısı le anımlanır. ( )( ) B S µ µ µ µ = (.8) B S zdüşüm yapılmadan öncek sınıf oralamaları arasındak ayrımı fade emekedr, zdüşüm yapıldıkan sonra sınıf oralamaları arasındak ayrım se aşağıdak gb fade edlr. ( ) ( ) ( )( ) ~ ~ µ µ µ µ µ µ µ µ = = (.9a) ( ) S B = ~ ~ µ µ (.9b) () J (.7) e (.9b) dak sonuçlara göre yenden düzenlenrse (.30) elde edlr. ( ) S S s s J W B = + = ~ ~ ~ ~ ) ( µ µ (.30) Böylelkle J, ye bağlı olarak fade edlmş olur. ) ( J nn maksmum olduğu noka, ye göre ürenn 0 a eş olduğu nokadır. ) ( J nn ye göre üre alınıp 0 a eşlenrse aşağıdak fadeler elde edlr. ( ) 0 ) ( = = S S S d d S S d d J d d W B W w B (.3a) ( ) ( ) ( ) 0 ) ( = = S S S S S J d d W B W W B (.3b)

35 S W ( S ) S ( S ) = 0 B SW ( S B) S B( SW ) = 0 S S W B W W (.3c) (.3d) S B S B ( SW ) = 0 (.3e) S W Böylelkle (.3) de genelleşrlmş özdeğer problemne ulaşılır. S = λs (.3) B W Eğer edleblr. S w marsnn ers alınablrse (.3) dek bağını S W S = λ B şeklnde fade ( µ µ )( µ µ ) x = ( µ µ )( µ µ ) = α( µ ) S x = (.33) B µ Her br x ekörü çn S B x, µ µ olarak aynı nokayı şare emekedr. Bu nedenle özdeğer problem (.34) de olduğu gb çözümleneblr. S W ( µ µ ) = (.34) Sonuç olarak buradan da (.35) dek eşlğe ulaşılır. W B [ S ( µ µ )] = S [ α( µ µ )] = α S ( µ µ ) W W [ ] S S (.35).. FLD nn uygulanması FLD nn uygulanma şekl özelenecek olursa, c. sınıfa a ekörlern oluşurduğu W br küme, c de. sınıfa a ekörlern oluşurduğu br küme, n x n = µ = e = n n x = µ de bu sınıflara a ekörlern oralaması, = ( x ) ( x ) x C S µ e S = µ sırası le. e. sınıflara a saçılma marsler olsun. Bu saçılma marsler kullanılarak S W = S + S sınıf ç saçılma mars elde edlr. Bu saçılma marsnn ersne bakılır. S mecu se = ( µ µ ) w doğrulusu bulunur. Son olarak se Y c = e S W x C bağınısı le FLD Y c örneklern FLD doğrulusu üzerndek zdüşümler elde edlr. = le eğm kümesndek 8

36 .3 En Yakın k Komşu Algorması.3. knn eors knn algorması makne öğrenmes algormaları çnde en bas olanıdır. Bu algorma, olasılık yoğunluklarının güenlr paramerk ahmnlernn blnmedğ ya da belrlenmesnn zor olduğu zaman, ayrışırma analzne duyulan hyaçan dolayı gelşrlmşr. knn mehodu lk olarak 95 yılında Fx e Hodges arafından, örünü sınıflandırma çn anımlanmışır [3]. Bu algormada sınıfının belrlenmes senen br örnek çn, onun en yakın k ane komşuluklarına bakılır. Burada k br amsayıdır e aynı zamanda ekr, k sayısı mümkün olduğunca küçük seçlr. k nın olması durumunda, es edlecek örneğn en yakın komşusuna bakılır e en yakın komşu hang sınıfan se es örneğ de aynı sınıfandır denr. Eğer k sayısı 3 se, bu sefer es örneğnn en yakın 3 komşusuna bakılır e çoğunluk hang sınıfan se es örneğ de o sınıfandır denr. Şekl. de sınıfı bell olmayan br örneğn hang sınıfan olduğunun bulunması senmekedr. Bunun çn es örneğnn bulunduğu noka merkez olacak şeklde e r yarıçapını arırarak, k ane (k=,3) sınıfı belrl en yakın komşu örneğ çne alacak şeklde çemberler çzlmşr. Küçük çemberde görüldüğü gb sadece sınıfı belrl olan br örnek bulunmakadır e en yakın komşu meoduna göre es örneğnn. sınıfan olduğu belrlenmşr. Büyük çemberde se sınıfı belrl 3 ane örnek ardır. Yan k burada 3 ür. Tes kümesnn en yakın 3 komşusunu çne alacak şeklde br çember çzlmşr. Burada çoğunluk. sınıfan olduğu çn es örneğnn de. sınıfan olduğu söylenr. k nın ne olması gerekğne değnlecek olursa, k > olmalıdır, faka am olarak hang değere eş olması gerekğ yapılan eslern başarımlarına göre belrlenmekedr. Şekl. : Sınıfı bell olmayan br örneğn sınıfının knn yönem le sınıfının belrlenmes amacıyla çzlen hperküreler. 9

37 Daha açık br şeklde açıklanmaya çalışılırsa; bu ür sınıflandırmada eğm kümesndek örneklern hang sınıfan geldğ blnmekedr. Örneğn; {, y ),( x, y ),...,( x n, y )} x fadesnde x ler eğm kümesndek örnekler, ( n y ler ( ) () ( d ) se her br örneğn a olduğu sınıfı göseryor olsun. Ayrıca x = ( x, x,..., x ) fadesnden de anlaşılacağı gb her br örnek d boyulu, y her çn {...C} arasında br sınıf eke olsun. Burada senen, sınıfı bell olmayan br örneğnn x new es y new sınıfının ne olduğunun belrlenmesdr. Bunun çn sınıfının belrlenmes senen es örneğ le eğm kümesndek her br örnek arasındak mesafe hesaplanır. Bu mesafelern hesaplanmasında farklı merk uzaklık ölçüler kullanılablr. Bunlardan en yaygın olanı Ökl merk uzaklığıdır. Bunun dışında bu ezde Mahalonobs merk uzaklığı kullanıldığı gb norm, norm3, norm4, e sonsuz norm da merk uzaklık ölçüü olarak es amacıyla kullanılmışır..3. Merk uzaklıklar Bu bölümde br öncek bölümde bahsedlen merk uzaklıklar hakkında kısaca blg erlecekr. Sıfır olmayan br ekör uzayında, üm ekörlere br uzunluk, boyu karşı düşüren fonksyonlara norm denmekedr. Ayrıca ekör normunun (.36a), (.36b), (.37) e (.38) dek özellkler sağlaması gerekmekedr. n x R olmak üzere x n normu x R n R : şeklnde fade edlr. x 0, n x R (.36a) x = 0 x = 0 (.36b) kx = k. x k R, n x R (.37) x + y x + y x y R n, (.38) Vekörlere farklı ürden normlar kullanılarak br uzunluk karşı düşürülmekedr. Kullanılan en yaygın norm, norm dr. Buna Ökl merk uzaklığı ya da Ökl Normu da denmekedr. Ökl normu genlk olarak da blnmekedr, k noka arasındak mesafenn ceel le ölçülmes le belrleneblr. Ayrıca Psagor eorem le de bu merk uzaklık hesaplanablr. Mesafe olarak Psagor eoremnn kullanılması le Ökl br merk uzay halne gelr, buna Hlber uzayı da denlmekedr. Esk 0

38 kaynaklarda bu merk, Psagor merğ olarak da geçmekedr. Ökl uzaklığı şu şeklde anımlanablr: P = p, p,..., p ) e Q = q, q,..., q ) n boyulu Ökl uzayında k noka olsun. ( n ( n Bu nokalar arasındak mesafe (.39) bağınısı le hesaplanır. n q) + ( p q ) ( pn qn ) = ( p q ) = ( p (.39) Bu anımlamaya göre; P = p ) e Q = q ) boyulu Ökl uzayındak k noka ( x olsun, bu nokalar arasındak mesafe (.40) bağınısına göre hesaplanır. ( x ( p q ) = p q (.40) x x x x P = p x, p ) e Q = q x, q ) boyulu Ökl uzayında k noka olsun bu nokalar ( y ( y arsındak mesafe se (.4) bağınısına göre hesaplanablr. ( px qx ) + ( p y q y ) (.4) P = r, θ ) e Q = r, θ ) boyulu Ökl uzayında bulunan k nokanın kuupsal ( ( koordnaları olsun, bu nokalar arasındak mesafe se (.4) bağınısı le hesaplanablr. θ r + r r r cos( θ ) (.4) Üç boyulu ökl uzayında se hesaplama dğerler gbdr. P = p, p, p ) e Q = q, q, q ) 3 boyulu ökl uzayındak k noka olsun bu ( x y z ( x y z nokalar arasındak mesafe se (.43) bağınısı le hesaplanablr. ( px qx ) + ( p y q y ) + ( pz qz ) (.43) Vekörlern p normu se genel olarak (.44) bağınısı le hesaplanablr. x p n p p p p p ( x + x xn ) = x = = p (.44) (.44) bağınısı kullanılarak bazı özel normlar hesaplanablr. Bunlar (.45) de görüldüğü gb norm e (.46) da görüldüğü gb sonsuz normudur.

39 n x = x + x x n = x (.45) = x = max( x, x,..., xn ) (.46) Mahalonobs uzaklığı, saksel uzaklık olarak da blnr, lk olarak 936 da P.C. Mahalonobs arafından anımlanmışır [4]. Farklı paernler anımlayan e analz eden değşkenlern arasındak korelasyonu emel almışır. Blnmeyen br örnek kümesnn blnen br örnek kümesne benzerlğnn anımlanmasında faydalı br yönemdr. Ver kümesnn korelasyonunu dkkae alması açısından Ökl merk uzaklığından farklıdır. Çok değşkenl br ( ) koaryans mars e µ ( µ µ, µ,..., ), 3 µ p x = x x, x,..., ekörü çn,, 3 =, br grup değern oralaması olsun. Bu gruba olan Mahalanobs uzaklığı (.47) bağınısı le hesaplanır. D M ( x µ ) ( x µ ) ( x) = (.47) İk ekör arasındak Mahalanobs uzaklığ se (.48) bağınısı le hesaplanır. ( x y) ( x y) d( x, y) = (.48) x p

40 3. CİNSİYET TAYİNİNDE KULLANILAN ALGORİTMALARIN BAŞARIMLARININ KARŞILAŞTIRILMASI 3. Tes Yönemler Yüz resmlernden cnsye belrlemede daha öncek bölümlerde anlaılan algormalar kullanılarak yapılan çalışmaların doğruluk oranının belrlenmes çn, br akım değerlendrme yönemler bulunmakadır. Bu değerlendrme yönemlernde eğm e es kümes adı erlen küme kullanılır. Eğm kümes, sınıflandırıcıyı eğmek amacıyla, es kümes se eğlmş sınıflandırıcının haa oranını bulmak amacıyla kullanılır. Bu bölümde sınıflandırma algormalarının başarımlarını değerlendrmek amacıyla Çapraz Geçerllk (Cross Valdaon) yönem kullanılmışır. Bu yönem lk olarak Seymour Gesser arafından oraya aılmışır [5-6]. Aşağıda anlaılacağı üzere 4 farklı şeklde uygulanır. 3.. Holdou yönem Bu yönemde, örnek kümes, eğm e es kümesn oluşurmak üzere gruba ayrılır. Holdou meodu emel eksklğe sahpr. Bunlardan brncs, örnek kümesnde çok fazla örnek olmadığı durumlarda es çn erler belrl oranlarda ayırmak mümkün olmayablr. Dğer br eksklk se, eğm e es denemes yalnızca br kez yapıldığı çn, uygun olmayan br er ayrımı yapıldığında bulunan haa oranı yanılıcı olablr [7]. Holdou meodunun sınırlamaları, ek br deneme yerne çok sayıda deneme çeren yönemler kullanılarak aşılablr. Bunlar çapraz geçerllk yönemler olarak blnen, rasgele al örnekleme (random subsamplng), k-kalı çapraz geçerllk (k-fold cross aldaon), brn bırakarak çapraz geçerllk (leae-one-ou cross aldaon) dr. 3.. Rasgele al örnekleme yönem Şekl 3. de görüldüğü gb, bu yönemde üm er kümesnden es kümesn oluşurmak üzere e ekrar yerne konulmama şarı le rasgele örnekler alınır. Kalan örnekler se eğm kümesn oluşurur. Bu yönem br açıdan sakıncalıdır. Bazı 3

41 örnekler es kümesne br defadan fazla grerken, bazı örnekler hç grmeyeblr. Eğm kümesnn es kümesne olan oranının erasyon sayısına bağlı olmaması yönemn üsünlüklerndendr [7].. Tes. Tes Tüm er kümes Tes örnekler 3. Tes Şekl 3. : Örnek kümesnn rasgele al örnekleme yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması. Bu yönemde K sayıda es yapıldığı düşünülürse, doğru haa ahmn (3.) eşlğnde olduğu gb her es sonucu hesaplanan haaların oralaması le bulunur. E = K K E = (3.) Bu haa ahmn holdou haa ahmnnden öneml ölçüde daha ydr K-kalı çapraz geçerllk yönem Bu yönemde er kümes Şekl 3. de görüldüğü gb K eş parçaya bölünür. Bu K parçanın anes es kümes olarak kullanılır. Kalan K- ane se eğm kümesn oluşurur. Böylelkle bu yöneme göre K ane es yapılır. Bu yönem rasgele al örnekleme yönemne benzemekedr ancak K-kalı çapraz geçerllk yönem daha üsün br yönemdr. Çünkü bu yönemde her örnek mulaka hem eğm kümes çnde hem de es kümes çnde kullanılır. Burada da haa hesabı (3.) eşlğ kullanılarak hesaplanır. Doğru haa, yapılan K ade es sonucunda oraya çıkan haanın oralaması alınarak bulunur [7]. 4

42 Tüm er kümes. Tes. Tes 3. Tes Tes örnekler 4. Tes Şekl 3. : Örnek kümesnn k-kalı çapraz geçerllk yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması Brn bırakarak çapraz geçerllk yönem Brn bırakarak çapraz geçerllk yönem, Şekl 3.3 de görüldüğü üzere K-kalı çapraz geçerllk yönemnn braz değşmş haldr. Burada K sayısı örnek sayısına eşr. K-kalı çapraz geçerllk de olduğu gb burada da örnek sayısı N se, ane örnek, es amacı le kullanılır, kalan N- ade örnek se eğm kümesn oluşurur. Her br örnek hem eğm kümesnde kullanılır hem de ayrı olarak es kümesn oluşurur. Örnek sayısı kadar es yapılmasını gerekrdğ çn kullanıma pek uygun değldr. Haa hesabı dğerlernde olduğu gb (3.) eşlğ le yan her br es sonucunda hesaplanan haanın oralaması alınarak bulunur [7]. Tüm er kümes. Tes. Tes 3. Tes Tes örnekler K. Tes Şekl 3.3 : Örnek kümesnn brn bırakarak çapraz geçerllk yönem le farklı sayılarda es kümes e eğm kümes olarak ayrılması. 5

43 Yapılan eslerde, er kümesnn bölüneceğ parça sayısının, yan K sayısının aldığı değere göre bazı üsün e sakıncalı durumlar oraya çıkmakadır. Bunlardan bahsedlrse; K nın çok büyük değer almasının üsün arafı şudur: Gerçek haa oranı kesrcsnn (rue error rae esmaor) sapması küçük olacak, böylelkle kesrc çok doğru, bunun yanında gerçek haa oranı kesrcsnn aryansı büyük olacakır. Ayrıca çok fazla es yapılacağı çn hesaplama zamanı da çok fazla olacakır. K değer çok küçük seçlecek olursa, yapılacak olan es sayısı da az olacağı çn hesaplama zamanı az, kesrcnn aryansı küçük olacakır. Kesrcnn sapması se büyük olacakır. Prake K nın seçm er kümesnn büyüklüğüne bağlıdır. Çok büyük er kümeler çn 3 kalı çapraz geçerllk yönem oldukça doğru sonuç ermekedr. Çok küçük er kümeler çn üm örnekler eğmek amacı le çoğunlukla brn bırakarak çapraz geçerllk yönem kullanılmakadır. Genel olarak haa belrleme şlemlernde, K=0 alınarak K-kalı çapraz geçerllk yönem kullanılmakadır [7]. Bu ezde de bu nedenle haanın belrlenmesnde K=0 alınarak, K-kalı çapraz geçerllk yönem kullanılmışır. 3. Yapılan ncelemeler Tezde yapılan ncelemelerde erabanı olarak Sanford Ünerses Tıp Faküles öğrenclernn yüz resmlernden oluşan br erabanı kullanılmışır. Bu erabanı 8*8 boyularında 00 bayan resm e 00 erkek resm olmak üzere oplam 400 resmden oluşmakadır. Yapılan ncelemelerde haa oranını bulmak çn daha önce bahsedlen yönemlerden K-kalı çapraz geçerllk yönem, K=0 seçlerek kullanılmış e bu yönem le er kümes, her br kümede 0 bayan e 0 erkek resm olacak şeklde 0 eş parçaya bölünmüşür. Böylelkle eğm kümesnde 80 bayan e 80 erkek olmak üzere oplam 360 resm bulunurken, es kümesnde se 0 bayan e 0 erkek olmak üzere oplam 40 resm bulunmakadır. Kullanılan algormaların haa oranını hesaplamak çn oplam 0 kez es yapılmış, böylelkle her resm hem eğm kümesnn hem de es kümesnn br elemanı olmuşur. Yapılan eslerde öncelkl olarak şlem kolaylığı sağlaması bakımından boyuu azalmak amacıyla PCA kullanılmışır. Boyu azalma şlemnden sonra FLD e knn algormaları kullanılarak bu k sınıflandırıcı karşılaşırılmışır. Çzelge 3. de bu karşılaşırmanın sonucu görülmekedr. Elde eğmz bu es sonuclarına göre, 6

44 nsanın yüz resmlernden cnsyenn belrlenmesnde FLD sınıflandırıcısı, knn sınıflandırıcısından daha y sonuç ermekedr. Çzelge 3. : FLD e knn sınıflandırıcılarının başarımlarının karşılaşırılması. PCA + FLD PCA + knn Haa Oranı %7.00 %9.00 Cnsye belrlenmes amacıyla resmlere FLD sınıflandırıcısı uygulanırken hesaplanan özdeğerlern belrl oranlardak kısmı dkkae alınarak esler yapılmış e Çzelge 3. den de anlaşılacağı e beklendğ gb, sınıflandırıcı en y sonucu, özdeğerlern oplamının %98 n oluşuracak sayıda özdeğer hesaba kaıldığında ermşr. Özdeğerlern %00 ünün hesaba kaılması durumunda daha y sonuç elde edleceğ beklenen br sonuçur, ancak şlem sayısını azalmak e zamandan asarruf emek amacı le en büyük özdeğerler hesaba kaılmış, özdeğerlern oplamında % lk br azalma olurken, hesaba kaılan özdeğerlern sayısında öneml oranda azalma olmuşur. Hesaba kaılan özdeğer oplamlarının yüzde oranları azaldığında se haa oranının arığı gözlenmşr. Çzelge 3. : Kullanılan sınıflandırıcı esnde hesaba kaılan özdeğer oranlarının karşılaşırılması. Özdeğerlern Hesaba Kaılan Kısmı Haa Oranı %0.50 %0.00 %9.50 %9.00 %7.00 Yapılan bu çalışmada hang sınıflandırıcının daha y sonuç erdğnn araşırılmasının dışında; br yönemde değşk paramereler söz konusuysa, bunların değşrlmesnn o yönemn başarımını ne ölçüde değşrdğ de ncelenmşr. Örneğn; knn yönemnde mesafe ölçümü olarak hang normun daha doğru sonuç erdğ de ncelenmşr. knn algorması le sınıflandırma yaparken öncelkle boyu azalmak amacı le PCA uygulanmışır. Daha sonra knn uygulanırken se dör farklı norm kullanılarak mesafeler hesaplanmışır. Çzelge 3.3 den de anlaşılacağı gb mesafe ölçümünde norm e norm bze daha doğru sonuçlar ermekedr. 7

45 Çzelge 3.3 : Mesafe hesaplanmasında kullanılan normların karşılaşırılması. Norm Norm Norm3 Norm4 Haa Oranı %9.00 %9.00 %.5 %0.75 Bunun yanında yne cnsye belrlenmesnde farklı normlar kullanılarak, hang normun daha doğru sonuç erdğ de araşırılmışır. Bunun çn knn yönem ek başına kullanılmış, yan br öncek ese PCA le boyu azalma şlem yapılırken, bu ese se boyu azalma şlem yapılmadan, er kümesne doğrudan knn yönem uygulanmışır. Burada da Çzelge 3.4 e görüldüğü gb, norm e norm daha doğru sonuçlar ermşr. Ancak norm genelde kullanılmamakadır, bunun sebeb se norm değernn norm ye göre çok büyük olmasıdır. Değer büyük olacağı çn yapılan şlemler daha fazla zaman gerekrecekr, norm nn kullanılması le zamandan da asarruf edlmes söz konusudur. Çzelge 3.4 : knn sınıflandırıcısının farklı norm değerlerne göre haa hesabı. Haa Oranı Norm Norm Norm3 Norm4 Bunun yanında br öncek bölümde bahsedlen Mahalonobs merk uzaklığının da doğruluk üzerne eks araşırılmışır. Bunun çn PCA le boyu azalıkan sonra knn yönem uygulanmış ancak mesafe ölçümünde hem Mahalonobs merk uzaklığı hem de Ökl merk uzaklığı ayrı ayrı kullanılmışır. Çzelge 3.5 den de anlaşılacağı gb cnsye belrleme amacıyla kullanılan KNN yönemnde Ökl merk uzaklığının kullanılması daha y sonuç ermşr. Sonsuz norm %0 %.50 %3 %6.75 %3 Çzelge 3.5 : Sınıflandırıcı esnde mesafe hesaplanmasında Mahalonobs e Ökl normu nun karşılaşırılması. Haa Oranı Mahalonobs Ökl Normu %.5 %9.00 8

46 Cnsye belrlemede knn algorması kullanılırken k çn hang değern uygun olduğuna dar de brçok es yapılmışır. Yapılan bu eslerde, aynı eğm kümes e aynı er kümes çn farklı k değerler kullanılmışır. Yan es örneğnn en yakın k ane komşularına bakılmışır. Çzelge 3.6 dan da görüldüğü gb k değer arıkça haa oranının da arığı gözlenmş, k= kullanılarak, yan es örneğnn sadece en yakın br komşusuna bakarak haa hesaplamanın doğru olmadığı düşünülmüşür, çünkü sadece en yakın komşusuna bakmakla hassas br sınıflandırıcı yapılmış olmaz. k çn opmum değern ne olduğu farklı k değerler çn yapılan eslerle bulunablr. Bu ezde yapılan dğer eslerde k=3 değer kullanılmışır. Çzelge 3.6 : Farklı K değerlernn kullanılması le oraya çıkan es sonuçları. k= k=3 k=5 k=7 Haa Oranı %.5 %.5 %.5 %.50 Sınıflandırma algormaların başarımlarını ölçmek çn yapılan br dğer es de resmlere gürülü bndrlmes e algormanın başarımının ncelenmesdr. Bu nedenle gürülünün cnsye belrleme üzerndek eks de araşırılmışır. Bunun çn es resmlerne oralaması 0 e aryansı 0. olan Gauss beyaz gürülüsü eklenmşr. Şekl 3.4 (a) da orjnal fooğraflar, (b) de se Gauss gürülüsü eklenmş fooğraflar görülmekedr. Yapılan çalışmada K-kalı çapraz geçerllk yönem le 0 farklı eğm kümes e es kümes alınmışır. Her br grup çn 0 kez es yapılmışır, çünkü her defasında resme oralaması 0 olan ama dağılımı farklı olan Gauss beyaz gürülüsü eklenmekedr. Her grup çn yapılan 0 esn oralaması alınmış, böylelkle oralama haa bulunmuşur. Çzelge 3.7 de bu esn sonuçları görülmekedr. Buna göre es resmlerne Gauss gürülüsü eklenmş ken elde edlen haa oranı normal es sonuçlarına göre braz armışır. (a) Şekl 3.4 : 8*8 pksel boyuundak es fooğrafları: (a)orjnal es fooğrafları. (b)üzerne gürülü bndrlmş es fooğrafları. (b) 9

47 Çzelge 3.7 : Gauss beyaz gürülüsünün cnsye belrleme üzerndek eks gürülülü %7. %. %3. %. %.9 %. %. %3.7 %6.4 %3.0 normal % 7 % %3 % % % % %3 %6 % Bunlardan farklı olarak cnsye belrlenmesnde yüzün üs kısmının mı yoksa al kısmının mı daha ekl olduğu konusunda araşırma yapılmışır. Bunun çn yüz resmlernn al kısmı e üs kısmı ayrı ayrı ese ab uulmuşur. Şekl 3.5 de ese ab uulan yüz resmler görülmekedr. Burada yüzün üs üçgen, al üçgen, alın e göz aynı anda, ayrıca dudak e çene de aynı anda maskelenerek yüzün al eya üs kısmının hangsnn cnsye belrlemede daha ekn olduğu oraya çıkarılmışır. Çzelge 3.8 de bu esn sonuçları görülmekedr. Yapılan eslere e bu çzelgeye göre; en fazla haa, üs üçgen maskelendğnde oraya çıkmışır, üs üçgen maskeleme; alın, burun e gözlern öneml br bölümünü kapsamakadır. Buradan, burun e göz bölgesnn cnsye belrlemede dudak e çene bölgesne göre daha ekl olduğu sonucuna arılablr. 30

48 (a) (b) (c) (d) (e) Şekl 3.5 : Cnsye belrlemede yüzün al e üs kısımlarının eksnn araşırıldığı es resmler: (a)orjnal es fooğrafları. (b)yüz fooğraflarında üs üçgen. (c)yüz fooğraflarında al üçgen. (d)alın e gözler kapsayacak şeklde yüzün üs kısmının maskelendğ fooğraf. (e)dudak e çeney kapsayacak şeklde yüzün al kısmının maskelendğ fooğraflar. Çzelge 3.8 : Yüzün al e üs kısımlarının cnsye belrleme üzerndek eks. Al üçgen Üs üçgen Alın+göz Çene+dudak Haa Oranı % 6.75 % % 7.50 % 7.50 Bulduğumuz bu sonuçların doğruluğunu deseklemek amacı le bu kez de yüzün belrl kısımları şer halnde maskelenmşr. Şekl 3.6 dan da görüldüğü gb alın, göz, burun, dudak e çene şer halnde maskelenmş e bu maskelenmş resmler kullanılarak yapılan esn sonuçları Çzelge 3.9 da erlmşr. Yapılan eslere e bu çzelgeye göre en fazla haa burun maskelendğnde oraya çıkmışır. Daha sonra en fazla haa sırasıyla alın, göz, dudak e çene maskelendğnde oraya çıkmışır. 3

49 Buradan şu sonuç çıkarılablr, cnsye belrlemede burun dğer organlara göre daha fazla ekye sahpr. En az ekl olan organ se çenedr. Bu sonuçlar elde edlerek, br öncek esn sonuçları doğrulanmışır. (a) (b) (c) (d) (e) Şekl 3.6 : Yüz fooğraflarında bell kısımların şer halnde maskelenmes: (a)orjnal fooğraflar. (b)alnın şer halnde maskelenmes. (c)gözlern şer halnde maskelenmes. (d)burnun şer halnde maskelenmes. (e)dudakların şer halnde maskelenmes. (f)çenenn şer halnde maskelenmes. Çzelge 3.9 : Şer halnde maskeleme yapıldığına elde edlen haa oranları. Alın Göz Burun Dudak Çene (f) Haa Oranı % 0.50 % 5.75 % 40.5 %.00 % 7.5 Elde edlen sonuçların doğruluğunun deseklenmes amacı le bu sefer farklı br maskeleme yönem uygulanmışır. Bu ese, yüzdek organlar şer halnde değl de yalnızca organ olarak maskelenmşr. Şekl 3.7 de sırası le alın, kaş, göz, burun dudak e çene maskelenmş e bu şeklde ese ab uulmuşur. Tes sonuçları Çzelge 3.0 da görülmekedr. Yapılan bu esn sonuçlarına göre en fazla haa 3

50 burun maskelendğnde oraya çıkmışır. Daha önceden de belrldğ gb, burun cnsye ayrımında dğer organlara göre daha ekldr. Cnsye ayrımında burundan sonra ekl olan yüz bölümü se alındır. Bu çzelgeye göre cnsye ayrımında eks en az olan organ se yne çenedr. Yapılan bu esn sonuçları dğer eslern sonuçlarını da doğrulamakadır. (a) (b) (c) (d) (e) (f) (g) Şekl 3.7 : Yüzde belrl organların maskelenmes: (a)orjnal fooğraflar. (b)alnın maskelenmes. (c)kaşların maskelenmes. (d)gözlern maskelenmes. (e)burnun maskelenmes. (f)dudakların maskelenmes. (g)çenenn maskelenmes. 33

51 Çzelge 3.0 : Yalnızca organların maskelenmes le elde edlen haa oranları. Alın Kaş Göz Burun Dudak Çene Haa oranı % %0.75 % 7.50 % % 8.75 % 6.75 Son olarak yapılan eslerde resmn belrl ölçüde üsen, alan, sağdan, soldan e her arafan keslmesnn cnsye belrlenmesnde ne kadar ekl olacağı araşırılmışır. Buna göre yapılan ese es resmler daha önce bahsedlen yönlerden %5, %0, %5, %0 e %30 oranlarında keslmş e bu keslme sonrasında resm yne esk boyuuna gerlmşr. Şekl 3.8 de es resmlernn %0 oranında üsen, alan, sağdan, soldan e her yönden kesldğ görülmekedr. Yapılan bu esn sonucuna göre elde edlen haa oranları da Çzelge 3. de göserlmşr. (a) (b) (c) (d) (e) Şekl 3.8 : Fooğrafların belrl kısımlarının keslmes: (a)orjnal fooğraflar. (b)üsen kesme. (c)alan kesme. (d)sağdan kesme. (e)soldan kesme. (f)her yönden kesme. (f) 34