KAHRAMANMARAŞ SÜTÇÜ İMAM ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI DALGACIK DÖNÜŞÜMÜNÜ KULLANARAK ÖN CEPHEDEN ÇEKİLMİŞ İNSAN YÜZÜ RESİMLERİNİN TANINMASI YÜKSEK LİSANS TEZİ KAHRAMANMARAŞ Haziran - 2007
KAHRAMANMARAŞ SÜTÇÜ İMAM ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI DALGACIK DÖNÜŞÜMÜNÜ KULLANARAK ÖN CEPHEDEN ÇEKİLMİŞ İNSAN YÜZÜ RESİMLERİNİN TANINMASI YÜKSEK LİSANS TEZİ Kod No: Bu Tez 19/06/2007 Tarihinde Aşağıdaki Jüri Üyeleri Tarafından Oy Birliği ile Kabul Edilmiştir...... Yrd. Doç. Dr. Prof. Dr. Prof. Dr. Metin ARTIKLAR M. Kemal KIYMIK İnan GÜLER Danışman Üye Üye Yukarıdaki imzaların adı geçen öğretim üyelerine ait olduğunu onaylarım. Prof. Dr. Özden GÖRÜCÜ Enstitü Müdürü Not: Bu tezde kullanılan özgün ve başka kaynaklardan yapılan bildirişlerin, çizelge, şekil ve fotoğrafların kaynak gösterilmeden kullanımı, 5846 sayılı Fikir ve Sanat Eserleri Kanunundaki hükümlere tabidir. I
İÇİNDEKİLER İÇİNDEKİLER SAYFA İÇİNDEKİLER... I ÖZET... III ABSTRACT... IV ÖNSÖZ... V ÇİZELGELER DİZİNİ... VI SİMGELER VE KISALTMALAR DİZİNİ... IX 1. GİRİŞ...1 1.1. Kişilerin Birbirinden Ayırt Edilmesi...1 1.2. İnsanlarda Yüz Tanımanın Gerçekleşmesi...1 1.3. Bilgisayarda Gerçekleşen Bir Yüz Tanıma Sisteminin Elemanları...1 1.4. Yüz Tanımadaki Sistem Performansının Ölçülmesi...2 1.5. Yüz Tanımanın Zorlukları...3 1.6. Yüz Tanımanın Uygulama Alanları...3 1.7. Tezin Aşamaları Hakkında Genel Bir Bilgi...4 2. ÖNCEKİ ÇALIŞMALAR...5 2.1. Geometrik Özelliklere Dayalı Metotlar...5 2.2. Gizli Markov Modeli (Hidden Markov Model)...8 2.3. Eigenfaces (Principal Component Analysis)... 10 2.4. Dalgacık Dönüşüm Tabanlı Metotlar... 12 2.5. Diğer Metotlar... 14 3. MATERYAL VE METOT... 15 3.1. Materyal... 15 3.1.1. CNNL Veritabanı... 15 3.1.2. Dünyadaki Önemli Yüz Veritabanları... 17 3.1.3. Dalgacık Dönüşümü... 21 3.1.3.1. Dalgacığın Tarihteki Gelişimi... 21 3.1.3.2. Seri Açılımları... 22 3.1.3.3. Temel Fonksiyonlar... 23 3.1.3.4. Dalgacık Fonksiyonları... 24 3.1.4. Tek Boyutlu Dalgacık Dönüşümü... 26 3.1.4.1. Dalgacık Seri Açılımı... 26 3.1.4.2. Sürekli Dalgacık Dönüşümü... 26 3.1.4.3. Kesikli Dalgacık Dönüşümü... 27 3.1.5. İki Boyutlu Kesikli Düzlemde Dalgacık Dönüşümü... 27 3.1.6. Dalgacık Ailesi... 29 3.2. Metot... 33 3.2.1. Tasarlanan Tanıma Sisteminin Genel Yapısı... 33 4. BULGULAR VE TARTIŞMALAR... 37 4.1. Durum-1... 37 4.2. Durum-2... 39 4.3. Durum-3... 41 4.4. Durum-4... 41 5. SONUÇ VE ÖNERİLER... 44 KAYNAKLAR... 46 EKLER... 49 Ek-1. CITY-BLOCK ve EUCLIDEAN-DISTANCE... 49 I
İÇİNDEKİLER Ek-2. MATLAB FONKSİYONLARI... 50 ÖZGEÇMİŞ... 56 II
ÖZET KAHRAMANMARAŞ SÜTÇÜ İMAM ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI YÜKSEK LİSANS TEZİ ÖZET DALGACIK DÖNÜŞÜMÜNÜ KULLANARAK ÖN CEPHEDEN ÇEKİLMİŞ İNSAN YÜZÜ RESİMLERİNİN TANINMASI DANIŞMAN: Yrd. Doç. Dr. Metin ARTIKLAR Yıl : 2007 Sayfa : 67 Jüri : Yrd. Doç. Dr. Metin ARTIKLAR : Prof. Dr. M. Kemal KIYMIK : Prof. Dr. İnan GÜLER Resim işlemenin bir alt dalı olan resim tanıma günümüzde teknolojinin gelişmesiyle birlikte oldukça önem kazanmıştır. Resim tanımada ise özellikle insan yüzü tanıma öne çıkmakta ve yaygın olarak güvenlik amaçlı kullanılmaktadır. İnsan yüzü resimlerinin tanınması için birçok yöntem uygulanmaktadır. Bu yöntemlerin kullanılan veritabanına, yazılan algoritmalara ve farklı dış etkenlere bağlı olarak değişik üstünlükleri bulunmaktadır. Bu çalışmada kesikli dalgacık dönüşümü yöntemi ile insan yüzü resimlerinin tanınması gerçekleştirilmiştir. Resimler iki seviyeli kesikli dalgacık dönüşümüne tabi tutuldu. Dönüşüm sonucunda elde edilen özet dalgacık katsayıları ile tanıma işlemi gerçekleştirildi. Dalgacık dönüşümünün uygulanmasıyla yapılan tanıma performansında, dönüşüm uygulanmadan yapılan tanıma performansına göre doğru tanıma oranı artarken, tanıma zamanında ise önemli bir azalma olmuştur. Yapılan simülasyonlar; herhangi bir işleme tabi tutulmamış 500 kişilik bir veritabanı kullanıldığında direk karşılaştırma yöntemine dayalı metodun %78 doğru tanıma performansı gösterdiğini belirlemiştir. Dalgacık dönüşümüne dayalı metot uygulandığında ise %80 doğru tanıma performansı elde edilmiş ve tanıma zamanında 11 kata varan bir azalma meydana gelmiştir. Anahtar Kelimeler: Resim İşleme, Veritabanı, Dalgacık Dönüşümü III
ABSTRACT UNIVERSITY OF KAHRAMANMARAŞ SÜTÇÜ İMAM INSTITUTE OF NATURAL AND APPLIED SCIENCES DEPARTMENT OF ELECTRICAL AND ELECTRONICS ENGINEERING M.Sc. THESIS ABSTRACT RECOGNITION OF FRONTAL FACE IMAGES BY APPLYING THE WAVELET TRANSFORM Supervisor: Assist. Prof. Dr. Metin ARTIKLAR Year: 2007 Pages:67 Jury : Assist. Prof. Dr. Metin ARTIKLAR : Prof. Dr. M. Kemal KIYMIK : Prof. Dr. İnan GÜLER Nowadays, object recognition which is a subfield of image processing has gained significant importance as science and technology allows more sophisticated manipulation of digital images. Among this subject, human face recognition received a lot of attention mostly because of the need to reliably security systems. In this study, we have developed a method based on discrete wavelet transformation to recognize human face images. 2 level transformations is applied to images. The approximation coefficients of the second level are used to identity faces. We have showed that applying wavelet transformation to the images increases recognition performance as well as decreases recognition time significantly when compared to similar cases using images without transformation. Simulations are performed over a set 500 people selected from CNNL face database. Our method, based on template matching without any transformation applied to images, performed % 78 correct recognition performances. The method developed based on wavelet transformation performed %80 correct recognition on the same set. However the latter performs the identification as much as 11 times faster. Keywords: Image Processing, Database, Wavelet Transform IV
ÖNSÖZ ÖNSÖZ Yüksek Lisans çalışmalarım süresince bilgi ve tecrübesiyle yardımlarını esirgemeyen danışman hocam Sayın Yrd. Doç. Dr. Metin ARTIKLAR a sonsuz teşekkür ve şükranlarımı sunarım. Sürekli fikirlerinden yararlanma imkânı bulduğum Öğr. Gör. Alper DİZİBÜYÜK e, dostlarıma ve elbette bütün yaşamım boyunca maddi ve manevi bana destek olan başta annem ve babama olmak üzere ailemin bütün bireylerine sonsuz teşekkürlerimi, şükranlarımı ve minnettarlığımı sevgi ve saygıyla sunarım. Haziran 2007 KAHRAMANMARAŞ V
ÇİZELGELER DİZİNİ ÇİZELGELER DİZİNİ SAYFA Çizelge 3. 1. Dalgacık ailesinin çeşitleri... 30 Çizelge 4. 1. L 1 normunun doğru tanımadaki oranları... 38 Çizelge 4. 2. L 2 normunun doğru tanımadaki oranları... 39 Çizelge 4. 3. Yüz resmi ifadelerinin doğru tanımadaki performansları... 40 VI
ŞEKİLLER DİZİNİ ŞEKİLLER DİZİNİ SAYFA Şekil 2. 1. CNNL veritabanındaki bir kişinin 72 x72 boyutundaki resim...6 Şekil 2. 2. (a) CNNL veritabanındaki bir kişinin 115 x82 boyutundaki bir yüz resmi (b) CNNL veri tabanındaki bir yüz resminde geometrik özelliklerin çıkartılması...7 Şekil 2. 3. Gizli Markov modeliyle veritabanındaki yüz resimlerinin parametrelerinin oluşturulması...8 Şekil 2. 4. Gizli Markov Modeli öğrenme şeması...9 Şekil 2. 5. Gizli Markov Modeli tanıma şeması...9 Şekil 3. 1. CNNL veritabanındaki 1200 kişinin etnik dağılım grafiği... 15 Şekil 3. 2. CNNL veritabanındaki 1. kişinin 115x82'lik çerçeveler halinde hafıza ve test seti resimleri... 16 Şekil 3. 3. CNNL veritabanındaki 2. kişinin 115x82'lik çerçeveler halinde hafıza ve test seti resimleri... 16 Şekil 3. 4. Temel fonksiyonların kapsadığı uzayın gösterimi... 24 Şekil 3. 5. İki alt uzay arasındaki fark uzayını temsil eden dalgacık fonksiyonlarının gösterimi... 25 Şekil 3. 6. (a) 2 seviyeli dalgacık dönüşümünün alçak ve yüksek geçiren filtreler kullanılarak bir resmin herhangi bir j çözünürlüğündeki dönüşüm katsayılarının bulunması. (b) Elde edilen katsayıların yaklaşık, yatay, dikey ve diyagonal katsayılar olarak gösterimi.... 29 Şekil 3. 7. Haar Dalgacığı... 30 Şekil 3. 8. Meyer Dalgacığı... 30 Şekil 3. 9. Daubechies Dalgacığı... 31 Şekil 3. 10. Mexican hat Dalgacığı... 31 Şekil 3. 11. Biorthogonal Dalgacığı... 31 Şekil 3. 12. Coiflet Dalgacığı... 31 Şekil 3. 13. Symlet Dalgacığı... 31 Şekil 3. 14. Morlet Dalgacığı... 32 Şekil 3. 15. Tanıma sisteminin blok diyagramı... 33 Şekil 3. 16. (a) Hafıza setindeki 1. kişinin 100x80 lik resmi. (b) 1-seviye dalgacık dönüşümü uygulanmış resmin özet, yatay, dikey ve diyagonal gösterimi. 34 Şekil 3. 17. (a) Hafıza setindeki 1. kişinin 50x40 lik 1. seviye özet dalgacık resmi (b) 2-seviye dalgacık dönüşümü uygulanmış resmin özet, yatay, dikey ve diyagonal gösterimi... 35 Şekil 3. 18. (a) Hafıza setindeki 1. kişinin 100x80 lik resmi... 35 Şekil 3. 19. Dalgacık dönüşümünde kullanılan Daubechies-1 in alçak ve yüksek geçiren filtre katsayıları... 35 Şekil 3. 20. Hafıza ve Test setinde karşılaştırma esasına göre tanıma işleminin yapılması... 36 Şekil 4. 1. L 1 ve L 2 normlarının karşılaştırılması... 38 Şekil 4. 2. L 1 ve L 2 normlarının karşılaştırılması... 38 Şekil 4. 3. Yüz resmi ifadelerinin doğru tanımadaki performansları... 40 Şekil 4. 4. Yüz resmi ifadelerinin doğru tanımadaki performansları... 40 Şekil 4. 5. Detay katsayıların doğru tanımadaki performansı... 41 VII
ŞEKİLLER DİZİNİ Şekil 4. 6. Dalgacık dönüşümü uygulanmış ve uygulanmamış resimler için doğru tanıma sonuçları... 42 Şekil 4. 7. Dalgacık dönüşümü uygulanmış ve uygulanmamış resimler için tanıma süresi karşılaştırması... 43 VIII
SİMGELER VE KISALTMALAR DİZİNİ SİMGELER VE KISALTMALAR DİZİNİ WAVELET : Dalgacık. CWT (Continous Wavelet Transform) : Sürekli Dalgacık Dönüşümü. DWT (Discrete Wavelet Transform) : Kesikli Dalgacık Dönüşümü. HMM (Hidden Markov Model) : Gizli Markov Modeli. PCA (Principal Component Analysis) : Temel Bileşen Analizi. DLA : Dinamik Bağlantı Mimarisi. CNNL : Kullanılan veritabanının ismi. : Ana dalgacık., : Dalgacık temel fonksiyonu. : Başlangıç alt uzayını belirten katsayı. : Her bir temel fonksiyonun çarpıldığı katsayı, ( ) : Ana dalgacıktan öteleme ve ölçeklemeyle elde edilen dalgacık. : Kovaryans Matrisi. : Resmin j çözünürlüğündeki özet katsayısı. : Resmin j çözünürlüğündeki yatay katsayısı. : Resmin j çözünürlüğündeki dikey katsayısı. : Resmin j çözünürlüğündeki çapraz katsayısı L 1 (City-Block) : Benzerlik ölçütü. L 2 (Euclidean Distance) : Benzerlik ölçütü. IX
GİRİŞ 1. GİRİŞ 1.1. Kişilerin Birbirinden Ayırt Edilmesi Kişilerin birbirinden ayırt edilmesi, kişilerin yaradılıştan gelen ve o kişiyi diğer tüm insanlardan ayıran özelliklerinin bulunup kullanılması ile olur. İnsanların diğer insan veya varlıkları tanımaları, onlara ait bazı özelliklerini algılamaları ve bu özellikleri daha önceki bilgileri ile karşılaştırmaları ile olur. Böyle bir tanıma insanın doğasında var olan bir özelliktir ve tamamen istem dışı olarak gerçekleşmektedir. Yaşadığımız çağdaş dünyada son yüzyıl içerisinde çok hızlı gelişmeler olmuş ve bu gelişmeler üstel olarak artan bir şekilde devam etmektedir. Özellikle bilgisayar ve internet e dayalı sistemlerdeki bu gelişmeler insanlarla etkileşim mekanik olarak değil, insan yapısına daha uygun olmalıdır. Bunun sonucudur ki insanların hayatını kolaylaştırmak için düşünülen sistemlerde de işlerin daha kolay yapılabilmesi için bazı işlevlerin taklit edilmesi gerekli ve zorunlu olmaktadır. 1.2. İnsanlarda Yüz Tanımanın Gerçekleşmesi Bilgisayarda insan yüzü tanıma işlemi gerçekte çok karmaşık işlemler dizisini gerektirir. Eğer tanıma işleminin, insanlara yardımcı olması amacıyla düşünülen bilgisayarlar aracılığıyla yapılması isteniyorsa, bilgisayarın bu fonksiyonu insanınkine benzer bir biçimde yerine getirmesi gerekir. Bu da ancak, insanın bilinçaltında gerçekleşen işlemler dizisinin bir bilgisayarda modellenmesi ile olur. Bilgisayar ortamında tanıma için resimlerin doğru bir şekilde kullanılması, resim içerisindeki yüzün bulunarak yüze ait özelliklerin tanıma işlemi için kullanılması gerekmektedir. Resimler elde edilirken bir görüntünün sayısal iki boyutlu biçimi elde edilir. Bir insanı diğer bir insandan ayıran en temel özelliklerden birisi kişinin yüzüdür. Yetişkinler, hatta çocuklar için bile önceden gördüğümüz bir yüzü hatırlaması çok kolay olduğundan tanıma işlemi genellikle yüze ait özelliklere dayanılarak yapılır. Bu görüntü üzerinde yüze ait sınırların işaretlenerek belirlenmesi ya da resimlerin aynı boyutlarda bir veritabanında oluşturulması gerekir. Yüze ait bölgenin sınırları iyi çıkartılamıyorsa tanıma işlemi için iyi denebilecek sonuçların elde edilmesi güçleşir. 1.3. Bilgisayarda Gerçekleşen Bir Yüz Tanıma Sisteminin Elemanları Bilgisayarda gerçekleşen bir yüz tanıma sistemde iki tane ana bileşene ihtiyaç vardır. Bunlardan birincisi yüz resimlerinden oluşan bir veri tabanı, diğeri ise bu resimleri tanımada kullanılan algoritmadır. Bir insan yüzü veri tabanı, tanınacak insanları temsil eden yüz resimlerinden oluşur. Her bir kişi; veri tabanında bir ya da birden fazla resimle temsil edilebilir. Veritabanında 1
GİRİŞ birden fazla resim, farklı yüz ifadeleri, pozlar ve ışıklandırma efektlerinden oluşur. Bir fabrikada çalışan bütün işçiler ya da bir bilgisayarda hesabı bulunan bütün kullanıcılar veri tabanına örnek gösterilebilir. Tanımlama algoritması girişte verilen resmi işleme alıp, resmin veri tabanında bulunan bir kişiye ait olup olmadığına karar veren metottur. Eğer kişi veri tabanında bulunmuyorsa, resim, sistemde tanınmadığı için geri çevrilir. Bu tanıma sisteminin girişteki resmi tanımayı reddetmesi olarak adlandırılır. Algoritmanın gelişmesi için, veri tabanının yanında, test grubu diye adlandırılan diğer yüz resimleri de sistemin performansını ölçmek için kullanılır. Bu resimler genellikle veri tabanındaki resimlerden farklıdırlar. Test grubundaki resimlere, sistemin geri çevirip çevirmeyeceğini sınamak için veri tabanında bulunmayan kişilerin resimleri de dahil edilebilir. 1.4. Yüz Tanımadaki Sistem Performansının Ölçülmesi Bir yüz tanıma sisteminin performansı için 3 önemli performans ölçümü yapılır. Doğru tanıma performansı, yanlış tanıma performansı ve reddetme performansıdır. Sınıflandırma performansı 3 ölçüm şekline dayanmaktadır. Doğru tanıma performansı; veri tabanı içerisindeki kişilere ait giriş resminin sistem tarafından doğru bir şekilde tanınmasıdır. Girişteki resmin veri tabanı içerisindekilerden farklı olması gerekmektedir. Yanlış tanıma performansı; veri tabanı içerisindeki kişilere ait giriş resminin sistem tarafından hatalı bir şekilde tanınmasıdır. Girişteki resmin veri tabanı içerisindekilerden farklı olması gerekmektedir. Reddetme performansı; veritabanı içerisinde olmayan kişilerin girişe verilen resimlerinin, tanıma sistemi tarafından, bu resmin veri tabanı içerisindeki bir kişiye ait olup olmadığının belirlenmesi ile ölçülür. Doğru bir şekilde tanınan kişilerin yüzdesi Yanlış tanınan kişilerin yüzdesi Ret edilen kişilerin yüzdesi Yüzdelik olarak belirtildiğinde; doğru tanıma, yanlış tanıma ve reddetme oranlarının toplamı 100 e eşittir. Dolayısıyla tanıma sisteminin performansını belirtirken iki tanesinin değerlerini vermek yeterlidir. Algoritmaların çoğunda, yanlış tanıma yüzdesiyle geri çevirme yüzdesi arasında bir değişim vardır. Örneğin, eğer sistemin % 0 gibi bir oranda yanlış tanıma yapması istenirse, geri çevirme oranı yükselebilir. Geri çevirme oranı düşürülebilir ama bu da yanlış tanıma oranını artırır. 2
GİRİŞ Yukarıdaki tanımlara dayanarak, otomatikleştirilmiş yüz tanımlama algoritması şöyle belirtilebilir: İnsan yüzü resimlerinin veri tabanı verildiğinde, giriş resminin veri tabanında bulunan bir kişiye ait olup olmadığına karar vermesi ve eğer bu resim veri tabanına aitse, sistemin, giriş resminin kimliğini belirlemesi şeklinde tanımlanabilir. 1.5. Yüz Tanımanın Zorlukları Son 50 yıldan beri süregelen çalışmalara rağmen yüz tanıma da zorlukların yaşanması bu işlemin bilgisayarlar için o kadar da kolay olmadığını göstermektedir. Yüz tanımanın zorluğu bütün görüntü işleme uygulamalarında var olan resmin kayması ve ölçeklendirilmesi gibi sorunlardan kaynaklanmaktadır. Tanıma işlemi gerçekleştirilirken yüz resimlerindeki yüz ifadesi; eğilme, değişik saç şekilleri, makyaj ve sakalın veya bıyığın var olması veya yok olması gibi sorunların üstesinden gelinmesi gerekir. Bazı durumlarda aynı kişinin (değişen ışık durumu ve/veya yüz ifadesi ile) iki resmi arasındaki fark(önceden tanımlanmış benzerlik ölçütleri) farklı kişilerin resimleri arasındaki farktan daha fazla olduğu görülür. Yaşlanma da bir diğer sorundur. Gerçek şu ki bir kişinin iki hafta veya bir ay aralıklarla çekilmiş iki resmi arasında çok büyük farklar olabilir. Bununla birlikte durumu zorlaştıran bir diğer faktör de resimdeki gürültülerdir. Bu faktörler resim çekildiği zaman resmin çekildiği ortamın aydınlatma koşullarındaki değişikliklerden de kaynaklanmaktadır. Bundan daha kötü bir durum ise yüze birden fazla ışık kaynağının gelmesi, yüzün bir tarafının daha karanlık olmasıdır. 1.6. Yüz Tanımanın Uygulama Alanları Fazla miktarda yüzü tanıyabilen düşük maliyetli bir sistemin birçok uygulaması olabilir. Örneğin ATM ve kredi kartı şirketleri, hatalı kullanım ve sahtekârlığı önlemek için bu tür sistemler ile ilgilenmektedirler. Bunu başarmanın bir yolu da kredi kartına kişinin resmini eklemektir. Yüz tanıma sistemi kredi kartı sahibinin resmini tanıyabilir ve yüksek seviyede güvenlik sunabilir. Emniyet ve istihbarat kuruluşları gibi kanunları uygulayan kuruluşlar insanları tanımanın hızlı ve etkili yöntemlerinin geliştirilmesi ile ilgilenmektedirler. Bazı uygulamalar için yüz resmi, bireyi tanımak için uygun olan tek veri kaynağıdır. Bunun bir örneği de video görüntüsünden alınan resimdir. Böyle bir görüntüde yüz resmi kısmi olarak görünmüyor bile olabilir. Ses tanımlama ile birleştirilen yüz tanımlama insan bilgisayar arasındaki ara yüzlerde kullanılabilir. Bu durumda ses verisi aynı zamanda, aramayı sınırlandırmak için de kullanılabilir ve böylelikle de yüz tanıma algoritması azaltılmış bir grup resme uygulanır. Bu tür melez metotlar ses verisinin resim verisine göre daha tümleşik olarak yapıldığından dolayı hem daha az zaman alma hem de daha güvenilir olma gibi avantajlara sahip olabilirler. 3
GİRİŞ 1.7. Tezin Aşamaları Hakkında Genel Bir Bilgi Bu tez çalışmasında otomatikleştirilmiş yüz tanıma sistemi için bir yüz tanıması algoritması geliştirilmiştir. Bunun yanında sistemi doğru bir şekilde test edebilmek için nitelikli ve büyük bir yüz resmi veritabanı olan CNNL veritabanını kullanılmıştır. Bu tezin geri kalan bölümleri aşağıdaki gibi hazırlanmıştır. İkinci bölümde insan yüzü tanımadaki araştırmaların ana hatları verilmiştir. Günümüze kadar yüz tanıma da uygulanan metotlar hakkında genel bilgiler verilmiştir. Özellikle de geometrik tabanlı metotlar, Eigenfaces(PCA), Hidden Markov modeli(hmm), Elastic Graph metodu, dalgacık dönüşüm tabanlı metotlar ve sinir ağ tabanlı metotlar üzerine bilgiler verilmiştir. Üçüncü bölümde tezin hedef ve amaçları belirtilmiştir. Otomatikleştirilmiş yüz tanımaya ait tasarımının yapısı özet olarak anlatılmıştır. Yüz tanıma sistemlerinin hedef davranışları belirlenmiştir. Dünyada kullanılan veritabanlarından başlayarak bu tez çalışmasında kullanılan veritabanının özellikleri, kullanılan dönüşümler, yöntemler ve simülasyonlar için hazırlanan algoritma hakkında bilgiler verilmiştir. Dördüncü bölümde hazırlanan yazılımlar ile yapılan simülasyonların sonuçlarını yorumlanmış ve kullanılan yöntemin sonuçları tartışılmıştır. Son bölümde ise tezin sonuçlarından sağlanan avantaj ve dezavantajlar anlatılmıştır. Bu alanda gelecek için yapılabilecek bazı çalışmalar belirtilerek tez sonuçlandırılmıştır. 4
ÖNCEKİ ÇALIŞMALAR 2. ÖNCEKİ ÇALIŞMALAR Bu bölümde yüz tanıma işleminde başarılı bir şekilde uygulanmış olan metotların bazıları hakkında teorik bilgiler ve literatürde bu konu ile ilgili yapılan çalışmalardan bahsedilmiştir. Geometrik yüz tanıma metodunda, yüzün bazı bölgelerini belirtmek için geometrik şekiller ile sınıflandırma ve daha sonra tanımayı gerçekleştirmek için standart model tanıma algoritmaları kullanılmaktadır. Gizli Markov Modelinde (Hidden Markov Modeli, HMM) resimlerden bazı kesitler alınarak, doğru tanıma işleminin yapılmasını kapsamaktadır. Üçüncü metot resmin boyutunu azaltmak için temel bileşen analizi kullanan öz vektör yaklaşımından faydalanmaktadır. Dördüncü metot da ise dalgacık dönüşümü esas alınmaktadır. Dalgacık dönüşümü ile hem resmin boyutunda bir azaltma sağlanır hem de süre yönünden önemli bir kazanç sağlanmış olur. En son bölümde ise kısaca Fisherfaces ve sinir ağlarına dayalı algoritmalar gibi bu alanda kullanılan diğer algoritmaların bazıları açıklanmıştır. Bilinen bazı yüz tanıma metotları özet olarak anlatılmadan önce bu çalışma boyunca kullanılan harf ve kısaltmalar hakkında genel bilgiler verilmiştir.. Veritabanında ki her bir resim n x m boyutunda iki boyutlu resimler olarak alınmıştır. Çalışmalarımızda gri-seviyeli resimleri kullanılmıştır. Gri seviyeli resimler için her bir piksel değeri 0 ile 255 arasındadır. M tane farklı kişi içeren bir veritabanı aşağıdaki gibi gösterilmektedir. 1 2 M { I, I,..., I } i = 1,2,...M (2.1) i Her bir I resim i { } n I 0. 1 m şeklinin n x m boyutundaki matrisidir. Gri seviyeli i n m resimlerde I Z dır. Piksel değerleri adlandırılırken I ( x, y) ; x satırında ve y sütunundaki piksel değerini belirtmek için kullanıldı. Piksellerin toplam sayısı N olarak i N gösterilirse, örneğin, gri seviyeli resimler için; I Z dir. Çoğu zaman veritabanında her bir kişi için birden fazla resim kullanılır. Bu durumda her bir kişinin birden fazla resimle gösterildiği M sayıdaki kişileri içeren veritabanına göstermek için aşağıdaki ifadeler kullanılmıştır. 1 k ki M M M k { I 1 1, I 2 1 1 2,..., I ;,,, I...; I, I,..., I M } (2.2) Burada k i ; i. kişinin resimlerinin sayısıdır. 2.1. Geometrik Özelliklere Dayalı Metotlar Geometrik şekillere dayalı metotlar üzerindeki bazı çalışmalar (Bledsoe, 1966) ve (Goldstein, 1971) tarafından yapılmış olmasına rağmen ilk otomatikleştirilmiş yüz tanıma sistemini geliştiren insan Kanade idi (Kanade, 1973). Geometrik şekiller metodu insanların bir takım aynı özelliklerine bağlı olarak ortaya çıkar. Bunlar; iki göz, bir burun, bir ağız v.s. Bu bileşenler arasındaki göreceli boyut ve mesafe kişiden kişiye değiştiğinden dolayı bu farklılık sınıflandırma amaçlı kullanılabilir. 5
ÖNCEKİ ÇALIŞMALAR Bu metoda baktığımızda ımızda iki zorlukla karşılaşırız. İlk sorun bir yüzü tanımak için en uygun bir grup özelliği i bulmak, ikinci sorun ise seçilen özellikleri çıkartmak için çabuk ve otomatikleştirilmiş bir mekanizma geliştirmektir. (Kaya ve Kobayashi, 1992) tarafından ilk soruna atfen uygun özellikleri seçmek için bir takım yöntemler geliştirilmiştir. İlk olarak otomatikleştirilmiştirilmiş prosedürler tarafından daha kolay fark edilen özellikler seçilmelidir. Yani resimden özellikleri alma işlemi sisteme büyük hesap yükü getirmemelidir. İkinci olarak aydınlatmadaki farklılıklarda özellikler hep aynı kalmalıdır. Üçüncü olarak da öyle özellikler seçilmeli ki örneğin yüz ifadesindeki değişiklik o özelliği i etkilememelidir. Her bir özelliğin bilgi içeriği i maksimize edilmelidir. (Kanade, 1973) çalışmasında 2. soruna atfen dâhili aydınlatma olarak bilinen metodu önermiştir. Bu metot da resmin n satır ve m sütunlardan meydana geldiğini baz alınıp, her bir satır ve sütundaki piksel değerleri toplanmaktadır. Sonuç resmin satırları üzerindeki bir yoğunluk profili veren n boyutlu ve sütunlar üzerindeki yoğunluk profilini veren m boyutlu bir vektördür. (Bichsel, 1991) kolay olmasına rağmen bu teknik diğer birçok araştırmacı tarafından kullanılan bir takım geometrik şekilleri bulmada çok başarılıdır Dahili aydınlatmanın bir örneği şekil 2.1 de 72 x 72 boyutunda bir resim olarak verilmiştir. Şekil 2. 1. CNNL veritabanındaki bir kişinin inin 72 x72 boyutundaki resim Daha sonra (Brunelli ve Poggio, 1993) bu fikri geliştirerek ve yüz resminden 35 tane boyut ve mesafe ölçümü almıştır. Bu 35 ölçüm, yüzü gösteren özellik vektörü olarak alınmıştır. Bu özellik vektörleri veritabanı içerisindeki tüm resimler ve girişteki resim için bulunarak birbirleri ile karşılaştırıldığında, yüz tanıma algoritmaları resmi sınıflandırmak için kullanılabilir. (Brunelli ve Poggio, 1993) çalışmasında bu özellikleri bularak resimleri normalleştirdikten sonra resim içerisinde aydınlatma koşullarından dolayı oluşan değişimlerin azalmasını sağlamıştır. 6
ÖNCEKİ ÇALIŞMALAR MALAR ÖZDEM (Gonzales, 2002) bir ir sonraki aşamada, a gri seviyeli li resmin içerisindeki ööğelerin kenarları, yatay ve dikey gradyan operatörlerini operatö uygulanarak hesaplamıştır. ştır. Son olarak, gradyan resimleri binary şekline dönüştürmek dönü için eşik aralığı uygulamıştır. ştır. Binary yata yatay gradyan resim, yüz ve burnun sa sağ ve sol kenarlarını belirleme de faydalı olurken, dikey gradyan resim gözü, burnu ve aağzı yerleştirmede faydalı olmuştur. ştur. Kenarları belirlendiğinde şablon eşleşti ş ştirme işlemi özelliklerini karşılaştırmak için kullanılabilir. Daha belirgin özellik seçimi için her bir özelliğe özelli birçok şablon ablon kaydedilebilir. ş kaş (Brunelli ve Poggio,, 1993) tarafından çıkarılan bazı geometrik şekiller; kalınlığı, ı, göz merkezinin dikey konumu, burnun genişliği geni i ve dikey konumu, aağzın dikey konumu, alt ve üst dudağının ının genişliği geni ve yüksekliği, çene şekli, ekli, yüzün burna olan geni genişliği ve burun ucu ile gözler arasındaki yüz genişliği g gibi durumlar şekil 2.2 de belirtilmiştir. belirtilmi (a) (b) Şekil 2. 2. (a) CNNL L veritabanındaki bir kişinin 115 x82 boyutundaki bir yüz res resmi (b) CNNL veri tabanındaki bir yüz resminde geometrik özelliklerin çıkartılması (Brunelli ve Poggio, 1993) bu b özelliklerin kullanıldığıı metot 21 bayan ve 26 erkekten oluşan 47 kişinin inin veritabanında test edil edilmiştir. Her bir kişi şi 4 resimle test 7
ÖNCEKİ ÇALIŞMALAR edilmiştir. (Brunelli ve Poggio, 1993) bu veri tabanında % 90 oranında doğru tanıma gerçekleştirmiştir. 2.2. Gizli Markov Modeli (Hidden Markov Model) Gizli Markov Modelleri, bir sinyalin istatistik özelliklerini tanımlamak için kullanılan istatistik model grubudur (Rabiner and Huang, 1993). HMM, birbiriyle ilişkili iki süreçten oluşur: ur: (1) sınırlı sayıdaki ifadelerden (diğer bir deyişle durum geçiş olasılık matrisi ve bir başlangıç durum olasılık dağıtımı) oluşan öncelikli ve gözlenemeyen Markov zinciri ve (2) her bir ifade ile ilişkili bir grup olasılık yoğunluk fonksiyonudur. Gizli Markov Modelinde tanıma işlemi yapılırken resmin belli bölgelerinden kesitler alınır. Bu kesitlere göre tanıma işlemi yapılır. W ile H resmin boyutlarını verirken, P; ; göz ile burundaki kesitleri, L ise kaş ile burundaki kesitlere karşılık gelmektedir. Şekil 2.3 de Gizli Markov Modeliyle veritabanındaki yüz resimlerinde parametrelerin oluşturulması gösterilmektedir. Şekil 2. 3. Gizli Markov modeliyle veritabanındaki yüz resimlerinde parametrelerin oluşturulması Hidden Markov modelinde sınıflandırma yapılırken aşağıdaki iki şema esas alınır. Şekil 2.4 de öğretilecek verinin bazı aşamalar sonrasında model parametreleri releri belirlenir, şekil 2.5 de ise test resminden temel özelliklerin belirlenmesinden sonra bu özellikler oluşturulan modeller ile karşılaştırılarak girişteki test resminin tanınması sağlanır. 8
ÖNCEKİ ÇALIŞMALAR Şekil 2. 4. Gizli Markov Modeli öğrenme şeması Şekil 2. 5. Gizli Markov Modeli tanıma şeması 9
ÖNCEKİ ÇALIŞMALAR (Samaria and Young, 1993) Olivetti veritabanını (40 kişinin 10 ar farklı yüz ifadelerinden oluşan resmi) kullanarak yaptığı doğru tanımada %87 lik bir doğru tanıma elde etmiştir. (Samaria, 1994, Samaria and Harter, 1994) burada test resimleri ve veritabanı için kullanılan örnekler, hidden markov modeli tarafından üretilmiş olup tanıma amaçlı kullanılırlar. Samaria, 40 kişinin 200 deneme ve 200 test resmini kullanarak bu metodu uygulamıştır. Gizli Markov Modelini uygulayarak yaptığı doğru tanımada %84 lük bir doğru tanıma elde edilmiştir. Gizli Markov Modeli ses tanımada da başarılı bir şekilde de uygulanmıştır. Ne yazık ki örnekleri oluşturmak için gereken zaman oldukça uzun olduğu için yüz tanımada pek tutulan bir metot değildir. 2.3. Eigenfaces (Principal Component Analysis) Öz yüzler yaklaşımı ilk olarak Sirovich ve Kirby (Eigenfaces, Principal Component Analysis, PCA) (Sirovich ve Kirby 1987) tarafından kullanılarak yüzü etkin bir şekilde göstermek için uygulanmıştır. Temel bileşen analizi olarak da bilinen Karhunen-Louve genişlemesine dayanmaktadır. Bu, bilgi teorisinde veriyi kodlama ve kodunu çözmede iyi bilinen bir tekniktir Bu kişiler yüz resimleri gruplarından başlayarak bu resimlerin temel bileşenlerini hesaplamışlardır. Daha sonra da öz vektörün sadece küçük parçalarının ağırlıklı birleşimini kullanılarak yüz resmini yeniden oluşturmuşlardır. (Kirby ve Sirovich, 1990) bu metotlarını 115 yüz resmi veri tabanında test ettiler ve yaklaşık olarak %3 yanılma (hata) payıyla bir yüzü yeniden oluşturmak için sadece 40 öz vektörün yeterli olduğunu göstermişlerdir. Bundan kısa bir süre sonra yüzün simetrisini dikkate alarak (örneğin bütün yüzlerde gözler, burun v.s. aynı bölgede) orijinal metotlarını geliştirdiler. Algoritmayı 87 kişilik bir veritabanında test etmişlerdir. (Turk ve Pentland, 1991) bu fikri daha da geliştirdi ve ilk tam otomatik sistemlerden birini üretmişlerdir. Öz yüzler yöntemi şu şekilde uygulanır. Öncelikle veritabanı içerisindeki nxm boyutundaki yüz resimleri tek boyutlu bir satır vektörüne çevrilir. nxm=n olduğunu düşünürsek, elimizde M tane N boyutlu yüz vektörü olur. Bu resimlerin ortalamalarının alınmış halini, ortalama yüz resmi vektörü olarak tanımlarsak = 1 (2.3) Bu ortalama yüz vektörü veri tabanı içerisindeki her bir resimden çıkarıldıktan sonra bu veritabanı resimleriyle bir matris oluşturduğumuzu düşünelim. Bu matrise A dersek = (2.4) Ve = =1,., olacaktır. A matrisinin kovaryans matrisini elde etmek için şu işlem uygulanır. 10
ÖNCEKİ ÇALIŞMALAR = ( ) = (2.5) Elde edilen C, kovaryans matrisinin boyutu NxN olacaktır. Bu aşamada C matrisinin öz vektörleri bulunarak öz yüzler yöntemi uygulanabilir. Ancak şu durumu göz önüne aldığımızda C matrisi üzerinde bir ön işlem süreci uygulamamız gerektiği ortaya çıkar. C matrisinin boyutu NxN dir. Ancak C matrisi oluşturulurken M tane resim kullanılmıştır. Pratikte dir. Ancak C matrisinin N tane öz vektöründen sadece M tanesi dışındakiler 0 öz değerine sahiptir. (Çünkü C matrisini oluştururken kullandığımız A matrisi NxM boyutunda olduğundan ve A matrisinin rankı M olacağından, M tane öz vektöre sahiptir). Bu durumda =( ) matrisi yerine ( ) matrisinin öz vektörlerini kullanırsak, elimizde M tane, öz değerleri sıfırdan farklı öz vektör olacaktır. Bu aşamada şu işlem yapılacaktır. ( ) =ℷ (2.6) Her iki tarafı da A ile çarparsak şu eşitliği elde ederiz. = ℷ = olduğundan =ℷ (2.7) Yukarıdaki eşitlikte vektörünün, C= kovaryans matrisinin öz vektörlerine karşılık geldiği görülmektedir. C nin öz vektörleri yüz resimlerin özellik gruplarını göstermek için kullanılabilir. Küçük öz değerlere karşılık gelen öz vektörler kovaryans matrisindeki küçük değişiklikleri gösterir. Ama yinede yüzün birçok ayırıcı özelliğini kaybetmez. İstenilen öz vektörlerin sayısı veritabanını ne kadar doğrulukla göstermemize bağlı olarak değişir ve deneyerek bulunabilir. Seçilen bu öz vektörler grubu öz yüzler olarak isimlendirilir. Öz yüzler bir kere elde edilince veri tabanındaki her resim öz yüz alanına yansıtılır ve resmi gösteren ve projeksiyondan elde edilen katsayılar kaydedilir. Test deneme resmini sınıflandırmak için bu resmin öz katsayıları benzer şekilde hesaplanır ve daha sonra veritabanındaki her bir resmin öz katsayısı ile karşılaştırılır. Bundan sonra ise deneme resmi en iyi öz katsayıya sahip olan kişi olarak sınıflandırılır. (Turk ve Pentland, 1991) kendi sistemlerini 16 kişinin 2500 resmi bulunan bir veri tabanında denemişlerdir. Resimler farklı baş oryantasyonları, boyutları, ışıklandırma koşullarından seçilmiştir. Sistemleri, farklı ışıklandırmaya sahip resimler üzerinde %96, farklı baş oryantasyonun da %85, farklı görüntü ölçeklerinde %64 doğru sınıflandırma sonuçları elde edilmiştir. (Pentland ve Moghaddam 1994) kendi önceki sistemlerine kısmi özellikleri çıkarmak için tasarlanan bir öz şablon kullanmak ve tanıma işi için sadece öz yüz ile 11
ÖNCEKİ ÇALIŞMALAR birlikte Bayesian tabanlı istatistik metotlar kullanmak gibi bir takım düzenlemeler yapmışlardır. (Moghaddam ve Pentland, 1997) Onların en iyi sistemleri yaklaşık olarak 3000 kişinin 7562 resmini barındıran veritabanında %95 lik bir doğru sınıflandırma elde etmişlerdir. (Zang, Yan ve Lades, 1997) ışık değişikliği çok fazla olduğu zaman öz yüzler metodunun ciddi seviyede kötüleştiğini göstermişlerdir. (O Toole, Deffenbacher ve Valentin, 1993) bir yüzü kodlamak için baskın öz yüzü kullanmanın en uygun olduğunu ama tanıma işinde en uygun seçim olmağını göstermişlerdir. 100 kişilik bir öz yüz kullanılarak 45. ve 80. arasındaki herhangi bir 15 öz yüz seçiminin, en iyi 15 öz yüz kadar, iyi ayırım gücüne sahip olduğunu göstermişlerdir. Bir diğer çalışmada (O Toole, Deffenbacher ve Barlett, 1991) öz yüzler ve bir yüzün cinsiyet ve ırk gibi özellikleri arasındaki ilişkileri incelemişlerdir. İkinci en büyük öz yüzün tek başına bir kişinin ırkını %88,8 oranında başarılı bir şekilde belirleyebildiğini göstermişlerdir. Aynı zamanda gösterdiler ki en büyük dört öz değerin toplamı %74,3 oranında doğru cinsiyet tahminini yapabildiğini göstermişlerdir. Her iki simülasyonda 50 bayan ve 50 erkekten oluşan 100 tane yüzde yapılmıştır. 2.4. Dalgacık Dönüşüm Tabanlı Metotlar Öz yüzler gibi dalgacık dönüşümü; tanıma işleminden önce yüz resminin boyutunu azaltmak için kullanılabilir. Bir sinyali ortalama bir şekil ve detay katsayılarına çözümlemek için kullanılır. Bu bölümde dalgacık dönüşümünün önceki dönemlerde uygulamalarından bahsedildi. Ayrıntılı olarak materyal ve metot bölümünde değinildi. Dalgacık temel fonksiyonu aynı zamanda ana dalgacık olarak ta adlandırılmaktadır. Çünkü dönüşüm esnasında bir sonraki aşamada kullanılan her bir dalgacığın temeli, dönüşüm ve ölçekleme işlemleri tarafından yapılan bu orijinal dalgacık fonksiyonlarından elde edilir. Wavelet dönüşümünün popüler olmasında birçok sebep vardır. İlk olarak bu dönüşüm, pencereli fourier dönüşümüne benzemektedir; dönüşümü hesaplamak için bir pencere fonksiyonu bir sinyalden geçirilir. Bununla birlikte WFT de sabit boyutlu bir pencere, zaman-frekans bilgisini belirlemek için sinyal içerisinde hareket ettirilir. Dönüşümünün popüler olmasının ikinci sebebi ise teorik olarak sonsuz sayıda seçilecek temel fonksiyon vardır. Sonuç olarak; verilen uygulamaya çok iyi uyan temel bir fonksiyon seçilebilir. Sonuçta ise dalgacık dönüşümünün hesaplama karmaşıklığı hesaplanan katsayıların sayılarında lineerdir. Dalgacık dönüşümü ile ilgili daha geniş açıklamalar (Stollnitz, DeRose and Salesin, 1995) ile (Graps, 1995) in eserlerinde bulunabilir. 12
ÖNCEKİ ÇALIŞMALAR (Jacobs, Finkelstein and Salesin, 1995) az sayıda katsayılar kullanarak resmi göstermek için kesikli dalgacık dönüşümünü kullanmışlardır. Kullandıkları veri tabanı farklı nesnelerin 20000 renkli resminden oluşmuştur (bunların çoğu yüz resmi değildi). Burada ki amaç nesnenin şeklinin sadece taslağını veren bir deneme resmi kullanarak veritabanından en iyi karşılık gelen 20 nesneyi geri elde etmekti. Veritabanındaki her bir resmin kenar bilgisini elde etmek için kesikli dalgacık dönüşümünü (DWT yi) kullanmışlardır. Kolay uygulamasından ve basitliğinden dolayı haar ana dalgacığı temel fonksiyon olarak kullanılmıştır. Bu deneyde veritabanındaki bütün resimler 128 x 128 boyutundaydı. Kesikli dalgacık dönüşümü bu resimlerin hepsine uygulandı ve bir dizi 128 x 128 katsayılı resimler oluşturulmuştur. En büyük 60 katsayı resmi görüntülemek için tutulmuştur.. İlk katsayı nesnenin özet katsayılarını içermektedir. Diğer katsayılar nesne hakkında yatay, dikey ve diyagonal bilgiler vermektedir. (Garcia, Zikos ang Tziritas, 2000) kesikli dalgacık dönüşümünü algılama ve sınıflandırma görevleri için ön cepheden çekilen resimlere uygulamışlardır.. Yüz bir kere algılanınca sadece iki sonuç adımı için yüz resmine kesikli dalgacık dönüşümünü uygulamışlardır. İkinci adımdan sonra asıl resim 16 katsayı matrisine bölünmüştür. İlk matris yüzün şeklinin tamamına karşılık gelen katsayıları içeriyordu (yaklaşık yüz olarak tanımlanıyordu) ve geriye kalan 15 matriste yüzün çapraz, dikey ve yatay katsayılarını gösteren katsayılardan ibarettir. Şunu da not etmek gerekir ki bu matrislerin her biri orijinal resmin 1/16 sı idi. Bu dalgacık katsayılarını kullanarak bir yüz için 21 tane özellik ortaya çıkarmışlardır. Bu 6 özellik ortalama yüzün 3 farklı oranından elde edilen 3 ortalama ve 3 değişken değeriydi. Geriye kalan 15 özellik ise ayrıntı katsayı matrislerinin her birinin varyansıydı. Bu metot MIT yüzler ve birleşik devletler ARMY/FERET veritabanından elde edilen iki farklı resim grubuna uygulanmıştır. İlk grup 200 kişinin ön cephe resminden, ikinci grup ise 155 kişinin 310 aynı nitelikteki resminden oluşmaktaydı. Bu çalışmalardan başarılı sonuçlar alınmaya başlamışlardır. Dinamik bağlantı mimarisi (DLA) de bir diğer dalgacık tabanlı algılama tekniğidir. İlk olarak (Lades and Vorbruggen, 1993) tarafından ortaya atılmıştır. Dönüşümü bütün yüze uygulamak yerine belirleme görevini gerçekleştirmek için bölgesel özellikler üzerinde durmaktadır. Bir yüzün, resmin ortasında olduğunu farz ederek yüze bir çizgi yerleştirir. Birden fazla Gabor fitresi (gabor ana dalgacığı) yüzün o bölgesinin çok çözünürlüklü bir tanımını elde etmek için kullanılmıştır. Önceden belirlenen fonksiyonu küçültmek için bu düğümlerin küçük bir bölgede hareket etmesine izin verilmiştir. Metodun dinamik mimarisi ve çok çözünürlük özelliği, rotasyon ve ölçekleme gibi yüz özelliğinin genel deformasyonlarını gidermek için iyi bir yöntem sunar. (Lades and Vorbruggen, 1993) 87 kişilik bir veritabanında metotlarını test etmişlerdir. İki test grubu oluşturulmuştur. İlk grupta ki insanların kameraya doğrudan bakmaları istendi, İkinci gruptakilerden ise yüzlerini 15 o sağa çevirmeleri istenmiştir. Her bir durumda sistemin performansını ölçen birçok sistem parametresini değiştirmişlerdir. İlk grup için en iyi elde edilen sonuç %88 doğru sınıflandırma, İkinci grup için ise% 84 idi. Son birkaç yılda bu metot yüz tanıma metotları arasında tanınır hale gelmiştir. 13
ÖNCEKİ ÇALIŞMALAR 2.5. Diğer Metotlar Son zamanlarda yüz tanımada birçok diğer metot kullanılmaktadır. Sinir ağı tabanlı metotlar yüz tanımada yaygın olarak kullanılmaktadır. (Valentin and Abdi, 1994) yazdıkları makalelerinde yapay sinir ağları ile yüz tanıma işlemini gerçekleştirmişlerdir. (Cottrell and Munro, 1998) yapay sinir ağlarıyla tanıma işleminde çok katmanlı perseptronları (MLP) kullanmışlardır. MLP mimarisi üç katmandan meydana gelir: Bunlar; giriş katmanı, gizli katman ve çıkış katmanıdır. Gizli katmandaki nöronların sayısı, giriş katmanındakilerden genellikle daha küçüktür. (Nakamura, 1991) yüz resminin iso yoğunluk bölgelerinden yararlanarak resmi ikili resimler serisine dönüştürmüştür. Yapmış olduğu bu gruplandırmalar ile tanıma işlemini kolaylaştırmıştır. (Vincent, Waite and Myers, 1991) bir resmi sınıflandırmak için MLP ağını kullanmıştır. Bu çalışmada bir MLP her bir yüz özelliğine ayrılmıştır. (Lawrence, Giles, Tsoi and Back, 1997) tarafından öne sürülen diğer bir yaklaşım konvolosyon ağıdır. Bu sistem iki ana aşamadan meydana gelmektedir.. İlk aşamada giriş resminin boyutu üç katmanlı kendinden organizeli harita kullanılarak düşürülmekte, ikinci aşamada konvolosyon sinir ağı sınıflandırma için kullanılmaktadır. 40 kişinin 400 resminden oluşturulan bir veri tabanı kullanarak sınıflandırma performansını %96.2 olarak hesaplamışlardır. Bunun yanında yüze uygulanan bir diğer tanıma metodu da fisherface dir. (Belhumeur, Hespanha and Kriegman, 1997) de metot öz yüzler metoduna benzerdir. Fakat resimleri düşük boyutlu özellik alanına yansıtmak için temel bileşen analiziyle birlikte fisher lineer ayrımını kullanmışlardır. M ve N boyutlu resimleri içeren bir grubun olduğunu farz ederek özellik alanının boyutunun n x n den n x m ye indirmek için PCL yi, ve daha sonrada özellik alanının boyutunun m-1 e indirgemek için fisher lineer ayrımını kullanmışlardır. 16 kişinin 160 resmini içeren Yale veritabanını kullanarak öz yüzler yaklaşımına nazaran hata oranında kayda değer bir azalma olduğunu göstermişlerdir. Öz yüzler yaklaşımındaki hata oranı %19.4 iken kendi yaklaşımlarındaki hata oranı %6 dır. Bununla birlikte uzmanlar bu metodun geniş bir veri tabanında uygulanması hakkında herhangi bir şey belirtmemişlerdir. 14
MATERYAL VE METOT ÖZDEM 3. MATERYAL VE METOT 3.1. Materyal 3.1.1. CNNL Veritabanı Materyal olarakk CNNL veri tabanı kullanılmı kullanılmıştır. CNNL veri tabanı 2002 yılında Wayne State Üniversite sinin Computation and Neural Network (CNNL) laboratua laboratuarında hazırlanmıştır. CNNL veri tabanında ya yaşları 15 ile 60 arasında değişen, en, bunların 733 ü erkek, 467 si kadın toplam 1200 kişinin ki resmi bulunmaktadır. tadır. Resim çektirenler arasında Amerikalı, Asyalı, Kafkasyalı, Afrikalı, Hintli, Orta Doğulu Do gibi birçok farklı ülkeden, farklı ırktan insanların yüz ifadesi bulunmaktadır. Şekil ekil 3.1 de CNNL veritabanındaki 1200 kişinin etnik dağılım ılım grafiği grafi gösterilmektedir. Diğer %7 Asyalı %11 Afrika Kökenli Amerikalı %34 Orta Doğulu %14 Hindistan Kökenli Pakistanlı %9 Beyaz Kafkas %25 Şekil 3. 1. CNNL veritabanındaki 1200 kişinin ki etnik dağılım ılım grafiğ grafiği CNNL veritabanında 1200 kişinin ki ön cepheden çekilmiş gri seviyeli yüz ifadeleri bulunmaktadır. Her bir kişinin şinin 10 adet yüz ifadesi resmi vardır. Bu resimlerden mlerden hafıza setinde, sekiz yüz ifadesi olarak; güler iken, şaşkın kın iken, kızgın iken ve 5 adette ifadesiz resmi bulunmaktadır. Test setinde ise iki adet resim bulunmaktadır. Bunlardan birincisi ifadesiz iken, diğeri eri ise resmi çektiren ki kişiye bırakılmış herhangi bir yüz ifadesi resmidir. Veritabanındaki her bir resim 115x82 boyutlarındadır. Dosya uzantısı olarak.raw uzantılı resim dosyaları olarak, olarak hafıza ve test setleri oluşturulmuştur. tur. Bizim yaptı yaptığımız çalışmalarda 100 x80 'lik lik çerçeveler alınmıştır. alınmı Bu çerçeve oluşturulurken; turulurken; resimlerin yüz şeklini eklini minimum ölçüde içine alacak şekilde bir çerçeve seçilmiştir. tir. Tüm resimler için oluşturulan turulan çerçeveler göz önünde bulundurularak 100x80'lik bir çerçeve elde edilmi edilmiştir. Şekil 3.2 ve şekil ekil 3.3 de CNNL veritabanındaki verit 1. ve 2. kişilerin ilerin hafıza ve test resimleri gösterilmektedir. 15
MATERYAL VE METOT Şekil 3. 2. CNNL veritabanındaki 1. kişinin 115x82'lik çerçeveler halinde hafıza ve test seti resimleri Şekil 3. 3. CNNL veritabanındaki 2. kişinin 115x82'lik çerçeveler halinde hafıza ve test seti resimleri 16
MATERYAL VE METOT 3.1.2. Dünyadaki Önemli Yüz Veritabanları Resim işlemin alt dalı olan insan yüzü tanıma gelişen teknolojiyle birlikte her geçen gün biraz daha önem kazanmaktadır. Bu önemle birlikte insan yüzü tanıma için birçok veritabanı oluşturulmaktadır. Veritabanlarının oluşturulması bu alanda uygulanan metotların geliştirilmesinde önemli rol oynamaktadır. Bu veritabanları farklı ışık ortamları, farklı yüz ifadeleri, farklı ırklardan birçok kişinin katılımıyla oluşturulmaktadır. Bu alanda dünyada oluşturulmuş veritabanlarının bazıları ve bu veritabanlarının özellikleri hakkında bilgiler aşağıda verilmiştir. Adı: AR Face Database Renkli Resim: Var Resimlerin Boyutu: 576x768 Kişi Sayısı: 126; 70 Erkek, 56 Kadın Her Bir Kişinin Resim Sayısı: 26 Veritabanının Özellikleri: Bütün resimler ön cepheden çekilmiştir. Yüz ifadeleri olarak; normal, komik, kızgın ifadeler, Sağ taraftan ışık altında, sol taraftan ışık altında, tamamen ışık altında, güneş gözlüğü takılı iken, güneş gözlüğü takılı sağ tarafta ışık var iken, güneş gözlüğü takılı sol tarafta ışık var iken, saçlar kapalı iken, saçlar kapalı sağ ve sol tarafta ışık var iken çekilmiş resimlerden oluşmaktadır. Veritabanına İnternetten Erişilebilirlik: Var Adı: Richard's MIT database Renkli Resim: Var Resimlerin Boyutu: 480x640 Kişi Sayısı: 154; 82 Erkek, 74 Kadın Her Bir Kişinin Resim Sayısı: 6 Veritabanının Özellikleri: Resimler; iki ön cepheden, profilden, 3/4'lük bir çerçeveden oluşmuştur. Ayrıca bazı durumlarda öğrencilerin bazı resimlerinde makyajlama işlemi yapılmıştır. Veritabanına İnternetten Erişilebilirlik: Var Adı: CVL Database Renkli Resim: Var Resimlerin Boyutu: 640x480 Kişi Sayısı: 114; 108 Erkek, 6 Kadın Her Bir Kişinin Resim Sayısı: 7 Veritabanının Özellikleri: Resimler sağ ve sol profilden, 45 o açıyla sağ ve sol taraftan, ön cepheden, ön cepheden güler iken, ön cepheden güler iken ve dişler görünür iken çekilmiştir. Veritabanına İnternetten Erişilebilirlik: Var Adı: Notingham Scans Renkli Resim: Yok Resimlerin Boyutu: 438x538 17
MATERYAL VE METOT Kişi Sayısı: 100; 50 Erkek, 50 Kadın Her Bir Kişinin Resim Sayısı: 1 Veritabanının Özellikleri: Bütün resimler ön cepheden çekilerek veritabanı hazırlanmıştır. Veritabanına İnternetten Erişilebilirlik: Var Adı: Aberdeen Renkli Resim: Var Resimlerin Boyutu: 432x528 Kişi Sayısı: 116 Her Bir Kişinin Resim Sayısı: Kişilere göre 1 ile 18 arasında değişen toplam 690 resim. Veritabanının Özellikleri: Bütün resimler ön cepheden çekilmiştir. Resimler ışık altında ve farklı yüz varyasyonları ile oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: The Yale Face Database B Renkli Resim: Yok Resimlerin Boyutu: 640x480 Kişi Sayısı: 10 Her Bir Kişinin Resim Sayısı: 576 Veritabanının Özellikleri: Bütün resimler 9'ar pozdan 64 farklı aydınlık durumunda oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: The Yale Face Database Renkli Resim: Yok Resimlerin Boyutu: 320x243 Kişi Sayısı: 15 Her Bir Kişinin Resim Sayısı: 11 Veritabanının Özellikleri: Resimler ön cepheden ışık altında, gözlük ile, sağ ve sol ışık altında, mutlu, üzgün, uykulu, şaşkın, göz kırpar iken durumlarından veritabanı oluşturulmuştur.. Veritabanına İnternetten Erişilebilirlik: Var Adı: PIE Database Renkli Resim: Yok Resimlerin Boyutu: 640x486 Kişi Sayısı: 15 Her Bir Kişinin Resim Sayısı: 11 Veritabanının Özellikleri: Resimler ön cepheden ışık altında, gözlük ile, sağ ve sol ışık altında, mutlu, üzgün, uykulu, şaşkın, göz kırpar iken gibi durumlarından veritabanı oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var 18
MATERYAL VE METOT Adı: The UMIST Face Database Renkli Resim: Yok Resimlerin Boyutu: 220x220 Kişi Sayısı: 20 Veritabanına İnternetten Erişilebilirlik: 19 ile 36 arasında değişmektedir Veritabanının Özellikleri: Sağ ve sol profiller den değişik görüş açılarıyla çekilen resimlerden oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: Olivetti-Att-ORL Renkli Resim: Yok Resimlerin Boyutu: 92x112 Kişi Sayısı: 40 Her Bir Kişinin Resim Sayısı: 10 Veritabanının Özellikleri: Resimler ön cepheden başın küçük eğimlerle oynatılarak değişik pozlardan oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: The Japanese Female Facial Expression (JAFFE) Database Renkli Resim: Yok Resimlerin Boyutu: 256x256 Kişi Sayısı: 10 Her Bir Kişinin Resim Sayısı: 7 Veritabanının Özellikleri: Çekilen resimlerde duygu ifadesi içeren yüz ifadeleri kullanılmıştır. Veritabanına İnternetten Erişilebilirlik: Var Adı: The Human Scan Database Renkli Resim: Yok Resimlerin Boyutu: 384x286 Kişi Sayısı: 23 Her Bir Kişinin Resim Sayısı: Ortalama 66 resimden oluşmaktadır. Veritabanının Özellikleri: Genellikle ön cepheden ve diğer açılardan çekilen resimlerden oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: The Univesity of Oulu Physics-Based Face Database Renkli Resim: Var Resimlerin Boyutu: 428x569 Kişi Sayısı: 125 Her Bir Kişinin Resim Sayısı: 16 Veritabanının Özellikleri: Bütün resimler 16 farklı kamera açısı ve farklı aydınlık ortamlarda hazırlanmıştır. Veritabanına İnternetten Erişilebilirlik:: Var 19
MATERYAL VE METOT Adı: XM2VTSDB Renkli Resim: Var Resimlerin Boyutu: 576x720 Kişi Sayısı: 295 Her Bir Kişinin Resim Sayısı: 12 Veritabanının Özellikleri: Resimler ön cepheden, sağ ve sol profil den çekilerek hazırlanmıştır. Veritabanına İnternetten Erişilebilirlik: Var Adı: ARPA/FERET Renkli Resim: Yok Resimlerin Boyutu: Kişi Sayısı: 1209 Her Bir Kişinin Resim Sayısı: 2 ile 16 arasında değişmektedir. Toplam 14051 adet resim vardır. Veritabanının Özellikleri: Resimler birbirinden farklı ışık ortamlarında, başın değişik açılardan çekilmiş resimlerinden oluşturulmuştur. Veritabanına İnternetten Erişilebilirlik: Var Adı: CNNL Renkli Resim: Yok Resimlerin Boyutu: 115x82 Kişi Sayısı: 1266 Her Bir Kişinin Resim Sayısı: Hafıza setinde 8, test setinde 2 tane olmak kaydıyla toplam 10 resimden oluşmaktadır. Veritabanının Özellikleri: Veritabanındaki resimlerin tamamı ön cepheden ve griseviyeli resimlerden oluşmaktadır. Bu resimlerden hafıza setinde sekiz yüz ifadesi olarak; güler iken, şaşkın iken, kızgın iken ve 5 adette ifadesiz resmi bulunmaktadır. Test setinde ise iki adet resim bulunmaktadır. Bunlardan birincisi ifadesiz iken, diğeri ise resmi çektiren kişiye bırakılmış herhangi bir yüz ifadesi resmidir. Veritabanına İnternetten Erişilebilirlik: Var 20
MATERYAL VE METOT 3.1.3. Dalgacık Dönüşümü 3.1.3.1. Dalgacığın Tarihteki Gelişimi Dalgacık dönüşümü, bir işaretin ψ (t) örnek fonksiyonunun ölçekleme ve ötelemeleriyle oluşturulan taban fonksiyonları ile analizine dayanır. Bu taban fonksiyonları hızlı değişimli yani yüksek frekans ve yavaş değişimli yani alçak frekanslı fonksiyonlardır. İlk olarak 1909 da A. Haar ın tezinde dalgacıklar kullanılmıştır. Haar dalgacık fonksiyonunun en önemli özelliği sıkı desteğe sahip olmasıdır. Buna karşın Haar dalgacık fonksiyonu sürekli türeve sahip değildir (Uçan, 2006). 1930 lu yıllarda değişken ölçekli taban fonksiyonları üzerine yapılan çalışmalarda, Littlewood, Paley ve Stein, ölçeği değişirken enerjisini koruyan fonksiyonlar elde etmişlerdir (Uçan, 2006). 1950-1960 yıllarda Littlewood-Paley teorisi kısmi diferansiyel denklemler ve integral denklemlerine ve Calderon-Zygmund teorisi olarak harmonik analiz alanına uygulandı (Uçan, 2006). 1960-1980 yılları arasında Guido Weiss ve Ronald Coifman, bir fonksiyon uzayının en basit elemanları olarak tanımladıkları ve atom adını verdikleri fonksiyonlar üzerine çalışmışlardır. Amaçları bu atomlar sayesinde fonksiyonlar uzayını yeniden oluşturabilmekti (Uçan, 2006). 1980 yıllarında John Morlet, kısa zamanlı Fourier Dönüşümüne alternatif çalışmalar yapmaktaydı. Kısa zamanlı Fourier Dönüşümünde; zamanda pencerelenmiş işaretin Fourier Dönüşümü alınmakta ve pencere ötelenip, tüm işaret taranarak aynı işlem tekrar edilmektedir. Bu dönüşümde eğer pencere fonksiyonu dar alınırsa yüksek frekanslar, geniş alınırsa alçak frekanslar daha iyi analiz edilebilmekteydi. Morlet, bu iki işlemi tek bir dönüşümde yapmak için dönüşüm fonksiyonlarını farklı şekilde üretmiştir. Pencerelenmiş bir kosinüs fonksiyonunu ve bu zamandaki yerine ve pencerenin ölçeğine bağlı yeni dönüşüm fonksiyonları geliştirdi. Morlet geliştirdiği bu fonksiyonlara sabit biçimli dalgacıklar olarak adlandırmıştır. Daha sonra dalgacıklar olarak kısaltıldı. A.Grossman; Morlet in önerdiği dalgacık fonksiyonlarına dayanan ve dönüşüm uygulandıktan sonra elde edilen katsayılardan, tekrar orijinal fonksiyonun kendisini elde etmiştir. Strömberg ilk defa dikgen dalgacık fonksiyonunu elde etmiştir. 1985 yılında Mallat çoklu-çözünürlük analizini geliştirdi ve dalgacıkların tümlev ayna filtreleri, alt bant filtreleme ve piramit ile ilişkisini ortaya koymuştur (Uçan, 2006). Meyer sürekli türeve sahip ilk dalgacık fonksiyonlarını elde etmiştir. Birkaç yıl sonra Daubechies ortagonal, sıkı destekli dalgacık fonksiyonunu elde etmiştir. 1994 yılında ise Geronimo, Hardin, Massopust reel, birimdik, sıkı desteğe sahip çokludalgacıkları elde etmişlerdir. 21