Yüz Bulma ve Tanıma Sistemi M. AKÇAY 1, Naciye Nur SARIBEY 2 1,2 Dumlupınar Üniversitesi, Bilgisayar Mühendisliği Bölümü, KÜTAHYA Makcay26@dpu.edu.tr, nnursaribey@gmail.com Özet: Günümüzde yüz tanıma sistemlerine olan ihtiyacın artması ile birlikte tüm dünyada bu konuyla ilgili çalışmalar hız kesmeden devam etmektedir. Hava alanlarında, stadyumlarda, hastanelerde, fabrikalarda, mobese kameralarında yüz tanıma sistemleri kullanılmaktadır. Yüz tanıma sistemi çeşitli değişkenlerden etkilenebilir. Özellikle ışık yönü, yüz ifadesi ve yansıma gibi değişkenler tanımayı zorlaştırmaktadır. BU çalışmada yüz bulma için Haar Cascades yüz sınıflandırıcısı, yüz tanıma için ise Eigenfaces(Özyüzler) metotu kullanılacaktır. Anahtar Sözcükler: Yüz Bulma, Yüz Tanıma, Haar Cascades Sınıflandırıcısı, Eigenfaces Algoritması Abstract:Today, with the increasing need for face recognition systems, work on this topic continues unabated throughout the world. Facial recognition systems are used in airports, stadiums, hospitals, factories, and mobese cameras. The face recognition system can be affected by various variables. Especially variables like light direction, face expression and reflection make it difficult to identify. In this study, Haar Cascades face classifier will be used for face detection and Eigenfaces for face recognition. Key words: Facial Finding, Facial Recognition, Haar Cascades Classifier, Eigenfaces Algorithm 1.Giriş Yüz tanıma, araştırmacıların yoğun olarak üzerinde çalıştıkları güncel, önemli ve zor problemlerden biridir. Tüm dünyada insanlara fayda sağlayan bir sistem haline gelmiştir. Bu çalışmada, günlük yaşamımızda farklı amaçlarla kullanılabilecek, gerçek çalışma koşullarında yüksek performansa sahip gürbüz ve etkin bir yüz tanıma sisteminin geliştirilmesi amaçlanmaktadır. Bu bağlamda yüz yerinin bulunması, yüz tanıma gibi problemin değişik aşamaları için özgün yöntemlerin geliştirilmesi ve bu yöntemlerin bir araya getirilmesiyle uygulama alanlarında başarıyla çalışan bir sistem amaçlanmaktadır. Geliştirilen yüz tanıma sisteminde özyüz yaklaşımının tercih edilme nedeni yöntemin yüzün geometrisinden bağımsız olması, gerçekleşmesinin kolay olması, özel donanım kullanılmadan bile gerçek zamanda çalışabilmesi ve sistemin yeni yüzleri öğrenebilmesi, diğer yöntemlere göre çok daha kolay ve hızlı olmasıdır. Bu çalışmanın ikinci bölümünde yüz bulma ve tanıma yöntemleri incelenerek temel kavramlarla ilgili çalışmalara incelenmiştir. Üçüncü bölümde yüz bulma yöntemi incelenmiştir. Dördüncü bölümde Özyüz yönteminin gerçeklemesi ele alınmıştır. Beşinci bölümde deneysel sonuçlar değerlendirilmiş, son bölümde ise gelecek çalışmalar hakkında bilgi verilmiş ve önerilerde bulunulmuştur. 2.YÜZ BULMA VE TANIMA YÖNTEMLERİ Yüz bulma için sık kullanılan dört yöntem mevcuttur. Bu yöntemler; Template Matching (Şablon Eşleştirme) HAAR Cascade LBP Local Binary Pattern HOG Histogram of Oriented Gradients Şablon Eşleştirme (Template Matching ) yöntemi dışındaki diğer yöntemler sınıflandırıcı olarak tanımlanan Machine Learning algoritmalarıdır. Bu algoritmalar öğretilmiş bir nesneyi tanımak için kullanılır, nesne tanıma için en çok kullanılan yöntemler bu algoritmalardır. Sınıflandırıcılar için nesneler Deep Learning yöntemleri ile öğretilebilir. Şablon eşleştirme yöntemi ise, aranan görüntü şablonunu kaynak görüntü üzerindeki tüm piksellerde dolaşarak eşleştirme işlemi yapar. Yüz tanıma için kullanılan yöntemler;
Eigenfaces Fisherfaces Local Binary Patterns Histograms LBPH 2.1. Özyüzler (Eigenfaces) Yöntemi Bu yöntemde yüz tanıma için Temel Bileşenler Analizi (PCA) kullanılmıştır. Matematiksel olarak yüzlerin dağıtımının ana bileşenleri veya yüz görüntüleri setinin kovaryans matrisinin öz vektörleri, çok yüksek boyutlu bir uzayda görüntüyü nokta (veya vektör) olarak ele alacak şekilde aranır. Öz vektörler düzenlenir ve bunların her biri yüz görüntüleri arasında farklı bir değişikliği gösterir. Bu öz vektörler, yüz görüntüleri arasında varyasyonu karakterize eden bir özellikler seti olarak düşünülebilir. Her görüntü yeri aşağı yukarı her öz vektöre katkıda bulunarak, bu öz vektörlerin özyüz adı verilen bir tür hayalet yüz şeklinde görüntülenmesini sağlar [1]. 2.2. Fisher-Yüz (Fisherface) Yöntemi Bu yöntemde Doğrusal Ayraç Analizi (LDA) kullanılmıştır. Fisher yüz algoritması 1997 yılında P. Belhumeur tarafından Doğrusal Ayraç Analizi (LDA) temel alınarak geliştirilmiştir. Fisher yüz algoritması (Fisherface approach), sınıflandırma tabanlı tanımlama için kullanılır. Aynı kişiye ait çok sayıda, farklı görüntünün veri tabanına tanıtılarak sınıf içi dağılımın en aza, sınıflar arası dağılımın ise en fazlaya ulaşabilmesi için geliştirilmiştir. Bu sayede, Fisher yaklaşımında tanımlama basarım oranında artış gözlenmektedir. 2.3. Yerel İkili Örüntü Yöntemi (LBP) Gri seviyeden bağımsız bir doku ölçüm yöntemidir. Görüntünün her pikseli için bir etiket oluşturulur. Etiketler, merkez pikselin 3x3 komşuluğundaki piksellerle karşılaştırılması sonucu elde edilen ikili bir sayıdır. LBP operatörü ile farklı ölçekteki dokuların analizini gerçekleştirebilmek mümkündür [6]. 3.YÜZ BULMA Bir görüntünün tamamı yüze ait olmadığından, ilk olarak yüzün tespit edilmesi gerekmektedir. Bu çalışmada Gerçek zamanlı akan video görüntüsü üzerinde insan yüzü aday bölgelerinin yerinin saptanmasında boyut/yönelim değişimlerine karşı gürbüz bir yöntem olan ve Haar özniteliklerini kullanan Haar Peşpeşe Sınıflayıcılar (Haar Cascade Classifier, HPS) kullanılmıştır. HaarCascade sınıflandırıcısı 2001 yılında bilimsel bir araştırma sonucu olarak Paul Viola and Michael Jones [1] tarafından ortaya atılmıştır. Sınıflandırıcı insan yüzüne ait bölgelerden alınmış, aynı ölçekteki resimlerle(pozitif örnekler) ve insan yüzü içermeyen diğer bölgelerden alınmış aynı ölçekteki (örn: 20x20) resimler(negatif örnekler) kullanılarak eğitilir. Eğitimden geçmiş sınıflandırıcıya insan yüzü içeren bir resim giriş olarak verildiğinde insan yüzünün bulunduğu bölge için sınıflandırıcı 1 çıkışını diğer bölgeler için 0 çıkışını üretmektedir. Kullanılacak Haar benzeri öznitelik vektörleri Şekil 1 te verilmiştir [5]. Şekil 1. Haar Öznitelikleri
Öznitelikler Adaboost algoritması ile seçilmekte ve gereken toplam öznitelik sayısı hedeflenen yanlış kabul oranına bağlı olarak değişmektedir. Adaboost algoritması ilk olarak Freund ve Schapire tarafından önerilmiştir [2]. Adaboost algoritması; Eğitim örnekleri (x 1,y 1 ),...,( x n,y n ) olarak düzenlenir. Burada y i, negatif örnekler için 0, pozitif örnekler için 1 olarak kabul edilir. m ve n sırasıyla pozitif ve negatif örnek sayısını göstermek üzere ağırlıklar w 1,i = 1/2m, 1/2l olacak şekilde her yi {0,1} olarak başlangıç değeridir. T iterasyon sayısı olmak üzere, her t=1,.,t için: o Ağırlıklar normalize edilir. o Her bir j özniteliği için, sadece bu özniteliği kullanan bir h j sınıflayıcısı eğitilir. Hata w t ağırlığına göre ölçülür. o En az εj hatasına sahip h t sınıflayıcısı seçilir. o Ağırlıklar güncellenir. x i doğru olarak sınıflandırıldı ise e i=0, aksi halde e i=1 olur. olarak hesaplanır. Sonunda oluşan sınıflayıcı: olarak alınır [1,6]. 4. ÖZYÜZ YÖNTEMİ İLE YÜZ TANIMA Özyüz yöntemi ile yüz tanıma için Temel Bileşenler Analizi (PCA) kullanılmıştır. Temel Bileşenler Analizi boyut azaltmak ve görüntüler arasındaki temel farklılıkları çıkarmak için kullanılan yöntemdir [3].Bu farklılıkların açığa çıkarılmasının en basit yolu, bir grup yüz arasındaki değişimlerin göz, ağız gibi bireysel özellikleri göz ardı etmeksizin saptamaktır. Tanıma için kullanılan Özyüz yaklaşımı Sirovich ve Kirby(1987) tarafından geliştirildi[4] ve Matthew Turk, Alex Pentland [3] tarafından yüz sınıflandırmada kullanıldı. Yüz tanıma teknolojisinin ilk başarılı örneği olarak düşünülebilir.
Yüzlerin dağılımını temsil eden kovaryans matrisinin öz vektörlerinin bulunması hedeflenmektedir. Bu vektörler yüzler arasındaki farklılıkları temsil eden bir grup özellik olarak düşünülebilir. Her bir vektör az ya da çok bir yüze yakınsandığından, bu hayalete benzeyen yüzlerin özyüz adı ile anılması uygun görülmüştür. Özyüzler, eğitim kümesinde yer alan resimlerin oluşturduğu dağılıma ait kovaryans matrisinin özvektörleridir. Eğitim kümesinde yer alan resimleri olarak sembolize edelim. Bu kümede yer alan resimlerin ortalaması olarak elde edilir. Her bir resmin ortalamadan farkını, vektörü ile ifade edelim. Elde edilen bu vektörler üzerinden, verinin dağılımını en iyi ifade eden M adet ortanormal u m vektörü bulunmak istenmektedir. Bu u m vektörlerinin her biri aşağıda tanımı verilen katsayılarını maksimum yapacak şekilde seçilir. (1) U n vektörleri, ortanormallik koşulu olan (2) yi sağlamalıdırlar. (2) U k vektörleri ve değerleridir. sabitleri, aşağıda tanımı verilen kovaryans matrisi C nin sırasıyla, öz vektörleri ve öz (3) (4) Yukarıda tanımı verilen C matrisinin öz vektörleri bizim ilgilendiğimiz yüz uzayının özyüzlerini oluşturmaktadır. Dikkat edilirse, NxN boyutundaki yüz resimleri için, C matrisi N 2 XN 2 boyutundadır. Bu büyüklükteki bir matrisin özdeğerlerinin bulunması pratik amaçlar için kullanışlı değildir. Ancak eğitim kümesinde yer alan resimlerinin sayısının, resim uzayının boyutundan çok küçük olduğu durumlar için (M << N 2 ) kullanışlı bir yakınsama yapmak mümkün olmaktadır [3]. Özyüzler kullanılarak herhangi bir yüz resmine ait öznitelik vektörü, aşağıda belirtildiği gibi bulunabilir. (5) (6) Herhangi bir yüz resmi, yüz uzayına yapılacak (7) izdüşümü ile yaklaşık olarak tekrar elde edilebilir [7].
5.GELİŞTİRİLEN SİSTEM Tasarlanan sistemde.net Framework çatısı altında bulunan C# programlama dili kullanılmıştır. Kullanılan programlama dili dolayısıyla EmguCV wrapper i [8] tercih edilmiştir. EmguCV wrapper i OpenCV [9] kütüphanesini referans alarak ve OpenCV Kütüphanesi içerisindeki fonksiyonları kullanarak farklı platformlarda kullanılabilir hale getirir. Yüz bulma yöntemi olan HaarCascade ve yüz tanıma yöntemi olan Eigenfaces metodu bu kütüphane içerisinde mevcuttur. Şekil 2. Geliştirilen Sistem Proje başlatıldığında kamera çalışır ve yüz bulma işlemi gerçekleşir. Bulunan yüz bir kare içerisine alınır. Yüz tanıma işlemi için kare içine alınan yüz kimin ise o kişinin ismi yazılıp Eigenfaces algoritması ile diğer yüzlerle karşılaştırılarak eğitim işlemi gerçekleştirilir. Eğitim için en az iki adet görüntüye ihtiyaç vardır. Görüntüler Şekil 2 de bulunan Yüz Eğit butonu ile alınır. Eğitim için alınan görüntülerin genişliği ve yüksekliğinin aynı boyutta olması sağlanır. Sistemdeki eğitilen tüm görüntüler silinmek istenirse Şekil 2 deki Tüm Eğitimleri Sil butonu yardımıyla yapılabilir. 6.DENEYSEL ÇALIŞMA SONUÇLARI Geliştirilen sistemin testi için, 4 farklı kişinin her birinden onar adet olmak üzere toplam 40 adet özyüz elde edilmiştir. Ön profilden yüz tanıma işlemi yapıldığında %100 başarı sağlanmıştır. Gözlüklü olarak tanıma işleminde %75 başarı sağlanmış, mutlu, üzgün, şaşkın duygu ifadelerinde başarım oranı %100 olmuştur. Işık şiddeti arttığı zaman tanıma işleminde düşüş gözlenmezken aydınlatma oranı %20 düştüğünde tanıma %25 e inmiştir. Şapka ve başörtüsü durumları da tanıma yüzdesini değiştiren faktörlerdendir. Yapılan deneylerde sistemin tanıma oranını en çok kafa pozisyonunun değişimi etkilemektedir. Yüz bulma ve tanıma süreci hızlı bir şekilde kameranın önünde birden fazla yüz olduğunda da gerçekleşmektedir. Şekil 3 te sistemin çoklu yüz bulma ve tanıma örneği gösterilmiştir. Şekil 3.Çoklu Yüz Tanıma
5. SONUÇ ve ÖNERİLER Aydınlatma ve kafa pozisyonundan daha az etkilenen bir sistem daha verimli olacaktır. Geniş bir veri seti ile derin öğrenme metodunun kullanımı bu yüzdeyi arttırma imkânı sağlayacaktır. Bu konudaki çalışmalar devam etmektedir. KAYNAKÇA [1] Viola, P. and Jones, M. J., "Robust Real-time Object Detection", ICCV Workshop on Statistical and Computation Theories of Vision, 2001. [2] Freund, Y. and Schapire, R.E., A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting, Journal of Computer and System Sciences, vol. 55, pp. 119-139, 1997. [3] Turk, M., Pentland, A., Eigenfaces for Recognition, Journal of Cognitive Neuroscience, Vol. 3, pp. 71-86,1991. [4] Kirby and Sirovich, "Application of the Karhunen-Loeve Procedure for the Characterization of Human Faces", IEEE Trans. PAMI 12, pp. 103-108,1990. [5] Gökmen, M., Kurt, B., Kahraman, F., Çapar, F., Çok Amaçlı Gürbüz Yüz Tanıma,TUBITAK, pp.35-36, 2007. [6] Holat, R., Kulaç, S., Yüz Bulma ve Tanıma Sistemleri Kullanarak Kimlik Tanıma, Conference Paper,2014. [7] Yaman, B., Özyüz Kullanarak Yüz Tanıma, Yüksek Lisans Tezi, Sakarya Üniversitesi, Fen Bilimleri Enstitüsü, 2006. [8] EmguCV Wrapperi için - http://www.emgu.com/wiki/index.php/main_page [9] OpenCV Library için - https://opencv.org/