Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması

Transkript

1 Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması M. Ayyüce Kızrak_ Şekil Tanıma Proje Raporu, GİRİŞ İnsan varlığından bu yana duygu aktarımı ve iletişim için yüz ifadeleri en güçlü etkiye sahiptir. Bunu otomatik olarak algılamaya, tanımlamaya ve sınıflamaya evrimleşmiş olan beynimiz gibi sistemler tasarlanması için çeşitli yöntemler ve algoritmalar oluşturulmaktadır. Otomatik yüz ifadesi analizi çok ilgi çekici bir konu olmasıyla birlikte beraberinde zorlayıcı problemleri de getirir. Görüntülerin saklanması ve işlenmesi için gerekli bellek miktarı, işlem detayları, karmaşıklığı ve dataların değişkenliği en önemli zorluklardır. Orijinal görüntüden efektif bir yüz ifadesi tanıma sistemi tasarlayabilmek için hayati önem taşıyan konularından biri özniteliklerin çıkarılması için doğru yaklaşımların yapılmasıdır. Literatürde iki temel yöntem bulunmaktadır. Bunlar; geometrik öznitelik temelli yöntemler ve dış görünüş temelli yöntemlerdir. Geometrik öznitelikler yüz bileşenlerinin şekli ve görüntü içindeki yerinin vektörsel ifadesi olarak tanımlanmaktadır. Dış görüntü temelli yaklaşımlar ise filtre yöntemlerine dayanmaktadır. Gabor filtreleme sıklıkla uygulanan filtreleme yaklaşımıdır. Bu iki yaklaşımın da dezavantajı yoğun filtreleme ve konvolüsyon işlemlerinden kaynaklanan zaman ve bellek problemidir. Başlangıçta doku tanıma amacıyla geliştirilen Local Binary Pattern (LBP) daha sonra yüz ifadesi tanıma alanında denenmiş ve başarılı sonuçlar elde edilmiştir [1,2]. LBP yaklaşımı, son yıllarda video ve görüntü uygulamalarında ilgi odağı olan konulardan biridir. Parametrik olmayan bir yöntem olup görüntüdeki komşu piksellerin birbirleri ile karşılaştırılması sonucu oluşturulan lokal bir yapı olarak tanımlanmaktadır. Doku analizinde çok güçlü sonuçlar vermiş olan bu yöntem aynı zamanda yüz görüntüsü analizi, görüntü ve video tanımlama, çevre modelleme, görüntü takibi, hareket analizi, biyomedikal ve uydudan alınan görüntülerin analizinde de kullanılan efektif bir yöntemdir. Bunların yanı sıra yüz konusunda da bir çok alanda çözümler sunmaktadır. Örneğin; yüz bulma, yüz tanıma, yüz ifadesi tanıma, nüfus sınıflama ve buna bağlı uygulamalar. 1

2 2. YÖNTEM: LOCAL BINARY PATTERN Orijinal LBP Ojala ve arkadaşları tarafından doku tanımada elde ettikleri başarılı sonuçlar ile ortaya atılmıştır. Bu operatör görüntünün 3 3 pencerelerin ortasındaki piksel değeri eşik seviyesi olarak seçilerek birbirlerine göre karşılaştırılması sonucu ikili değerlerin atanması temeline dayanmaktadır. Oluşturulan ikili sayı dizisine LBP kodu denir ve bu kod ile görüntüdeki farklı tipteki özellikleri belirlemek mümkün hale gelir. Örneğin, kenarlar, köşeler, aydınlık veya karanlık bölgeler, çizgi bölgeleri gibi. Fakat 3 3 lük operatörler baskın özellikleri yakalayabilmek için etkin olmayabilir. Dolayısıyla probleme göre operatörün uzunluğu belirlenmeli veya adaptif olarak atanmalıdır. Bunun yerine dairesel olarak da LBP tanımlamaları yapılmaktadır. Burada tanımlanması gereken iki parametre bulunmaktadır. Bunlar örnek nokta sayısı P ve simetrik dairesel komşuluğun yarıçapı ölçüsü R olarak belirlenir [1,2,3]. Şekil 1 LBP Algoritması. LBP operatörü LBP P,R olarak oluşturulan P tane komşu piksel setinden uygun 2 P farklı çıkış değeri tanımlanır. Ayrıca LBP sonucu elde edilen ikili LBP kodunda eğer iki ya da daha az bir geçişi varsa buna uniform LBP denir. Örneğin; , , uniform LBP kodudur. LBP ile etiketlenen görüntünün yeni histogramı aşağıdaki gibi ifade edilir. Burada verilen pikselin yerini ve merkez pikselin gri seviyesini ifade eder. s fonksiyonu aşağıdaki gibi tanımlanmaktadır. 2

3 Ayrıca LBP histogramı, görüntünün içindeki yerel mikro örüntülerin dağılımı ile ilgili (örneğin kenarlar, aydınlık bölgeler vs gibi) bilgiyi de içermektedir. Böylece görüntünün karakteristiği istatistiksel olarak tanımlanabilir. Şekil 2 LBP örüntülerinin görüntü içindeki anlamları [1]. Şekil 3 P örnek sayısı ve R simetrik dairesel yarıçap çeşitleri [2]. LBP histogramı lokasyon bilgisi olmaksızın tüm görüntü üzerinden mikro örüntüleri hesaplamaktadır. LBP histogramının çıkardığı R 0, R 1, R 2,,R m gibi küçük bölgelere görüntüsü şekil bilgisi eşit olarak dağılmaktadır. Her alt bölge için çıkarılan LBP özellikleri yeni konum bilgisini aşağıdaki gibi tanımaktadır. Şekil 4 LBP ile histogramın elde edilmesi [1]. 3

4 Görüntünün global şekli ve lokal dokusu hakkında özellikler bu histograma çıkarılmaktadır. Bazı parametreler daha iyi özelliklerin çıkarılması için optimize edilebilmektedir. Örneğin i bölünen bölge sayısını vermektedir. Örnek verilirse, pikselli bir görüntüde, 59 bin operatör ile piksele bölünmektedir. Özellik vektörü uzunluğu ve tanıma performansı arasında iyi bir ödünleşim sağlanmaktadır. Aşağıdaki şekilde uzunluğu 2478(59 42) LBP histogramının 42(6 7) uzunluğuna indirgenmiş görüntüsü verilmektedir [1,2]. Şekil 5 Yüz görüntüsünün 6 7 bölgelere ayrılması (sol), ölçülen ağırlıklar (sağ) [1] Literatürde Local Binary Pattern İle Özniteliklerin Çıkarılması Bu alandaki çalışmalarda çoğunlukla giriş görüntüsünün küçük bölgelere ayrılmaktadır. Böylelikle LBP histogramları lokal özellikleri barındıran histogramlar dizisi halini almaktadır. Geliştirilen bazı LBP yöntemleri ELBP, VLBP veya Gabor dalgacıkları temelli LBP gibi, özellik vektörlerinde dramatik artışlara neden olur. Bu boyut problemine çözüm olarak özelliklerin daha etkili olanlarının belirlenip seçilmesi konusu üzerinde durulmaktadır. Özellikleri seçim teknikleri temel olarak ikiye ayrılmaktadır. Bunlar; kural temelli strateji (uniform örüntü) ve diskriminatif örüntüler temelli yaklaşımlardır. Makine temelli yüz tanıma temel olarak, yüz tanıma ve sınıflama şeklinde iki önemli sınıfa ayrılır. Bu yöntem ile başarılı sonucu vermeye en etkin özelliklerin seçilmesi hedeflenmektedir. Bunun için ilk olarak sınıf içi değişimlerin tolere edilebilmesi gerekir. Orijinal görüntülerden elde edilen özellikler hızlı işlem olanağını beraberinde getirir. Son olarak, sınıflamada hesap karmaşıklılığından kaçınabilmek için boyut uzayı küçültülmektedir. Bu yöntemler ışığında LBP yüz tanıma, sınıflama ve özellik çıkarma konularında efektif sonuçlar vermesinden dolayı son yıllarda literatürde sıklıkla yer almaktadır [2]. 3. LİTERATÜRDE LOCAL BINARY PATTERN Literatürde yüz ifadelerinin tanınmasında sıklıkla karşılaşılan LBP tek başına kullanılmanın yanı sıra algoritmadaki değişiklikler bazında ve farklı algoritmalar ile birlikte kullanılarak daha başarılı sonuçlar elde edebilmektedir. Son yıllarda bu alanda yapılan çalışmalara temel örnekler aşağıdaki tabloda değerlendirilmektedir. 4

5 Tablo 1 LBP algoritmasının literatürdeki yeri [2]. Kullanım Alanı Kullanım Şekli Özellikler Yıl Referans LBP geliştirilmesi Merkez piksele göre örüntü 2004, 2005, yapısının tamamlanması 2008 Uniform olmayan örüntüleri Hamming LBP Diskriminatif uniformlaştırmaınk 2007 yeteneği artırma Boyutu azaltmak için aynı LBP Genişletilmiş LBP değerlerinin ayrıştırılması 2007 Tamamlanmış LBP Verilen lokal bölgenin işaret ve genlik bilgilerinin bulunması 2010 [4] Lokal Üçlü Örüntü Yeni eşik seviyesi bulunması, gri seviye transformasyonu için 2007 kesinlikle bir sabittir Dayanıklılığı Yumuşatılmış LBP Monotonic gri seviye geçişler için sabit değildir, işlem 2007 geliştirme karmaşıklığından dolayı AR-LBP Asimetrik bölgelere ayrılıp LBP çıkarma 2012 [5] LB Kovaryans Matris Modelin kovaryans matrisi ile 2011 [6] tanımlanması Anizotropik bilgilerin ayırt edilmesi Uzatılmış LBP ve ayıklanması, rotasyon için sabit 2007 değildir Komşuluk seçilmesi 3D geliştirilmesi Diğer özniteliklerle birlikte kullanılması Çok bloklu LBP Mikro ve makro yapı bilgilerinin bulunması 2007 Birleştirilmiş LBP LBP kodlamasının iki bitle tanımlanması 2011 [7] Üç/Dört Yamalı LBP Doku bilgisinin tipinin belirlenmesi 2008 Rotasyonel LBP Rotasyondan bağımsız LBP tanımlanması 2013 [8] 3D LBP LBP nin 3D yoğunluk dataya dönüşümü 2007, 2008 Pseudo 3D Holistik yerine bölgesel LBP ile Pseudo 2013 [9] Yoğun LBP (LBP-TOP) Yüksek boyuttan dolayı, dinamik dokunun tanımlanması 2007 SIFT in avantajlarından 2006, 2009 LBP ve SIFT faydalanarak öznitelik vektörünün [10], 2010 uzunluğunun azaltılması [11] LBP ve Gabor Dalgacık LBP ve Adabost Boyut ve hesaplama maliyetini azaltmak için Gabor dalgacık dönüşümü avantajlarından faydalanma Adabost başarısını LBP ile pekiştirme 2005, 2006, 2007, [12] LBP Histogram Fourier Tüm bölge için global rotasyon değişmezliği tanımı 2009 [13] 5

6 4. UYGULAMA Bu çalışmada database olarak yine bu alanda en çok kullanılan setlerden biri olan JAFFEE (The Japanese Female Facial Expression Database) kullanılmaktadır. Bu veri kümesi 10 tane Japon kadından alınmıştır ve her birine ait sinirli, iğrenmiş, korkmuş, mutlu, üzgün, şaşırmış olmak üzere 6 yüz ifadesi ve 1 doğal ifade ile birlikte 7 tip görüntü bulunmaktadır. Her ifade için yaklaşık 3 adet örnek bulunmaktadır. Veri kümesi boyutlu, toplam 213 gri seviye görüntüden oluşmaktadır [14]. Veri kümesinde bulunan görüntülerin tamamına temel LBP algortiması uygulanarak tüm görüntülerin katsayıları hesaplanmıştır. Bu LBP katsayılarının : %30 luk kısmı test için ayırıp geri kalan %60 ı ile eğitim gerçekleştirilmiştir. Test setindeki hiçbir data bilgisinin eğitim setinde de bulunmamasına dikkat edilmiştir. Hesaplanan katsayılar için çok sınıflı SVM (Support Vector Machine) algoritması kullanılmaktadır. Ayrıca algoritmanın başarısı doğal ifade dahil 7 sınıf için ve doğal ifadeyi bir sınıfa dahil etmeyerek 6 sınıf için hesaplanmaktadır. Giriş görüntüleri: gri seviye yüz görüntüsü Her bir görüntünün LBP katsayılarının hesaplanması ( bileşene indirgenir) P=8, R= 1,2,3.. değerler girilir L=LBP boyutu R ye bağlı olarak hesaplanır. (L=2 R+1) Eğitim seti: 144 yüz görüntüsü Test seti: 69 yüz görüntüsü 7 ve 6 sınıf ayırmak için SVM Algoritması Accuracy ve Precision başarım sonuçlarının hesaplanması 6

7 Örneğin veri kümesi içindeki kişilerden birinin eğitim setindeki örnekleri, test setindeki örnekleri, hesaplanan LBP görüntülerine örnekler aşağıdaki gibidir. Tablo 2 Eğitim ve Test setindeki örnekler. Sinirli1 Sinirli2 İğrenmek1 İğrenmek2 Korkmak1 Korkmak2 Mutlu1 Mutlu2 Doğal1 Doğal2 Üzgün1 Üzgün2 Şaşırmak2 Şaşırmak2 Sinirli_T İğremek_T Korkmak_T Mutlu_T Doğal_T Üzgün_T Şaşırmak_T LBP 5. SONUÇLAR Bu çalışmada LBP ile görüntü setinden özellikler çıkarılmış ve SVM ile çoklu sınıflama yapılmıştır. SVM, 144 adet eğitim görüntüsü ile eğitildikten sonra 69 adet test görüntüsü ile sistemin başarısı hesaplanmıştır. Test görüntüsü olarak seçilen yüz görüntülerinin eğitim setinde olmamasına dikkat edilmiştir. Yapılan literatür taraması ışığında LBP katsayılarını yüz ifadesi tanımlamak için sınıflarken SVM nin başarılı sonuçlar verdiği görülmüştür. Buradan yola çıkarak bu çalışmada LBP katsayıları çok sınıflı SVM ile sınıflandırılmıştır. SVM yapısı içinde lineer, polinom ve radyal taban fonksiyonları olmak üzere üç farklı çekirdek kullanılarak en başarılı çekirdek fonksiyonu tespit edilmiştir. 7

8 SVM karar sınırlarının optimum olarak seçilmesini sağladığından test hatasını kolaylıkla minimize eder ve bu nedenle için diğer yöntemlere göre daha başarılıdır. Sınıf sayısı arttıkça yapay sinir ağlarına göre de daha başarılı sonuçlar üretir. Dolayısıyla bu çalışmada sınıflama problemini çözmek için SVM tercih edilmiştir [1]. Etiketlenmiş eğitim seti verildiğinde burada ve aralığındadır ve test seti ile girilen yeni LBP katsayıları aşağıdaki fonksiyon ile sınıflandırılır. Burada optimum hiper düzlemleri belirlemek için tanımlı Lagrange çarpanları, çekirdek fonksiyonu, hiper düzlemin eşik değeridir. Başarımı hesaplayabilmek için SVM algoritması eğitim setindeki görüntü ve hedeflerle eğitildikten sonra test setinin sorgulanmasıyla ürettiği tahminleri test setinin gerçek sınıf bilgileriyle doğru ve yanlış oranı hesaplarını yapmak gerekmektedir. Sistem doğruyken doğru sınıfa ait olduğunu söylediyse buna True Possitive Rate veya doğruyken yanlış diye tahmin ettiyse buna da False Negative Rate denir. Hesaplamaları aşağıdaki eşitlikte verildiği gibidir. Burada; P N TP TN FP FN : pozitiflerin sayısı : negatiflerin sayısı : doğru iken pozitif karar verilenlerin sayısı : doğru iken negatif karar verilenlerin sayısı : yanlış iken doğru karar verilenlerin sayısı : yanlış iken negatif karar verilenlerin sayısı Başarım analizi olarak Accuracy (doğru bulma oranı) ve Precision (duyarlılık) hesabı aşağıdaki gibi yapılmıştır. 8

9 Doğal yüz ifadesi bir sınıf olarak kabul edildiğinde ve kabul edilmediğinde LBP katsayılarını SVM algoritmasının 3 farklı çekirdek için doğru bulma oranı hesaplandığında en yüksek başarıyı radyal tabanlı fonksiyonu vermiş olduğundan dolayı confusion matrisleri (çatışma matrisi) bu çekirdeğe göre hesaplanmıştır. Bu bilgilere göre 7 sınıf ve 6 sınıf için elde edilen sonuçlar aşağıdaki tabloda verildiği gibidir. Tablo 3 7 ve 6 sınıf için LBP temelli 3 farklı çekirdek SVM Accuracy Sonucu 7 sınıf için SVM Accuracy 6 sınıf için SVM Accuracy SVM (lineer) % 88.1 % 91.5 SVM (polinomial) % 88.3 % 93.2 SVM (rbf) % 88.9 % 95.6 Tablo 4 7 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%) Sinirli İğrenmiş Korkmuş Mutlu Doğal Üzgün Şaşırmış Sinirli İğrenmiş Korkmiş Mutlu Doğal Üzgün Şaşırmış Tablo 5 6 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%) Sinirli İğrenmiş Korkmuş Mutlu Üzgün Şaşırmış Sinirli İğrenmiş Korkmuş Mutlu Üzgün Şaşırmış Sonuç olarak bu çalışmada hedeflenen LBP katsayıları kullanılarak yüz ifadelerinin sınıflandırılması işlemi sınıflayıcı olarak SVM algoritması kullanılarak gerçekleştirilmiştir. Sınıflar arası karışma olmasına karşın kabul edilebilir oranda doğruluk oranları hesaplanmıştır. Tablo 4 te 7 sınıf için hesaplanan başarımlarda en çok karışan yüz ifadesi korkmuş olmakla beraber doğru sınıflanma oranı %67.4 tür. Diğer sınıflarla en az karışan şaşırmış ifadesi de %98.1 doğru sınıflama oranına sahiptir. Fakat doğal yüz ifadesi bir sınıf olarak kabul edilmeyip aynı hesaplamalar tekrar yapıldığında tüm yüz ifadelerinin doğru sınıflandırılmasında başarı oranı artmaktadır. Tablo 5 te görüldüğü gibi korkmuş ifadesi %73.4 e kadar yükselmektedir. Bunun yanı sıra şaşırmış ifadesi de %98.9 ile oldukça başarılı olarak sınıflandırılmaktadır. 9

10 6. KAYNAKLAR [1] C. Shan, S. Gong, P. W. McOwan, Facial Expression Recognition Based on Local Binary Patterns: A Comprehensive Study, Elsevier, Image and Vision Computing 27 (2009), [2] D. Huang, C. Shan, M. Ardabilian, Y. Wang, L. Chen, Local Binary Patterns and Its Application to Facial Image Analysis: A Survey, IEEE Transactions on Systems, Man and Cybernetics, Part C: Application and Reviews, vol 41, No 6, November [3] T. Ojala, M. Pietikainen, D. Harwood, A Comparative Study of Texture Measures with Classification Based on Feature Distributions, Elsevier Science, PatternRecoonition, Vol. 29, No. l, pp , [4] Z. Guo, L. Zhang, and D. Zhang, A Completed Modeling of Local Binary Pattern Operator for Texture Classification, IEEE Trans. Image Process.,vol. 19, no. 6, pp , Jun [5] Naika S. C. L, Das P. K., Nair S.B., Asymmetric Region Local Binary Pattern Operator for Person- Dependent Facial Expression Recognition, Computing, Communication and Applications (ICCCA), 2012 International Conference on Feb [6] Guo S., Ruan Q., Facial Expression Recognition Using Local Binary Covariance Matrices, Wireless, Mobile & Multimedia Networks (ICWMMN 2011), 4th IET International Conference on Nov [7] F. Ahmed, E. Hossain, A.S.M. H. Bari and A.S.M. Shihavuddin, Compound Local Binary Pattern (CLBP) for Robust Facial Expression Recognition, 12th IEEE International Symposium on Computational Intelligence and Informatics on November, [8] Y. Qian, F. Ren, and C. Quan, A New Preprocessing Algorithm and Local Binary Pattern Based Facial Expression Recognition, Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe International Conference Center, Kobe, Japan, December 15-17, [9] H. Zhang and O. Yoshie, A Fusion Approach for Facial Expression Using Local Binary Pattern and a Pseudo 3D Face Model, th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing on [10] M. Heikkil a, M. Pietik ainen, and C. Schmid, Description of Interest Regionswith Local Binary Patterns, Pattern Recog., vol. 42, no. 3, pp , [11] D. Huang, G. Zhang, M. Ardabilian, Y. Wang, and L. Chen, 3D Face Recognition Using Distinctiveness Enhanced Facial Representations and Local Feature Hybrid Matching, in Proc. IEEE Int. Conf. Biometrics: Theor., Appl. Syst., Washington, DC, Sep [12] R. Verma and M. Y. Dabbagh, Fast Facial Expression Recognition Based on Local Binary Patterns, 26th IEEE Canadian Conference Of Electrical And Computer Engineering (CCECE), [13] T. Ahonen, J. Matas, C. He, and M. Pietik ainen, Rotation Invariant Image Description with Local Binary Pattern Histogram Fourier Features, in Proc. Scand. Conf. Image Anal., pp [14] M. Lyons, M. Kamachi, and J. Gyoba, The Japanese Female Facial Expression Database (JAFFEE), Psychology Department in Kyushu University, Erişim web: 10

11 7. MATLAB KODU %% Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması % M. Ayyüce Kızrak_ %% VERİ KÜMESİİN OKUNMASI VE LBP KATSAYILARININ.XLS DOSYASINA KAYDEDİLMESİ for t=1:213 %Örnek sayısı kadar t yazmak gerek! MyFile = strcat('c:\users\ayyüce\desktop\lbf_şekil Tanıma\jaffe_im\', int2str(t), '.tiff'); Input_Im = imread(myfile); R=1; % LBP için girilmesi gereken yarıçap değeri %% LOCAL BINARY PATTERN ALGORİTMASI******************************** if size(input_im, 3) == 3 end; L = 2*R + 1; % LBP etiketinin boyutunun hesabı C = round(l/2); Input_Im = uint8(input_im); row_max = size(input_im,1)-l+1; col_max = size(input_im,2)-l+1; LBP_Im = zeros(row_max, col_max); for i = 1:row_max for j = 1:col_max A = Input_Im(i:i+L-1, j:j+l-1); A = A+1-A(C,C); A(A>0) = 1; LBP_Im(i,j) = A(C,L) + A(L,L)*2 + A(L,C)*4 + A(L,1)*8 + A(C,1)*16 + A(1,1)*32 + A(1,C)*64 + A(1,L)*128; % LBP katsayıları (256-59) end; end; %% LBP KATSAYILARININ EXCELE YAZILMASI****************************** Coeff_Mat(t,:)=LBP_Im; end LBP=xlswrite('LBP_Coeff',Coeff_Mat); %% MULTICLASS SVM FONKSİYONU*************************************** [result] = multisvm(trainingset,grouptrain,testset) %%****************************************************** u=unique(grouptrain); numclasses=length(u); result = zeros(length(testset(:,1)),1); %modelin oluşturulması for k=1:numclasses %durum vektörlerini binary yapma %seçilen sınıf 1 diğerleri 0 olarak tanımlanır G1vAll=(GroupTrain==u(k)); models(k) = svmtrain(trainingset,g1vall); end 11

12 %test setinin sınıflandırılması for j=1:size(testset,1) for k=1:numclasses if(svmclassify(models(k),testset(j,:))) break; end end result(j) = k; % Sonuçun yazılması end %% ACCURACY HESABI************************************************** cp= TrainingSet; classes= TestSet; classperf(cp,classes,testtarget); % Matlab ın hazır fonksiyonu %% ***************************************************************** 12