LOCAL BINARY PATTERN YÖNTEMİ İLE YÜZ İFADELERİNİN TANINMASI ŞEKİL TANIMA,2014 YRD. DOÇ. DR. M. ELİF K ARSLIGİL -------------------------------------------------- HAZIRLAYAN: M. AYYÜCE K I ZRAK 13505007
ÖZET 1. Local Binary Pattern (LBP) Nedir? 2. LBP Neden ve Nerede Kullanılır? 3. LBP Algoritması 4. Literatürde LBP 5. Uygulama: Yüz İfadesi Sınıflamada LBP ve SVM 6. Sonuçlar 7. Kaynaklar 2
LOCAL BİNARY PATTERN (LBP) NEDİR? 3 Parametrik olmayan yöntem: Görüntüdeki komşu piksellerin birbirleri ile karşılaştırılması sonucu oluşturulan lokal bir yapıdır. Ojala ve arkadaşları 1996 yılında doku tanıma amacıyla geliştirmişlerdir.
LBP NEDEN VE NEREDE KULLANILIR? Başarılı: Elde edilen katsayılar farklı sınıflayıcılarla denendiğinde yüksek performans gösterir ve dayanıklıdır. 4 Hızlı: İşlem yükü olmadığında algoritma hızı yüksektir. Düşük Maliyetli: 64 elemanın altındaki vektörlerde de verimli sonuç verir ve görüntü için ön işlemlere ihtiyaç duymamasından dolayı ucuzdur.
LBP NEDEN VE NEREDE KULLANILIR? 5 Görüntü Analizi İlgili Bölgenin Tanımlanması Tıbbi Görüntüler Görüntü Geri Elde Etme Biyometrik Yüz Analizi Yüz Tanıma Yüz Bulma İfade Tanıma Cinsiyet Tanıma Doku Analizi o o o o Sınıflama Segmentasyon Arkaplan Çıkarma Görsel İnceleme Hareket Analizi o o o o El Hareketleri Tanıma Dudak Okuma Nesne Takibi Göz Takibi
LBP ALGORİTMASI 6 3 3 pencerede ortadaki pikselden küçük olanlar ve büyük olanlar ayrılır.
LBP ALGORİTMASI 7 Global aydınlanmadan etkilenmez. Lokal kontrast değişiminden etkilenmez. LBP Kodu: 10001011= (10 tabanında) 139
LBP ALGORİTMASI 8 LBP Algoritmasında Boyut Azaltma 256 bin histogram 256 boyutlu özellik 64 boyutlu özellik 59 uniform LBP dizilimi: 2 kez bit geçişi olabilir.
LBP ALGORİTMASI 9 Uniform LBP İki örüntüde yalnız bir kez bit geçişi vardır. 7 temel iki geçişli örtüntü vardır. Her bir örüntüde 8 oryantasyon vardır.
LBP ALGORİTMASI 10 LBP operatörü LBP P,R olarak oluşturulan P tane komşu piksel setinden uygun 2 P farklı çıkış değeri tanımlanır. x c, y c i P ve i C :Operatörün uygulandığı piksel değeri : Merkez pikselin gri seviyesi LBP P,R x c, y c = P 1 P=0 s i P, i C 2 P
LİTERATÜRDE LBP 11 Kullanım Alanı Kullanım Şekli Yıl LBP geliştirilmesi 2004, 2005, 2008 Diskriminatif yeteneği artırma Dayanıklılığı geliştirme Hamming LBP 2007 Genişletilmiş LBP 2007 Tamamlanmış LBP 2010 Lokal Üçlü Örüntü 2007 Yumuşatılmış LBP 2007 AR-LBP 2012 LB Kovaryans Matris 2011
LİTERATÜRDE LBP 12 Kullanım Alanı Kullanım Şekli Yıl Uzatılmış LBP 2007 Çok bloklu LBP 2007 Komşuluk seçilmesi Birleştirilmiş LBP 2011 Üç/Dört Yamalı LBP 2008 Rotasyonel LBP 2013 3D LBP 2007, 2008 3D geliştirilmesi Pseudo 3D 2013 Yoğun LBP (LBP-TOP) 2007 Diğer özniteliklerle birlikte kullanılması LBP ve SIFT 2006, 2009,2010 LBP ve Gabor Dalgacık LBP ve Adabost 2012 2005, 2006, 2007, 2008 LBP Histogram Fourier 2009
YÜZ İFADESİ SINIFLAMADA LBP VE SVM 13 Görüntünün global şekli ve lokal dokusu hakkında özellikler LBP histogramı ile ifade edilir.
YÜZ İFADESİ SINIFLAMADA LBP VE SVM 14 JAFFEE (The Japanese Female Facial Expression D.) 10 tane Japon kadın alınmıştır. Her birine ait (sinirli, iğrenmiş, korkmuş, mutlu, üzgün, şaşırmış) 6 yüz ifadesi ve 1 doğal ifade ile birlikte 7 tip görüntü bulunmaktadır. Her ifade için yaklaşık 3 adet örnek bulunmaktadır. Veri kümesi 256 256 boyutlu,toplam 213 gri seviye görüntüden oluşmaktadır.
YÜZ İFADESİ SINIFLAMADA LBP VE SVM 15 LBP katsayılarının %30 luk kısmını test seti için ayırıp geri kalan %60 ı ile eğitim gerçekleştirilmiştir.
YÜZ İFADESİ SINIFLAMADA LBP VE SVM 16 Giriş görüntüleri: 256 256 gri seviye yüz görüntüsü Her bir görüntünün LBP katsayılarının hesaplanması (256 59 bileşene indirgenir) P=8, R= 1,2,3.. değerler girilir L=LBP boyutu R ye bağlı olarak hesaplanır. (L=2 R+1) Eğitim seti: 144 yüz görüntüsü Test seti: 69 yüz görüntüsü 7 ve 6 sınıf ayırmak için SVM Algoritması Accuracy ve Precision başarım sonuçlarının hesaplanması
YÜZ İFADESİ SINIFLAMADA LBP VE SVM Neden Sınıflama için SVM Tercih Edilmiştir? 17 SVM karar sınırlarının optimum seçilmesini sağlar. Test hatasını minimize etmek için verimlidir. Sınıf sayısı arttıkça yapay sinir ağlarına göre de daha başarılı sonuçlar üretir.
SONUÇLAR Veri setindeki tüm görüntüler için LBP katsayıları hesaplanmıştır. 18 Eğitim Seti Test Seti Sınıflama :144 görüntüye ait LBP katsayıları : 69 görüntüye ait LBP katsayıları : Destek Vektör Makinaları (SVM) Lineer, polinom ve radyal taban fonksiyonları olmak üzere üç farklı çekirdek kullanılarak en başarılı çekirdek fonksiyonu tespit edilmiştir. Başarım analizi olarak Accuracy (doğru bulma oranı) ve Precision (duyarlılık) hesabı aşağıdaki gibi yapılmıştır.
Başarım Analizi SONUÇLAR P : pozitiflerin sayısı N : negatiflerin sayısı TP: doğru iken pozitif karar verilenlerin sayısı TN: doğru iken negatif karar verilenlerin sayısı FP: yanlış iken doğru karar verilenlerin sayısı FN: yanlış iken negatif karar verilenlerin sayısı TP True Possitive Rate = TP + FN = TP P False Negative Rate = FP FP + N = FP N 19 Accuracy = Precision = TP + TN P + N TP TP + FP
SONUÇLAR 20 7 ve 6 sınıf için LBP temelli 3 farklı kernel SVM Accuracy Sonucu
SONUÇLAR 21 7 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%)
SONUÇ 22 6 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%)
KAYNAKLAR 23 [1] C. Shan, S. Gong, P. W. McOwan, Facial Expression Recognition Based on Local Binary Patterns: A Comprehensive Study, Elsevier, Image and Vision Computing 27 (2009), 803-816. [2] D. Huang, C. Shan, M. Ardabilian, Y. Wang, L. Chen, Local Binary Patterns and Its Application to Facial Image Analysis: A Survey, IEEE Transactions on Systems, Man and Cybernetics, Part C: Application and Reviews, vol 41, No 6, November 2011. [3] T. Ojala, M. Pietikainen, D. Harwood, A Comparative Study of Texture Measures with Classification Based on Feature Distributions, Elsevier Science, PatternRecoonition, Vol. 29, No. l, pp. 51 59, 1996. [4] Z. Guo, L. Zhang, and D. Zhang, A Completed Modeling of Local Binary Pattern Operator for Texture Classification, IEEE Trans. Image Process.,vol. 19, no. 6, pp. 1657 1663, Jun. 2010. [5] Naika S. C. L, Das P. K., Nair S.B., Asymmetric Region Local Binary Pattern Operator for Person- Dependent Facial Expression Recognition, Computing, Communication and Applications (ICCCA), 2012 International Conference on 22-24 Feb. 2012. [6] Guo S., Ruan Q., Facial Expression Recognition Using Local Binary Covariance Matrices, Wireless, Mobile & Multimedia Networks (ICWMMN 2011), 4th IET International Conference on 27-30 Nov. 2011. [7] F. Ahmed, E. Hossain, A.S.M. H. Bari and A.S.M. Shihavuddin, Compound Local Binary Pattern (CLBP) for Robust Facial Expression Recognition, 12th IEEE International Symposium on Computational Intelligence and Informatics on 21 22 November, 2011.
KAYNAKLAR 24 [8] Y. Qian, F. Ren, and C. Quan, A New Preprocessing Algorithm and Local Binary Pattern Based Facial Expression Recognition, Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe International Conference Center, Kobe, Japan, December 15-17, 2013. [9] H. Zhang and O. Yoshie, A Fusion Approach for Facial Expression Using Local Binary Pattern and a Pseudo 3D Face Model, 2013 14th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing on 2013. [10] M. Heikkil a, M. Pietik ainen, and C. Schmid, Description of Interest Regionswith Local Binary Patterns, Pattern Recog., vol. 42, no. 3, pp. 425 436, 2009. [11] D. Huang, G. Zhang, M. Ardabilian, Y. Wang, and L. Chen, 3D Face Recognition Using Distinctiveness Enhanced Facial Representations and Local Feature Hybrid Matching, in Proc. IEEE Int. Conf. Biometrics: Theor., Appl. Syst., Washington, DC, Sep. 2010. [12] R. Verma and M. Y. Dabbagh, Fast Facial Expression Recognition Based on Local Binary Patterns, 26th IEEE Canadian Conference Of Electrical And Computer Engineering (CCECE), 2013. [13] T. Ahonen, J. Matas, C. He, and M. Pietik ainen, Rotation Invariant Image Description with Local Binary Pattern Histogram Fourier Features, in Proc. Scand. Conf. Image Anal., pp. 61 70 2009. [14] M. Lyons, M. Kamachi, and J. Gyoba, The Japanese Female Facial Expression Database (JAFFEE), Psychology Department in Kyushu University, 1998. Erişim web: http://www.kasrl.org/jaffe.html
TEŞEKKÜRLER M. AYYÜCE KIZRAK_13505007