Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması

Benzer belgeler
LOCAL BINARY PATTERN YÖNTEMİ İLE YÜZ İFADELERİNİN TANINMASI

Kelebek Görüntülerin Sınıflandırılmasında Yeni Yerel İkili Örüntüler

Uzaktan Algılama Uygulamaları

Eğitim seti (training set) sınıflandırma modelinin elde edileceği kayıtları içerir

Sahne Geçişlerinin Geometrik Tabanlı olarak Saptanması

Yüz Örüntülerinden Cinsiyet Tespitinde Hibrit Özniteliklerle Performans Geliştirme

Görüntü Segmentasyonu (Bölütleme)

Zeki Optimizasyon Teknikleri

Uzaktan Algılama Teknolojileri

Kümeler arası. Küme içi. uzaklıklar. maksimize edilir. minimize edilir

Web Madenciliği (Web Mining)

Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı. Mehmet Ali Çavuşlu

Elena Battini SÖNMEZ Önder ÖZBEK N. Özge ÖZBEK. 2 Şubat 2007

Yüz İfadelerinin Tanınması

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Proje

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Final

PROJEM İSTANBUL ARAŞTIRMA PROJESİ BİLGİSAYARLI GÖRÜ VE SINIFLANDIRMA TEKNİKLERİYLE ARAZİ KULLANIMININ OTOMATİK OLARAK BULUNMASI

Görüntü Segmentasyonu (Bölütleme) Dijital Görüntü İşleme Fevzi Karslı, KTÜ Segmentasyon, görüntüyü aynı cinsten obje ve bölgelere ayırmaktır.

KAHKAHA TANIMA İÇİN RASSAL ORMANLAR

METASEZGİSEL YÖNTEMLER

İleri Örüntü Tanıma Teknikleri Ve Uygulamaları İçerik

AMAÇ Araçlardaki Kamera Sistemleri

Doküman dili tanıma için ikili örüntüler tabanlı yeni bir yaklaşım

Coğrafi Veri Üretimi Bakış Açısı İle TÜBİTAK UZAY daki Uzaktan Algılama Araştırmaları

Trafik Yoğunluk Harita Görüntülerinin Görüntü İşleme Yöntemleriyle İşlenmesi

DOKUZ EYLÜL ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ MÜDÜRLÜĞÜ DERS/MODÜL/BLOK TANITIM FORMU. Dersin Orjinal Adı: Pattern Recognition

BAŞKENT ÜNİVERSİTESİ BİYOMEDİKAL MÜHENDİSLİĞİ BÖLÜMÜ

Bilgisayarla Görüye Giriş

K En Yakın Komşu Methodu (KNearest Neighborhood)

MOD419 Görüntü İşleme

Türkçe Dokümanlar Ġçin Yazar Tanıma

Web Madenciliği (Web Mining)

T.C. ERCİYES ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ EĞİTİM ÖĞRETİM YILI DERS KATALOĞU

K-En Yakın Komşu Algoritması Parametrelerinin Sınıflandırma Performansı Üzerine Etkisinin İncelenmesi

Görüntü İşleme. K.Sinan YILDIRIM Cenk İNCE Tahir Emre KALAYCI. Ege Üniversitesi Bilgisayar Mühendisliği Bölümü 2003

Görüntü İşleme. Dijital Görüntü Tanımları. Dijital görüntü ise sayısal değerlerden oluşur.

VERİ MADENCİLİĞİ (Karar Ağaçları ile Sınıflandırma) Yrd.Doç.Dr. Kadriye ERGÜN

RENK BİLEŞENLERİ YARDIMIYLA HAREKETLİ HEDEFLERİN GERÇEK ZAMANLI TESPİTİ

TMMOB Harita ve Kadastro Mühendisleri Odası Ulusal Coğrafi Bilgi Sistemleri Kongresi 30 Ekim 02 Kasım 2007, KTÜ, Trabzon

3.2. Raster Veriler. Satırlar. Sütunlar. Piksel/hücre büyüklüğü

İki Boyutlu Dalgacık Dönüşümü Kullanarak Ön Cepheden Çekilmiş İnsan Yüzü Resimlerini Tanıma Üzerine Yaklaşımlar

Hızlı Düzey Küme Yöntemine Bağlı Retinal Damar Bölütlemesi. Bekir DİZDAROĞLU. KTÜ Bilgisayar Mühendisliği Bölümü

Ders Adı Kodu Yarıyılı T+U Saati Ulusal Kredisi AKTS

İRİSTEN KİMLİK TANIMA SİSTEMİ

Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü. Bilgisayarla Görme. Vize. İris Segmentation. Selçuk BAŞAK

SAYISAL GÖRÜNTÜ İŞLEME (Digital Image Processing)

GÖRÜNTÜ İŞLEME HAFTA 4 DÖNÜŞÜMLER UZAYSAL FİLTRELEME

7. BÖLÜM İÇ ÇARPIM UZAYLARI İÇ ÇARPIM UZAYLARI İÇ ÇARPIM UZAYLARI İÇ ÇARPIM UZAYLARI .= Genel: Vektörler bölümünde vektörel iç çarpım;

KİNETİK MODEL PARAMETRELERİNİN BELİRLENMESİNDE KULLANILAN OPTİMİZASYON TEKNİKLERİNİN KIYASLANMASI

YÖNEYLEM ARAŞTIRMASI - III

Bilgisayarla Görüye Giriş

Sözlük Kullanarak Türkçe El yazısı Tanıma

GÖRÜNTÜSÜ ALINAN BİR NESNENİN REFERANS BİR NESNE YARDIMIYLA BOYUTLARININ, ALANININ VE AÇISININ HESAPLANMASI ÖZET ABSTRACT

Doç.Dr. M. Mengüç Öner Işık Üniversitesi Elektrik-Elektronik Mühendisliği Bölümü

Şifrebilimde Yapay Sinir Ağları

YZM 5257 YAPAY ZEKA VE UZMAN SİSTEMLER DERS#6: GENETİK ALGORİTMALAR

GÖRÜNTÜ İŞLEME - (7.Hafta) KENAR BELİRLEME ALGORİTMALARI

Bölüm 4 Yoğunluk Dönüşümleri ve Histogram İşleme

İstatistik ve Olasılık

Digital Görüntü Temelleri Görüntü Oluşumu

Destekçi Vektör Makineleri. Destekçi Vektör Makineleri(Support Vector Machines)

Zahmetsiz örüntü tanıma: Nokta bulutlarının karşılaştırılması yoluyla veri-tabanlı ve parametresiz istatistiksel öğrenme

Yinelemeli ve Uyarlanır Ayrıt Saptayıcı Süzgeçleri

Bulanık Mantık Tabanlı Uçak Modeli Tespiti

NDEN BELİRLENEBİLME LME POTANSİYELİ UYDU GÖRÜNTÜLERİNDEN

SOBEL İŞLECİ KULLANILARAK RENKLİ GÖRÜNTÜLERDE KENAR BULMA. Elif AYBAR. Anadolu Üniversitesi, Porsuk Meslek Yüksekokulu, 26430, Eskişehir/Türkiye

HSancak Nesne Tabanlı Programlama I Ders Notları

Zamansal Veri Madenciliği ve Anomali Tespiti için Bir Uygulama

Makine Öğrenmesi 2. hafta

SAYISAL GÖRÜNTÜİŞLEME (Digital Image Processing)

Ayrık Fourier Dönüşümü

Yüz Bulma ve Tanıma Sistemi

Haar Dalgacıkları ve Kübik Bezier Eğrileri İle Yüz İfadesi Tespiti Facial Expression Detection With Haar Wavelet and Cubic Bezier Curves

Yazılım Mimari Tasarımından Yazılım Geliştirme Çatısının Üretilmesinde Model Güdümlü Bir Yaklaşım

Fonksiyon Optimizasyonunda Genetik Algoritmalar

YAPAY SİNİR AĞI KULLANARAK DEPREM EĞİLİMİNİN KESTİRİMİ. Umut FIRAT

AYTUĞ ONAN CELAL BAYAR ÜNİVERSİTESİ, BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ SERDAR KORUKOĞLU EGE ÜNİVERSİTESİ, BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ

BİLGİSAYAR PROGRAMLAMA DERSİ

YAPAY ZEKA (Artificial Intelligence)

1. BÖLÜM Polinomlar BÖLÜM II. Dereceden Denklemler BÖLÜM II. Dereceden Eşitsizlikler BÖLÜM Parabol

Muhammet Fatih AKBAŞ, Enis KARAARSLAN, Cengiz GÜNGÖR

Dijital (Sayısal) Fotogrametri

Bulunması. Corresponding author: ikili örüntü (local binary pattern-lbp) histogramlarından faydalanılmaktadır.

Ders Adı Kodu Yarıyılı T+U Saati Ulusal Kredisi AKTS

Zeki Optimizasyon Teknikleri

Biyometrik Sistemlerin Örüntü Tanıma Perspektifinden İncelenmesi ve Ses Tanıma Modülü Simülasyonu

Tek Değişkenli Optimizasyon OPTİMİZASYON. Gradient Tabanlı Yöntemler. Bisection (İkiye Bölme) Yöntemi

UYDU GÖRÜNTÜLERİ VE SAYISAL UZAKTAN ALGILAMA

Bilgisayar ne elde eder (görüntüden)? Dijital Görüntü İşleme Fevzi Karslı, KTÜ. 08 Ekim 2013 Salı 51

SÜREKLİ SAKLI MARKOV MODELLERİ İLE METİNDEN BAĞIMSIZ KONUŞMACI TANIMA PARAMETRELERİNİN İNCELENMESİ

TÜRKİYE CUMHURİYETİ DEVLETİNİN temellerinin atıldığı Çanakkale zaferinin 100. yılı kutlu olsun.

BİLGİSAYAR PROGRAMLAMA DERSİ

Yard. Doç. Dr. İrfan DELİ. Matematik

İÇİNDEKİLER ÖNSÖZ Bölüm 1 KÜMELER Bölüm 2 SAYILAR

PROGRAMLAMAYA GİRİŞ. Öğr. Gör. Ayhan KOÇ. Kaynak: Algoritma Geliştirme ve Programlamaya Giriş, Dr. Fahri VATANSEVER, Seçkin Yay.

Genetik Algoritmalar. Bölüm 1. Optimizasyon. Yrd. Doç. Dr. Adem Tuncer E-posta:

Bilgisayarla Görüye Giriş

Şimdi de [ ] vektörünün ile gösterilen boyu veya büyüklüğü Pisagor. teoreminini iki kere kullanarak

8.Konu Vektör uzayları, Alt Uzaylar

Gezgin Satıcı Probleminin İkili Kodlanmış Genetik Algoritmalarla Çözümünde Yeni Bir Yaklaşım. Mehmet Ali Aytekin Tahir Emre Kalaycı

Transkript:

Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması M. Ayyüce Kızrak_13505007 Şekil Tanıma Proje Raporu, 2014 1. GİRİŞ İnsan varlığından bu yana duygu aktarımı ve iletişim için yüz ifadeleri en güçlü etkiye sahiptir. Bunu otomatik olarak algılamaya, tanımlamaya ve sınıflamaya evrimleşmiş olan beynimiz gibi sistemler tasarlanması için çeşitli yöntemler ve algoritmalar oluşturulmaktadır. Otomatik yüz ifadesi analizi çok ilgi çekici bir konu olmasıyla birlikte beraberinde zorlayıcı problemleri de getirir. Görüntülerin saklanması ve işlenmesi için gerekli bellek miktarı, işlem detayları, karmaşıklığı ve dataların değişkenliği en önemli zorluklardır. Orijinal görüntüden efektif bir yüz ifadesi tanıma sistemi tasarlayabilmek için hayati önem taşıyan konularından biri özniteliklerin çıkarılması için doğru yaklaşımların yapılmasıdır. Literatürde iki temel yöntem bulunmaktadır. Bunlar; geometrik öznitelik temelli yöntemler ve dış görünüş temelli yöntemlerdir. Geometrik öznitelikler yüz bileşenlerinin şekli ve görüntü içindeki yerinin vektörsel ifadesi olarak tanımlanmaktadır. Dış görüntü temelli yaklaşımlar ise filtre yöntemlerine dayanmaktadır. Gabor filtreleme sıklıkla uygulanan filtreleme yaklaşımıdır. Bu iki yaklaşımın da dezavantajı yoğun filtreleme ve konvolüsyon işlemlerinden kaynaklanan zaman ve bellek problemidir. Başlangıçta doku tanıma amacıyla geliştirilen Local Binary Pattern (LBP) daha sonra yüz ifadesi tanıma alanında denenmiş ve başarılı sonuçlar elde edilmiştir [1,2]. LBP yaklaşımı, son yıllarda video ve görüntü uygulamalarında ilgi odağı olan konulardan biridir. Parametrik olmayan bir yöntem olup görüntüdeki komşu piksellerin birbirleri ile karşılaştırılması sonucu oluşturulan lokal bir yapı olarak tanımlanmaktadır. Doku analizinde çok güçlü sonuçlar vermiş olan bu yöntem aynı zamanda yüz görüntüsü analizi, görüntü ve video tanımlama, çevre modelleme, görüntü takibi, hareket analizi, biyomedikal ve uydudan alınan görüntülerin analizinde de kullanılan efektif bir yöntemdir. Bunların yanı sıra yüz konusunda da bir çok alanda çözümler sunmaktadır. Örneğin; yüz bulma, yüz tanıma, yüz ifadesi tanıma, nüfus sınıflama ve buna bağlı uygulamalar. 1

2. YÖNTEM: LOCAL BINARY PATTERN Orijinal LBP Ojala ve arkadaşları tarafından doku tanımada elde ettikleri başarılı sonuçlar ile ortaya atılmıştır. Bu operatör görüntünün 3 3 pencerelerin ortasındaki piksel değeri eşik seviyesi olarak seçilerek birbirlerine göre karşılaştırılması sonucu ikili değerlerin atanması temeline dayanmaktadır. Oluşturulan ikili sayı dizisine LBP kodu denir ve bu kod ile görüntüdeki farklı tipteki özellikleri belirlemek mümkün hale gelir. Örneğin, kenarlar, köşeler, aydınlık veya karanlık bölgeler, çizgi bölgeleri gibi. Fakat 3 3 lük operatörler baskın özellikleri yakalayabilmek için etkin olmayabilir. Dolayısıyla probleme göre operatörün uzunluğu belirlenmeli veya adaptif olarak atanmalıdır. Bunun yerine dairesel olarak da LBP tanımlamaları yapılmaktadır. Burada tanımlanması gereken iki parametre bulunmaktadır. Bunlar örnek nokta sayısı P ve simetrik dairesel komşuluğun yarıçapı ölçüsü R olarak belirlenir [1,2,3]. Şekil 1 LBP Algoritması. LBP operatörü LBP P,R olarak oluşturulan P tane komşu piksel setinden uygun 2 P farklı çıkış değeri tanımlanır. Ayrıca LBP sonucu elde edilen ikili LBP kodunda eğer iki ya da daha az bir geçişi varsa buna uniform LBP denir. Örneğin; 00000000, 00111000, 11100001 uniform LBP kodudur. LBP ile etiketlenen görüntünün yeni histogramı aşağıdaki gibi ifade edilir. Burada verilen pikselin yerini ve merkez pikselin gri seviyesini ifade eder. s fonksiyonu aşağıdaki gibi tanımlanmaktadır. 2

Ayrıca LBP histogramı, görüntünün içindeki yerel mikro örüntülerin dağılımı ile ilgili (örneğin kenarlar, aydınlık bölgeler vs gibi) bilgiyi de içermektedir. Böylece görüntünün karakteristiği istatistiksel olarak tanımlanabilir. Şekil 2 LBP örüntülerinin görüntü içindeki anlamları [1]. Şekil 3 P örnek sayısı ve R simetrik dairesel yarıçap çeşitleri [2]. LBP histogramı lokasyon bilgisi olmaksızın tüm görüntü üzerinden mikro örüntüleri hesaplamaktadır. LBP histogramının çıkardığı R 0, R 1, R 2,,R m gibi küçük bölgelere görüntüsü şekil bilgisi eşit olarak dağılmaktadır. Her alt bölge için çıkarılan LBP özellikleri yeni konum bilgisini aşağıdaki gibi tanımaktadır. Şekil 4 LBP ile histogramın elde edilmesi [1]. 3

Görüntünün global şekli ve lokal dokusu hakkında özellikler bu histograma çıkarılmaktadır. Bazı parametreler daha iyi özelliklerin çıkarılması için optimize edilebilmektedir. Örneğin i bölünen bölge sayısını vermektedir. Örnek verilirse, 110 150 pikselli bir görüntüde, 59 bin operatör ile 18 21 piksele bölünmektedir. Özellik vektörü uzunluğu ve tanıma performansı arasında iyi bir ödünleşim sağlanmaktadır. Aşağıdaki şekilde uzunluğu 2478(59 42) LBP histogramının 42(6 7) uzunluğuna indirgenmiş görüntüsü verilmektedir [1,2]. Şekil 5 Yüz görüntüsünün 6 7 bölgelere ayrılması (sol), ölçülen ağırlıklar (sağ) [1]. 2.1. Literatürde Local Binary Pattern İle Özniteliklerin Çıkarılması Bu alandaki çalışmalarda çoğunlukla giriş görüntüsünün küçük bölgelere ayrılmaktadır. Böylelikle LBP histogramları lokal özellikleri barındıran histogramlar dizisi halini almaktadır. Geliştirilen bazı LBP yöntemleri ELBP, VLBP veya Gabor dalgacıkları temelli LBP gibi, özellik vektörlerinde dramatik artışlara neden olur. Bu boyut problemine çözüm olarak özelliklerin daha etkili olanlarının belirlenip seçilmesi konusu üzerinde durulmaktadır. Özellikleri seçim teknikleri temel olarak ikiye ayrılmaktadır. Bunlar; kural temelli strateji (uniform örüntü) ve diskriminatif örüntüler temelli yaklaşımlardır. Makine temelli yüz tanıma temel olarak, yüz tanıma ve sınıflama şeklinde iki önemli sınıfa ayrılır. Bu yöntem ile başarılı sonucu vermeye en etkin özelliklerin seçilmesi hedeflenmektedir. Bunun için ilk olarak sınıf içi değişimlerin tolere edilebilmesi gerekir. Orijinal görüntülerden elde edilen özellikler hızlı işlem olanağını beraberinde getirir. Son olarak, sınıflamada hesap karmaşıklılığından kaçınabilmek için boyut uzayı küçültülmektedir. Bu yöntemler ışığında LBP yüz tanıma, sınıflama ve özellik çıkarma konularında efektif sonuçlar vermesinden dolayı son yıllarda literatürde sıklıkla yer almaktadır [2]. 3. LİTERATÜRDE LOCAL BINARY PATTERN Literatürde yüz ifadelerinin tanınmasında sıklıkla karşılaşılan LBP tek başına kullanılmanın yanı sıra algoritmadaki değişiklikler bazında ve farklı algoritmalar ile birlikte kullanılarak daha başarılı sonuçlar elde edebilmektedir. Son yıllarda bu alanda yapılan çalışmalara temel örnekler aşağıdaki tabloda değerlendirilmektedir. 4

Tablo 1 LBP algoritmasının literatürdeki yeri [2]. Kullanım Alanı Kullanım Şekli Özellikler Yıl Referans LBP geliştirilmesi Merkez piksele göre örüntü 2004, 2005, yapısının tamamlanması 2008 Uniform olmayan örüntüleri Hamming LBP Diskriminatif uniformlaştırmaınk 2007 yeteneği artırma Boyutu azaltmak için aynı LBP Genişletilmiş LBP değerlerinin ayrıştırılması 2007 Tamamlanmış LBP Verilen lokal bölgenin işaret ve genlik bilgilerinin bulunması 2010 [4] Lokal Üçlü Örüntü Yeni eşik seviyesi bulunması, gri seviye transformasyonu için 2007 kesinlikle bir sabittir Dayanıklılığı Yumuşatılmış LBP Monotonic gri seviye geçişler için sabit değildir, işlem 2007 geliştirme karmaşıklığından dolayı AR-LBP Asimetrik bölgelere ayrılıp LBP çıkarma 2012 [5] LB Kovaryans Matris Modelin kovaryans matrisi ile 2011 [6] tanımlanması Anizotropik bilgilerin ayırt edilmesi Uzatılmış LBP ve ayıklanması, rotasyon için sabit 2007 değildir Komşuluk seçilmesi 3D geliştirilmesi Diğer özniteliklerle birlikte kullanılması Çok bloklu LBP Mikro ve makro yapı bilgilerinin bulunması 2007 Birleştirilmiş LBP LBP kodlamasının iki bitle tanımlanması 2011 [7] Üç/Dört Yamalı LBP Doku bilgisinin tipinin belirlenmesi 2008 Rotasyonel LBP Rotasyondan bağımsız LBP tanımlanması 2013 [8] 3D LBP LBP nin 3D yoğunluk dataya dönüşümü 2007, 2008 Pseudo 3D Holistik yerine bölgesel LBP ile Pseudo 2013 [9] Yoğun LBP (LBP-TOP) Yüksek boyuttan dolayı, dinamik dokunun tanımlanması 2007 SIFT in avantajlarından 2006, 2009 LBP ve SIFT faydalanarak öznitelik vektörünün [10], 2010 uzunluğunun azaltılması [11] LBP ve Gabor Dalgacık LBP ve Adabost Boyut ve hesaplama maliyetini azaltmak için Gabor dalgacık dönüşümü avantajlarından faydalanma Adabost başarısını LBP ile pekiştirme 2005, 2006, 2007, 2008 2012 [12] LBP Histogram Fourier Tüm bölge için global rotasyon değişmezliği tanımı 2009 [13] 5

4. UYGULAMA Bu çalışmada database olarak yine bu alanda en çok kullanılan setlerden biri olan JAFFEE (The Japanese Female Facial Expression Database) kullanılmaktadır. Bu veri kümesi 10 tane Japon kadından alınmıştır ve her birine ait sinirli, iğrenmiş, korkmuş, mutlu, üzgün, şaşırmış olmak üzere 6 yüz ifadesi ve 1 doğal ifade ile birlikte 7 tip görüntü bulunmaktadır. Her ifade için yaklaşık 3 adet örnek bulunmaktadır. Veri kümesi 256 256 boyutlu, toplam 213 gri seviye görüntüden oluşmaktadır [14]. Veri kümesinde bulunan görüntülerin tamamına temel LBP algortiması uygulanarak tüm görüntülerin katsayıları hesaplanmıştır. Bu LBP katsayılarının : %30 luk kısmı test için ayırıp geri kalan %60 ı ile eğitim gerçekleştirilmiştir. Test setindeki hiçbir data bilgisinin eğitim setinde de bulunmamasına dikkat edilmiştir. Hesaplanan katsayılar için çok sınıflı SVM (Support Vector Machine) algoritması kullanılmaktadır. Ayrıca algoritmanın başarısı doğal ifade dahil 7 sınıf için ve doğal ifadeyi bir sınıfa dahil etmeyerek 6 sınıf için hesaplanmaktadır. Giriş görüntüleri: 256 256 gri seviye yüz görüntüsü Her bir görüntünün LBP katsayılarının hesaplanması (256 59 bileşene indirgenir) P=8, R= 1,2,3.. değerler girilir L=LBP boyutu R ye bağlı olarak hesaplanır. (L=2 R+1) Eğitim seti: 144 yüz görüntüsü Test seti: 69 yüz görüntüsü 7 ve 6 sınıf ayırmak için SVM Algoritması Accuracy ve Precision başarım sonuçlarının hesaplanması 6

Örneğin veri kümesi içindeki kişilerden birinin eğitim setindeki örnekleri, test setindeki örnekleri, hesaplanan LBP görüntülerine örnekler aşağıdaki gibidir. Tablo 2 Eğitim ve Test setindeki örnekler. Sinirli1 Sinirli2 İğrenmek1 İğrenmek2 Korkmak1 Korkmak2 Mutlu1 Mutlu2 Doğal1 Doğal2 Üzgün1 Üzgün2 Şaşırmak2 Şaşırmak2 Sinirli_T İğremek_T Korkmak_T Mutlu_T Doğal_T Üzgün_T Şaşırmak_T LBP 5. SONUÇLAR Bu çalışmada LBP ile görüntü setinden özellikler çıkarılmış ve SVM ile çoklu sınıflama yapılmıştır. SVM, 144 adet eğitim görüntüsü ile eğitildikten sonra 69 adet test görüntüsü ile sistemin başarısı hesaplanmıştır. Test görüntüsü olarak seçilen yüz görüntülerinin eğitim setinde olmamasına dikkat edilmiştir. Yapılan literatür taraması ışığında LBP katsayılarını yüz ifadesi tanımlamak için sınıflarken SVM nin başarılı sonuçlar verdiği görülmüştür. Buradan yola çıkarak bu çalışmada LBP katsayıları çok sınıflı SVM ile sınıflandırılmıştır. SVM yapısı içinde lineer, polinom ve radyal taban fonksiyonları olmak üzere üç farklı çekirdek kullanılarak en başarılı çekirdek fonksiyonu tespit edilmiştir. 7

SVM karar sınırlarının optimum olarak seçilmesini sağladığından test hatasını kolaylıkla minimize eder ve bu nedenle için diğer yöntemlere göre daha başarılıdır. Sınıf sayısı arttıkça yapay sinir ağlarına göre de daha başarılı sonuçlar üretir. Dolayısıyla bu çalışmada sınıflama problemini çözmek için SVM tercih edilmiştir [1]. Etiketlenmiş eğitim seti verildiğinde burada ve aralığındadır ve test seti ile girilen yeni LBP katsayıları aşağıdaki fonksiyon ile sınıflandırılır. Burada optimum hiper düzlemleri belirlemek için tanımlı Lagrange çarpanları, çekirdek fonksiyonu, hiper düzlemin eşik değeridir. Başarımı hesaplayabilmek için SVM algoritması eğitim setindeki görüntü ve hedeflerle eğitildikten sonra test setinin sorgulanmasıyla ürettiği tahminleri test setinin gerçek sınıf bilgileriyle doğru ve yanlış oranı hesaplarını yapmak gerekmektedir. Sistem doğruyken doğru sınıfa ait olduğunu söylediyse buna True Possitive Rate veya doğruyken yanlış diye tahmin ettiyse buna da False Negative Rate denir. Hesaplamaları aşağıdaki eşitlikte verildiği gibidir. Burada; P N TP TN FP FN : pozitiflerin sayısı : negatiflerin sayısı : doğru iken pozitif karar verilenlerin sayısı : doğru iken negatif karar verilenlerin sayısı : yanlış iken doğru karar verilenlerin sayısı : yanlış iken negatif karar verilenlerin sayısı Başarım analizi olarak Accuracy (doğru bulma oranı) ve Precision (duyarlılık) hesabı aşağıdaki gibi yapılmıştır. 8

Doğal yüz ifadesi bir sınıf olarak kabul edildiğinde ve kabul edilmediğinde LBP katsayılarını SVM algoritmasının 3 farklı çekirdek için doğru bulma oranı hesaplandığında en yüksek başarıyı radyal tabanlı fonksiyonu vermiş olduğundan dolayı confusion matrisleri (çatışma matrisi) bu çekirdeğe göre hesaplanmıştır. Bu bilgilere göre 7 sınıf ve 6 sınıf için elde edilen sonuçlar aşağıdaki tabloda verildiği gibidir. Tablo 3 7 ve 6 sınıf için LBP temelli 3 farklı çekirdek SVM Accuracy Sonucu 7 sınıf için SVM Accuracy 6 sınıf için SVM Accuracy SVM (lineer) % 88.1 % 91.5 SVM (polinomial) % 88.3 % 93.2 SVM (rbf) % 88.9 % 95.6 Tablo 4 7 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%) Sinirli İğrenmiş Korkmuş Mutlu Doğal Üzgün Şaşırmış Sinirli 84.8 2.9 0 0 7.5 4.8 0 İğrenmiş 0 96.8 3.2 0 0 0 0 Korkmiş 0 2.5 67.4 22.7 7.4 0 0 Mutlu 0 0 0 94.8 4.2 1.0 0 Doğal 1.8 0 0 2.0 91.0 5.2 0 Üzgün 6.1 0 2.1 0 21.3 68.3 2.2 Şaşırmış 0 0 1.3 0 0.6 0 98.1 Tablo 5 6 sınıf için yüz ifadelerinin LBP temelli SVM (rbf) Başarımları (%) Sinirli İğrenmiş Korkmuş Mutlu Üzgün Şaşırmış Sinirli 89.8 3.9 0 0 6.3 0 İğrenmiş 0 97.2 2.8 0 0 0 Korkmuş 0 2.5 73.4 22.5 1.6 0 Mutlu 0 0.8 0.9 97.3 1.0 0 Üzgün 9.8 0 1.2 0 83.6 5.4 Şaşırmış 0 0 1.1 0 0 98.9 Sonuç olarak bu çalışmada hedeflenen LBP katsayıları kullanılarak yüz ifadelerinin sınıflandırılması işlemi sınıflayıcı olarak SVM algoritması kullanılarak gerçekleştirilmiştir. Sınıflar arası karışma olmasına karşın kabul edilebilir oranda doğruluk oranları hesaplanmıştır. Tablo 4 te 7 sınıf için hesaplanan başarımlarda en çok karışan yüz ifadesi korkmuş olmakla beraber doğru sınıflanma oranı %67.4 tür. Diğer sınıflarla en az karışan şaşırmış ifadesi de %98.1 doğru sınıflama oranına sahiptir. Fakat doğal yüz ifadesi bir sınıf olarak kabul edilmeyip aynı hesaplamalar tekrar yapıldığında tüm yüz ifadelerinin doğru sınıflandırılmasında başarı oranı artmaktadır. Tablo 5 te görüldüğü gibi korkmuş ifadesi %73.4 e kadar yükselmektedir. Bunun yanı sıra şaşırmış ifadesi de %98.9 ile oldukça başarılı olarak sınıflandırılmaktadır. 9

6. KAYNAKLAR [1] C. Shan, S. Gong, P. W. McOwan, Facial Expression Recognition Based on Local Binary Patterns: A Comprehensive Study, Elsevier, Image and Vision Computing 27 (2009), 803-816. [2] D. Huang, C. Shan, M. Ardabilian, Y. Wang, L. Chen, Local Binary Patterns and Its Application to Facial Image Analysis: A Survey, IEEE Transactions on Systems, Man and Cybernetics, Part C: Application and Reviews, vol 41, No 6, November 2011. [3] T. Ojala, M. Pietikainen, D. Harwood, A Comparative Study of Texture Measures with Classification Based on Feature Distributions, Elsevier Science, PatternRecoonition, Vol. 29, No. l, pp. 51 59, 1996. [4] Z. Guo, L. Zhang, and D. Zhang, A Completed Modeling of Local Binary Pattern Operator for Texture Classification, IEEE Trans. Image Process.,vol. 19, no. 6, pp. 1657 1663, Jun. 2010. [5] Naika S. C. L, Das P. K., Nair S.B., Asymmetric Region Local Binary Pattern Operator for Person- Dependent Facial Expression Recognition, Computing, Communication and Applications (ICCCA), 2012 International Conference on 22-24 Feb. 2012. [6] Guo S., Ruan Q., Facial Expression Recognition Using Local Binary Covariance Matrices, Wireless, Mobile & Multimedia Networks (ICWMMN 2011), 4th IET International Conference on 27-30 Nov. 2011. [7] F. Ahmed, E. Hossain, A.S.M. H. Bari and A.S.M. Shihavuddin, Compound Local Binary Pattern (CLBP) for Robust Facial Expression Recognition, 12th IEEE International Symposium on Computational Intelligence and Informatics on 21 22 November, 2011. [8] Y. Qian, F. Ren, and C. Quan, A New Preprocessing Algorithm and Local Binary Pattern Based Facial Expression Recognition, Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe International Conference Center, Kobe, Japan, December 15-17, 2013. [9] H. Zhang and O. Yoshie, A Fusion Approach for Facial Expression Using Local Binary Pattern and a Pseudo 3D Face Model, 2013 14th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing on 2013. [10] M. Heikkil a, M. Pietik ainen, and C. Schmid, Description of Interest Regionswith Local Binary Patterns, Pattern Recog., vol. 42, no. 3, pp. 425 436, 2009. [11] D. Huang, G. Zhang, M. Ardabilian, Y. Wang, and L. Chen, 3D Face Recognition Using Distinctiveness Enhanced Facial Representations and Local Feature Hybrid Matching, in Proc. IEEE Int. Conf. Biometrics: Theor., Appl. Syst., Washington, DC, Sep. 2010. [12] R. Verma and M. Y. Dabbagh, Fast Facial Expression Recognition Based on Local Binary Patterns, 26th IEEE Canadian Conference Of Electrical And Computer Engineering (CCECE), 2013. [13] T. Ahonen, J. Matas, C. He, and M. Pietik ainen, Rotation Invariant Image Description with Local Binary Pattern Histogram Fourier Features, in Proc. Scand. Conf. Image Anal., pp. 61 70 2009. [14] M. Lyons, M. Kamachi, and J. Gyoba, The Japanese Female Facial Expression Database (JAFFEE), Psychology Department in Kyushu University, 1998. Erişim web: http://www.kasrl.org/jaffe.html 10

7. MATLAB KODU %% Local Binary Pattern Yöntemi ile Yüz İfadelerinin Tanınması % ---------------- M. Ayyüce Kızrak_13505007 ---------------------- %% VERİ KÜMESİİN OKUNMASI VE LBP KATSAYILARININ.XLS DOSYASINA KAYDEDİLMESİ for t=1:213 %Örnek sayısı kadar t yazmak gerek! MyFile = strcat('c:\users\ayyüce\desktop\lbf_şekil Tanıma\jaffe_im\', int2str(t), '.tiff'); Input_Im = imread(myfile); R=1; % LBP için girilmesi gereken yarıçap değeri %% LOCAL BINARY PATTERN ALGORİTMASI******************************** if size(input_im, 3) == 3 end; L = 2*R + 1; % LBP etiketinin boyutunun hesabı C = round(l/2); Input_Im = uint8(input_im); row_max = size(input_im,1)-l+1; col_max = size(input_im,2)-l+1; LBP_Im = zeros(row_max, col_max); for i = 1:row_max for j = 1:col_max A = Input_Im(i:i+L-1, j:j+l-1); A = A+1-A(C,C); A(A>0) = 1; LBP_Im(i,j) = A(C,L) + A(L,L)*2 + A(L,C)*4 + A(L,1)*8 + A(C,1)*16 + A(1,1)*32 + A(1,C)*64 + A(1,L)*128; % LBP katsayıları (256-59) end; end; %% LBP KATSAYILARININ EXCELE YAZILMASI****************************** Coeff_Mat(t,:)=LBP_Im; end LBP=xlswrite('LBP_Coeff',Coeff_Mat); %% MULTICLASS SVM FONKSİYONU*************************************** [result] = multisvm(trainingset,grouptrain,testset) %%****************************************************** u=unique(grouptrain); numclasses=length(u); result = zeros(length(testset(:,1)),1); %modelin oluşturulması for k=1:numclasses %durum vektörlerini binary yapma %seçilen sınıf 1 diğerleri 0 olarak tanımlanır G1vAll=(GroupTrain==u(k)); models(k) = svmtrain(trainingset,g1vall); end 11

%test setinin sınıflandırılması for j=1:size(testset,1) for k=1:numclasses if(svmclassify(models(k),testset(j,:))) break; end end result(j) = k; % Sonuçun yazılması end %% ACCURACY HESABI************************************************** cp= TrainingSet; classes= TestSet; classperf(cp,classes,testtarget); % Matlab ın hazır fonksiyonu %% ***************************************************************** 12