Konveks Sınıf Modelleri Kullanarak Dijital İmgelerdeki Nesne Görüntülerinin Konumlarının Bulunması. Proje No: 109E279

Transkript

1 Konveks Sınıf Modeller Kullanarak Djtal İmgelerdek Nesne Görüntülernn Konumlarının Bulunması Proje No: 109E279 Doç. Dr. Hakan Çevkalp Hüseyn Gündüz Musa Aydın Güvenç Usanmaz Onur Akyüz ŞUBAT 2013 ESKİŞEHİR

2 ÖNSÖZ Eskşehr Osmangaz Ünverstes, Mühendslk Mmarlık Fakültes, Elektrk Elektronk Mühendslğ Bölümü, Makne le Öğrenme ve Blgsayarlı Görü laboratuvarlarında, Eskşehr de 1 Mart Mart 2013 tarhler arasında gerçekleştrlen ve Türkye Blmsel ve Teknolojk Araştırma Kurumu (TÜBİTAK) tarafından 109E279 proje numarasıyla desteklenen Konveks Sınıf Modeller Kullanarak Djtal İmgelerdek Nesne Görüntülernn Konumlarının Bulunması başlıklı projenn sonuç raporu burada sunulmuştur. Projede görsel nesne konum bulma çn konveks sınıf modellemeye dayalı yen tek sınıflı sınıflandırıcılar gelştrlmş ve bu sınıflandırıcılar ardışıl br yapıda kullanılmıştır. Projemz kapsamı ve amaçları doğrultusunda başarıyla sonuçlandırılmıştır. Tüm proje çalışanları olarak TÜBİTAK a desteğ çn teşekkür ederz. Proje kapsamında 2.5 ay süreyle Fransa nın Grenoble kentndek CNRS laboratuvarında çalışmalar yaptım. Bu zaman süresnce laboratuvarda ben ağırlayan ve çalışmalarıma yardımcı olan Bll Trggs e ve br çok konuda hç br yardımını esrgemeyen Sbt Ul Hussan e teşekkür ederm. Doç. Dr. Hakan Çevkalp Proje Yürütücüsü

3 İÇİNDEKİLER ŞEKİLLER..... TABLOLAR..... ÖZET... v ABSTRACT.....v 1. GİRİŞ YÖNTEM İMGE BETİMLEME Yönlü Gradyan Hstogramları Yerel İkl Örüntüler İKİ SINIFLI SINIFLANDIRICILAR Destek Vektör Makneler TEK SINIFLI SINIFLANDIRICILAR Doğrusal Hper-Düzlem Sınıflandırıcısı Doğrusal Hper-küre Sınıflandırıcısı Doğrusal Olmayan Hper-küre Sınıflandırıcısı KONUM BULMA SİSTEMİNİN AZALTILMIŞ KÜME YÖNTEMLERİ KULLANILARAK HIZLANDIRILMASI NESNE KONUM BULMADA NESNE PARÇALARINDAN FAYDALANMA TEKNİKLERİ DENEYSEL ÇALIŞMALAR YÜZ SEZME Yüz Konum Bulma Sstemnn Eğtlmes Faces n the Wld Yüz Ver Tabanı Kullanılarak Elde Edlen Sonuçlar ESOGU Yüz Sezme Ver Tabanı Kullanılarak Elde Edlen Sonuçlar ESOGU Yüz Sezme Ver Tabanında ve Dğer İmgelerde Elde Edlen Görsel Sonuçlar...36

4 3.2. İNSAN SEZME İnsan Konum Bulma Sstemnn Eğtlmes Deneysel Sonuçlar PASCAL VOC VERİ TABANI ÜZERİNDEKİ ÇALIŞMALAR Görsel Nesne Konum Bulma Sstemnn Eğtlmes Deneysel Sonuçlar TARTIŞMA VE VARGILAR SONUÇ VE ÖNERİLER KAYNAKLAR...66

5 ŞEKİLLER Şekl 2.1. Kesk çzgyle gösterlen sınırlar üçgen sembolle fade edlen nesne sınıfının topolojsn belrlemektedr. Bu bölgelern yakınlarına düşen örneklern nesne sınıfına at olması beklenr. Fakat, k sınıflı br yaklaşım kullanıldığında arka-plan sınıfına at örneklern azlığı ve uygun yerlerden seçlmemş olması sebebyle k sınıflı sınıflandırıcının bulduğu karar sınırları (koyu renkle belrtlen karar sınırı) doğru olmayablr...7 Şekl 2.2. Önerlen ardışıl tek sınıflı sınıflandırıcılar: (a) Nesne sınıfına ve arka-plana at temsl örnekler. Nesne sınıfına at örnekler mav renkte üçgenlerle arka-plan se syah renkl çemberlerle gösterlmştr. (b) Brnc katmanda uygulanan doğrusal hper-düzlem sınıflandırıcısı çıktısı. Yanlış olarak nesne sınıfına atanan arka-plan görüntüler (false postves) kırmızı renk le gösterlmştr. (c) İknc katmandak doğrusal hper-küre sınıflandırıcısı brnc katmanı geçen br çok arka-plan örneğn elemştr. (d) Son katmanda kullanılan doğrusal olmayan hper-küre sınıflandırıcısı nesne sınıfını çok doğru br şeklde modeller ve her k katmandan geçen yanlış örnekler eleyerek en son kararları verr...8 Şekl 2.3. Yönlü gradyan hstogramlarının çıkarılması (bu şekl Bll Trggs e at sunumdan alınmıştır)...9 Şekl 2.4. YİÖ nün elde edlş...10 Şekl 2.5. Destek Vektör Makneler le k sınıflı sınıflandırma. Hper-düzlemn üst kısmında kalan örnekler br sınıfa ve altında kalan örnekler se dğer sınıfa atanır...12 Şekl 2.6. DVM sınıflandırıcısı le elde edlen karar sınırları. Sınıflandırıcının döndürdüğü destek vektörler her k sınıfı belrleyen sınırlardan gelmektedr...20 Şekl 2.7. Azaltılmış destek vektör kümesn bulmak çn kullanılan algortma...22 Şekl 3.1. Yüz konum bulma sstemn eğtmek çn kullanılan yüz resmlernden örnekler Şekl 3.2. Maksmum olmayanı bastırma uygulanmamış konum bulma algortması çıktıları Şekl 3.3. Ardışıl sınıflandırıcılar ve parça sezcler kullanarak eğttğmz yüz sezme algortmalarımızın Faces n the Wld ve ESOGU Yüz Sezme vertabanlarından seçlen bazı mgeler üzerndek çıktıları. Yeşl kutular doğru olarak bulunan konumları, kırmızı kutular yanlış konumları, mav kutular se yüz parçaları olarak bulunan konumları göstermektedr...31 Şekl 3.4. ESOGU Yüz Sezme ver tabanı çn elde edlen Precson-Recall eğrler...33 Şekl 3.5. ESOGU yüz sezme ver tabanından alınan bazı örnekler. İmgelerdek yüz resmler farklı ölçeklerde olup, arka-planlar oldukça karmaşıktır. Ayrıca mgeler farklı aydınlatma

6 koşulları altında çeklmş olup, bazı yüz resmler farklı nesneler tarafından kısm olarak kapatılmıştır...35 Şekl 3.6. Tüm yüzlern gelştrdğmz ardışıl sınıflandırıcıları kullanan konum bulma sstem tarafından başarı le bulunduğu örnekler. Sarı kutular elle şaretlenen doğru konumları yeşl kutular se sstem tarafından döndürülen ve PASCAL VOC ölçütü kullanılarak doğru olarak kabul edlen konumları göstermektedr...38 Şekl 3.7. Konum bulma sstemnn hata yaptığı bazı örnekler. Sarı kutular elle şaretlenen doğru konumları yeşl kutular sstem tarafından döndürülen ve PASCAL VOC ölçütü kullanılarak doğru olarak kabul edlen konumları, kırmızı kutular se PASCAL VOC ölçütüne göre yanlış olarak değerlendrlen konumları göstermektedr. Görüldüğü gb sstem bazı çok fazla dönmüş yüzler, çok küçük yüzler veya dğer nesneler tarafından kapatılan yüzler kaçırablmektedr. Ayrıca bazı örneklerde de arka-planda yüzü andıran bölgeler yanlış olarak yüz resm olarak döndürülmüştür (kırmızı kutularla belrtlen bölgeler)...40 Şekl 3.8. Konum bulma sstemnn ver tabanlarında olmayan mgeler üzernde çıktıları. Kırmızı kutular sstemn yüz resm olarak döndürdüğü konumları göstermektedr...43 Şekl 3.9. Sadece doğrusal DVM sınıflandırıcısı kullanılarak elde edlen konum bulma sstem çıktıları (sol taraftak resmler) le doğrusal DVM ve doğrusal hper-küre sınıflandırıcısı kullanılarak elde edlen konum bulma sstemnn çıktılarının (sağ taraftak resmler) karşılaştırılması...46 Şekl Doğrusal sınıflandırıcılar kullanılarak elde edlen konum bulma sstemnn çıktıları (sol taraftak resmler) le doğrusal sınıflandırıcılar ve doğrusal olmayan kernel hperküre sınıflandırıcısı kullanılarak elde edlen konum bulma sstemnn çıktılarının (sağ taraftak resmler) karşılaştırılması...48 Şekl Tüm nsanların gelştrdğmz ardışıl sınıflandırıcıları kullanan konum bulma sstem tarafından başarı le bulunduğu örnekler. Sarı kutular elle şaretlenen doğru konumları yeşl kutular se sstem tarafından döndürülen ve PASCAL VOC ölçütü kullanılarak doğru olarak kabul edlen konumları göstermektedr. Kırmızı kutular yanlış olarak değerlendrlen konumları göstermekle brlkte bu bölgelerde gerçekten nsan resmler bulunmaktadır ve bunlar ver tabanındak etketleme hatalarından ötürüdür...52 Şekl Konum bulma sstemnn hata yaptığı bazı örnekler...54 Şekl PASCAL VOC 2007 vertabanından alınan bazı örnek mgeler. Her br satırda sırasıyla car-araba, bcycle-bsklet, horse-at, brd-kuş, tran-tren sınıfına at

7 örnekler çeren 3 mge verlmştr. Yukarıda görüldüğü üzere bazı mgelerde brden fazla sınıfa at örnek olablr...56 Şekl Önerdğmz topaklama algortması le otomatk olarak ayrıştırılan sağa bakan ve sola bakan araba örnekler...58 Şekl Konum bulma sstemnn PASCAL VOC 2007 vertabanındak bcycle, car, cat ve people kategorler çn çıktıları...61 TABLOLAR Tablo 3.1. Yüz sezme yöntemlernn Faces n the Wld ver tabanındak başarı oranları. Değerler ortalama kesnlk skorları olup Precson-Recall eğrlernn altında kalan alanların hesaplanmasıyla bulunmuşlardır...32 Tablo 3.2. Yüz sezme yöntemlernn ESOGU Yüz Sezme ver tabanındak başarı oranları. Değerler ortalama kesnlk skorları olup Precson-Recall eğrlernn altında kalan alanların hesaplanmasıyla bulunmuşlardır...33 Tablo 3.3. İnsan sezme yöntemlernn INRIA Person ver tabanındak başarı oranları. Değerler ortalama kesnlk skorları olup Precson-Recall eğrlernn altında kalan alanların hesaplanmasıyla bulunmuşlardır...45 Tablo 3.4. Önerlen Yöntemn PASCAL VOC 2007 ver tabanındak başarı oranları. Değerler ortalama kesnlk skorları (%) olup Precson-Recall eğrlernn altında kalan alanların hesaplanmasıyla bulunmuşlardır...60

8 ÖZET Bu projede nesne konum bulma çn nesnelere at sınıfları konveks sınıf modeller le yakınsayarak ardışıl tek sınıflı sınıflandırıcılar kullanan br sstem gelştrlmştr. Br nesne konum bulma sstem sayısal mgeler çndek nesne kategorsne at herhang br örneğn varlığını tespt ederek konumunu döndüreblmeldr. Son zamanlarda gelştrlen br çok konum bulma yöntem, kayan pencereler yaklaşımını kullanarak mgeden gelen br pencerey nesneye at örnek yada arka-plan olarak sınıflardırmaktadır. Bu amaçla makne le öğrenme temell Destek Vektör Makneler ve hızlandırmalı (boostng) sınıflandırıcılar gb k sınıflı sınıflandırıcılar arka-plana at kolay örneklern hızlı br şeklde eleneblmes çn genellkle ardışıl br şeklde kullanılmıştır. Bz bu projede nesneye at sınıfa odaklanarak, bu sınıfı modelleyerek oluşturulan tek sınıflı sınıflandırıcıların nesne konum bulmada kl sınıflara oranla daha y br alternatf olduğunu göstermey amaçladık. Bunun temel neden özellkle ardışıl sınıflandırıcının lk katmanlarında tek sınıflı sınıflandırıcıların oldukça bast ve hızlı br şeklde oluşturulması ve arka-plana at örnekler daha hızlı br şeklde reddetmelerdr. Bu amaçla nesne sınıflarını doğrusal affne br hper-düzlem, doğrusal ve doğrusal olmayan hper-küreler le betmleyerek, bu konveks modellere olan uzaklıkları kullanan ardışıl br sınıflandırıcı sstem gelştrdk. Yapılan deneysel çalışmalarda Faces n the Wld ve ESOGU yüz sezme vertabanlarında lteratürdek en y sonuçlara benzer yada daha y sonuçlar alınırken INRIA kş sezme ver tabanında lteratürdek en y sonuçlar elde edlmştr. PASCAL VOC 2007 challenge nesne vertabanları le yapılan çalışmalarda se nesne sınıflarına at örnek sayısının az olması sebebyle br çok nesne kategorsnde lteratürdek sonuçlardan çok daha y sonuçlar alınamamasına karşın bazı nesne gruplarında lteratürdek en y sonuçlar elde edlmştr. Bunun yanında, beklenldğ üzere tek sınıflı sınıflandırıcılar k sınıflı sınıflandırıcılara oranla şlem yükü açısından büyük yararlılıklar sağlamıştır. Anahtar Kelmeler Nesne konum bulma, ardışıl sınıflandırıcı, konveks sınıf model, tek sınıflı sınıflandırıcı, k sınıflı sınıflandırıcı. v

9 ABSTRACT In ths project we developed an effcent object detecton system based on cascade of oneclass type classfers usng convex class models for approxmatng object classes. An object detector must detect and localze each nstance of the object class of nterest n the mage. Many recent detectors adopt a sldng wndow approach, reducng the problem to one of decdng whether the detecton wndow currently contans a vald object nstance or background. Machne learnng based dscrmnants such as SVM (Support Vector Machne) and boostng are typcally used for ths, often n the form of classfer cascades to allow more rapd rejecton of easy negatves. We argue that one class methods ones that focus manly on modelng the range of the postve class are a useful alternatve to bnary dscrmnants n such applcatons, partcularly n the early stages of the cascade where one-class approaches may allow smpler classfers and faster rejecton. We mplement ths n the form of a short cascade of effcent nearest-convex-model one-class classfers, startng wth lnear dstanceto-affne-hyperplane and nteror-of-hypersphere classfers and fnshng wth kernelzed hypersphere classfers. We show that our methods have very compettve performance on the Faces n the Wld and ESOGU face detecton datasets and state-of-the art performance on the INRIA Person dataset. Although we could not obtan the best results on PASCAL VOC 2007 challenge datasets on many object categores, we stll managed to acheve the best results for some object categores despte the scarcty of the object samples. As predcted, the one-class formulatons provde sgnfcant reductons n classfer complexty relatve to the correspondng two-class ones. Keywords Object detecton, cascade classfer, convex class model, one-class classfcaton, bnary classfcaton. v

10 1. GİRİŞ Nesne konum bulma br sayısal mgede genel nesne sınıflarına at herhang br örneğn varlığının tespt edlp, mgedek konumunun ve ölçeğnn bulunmasını gerektren br blgsayarlı görü uygulamasıdır. Özellkle son zamanlarda güvenlk, robotk, asker ve tcar uygulama alanlarının artmasıyla brlkte oldukça popüler br konu halne gelmştr. Bununla brlkte son on yılda yapılan br çok öneml gelşmeye rağmen sayısal mgelerdek nesne konumlarının bulunması ş oldukça güçtür. Bunun en öneml sebeb aynı sınıfa at ver örneklernn görünüş, renk, doku, poz gb yönlerden farklılıklar göstermesdr. İnsanlar, kedler, sandalyeler gb br çok doğal nesne grupları esnek deformasyonlar çerr ve farklı görüş açısından çeklen mgelerde benzer nesneler oldukça farklı görünürler. Ayrıca bu zorluklara lave olarak ölçek ve ışık farklılıkları, karmaşık arka-plan, örtüşme ve kenarlardan kesme uğramış nesne görüntüler konum bulma problemn daha da zorlaştıran öneml faktörlerdendr. Nesne konum bulma sstemlernn başarısını etkleyen başlıca k öneml faktör vardır: Örnekler betmlemek çn kullanılan özntelkler ve konum bulma şlemn gerçekleştren öğrenme algortması. Betmleme le lgl olarak, y br nesne konum bulma algortmasının karmaşık sahneler çeren mgelerde sınıf-ç değşmlerden az etklenecek ve sınıflar arasındak farklılıkları öne çıkaracak betmleme teknkler kullanması gerekmektedr. Bu şartları sağlayan mge betmlern kullanan sınıflandırıcıların şler daha da kolaylaşacaktır. Bu amaçla lk önerlen konum bulma algortmaları gr-sevye değerlern [1], dalgacık dönüşümünü [2], kenarları [3], yada Gabor fltrelernn çıktılarını [4] kullanmışlardır. Son zamanlarda se gerek nesne sınıflandırmada gerekse nesne konum bulma yöntemlernde hstogram tabanlı özntelkler gerek başarıları gerekse de vermllğ le ön plana çıkmışlardır. Bunların çoğu mge gradyanlarının açılarını kullanmaktadırlar. Örnek olarak Scale Invarant Feature Transform (SIFT) [5], SURF [6], Hstograms of Orented Gradents (HOG) [7], PHOG [8], genel şekl bağlamı (Generalzed Shape Context) [9] ve bölgesel kenar açı hstogramları (Local Edge Orentaton Hstograms) [10] sayılablr. Dğer özntelkler se bölgesel gr-sevye farklıklarını kullanırlar ve bu sebeple genel şekl yerne daha çok nesnelern dokusal özellklern ön plana çıkarırlar. Bunların arasında Yerel İkl Örüntüler (Local Bnary Patterns - LBP) [11,12] ve Yerel Üçlü Örüntüler (Local Ternary Patterns - LTP) [13] ön plana çıkmaktadır. Yerel betmleme teknkler le elde edlen özntelkler, nesnelern karakterstk özellklern oluşturan yerel bçmler y br şeklde 1

11 modelleyeblmekte ve ayrıca belrl br dereceye kadar dönme ve öteleme etklern bastırablmektedrler. En y özntelkler genellkle eldek uygulamaya bağlı olup yen özntelk çıkarma yöntemler sıklıkla önerlmektedr. Lteratürde en y sonuçları veren konum bulma algortmaları genellkle brden fazla özntelğ br arada kullanmaktadır. Bu amaçla [12, 14, 15] gb çalışmalarda farklı özntelkler uygun br normalzasyondan sonra arka-arkaya bağlanmak suretyle brleştrlrken, [8, 16] gb çalışmalarda yazarlar en y kombnasyon katsayılarını, öğrenme aşamasında br en yleme algortması kullanarak öğrenmşlerdr. Bazı yazarlar se bu özntelkler arasından daha küçük alt kümeler boostng gb öğrenme teknkler kullanarak seçmşlerdr [17,18]. Brçok nesne konum bulma sstem, mgelere at özntelklern belrlenmesnden sonra, probleme nesnelere at örnekler çeren ver sınıfını, söz konusu nesne harcnde mgelerden oluşan arka-plan ver sınıfından ayırt etmey amaçlayan k-sınıflı br sınıflandırıcı tasarlama problem olarak yaklaşır. Bu amaçla en yakın komşu sınıflandırıcılarından, yapay snr ağlarına, olasılıksal yöntemlerden sınıflandırıcı ağaçlarına kadar br çok sınıflandırıcı kullanılmıştır. Fakat özellkle k yöntem son zamanlarda yüksek başarımı ve vermlğ le ön plana çıkmıştır: Destek Vektör Makneler (DVM) ve Boostng yaklaşımını kullanan ardışıl sınıflandırıcılar. Vola ve Jones [17] yüz sezme çn dalgacık dönüşümüne benzer özntelkler ve AdaBoost teknğn kullanarak ardışıl br sınıflandırıcı dzayn etmştr. Bu sınıflandırıcının ön katmanlarındak bast sınıflandırıcılar etkl br şeklde arka-plana at örnekler reddederek sadece yüzler çeren örnekler ve zor arka-plan pencerelern geçrmşlerdr. Son katmanlarda se daha güçlü sınıflandırıcılar kullanılarak yüz resmler karmaşık arka-plan resmlernden ayırt edlmştr. Böylece gerçek zamanlı çalışan br yüz sezme algortması gelştrlmştr. AdaBoost tabanlı ardışıl sınıflandırıcı yüz sezme çn çok y sonuçlar versede, daha genel nesne kategorler çn Destek Vektör Makneler daha çok terch edlmektedr [7, 8, 14, 19, 20]. Doğrusal Destek Vektör Makneler genellkle hızı ve kolaylığı yönünden terch edlmekle brlkte brçok çalışmada gösterldğ üzere doğrusal olmayan Destek Vektör Makneler çok daha başarılı sonuçlar vermektedr [8], fakat bu sınıflandırıcıların hızları doğrusal olanlarına göre oldukça düşüktür. Bu sebeple, nesne konum bulma uygulamalarında Destek Vektör Makneler de lk katmanında doğrusal DVM ve br sonrak katmanında se doğrusal olmayan DVM nn olduğu ardışıl br sınıflandırıcı olarak kullanılmaktadır [8,14]. İk sınıflı sınıflandırıcılara ek olarak bzler [22] ve Jn ve dğerler [21] sayısal mgelerde nesne konum bulma çn k sınıflı sınıflandırıcılar yerne tek sınıflı sınıflandırıcılar kullanmaya başlamışlardır. Burda temel amaç nesne sınıfına odaklanmak ve nesne sınıfına at 2

12 örneklern grş uzayında kapladığı bölgey doğru br şeklde yakınsamaktır. Konum bulma sırasında her br mge penceres nesne sınıfını yakınsamak çn kullanılan modele olan uzaklığa göre nesne yada arka-plan sınıfına atanır. Bu sebeple Jn ve dğerler [21] doğrusal olmayan hper-küreler nesne sınıflarını modellemek çn kullanmışlardır. Bu yaklaşım kullanılarak nesne sınıfları doğru br şeklde modellenmesne karşın, bu yaklaşım hesap yükünün fazla olması sebebyle gerçek zamanlı uygulamalar çn uygun değldr (Doğrusal olmayan yaklaşımlarda örneklern modele olan uzaklığını hesaplamak çn sınıflandırıcının döndürdüğü destek vektörler le kernel fonksyonların gerçeklenmes gerekr, bu şlem destek vektör sayısının fazla olduğu durumlarda oldukça yavaş olacaktır) Bu şlem hızlandırmak çn yazarlar her br mge penceresn 9 bloğa bölmüşler ve gözlern olduğu bölgelern yanaklardan yada burun bölgesnden daha koyu olması gb pratk kurallar kullanılarak br dz test uygulamışlar ve doğrusal olmayan sınıflandırıcı tüm bu testler geçen pencerelere uygulanmıştır. Bu sebeple bu yöntem sadece yüz sezme çn kullanılablmektedr. Son olarak bz bu proje kapsamında [22] dek çalışmamızda, nesne konum bulma amacıyla doğrusal hper-düzlemler ve doğrusal/kernel hper-küreler kullanan ardışıl br sınıflandırıcı sstem gelştrdk. Test mgelerndek nesnelern konumlarınının belrlenmes sırasında, eğtlen sınıflandırıcılar mge üzernden sstematk olarak seçlen farklı boyutlardak pencerelere uygulanır ve sınıflandırıcının verdğ çıktıya göre nesnelern mgede olableceğ yerler tespt edlmeye çalışılır. İmge üzernde sınıflandırıcının uygulanacağı bölgesel pencereler seçlrken genellkle üç yol zlenr: İlknde mge üzernde değşk ölçeklerde sabt boyutlu br pencere kaydırılır (kayan pencereler yöntem) ve bu şeklde tüm mge taranır. Her br kayan pencere çn bu pencereye at özntelk vektörü oluşturularak sınıflandırıcıya verlr, ve sınıflandırıcı da pencerey nesne yada arka-plan sınıflarından brne atar. Bu yöntemde sınıflandırıcıya gönderlen pencere sayısı onbnlerle fade edlmektedr ve bu sebeple kayan pencereler yöntemn kullanan konum bulma algortması oldukça yavaş olablr. Sstemn hızlı olablmes çn hem özntelk çıkarımının hem de sınıflandırıcının çok hızlı olması gerekmektedr. Bu sebeple lteratürdek en başarılı yöntemler özntelk çıkarımı çn ntegral mages [17], ntegral hstograms [23], dstrbutve hstograms [24], yada dğer hızlı hstogram tabanlı kayan pencere yöntem [25] gb son derece etkl ve hızlı yöntemler kullanmaktadırlar. Bölgesel pencereler seçlrken knc br yöntem olarak, lk önce mge üzernde belrgn noktaları bulmak çn Harrs Laplace ve Dfference of Gaussans gb mgelerdek belrgn noktaları bulan detektör algortmaları uygulanır ve sınıflandırıcılar bu 3

13 algortmaların döndürdüğü noktalar etrafından seçlen pencerelere uygulanır. Son olarak [26] da yazarlar mge çnde nesneler arama şn hızlandırmak çn branch and bound yöntemn adapte etmşlerdr. Tüm bu yöntemler arasında kayan pencereler yöntem dğer yöntemlere göre çok daha y sonuçlar verdğnden, son zamanlarda yüksek başarımları le ön plana çıkan tüm nesne konum bulma sstemler kayan pencereler kullanmaktadır. Kayan pencerelerde onbnlerce pencerenn sınıflandırılması gerektğnden bu şlem, sınıflandırıcıların ardışıl (cascade structure) olarak kullanılması gerekllğn ortaya çıkarmıştır. Bu sebeple ardışıl olarak kullanılan sınıflandırıcıların lk aşamalarında daha çok fazla hesap yükü gerektrmeyen hızlı sınıflandırıcılar seçlr. Bu amaçla seçlen sınıflandırıcıların amacı nesne örneklerne at olan tüm pencereler geçrerek, arka-plana at görüntülern brçoğunu elemektr. Bu sınıflandırıcıları geçen pencereler daha sonrak aşamada sınıflandırma başarımı çok daha yüksek, fakat daha fazla hesap yükü gerektren sınıflandırıcılar tarafından sınıflandırılarak nesne sınıfına at olup olmadığı kesn olarak belrlenr. Örnek olarak, nesne konum bulmada en y yöntemler olarak kabul edlen Harzallah ve arkadaşları [14] ve Vedald ve arkadaşları [8] tarafından gelştrlen sstemlerde ardışıl sınıflandırıcıların lk aşamasında hızı sebebyle doğrusal Destek Vektör Makneler terch edlmş, ardışıl sınıflandırıcının son aşamasında se başarımı yüksek fakat oldukça yavaş doğrusal olmayan Destek Vektör Makneler kullanılmıştır. Son aşamadak sınıflandırıcı sadece lk aşamaları geçen az sayıda pencereye uygulandığından bu tür konum bulma sstemlernn hızı çok kötü etklenmemektedr. Son zamanlarda yapılan çalışmalarda nesne konum bulmada nesnelere at parçaların kullanımının başarımı öneml ölçüde arttırdığı gözlenmştr. Bunun başlıca neden se parçatemell yöntemlern örtüşmeye yada esnek deformasyonlara karşı daha gürbüz olmasıdır. Nesne paraçalarını kullanan yöntemler genel tbaryle k kategor altında toplanablr: bottom-up ve top-down yaklaşımlar [27]. Bottom-up yaklaşımlarda nesne parçalardan ve görsel fragmanlardan oluşan br bütün olarak algılanır. İlk olarak nesneye at olablecek parçalar bulunur ve daha sonra parçaların geometrk ve statksel blgler kullanılarak nesnenn mgedek konumu kestrlmeye çalışılır. Parçaları anlamlı br şeklde brleştrmek amacıyla br çok yöntem ve yapı kullanılmaktadır. Bunların arasında brleşk Gaussan dağılımı (jont Gaussan dstrbuton) [28], ağaç yapısı (tree structure) [29], yıldız yapısı (star structure) [30] ve parçalar arası kl lşkler [28] öne çıkan yöntemlerdr. Top-down yaklaşımlarda se nesne (br bütün olarak) ve parçaları ayrı ayrı aranır ve bu k blg brleştrlerek nesnenn konumu belrlenr [8, 31, 32]. Bu tür yöntemlerde nesneler genellkle 4

14 sıradüzensel parçaların brleşm olarak algılanır ve konum belrlemede hem parçaların hem de nesney çeren pencelern özntelkler kullanılır. Örnek olarak Felzenszwalb ve dğerler [31] konum bulma amacıyla kök (roots) ve parça (parts) sezcler eğterek bunları mgeye ayrı ayrı ugulamışlar ve son olarak bu k sezcnn çıktılarını brleştrerek nesnenn konumunu belrlemşlerdr. Bu yaklaşımın 3-aşamalı değşk br versyonu da [32] de önerlmştr. Konum bulma sstemlernn performansını büyük ölçüde etkleyen dğer br faktör se sstemn eğtlme şekldr. Buna genellkle lteratürde çok fazla önem verlmemşse de yaptığımız çalışmalarda sstemn eğtlme şeklnn performansı çok öneml ölçüde etkledğ görülmüştür. Bu amaçla Felzenszwalb ve dğerler [31] saklı eğtm (latent tranng) adı verlen yöntem gelştrmşlerdr. Bu yöntemde nesne örneklernn mgedek gerçek konumlarını gösteren kutuların pozsyonları saklı değşkenler olarak ele alınmıştır. İlk olarak sınıflandırıcılar elle şaretlenen nesne konumları kullanılarak eğtlrler. Daha sonra eğtlen konum bulma sstem her br nesne örneğ etrafında farklı pozsyonlarda ve ölçeklerde nesneye at örneğ arar. En yüksek skoru veren pozsyon nesne örneğnn gerçek pozsyonu olarak kaydedlr ve sstem tekrar eğtmek çn bu pozsyonlar kullanılır. Daha sonra çnde nesneye at örneklern olmadığı resmler kullanılarak zor arka-plan görüntüler olarak adlandırılan ve sstemn yanlışlıkla nesne olarak döndürdüğü örnekler toplanır ve bu örnekler sstemn eğtlmes çn kullanılır. Bu şlem br kaç defa tekrarlanır ve konum bulma algortmasının son şekl verlr. Bu yaklaşımın br çok yararı vardır: İlk olarak bu yaklaşım farklı nsanlar tarafından yanlış yada tutarsız olarak etketlenen nesne konumlarına karşı daha gürbüzdür. İknc olarak örnekler arasındak farklılıkları en aza ndrgeyerek daha keskn nesne şablonlarının elde edlmesne olanak sağlar. Son olarak, nesneye at parçalarda kullanıldığında bu yöntemde parçaların konumlarının etketlenmesne gerek duyulmaz. 5

15 2. YÖNTEM Görsel nesne konum bulmada nesne sınıfına at olmayan tüm örnekler arka-plan sınıfına dahldr ve bu sebeple grş özntelk uzayında nesneye at özntelk vektörler arkaplan örnekler arasında uzanan bazı belrl bölgelerde bulunurlar. Günlük hayattan kareler yansıtan sayısal mgelerde arka-plan oldukça karmaşıktır ve büyük farklılıklar göstereblr. Sayısal mgelerde nesney düzgün br şeklde çermeyen herhang br pencere arka-plan sınıfına dahl edldğnden, kl sınıflandırıcıların başarılı br şeklde eğtlmes çn arkaplanı y br şeklde temsl eden çok sayıda örneğe htyaç duyulur. Bu da yöntemlern eğtm sırasında neden arka-plandan br kaç defa zor örnekler toplanılması gereğn açıklamaktadır. Fakat bu şeklde oluşturulan eğtm setndek arka-plan örnek sayısı nesneye at örneklern sayısından çok fazla olduğu çn (unbalanced tranng set) kl sınıflar brçok örneğ arkaplan sınıfı olarak sınıflandırma eğlm gösterecektr. Bu sebeple özellkle ardışıl sınıflandırıcıların lk katmanlarında bu yaklaşımı kullanmak yerne tek sınıflı sınıflandırıcıları kullanmak daha verml ve doğru br terch olacaktır. Bu durum Şekl 2.1 de gösterlmştr. Şeklde görüldüğü üzere, söz konusu nesney temsl eden örneklern grş uzayı çnde gömülü olduğu bölgeler arka-plandan gelen örneklern azlığından ve bu örneklern doğru bölgelerde seçlememesnden dolayı k sınıflı sınıflandırıcı yaklaşımıyla doğru olarak bulunamamıştır. Bu durumda arka-plana at brçok örnek yanlış olarak nesneye at görüntüler olarak sınıflandırılacak (false postves) bu da sstemn güvenlrlğn azaltacaktır. Bzce bu sorunu çözmek çn araştırmacılar arka-plan verlern modellemeden zyade lgnn büyük bölümünü nesne örneklernn grş uzayında gömülü olduğu bölgelern kestrm, yan nesne sınıfının topolojk yapısını modelleme üzernde toplamalıdırlar. Başka br deyşle sınıflandırma problem k sınıflı sınıflandırma yerne tek sınıflı sınıflandırıcı dzayn etme problem olarak ele alınmalıdır. Nesnelern topolojk yapısı uygun modellerle modellendkten sonra, br test örneğnn bu geometrk modellere olan uzaklığına bakılarak o örneğn nesne sınıfına at olup olmadığına karar verleblr. Şekl 2.1 de görüldüğü gb nesnelere at örneklern gömülü olduğu bölgeler doğru br şeklde modelleneblrse, nesnelern konumlarının belrlenmes çn daha doğru karar sınırları bulunablr. Bz bu çalışmada nesne konum bulma çn doğrusal DVM sınıflandırıcısı le brlkte 4 katmandan oluşan ardışıl br sınıflandırıcı sstem gelştrdk. Ardışıl sınıflandırıcının lk katmanında k sınıflı br sınıflandırıcı (doğrusal DVM sınıflandırıcısı) kullanılırken dğer 3 katman tek sınıflı sınıflandırıcılardan oluşmaktadır. Ardışıl tek sınıflı sınıflandırıcının lk katmanında hızlı br sınıflandırıcı olan ve nesneye at sınıfı br hper-düzlem le modelleyen 6

16 br sınıflandırıcı kullandık. Bu katmanın amacı nesneye at hemen hemen tüm örnekler geçrerek, arka-plana at örneklern br çoğunu elemektr. İknc aşamasında se nesne sınıfını doğrusal br hper-küre le modelleyen sınıflandırıcı kullanılmıştır. Bu sınıflandırıcı da oldukça hızlı olup hper-düzlem sınıflandırıcısı le uyumlu br şeklde çalışarak lk katmandan geçen br çok arka-plan görüntüsünü Şekl 2.2 de görüldüğü gb elemektedr. Son katmanda se doğrusal olmayan hper-küre sınıflandırıcısı kullanılmıştır. Bu sınıflandırıcı hız bakımından dğer k katmandak sınıflandırıcılara oranla çok daha yavaştır. Fakat her k katmandak sınıflandırıcıyı da geçen az sayıda örneğe uygulanmaktadır. Şekl 2.1. Kesk çzgyle gösterlen sınırlar üçgen sembolle fade edlen nesne sınıfının topolojsn belrlemektedr. Bu bölgelern yakınlarına düşen örneklern nesne sınıfına at olması beklenr. Fakat, k sınıflı br yaklaşım kullanıldığında arka-plan sınıfına at örneklern azlığı ve uygun yerlerden seçlmemş olması sebebyle k sınıflı sınıflandırıcının bulduğu karar sınırları (koyu renkle belrtlen karar sınırı) doğru olmayablr. Sınıfları modellemek çn bu çalışmada hper-düzlemler ve hper-küreler kullanılmıştır. Bununla beraber proje başvurumuzda belrttğmz üzere sınıfları yakınsamak çn affne altuzaylar, konveks zarflar, hper-küreler ve hper elpsler gb konveks sınıf modeller de kullanılablr. Fakat tüm bu modellern hesap karmaşası daha yüksek olduğu çn gerçek zamanlı konum bulma uygulamaları çn çok uygun olmadıkları gözlenmştr. Önerdğmz ardışıl sınıflandırıcının performansını ve vermllğn karşılaştırmak çn ayrıca k sınıflı br sınıflandırıcı olan Destek Vektör Makneler de kullanılmıştır. Doğrusal ve doğrusal olmayan Destek Vektör Makneler le önerdğmz tek sınıflı sınıflandırıcılar kullanılarak değşk ardışıl sınıflandırıcılar oluşturularak bu sstemler hız ve doğruluk bakımından karşılaştırılmıştır. 7

17 (a) (b) (c) (d) Şekl 2.2. Önerlen ardışıl tek sınıflı sınıflandırıcılar: (a) Nesne sınıfına ve arka-plana at temsl örnekler. Nesne sınıfına at örnekler mav renkte üçgenlerle arka-plan se syah renkl çemberlerle gösterlmştr. (b) Brnc katmanda uygulanan doğrusal hper-düzlem sınıflandırıcısı çıktısı. Yanlış olarak nesne sınıfına atanan arka-plan görüntüler (false postves) kırmızı renk le gösterlmştr. (c) İknc katmandak doğrusal hper-küre sınıflandırıcısı brnc katmanı geçen br çok arka-plan örneğn elemştr. (d) Son katmanda kullanılan doğrusal olmayan hper-küre sınıflandırıcısı nesne sınıfını çok doğru br şeklde modeller ve her k katmandan geçen yanlış örnekler eleyerek en son kararları verr. Aşağıda lk olarak görüntüler betmlemek çn kullanıldığımız özntelkler açıklanmış ve ardından ardışıl sınıflandırıcılarda kullandığımız tek ve k sınıflı sınıflandırıcılar ayrıntıları le açıklanmıştır. 2.1 İMGE BETİMLEME İmge betmleme amacıyla Yönlü Gradyan Hstogramları - YGH (Hstograms of Orented Gradents) le beraber Yerel İkl Örüntü - YİÖ (Local Bnary Patterns) özntelkler kullanılmıştır. YGH özntelkler nesnelern genel görünüşlern betmlerken, YİÖ se 8

18 nesnelern doku (texture) blglern betmledğnden bu k özntelk brbrlern tamamlar ntelktedr. YGH ve YİÖ özntelkler brlkte kullanılırken, bu özntelkler normalzasyon uygulanarak arka-arkaya bağlanmışlardır Yönlü Gradyan Hstogramları Yönlü Gradyan Hstogramları (YGH) son zamanlarda nesne konum bulmada en fazla kullanılan çok başarılı br betmleme bçmdr [7]. SIFT gb YGH da yerel mge görüntülernn, bu bölgelere at kenar yönlernn yada gr-sevye gradyanlarının yerel dağılımları kullanılarak etkl br şeklde kodlanabldğ varsayımı üzerne kuruludur. Çalışmalarımızda [7] de verlen temel yöntemn üzerne [31] de yapılan değşklkler kullanılarak elde edlen YGH özntelkler kullanılmıştır. YGH özntelkler bulunurken zlenen temel yöntem Şekl 2.3 de gösterlmştr. lk olarak mgeye at gradyanlar hesaplanmaktadır. Daha sonra mge hücre (cell) adı verlen ve brbryle örtüşmeyen dkdörtgensel bölgelere bölünmüş ve herbr hücreye at gradyan yönlernn hstogramları hesaplanmıştır. Son olarak bell sayıda hücreler br araya getrlerek blok adı verlen yapılar oluşturulmuş ve her br bloktak hücreye at hstogramlar yerel olarak normalze edlmştr. Daha sonra bu hstogramlar arka-arkaya bağlanmak suretyle br mge penceresne at YGH özntelkler elde edlmştr. Şekl 2.3. Yönlü gradyan hstogramlarının çıkarılması (bu şekl Bll Trggs e at sunumdan alınmıştır). 9

19 İmge gradyanlarını bulmak çn her k yönde 1,0,1 fltres kullanılmıştır. Hücreler nsan ve PASCAL VOC vertabanlarındak nesnelern konumunu bulma deneylernde 8 8 pkselden oluşacak şeklde seçlrken yüz sezme deneylernde 6 6 pksel olarak seçlmşlerdr. Bloklar Şekl 2.3 de görülüduğü gb 2 2 lk hücreler kullanılarak oluşturulmuştur. Yön hstogramlarının bnlern oluşturmak çn dereceler arası 9 eşt parçaya bölünmüştür. Bu yol zlenerek her br hücreden elde edlecek özntelk sayısı 36 olmaktadır. Felzenszwalb ve dğerler [31] de yön hstogramalarını elde etmek çn 9 bnlk şaretsz (unsgned) yönlern yanında 18 bnlk şaretl ( ) yönlerde kullanarak daha büyük boyutlu hstogramlar elde etmşler vu bunlara temel bleşen analz uygulayarak boyutu 27 ye düşürmüşlerdr. Bu özntelklere son olarak 4-boyutlu normalzasyon katsayıları da eklenerek her br hücre çn 31-boyutlu özntelkler elde edlmştr. Bu çalışmada Felzenszwalb tarafından paylaşıma açılan YGH özntelk çıkarma kodları kullanılmıştır Yerel İkl Örüntüler Yerel kl örüntü (YİÖ) herhang br pksel çn bu noktanın komşuluğunda kurallı kl gr-sevye değerler karşılaştırmaları yapmaya dayanan br yöntemdr [11]. Bu karşılaştırmalardan kl br kod elde edlr ve bu kodun onluk değer o pksele at özntelk değer olarak kullanılır. Merkez pksele komşu pksellern seçm farklı ölçeklerde değşklk göstermesne rağmen en terch edlen yöntem, komşu pkseller yarıçapı 1 pksel olan çember üzernden örneklemektr. (a) (b) Şekl 2.4. YİÖ nün elde edlş. Şekl 2.4 de yarıçapı 1 ve daresel komşuluğu 8 nokta olan YİÖ nün elde edlş gösterlmektedr. Orta noktadak referans pkselnn çevresndek gr-sevye değer bu 10

20 noktanın gr-sevye değernden büyük veya bu noktanın değerne eştse 1, bu noktanın değernden küçükse 0 değer verlr. Böylelkle pksel gr-sevyeler farkından oluşan kl br kod elde edlr. Daha sonra bu kod onluk sayı sstemne çevrlr. Elde edlen bu değer ışık şddet değşmlernden daha az etklenmektedr. Bu çalışmada yarıçapı 1 olan 8 nokta komşuluklu (Şekl 2.4. (a)) YİÖ kullanılmıştır. YİÖ özntelkler nesne konum bulmada yerel olarak kullanılmıştır. Bu amaçla mge pencereler brbryle örtüşmeyen m n alt bölgeye bölünmüş ve her br bölge çn 59 boyutlu YİÖ hstogramları elde edlmştr (59 bnden oluşan hstogram kodlamasında 58 bn brörnek (unform) değerler çn gerye kalan tek bn se brörnek olmayan (non-unform) değerler çn kullanılmıştır). Daha sonra bu hstogramlar L1 normu kullanılarak normalze edlp arka-arkaya bağlanmıştır. Bu sayede her br mge penceres d m n 59 boyutlu özntelk vektörü le betmlenmştr. 2.2 İKİ SINIFLI SINIFLANDIRICILAR Destek Vektör Makneler Destek Vektör Makneler (DVM) ses tanıma, görsel nesne tanıma, teks sınıflandırma gb zorlu örüntü tanıma problemlernde oldukça sık kullanılan başarılı br yöntemdr [38, 39]. Destek Vektör Makneler k sınıfla çalışan br sınıflandırıcı olup, yöntem bu k sınıfı en y ayıran doğrusal br hper-düzlem bulur. Ayırıcı hper-düzlem bulunurken k sınıf arasında maksmum boşluk (margn) kalıcak şeklde br hper-düzlem döndürülür. Şekl 2.5 de doğrusal olarak ayrıştırılablen k sınıfı en y ayıran hper-düzlem gösterlmştr. Elmzde k sınıfa at n örnek olduğunu varsayalım, Yukarıdak eştlkte x ver örneklern d y,..., x, y, x, y 1,1 x. (1) 1, 1 n n y se örneklere at etket blglern göstermektedr. Sınıflar postve (+1) ve negatve (-1) sınıflar olarak smlendrlmektedr. Destek Vektör Maknelernde ayırıcı hper-düzlem karakterze eden k parametre vardır: hper-düzlemn normal w ve ofset parametres b. Ayırıcı hper-düzlemn üzernde bulunan verler w, x b 0 eştlğn sağlarlar. Aynı şeklde (+1) sınıfına at tüm verler çn w, x b 0, (-1) sınıfına at verler çnde w, x b 0 eştlkler sağlanır. Bu durumda yen br test örneğ aşağıdak fonksyonun şaretne bakılarak (+1) yada (-1) sınıflarından brne atanır f ( x ) w, x b. (2) test test 11

21 Şekl 2.5. Destek Vektör Makneler le k sınıflı sınıflandırma. Hper-düzlemn üst kısmında kalan örnekler br sınıfa ve altında kalan örnekler se dğer sınıfa atanır. Doğrusal olarak k sınıfın ayrıldığı durumlarda bu k sınıfı en y ayıran hper-düzlem bulma problem, aşağıdak klenk programlama (quadratc programmng) problemne dönüştürülür Yukarıdak eştlkte 1 n mn w 2 C w, b 2 1 (3) s.t. y ( w, x b) 1 0, 0. ler kısıtları sağlamayan örneklerle lşklendrlmş arttıran yapay değşkenler (slack varables) olup, C term se kullanıcının grdğ hata ceza termdr (error penalty term). Bu problem çözmek yerne genellkle problemn aşağıda verlen dual eşlenğ çözülür. Yukarıdak eştlkte mn s.t. 1 n n j y y 2 1 j 1 n y 0, 1 j x, x 0 C j n 1 ler bulunması gereken Lagrange katsayılarını fade etmektedr. Bu optmzasyon problem konveks olup, global en y noktası (global mnumum) vardır. En y Lagrange katsayılarının belrlenmesnden sonra ayırıcı hper-düzlemn normal n w 1 (4) yx eştlğ le bulunur. Lagrange katsayılarının çoğu sıfırdır ve bu sebeple bu katsayılara karşılık gelen örneklern hper-düzlem üzernde etks yoktur. Fakat sıfırdan farklı katsayılara karşılık 12

22 gelen örnekler hper-düzlem oluştururlar ve bu elemanlar destek vektörler olarak smlendrlrler. Bu vektörler genellkle k sınıfın brbrne yakın olduğu bölgelerden gelrler ve k sınıf arasındak karar sınırlarını (decson boundares) karakterze ederler. Hperdüzleme at normal belrlendkten sonra ofset parametres b eştlk (3) de verlen kısıtlar ve Lagrange katsayısı bulunablr. 0 C şartını sağlayan herhang br destek vektör kullanılarak Doğrusal olarak ayrıştırılamayan verler çn doğrusal olmayan Destek Vektör Makneler, verler öncelkle farklı ve çok büyük boyutlu br uzaya eşlemlemekte ve sınıflandırma şlemn bu yen özntelk uzayında gerçekleştrmektedr. Genellkle bu özntelk uzayı çok yüksek boyutludur ve bu nedenle teknk olarak hesaplamalar oldukça zordur. Bu problem çözmek çn çekrdek hles kullanılır. Bu hlede kısaca eştlk (4) de verlen k T örnek arasındak ç çarpım x, x j x x j kernel fonksyonu le değştrlr, k( x, x j) ( x), ( x j). Burada : d fonksyonu her br very çok boyutlu uzaya hartalayan fonksyonu fade etmektedr. Bu şeklde ver hç br zaman gerçekte çok büyük boyutlu uzaya hartalanmadan her şlem kernel fonksyonları üzernden gerçekleştrlr. Bu durumda doğrusal olmayan Destek Vektör Maknelernn karar fonksyonu çekrdek le brlkte şu şeklde fade edlr: ns f ( x ) y k( x, x ) b (5) test 1 Bu çalışmada k çeşt çekrdek fonksyonu kullanılmıştır: s s s test Doğrusal çekrdek, k( x, x ) x, x j j Gaussan tabanlı çekrdek, k( x, x j 2 ) exp( x, x ). j Doğrusal Destek Vektör Maknelernde br örneğ sınıflandırmak çn sadece bast br ç çarpım gerektğnden hız yönünden bu yöntem gerçek zamanlı nesne konum bulma sstemler çn son derece uygundur. Fakat daha öncede belrttğmz üzere nesneye at örnekler arkaplan görüntüler arasına gömülmüş br durumdadır. Bu sebeple bu yaklaşım ver sayısının çok fazla olduğu uygulamalar çn pek uygun değldr. 13

23 2.3 TEK SINIFLI SINIFLANDIRICILAR Doğrusal Hper-Düzlem Sınıflandırıcısı Ardışıl tek sınıflı sınıflandırıcıların lk katmanında nesneye at sınıfları modellemek çn doğrusal br hper-düzlem kullandık. Bunun öncesnde lk olarak affne zarflar (affne hulls) denenmştr. Affne zarflar doğruluk açısından olumlu sonuçlar verse de, gerçek zamanlı konum bulmada doğrusal Destek Vektör Maknelerne oranla hız bakımından vermllğ düşük kalmıştır. Bunun sebeb her k yöntemdek örneklern zdüşümlernn alındığı vektör sayılarının çok farklı olmasıdır. Doğrusal DVM de test sırasında özntelk vektörünün tek br vektör üzernde zdüşümü alınır (İzdüşüm alınan vektör hper-düzlemn normaldr). Oysa affne zarflarda zdüşüm vektörlernn sayıları 50 veya daha fazla olarak bulunduğu çn, sstemn gerçek zaman performansı düşmüştür. Sstem hızlandırmak amacıyla nesne sınıfına at örneklern oluşturduğu affne zarfa en yakın, arka-plan sınıfına at verlere se en uzak hper-düzlem bulma problem formüle edlerek çözülmüştür. Örneklern bu hper-düzleme olan uzaklığına bakılarak nesne veya arka-plan sınıfına at olduğu tespt edleblr. Bu şlem çn sadece hper-düzlemn normal kullanılacağından sstem DVM kadar hızlı olmaktadır. Nesne sınıfını modellemek çn kullanılan hper-düzlem w T x b 0 eştlğ le verlsn. Hper-düzlem bulurken amacımız nesneye at sınıfı en y şeklde yakınsayan aynı zamanda da arka-plana at ver örneklernden olabldğnce uzak br hper-düzlem bulmaktır. Hper-düzlem bulunduktan sonra Şekl 2.2.(b) de görüldüğü üzere, br test örneğnn hperdüzleme olan uzaklığı belrl br eşk değernn,, üzernde se örnek arka-plan sınıfına atanacaktır. Bu durum matematksel br fade le aşağıdak gb yazılablr. T w x T w x test test b, b, Eşk değer çapraz sınama le belrleneblr. X ve nesne snfna ( 1) at örnek arka - plana (-1) at örnek X matrsler satırları sırasıyla nesne ve arka-plan sınıflarına at örnekler çeren matrsler olsun. Aynı şeklde e ve e 1 sayısını çeren uygun boyutlu sütun vektörler olsun. Bu durumda X X e le X e X matrsler tanımlanablr. Nesne sınıfını en y yakınsayan hper-düzlem en küçük kareler yöntem kullanılarak aşağıdak en yleme problem le çözüleblr T 2 mn X w e b mn w, b, w 1 z 2 w z Gz. (6) 14

24 w T Bu eştlkte z ve G X X fade etmektedr. Bz bu yaklaşımı kullanmak yerne b nesne sınıfını modelleyen hper-düzlem aynı zamanda arka-plan örneklernden uzaklaştırma amacı güden aşağıdak en yleme yöntemn kullandık [34] w 2 X w e b mn, b, w 1 2 X w e b ( w 2 b) T z Gz mn. (7) z T z Hz Yukarıdak eştlkte H X T X I le gösterlmekte olup, parametres se kullanıcının belrledğ ve matrsn tersnn alınablmes çn kullanılan küçük br tolerans değerdr. Bu enyleme problemnn çözümü özdeğere karşılık gelen özvektördür. Gz Hz özdeğer özvektör ayrıştırmasında en küçük Bu yöntem yüz ve nsan konum bulmada y çalışmasına rağmen aykırı değerlern çok olduğu PASCAL VOC vertabanları çn y sonuçlar vermemştr. Bu sebeple aykırı değerlerden daha az etklenen daha gürbüz br yöntem önerdk. Bu yöntemde nesne sınıfını en y yakınsayan ve aynı zamanda arka-plan örneklernden uzak olan hper-düzlem bulma problem aşağıdak şeklde formüle edlmştr mn w, 0 s.t. 1 2 w w 2 C T w x b, T x T * w x b, j * ( ) C b 1, j I, j j j I Bu eştlkte C ) kullanıcı tarafından grlmes gereken ve kısıtları bozan örneklerle ( C lşklendrlen hata katsayılarını belrleyen parametreler, I I ) sınıflara at ndsler gösteren kümeler, se kullanıcı tarafından 0 ve 1 arasında br değere atanması gereken parametrey fade etmektedr. Bu enyleme problemnde nesne sınıfına at örnekler w T x b ve w T x b le karakterze edlen k paralel hper-düzlem arasında kalırken, arka-plana at örnekler se. ( (8) w T x b 1 hper-düzlemnn üstünde kalmaktadır. Nesne ve arka-plana at örnekler arasındak uzaklık en azından 1/ w kadar olacaktır. * Kısıtların sağlanamadığı durumlar çn,, arttıran yapay değşkenler tanımlanmıştır. Bu j problem de konveks br problem olup global en y noktası vardır. Bu yaklaşımdan daha y br yaklaşım arka-plana at örneklern ayırıcı hper-düzlemn her k tarafında da kalablecek şeklde yayılmasına zn vermektr (Bu da (8) de verlen enyleme problemndek en son 15

25 konveks kısıtın, T T w x j b 1 j, konveks olmayan x j b 1 j w kısıtı le değştrlmes le elde edleblr). Fakat bu problem konveks olmadığından özellkle ver sayısının çok fazla olduğu durumlarda çözümü çok zor olacaktır. Önerdğmz yöntem (8), bu eksklğe rağmen ver uzay boyutunun da büyük olması sebebyle (7) de verlen yöntemden çok daha başarılı sonuçlar vermştr. İlk olarak [22] dek çalışmamızda konum bulma amacıyla önerdğmz nesne sınıfını en y şeklde yakınsayan aynı zamanda arka-plan örneklernden olabldğnce uzak hperdüzlem bulma fkr, [40] da yapılan çalışmada da benmsenmş ve bu fkr eğtm setndek tüm sınıfların verlmedğ ve açık küme (open set) olarak adlandırılan daha genel örüntü tanıma problemler çn adapte edlmştr. Yazarlar ayrıca bzm bu projede savunduğumuz gb nesne konum bulma problem çn k sınıf sınıflandırıcılar yerne tek sınıflı sınıflandırıcıların daha uygun olduğu tezn savunmuşlardır. Yaptıkları çalışmada bzm yöntemmzden farklı olarak [41] de önerlen tek sınıflı sınıflandırıcı yada DVM sınıflandırıcısının döndürdüğü hper-düzleme paralel br hper-düzlem alarak, sınama amaçlı ayrılmış örnekler kullanarak bu hper-düzlemler aşağı yada yukarı hareket ettrerek Şekl 2.2. (b) de gösterldğ gb söz konusu sınıfın örneklern bu k paralel hper-düzlem arasında arka-plana at örnekler se bu hper-düzlemlern üstünde yada altında kalacak şeklde ayarlamaya çalışmışlardır. Özetlenecek olursa nesneya at örnekler en y yakınsayan ve aynı zamanda da arkaplan örneklernden olabldğnce uzak olan hper-düzlem bulmak çn çeştl yöntemler kullanılablr. Fakat bu yöntemlern çnde en başarılı hper-düzlem kusursuz (8) de verlen problemde konveks olmayan kısıtın eklenmesyle elde edlecek problemn çözümünden elde edlen hper-düzlem olacaktır. Konveks olmayan bu problem büyük ver tabanları çn sorunsuz br şeklde çözecek algortma lteratürde büyük ses getreblme potansyelne sahptr Doğrusal Hper-küre Sınıflandırıcısı Ardışıl tek sınıflı sınıflandırıcıların knc katmanında nesne sınıfını yakınsamak amacıyla doğrusal br hper-küre kullanılmıştır. Br sınıfa at tüm örnekler çeren en küçük ve kompakt hper-küre kavramı Tax ve Dun [33] tarafından önerlmş ve aykırı değer sezm çn başarı le kullanılmıştır. Şekl 2.2 de gösterldğ üzere hper-küre sınıflandırıcısı kendnden önce gelen hper-düzlem sınıflandırıcısı le brbrlern tamamlayacak şeklde çalışarak, hper-düzlemn yanlışlıkla nesne sınıfına atadığı arka-palana at örnekler başarılı br şeklde elemektedr. 16

26 d Br sınıfa at d-boyutlu uzaydak ver örneklern R 1,..., n x le gösterelm. Bu sınıfa at örnekler çeren en küçük ve kompakt hper-kürey temsl eden k parametre vardır: kürenn merkez c ve kürenn yarıçapı r. Hper-kürenn merkez ve yarıçapı ver örneklernn grş uzayındak konumlarına göre değşr ve aşağıdak klenk programlama (quadratc programmng) problemnn çözülmesyle bulunurlar. mn c, r 0, 0 s. t. x r 2 n 1 2 c r 2. Genellkle bu problem çözmek yerne bu problemn aşağıda verlen çfteşlenğ (dual) çözülür (9) mn s. t. x, x, j n 1, 1 j j x 0, 2 1,..., n. (10) Yukarıdak formülde ler Lagrange katsayıları olup [0,1] se kullanıcının belrledğ ve kompakt modele çok uzak olan aykırı değerler belrlemede kullanılan br katsayıdır. Bu klenk enyleme problem de konveks br problem olup, global br en y noktası vardır. Problemn çözümünü veren optmal katsayıları belrlendkten sonra hper-kürenn merkez n c x formülü le yarıçapı se 0 şartını sağlayan Lagrange katsayısına karşılık 1 gelen herhang br x örneğnn hper-kürenn merkezne olan uzaklığına bakılarak bulunur, r x c. Eğer elmzde nesne sınıfına at olmayan örnekler (bzm problemmzde arka-plana at örnekler) varsa bu örneklerden yararlanılarak daha y hper-küre modeller tanımlanablr. Bu durumda amaç nesne sınıfına at örnekler çeren ve nesne sınıfına at olmayan örnekler dışında bırakan br hper-küre bulmaktır. Elmzde nesne sınıfına at n 1 adet ve j ndsleryle gösterlen örneklerle brlkte arka-plana at n 2 adet l ve m ndsleryle belrtlen örnekler olduğunu varsayalım. Nesneye at örnekler çeren ve arka-plana at örnekler dışarıda bırakan en kompakt hper-küre bulma problem aşağıdak klenk en yleme problem şeklnde fade edleblr 17

27 mn c, r 0, 0 s. t. x x l r 2 c 2 c 2 1 r 2 r 2,, l 2 l l 1,..., n 1 l 1,..., n. Daha öncek durumda olduğu gb bu problem çözmek yerne genellkle problemn aşağıda verlen çfteşlenğ çözülür. mn s. t. x, x, j 1, j l l x, x l, m l m, j l m 2 x, x l, j 0, 0 1 l j l l 2 j 2 ( x l l l 2 x Bu sınıflandırıcı k sınıfa at örnekler de kullanmasına rağmen DVM lernden oldukça farklı prenspte çalışır. DVM k sınıfı brbrnden ayırcak hper-düzlem döndürürken, hper-küre sınıflandırıcısı se nesneye at sınıfın örneklern çeren ve arka-plan sınıfına at örnekler çermeyen kompakt br küre döndürür. Bu durumda k sınıfı ayıran karar sınırları DVM lernden farklı olarak doğrusal değldr. En y Lagrange katsayıları bulunduktan sonra hper-kürenn merkez aşağıdak eştlkle bulunur n1 1 n2 l 1 l l 2 ) (11) (12) c x x. (13) Yaptığımız deneysel çalışmalarda arka-plana at örneklern dahl edlmes sınıflandırıcının performansını arttırdığından hper-küre sınıflandırıcısı çn (12) de verlen formülasyon kullanılmıştır. Bu klenk enyleme problem de konvekstr ve global en y noktası vardır. Eğtm setndek örneklern sayısının fazla olduğu durumlarda bu klenk problemde DVM nde olduğu gb Sequental Mnmal Optmzaton teknğ kullanılarak çözüleblr. Bu durumda çok boyutlu Hessan matrsn oluşturmaya gerek kalmadan, teratf olarak sadece kısıtları bozan k örneğn Hessan matrsler kullanılır. Bz bu amaçla sayfasında paylaşıma açılmış klenk program çözücüyü (bu program çözücü sadece grd olarak tam boyutlu Hessan matrs kabul edyordu) gelştrerek mlyonlarca veryle çalışacak hale getrdk ve hper-küreler bulmak çn gelştrdğmz bu algortmayı kullandık. Hper-kürey karakterze eden parametreler (kürenn merkez c ve kürenn yarıçapı r) bulunduktan sonra br test örneğnn, x test, kürenn merkezne olan uzaklığı bulunur ve bu uzaklık yarıçapla karşılaştırılarak o örneğn nesne sınıfına at olup olmadığı belrlenr. Matematksel olarak fade edlrse 18

28 ( ( x x test test c ) r x c ) r x test test nesne snfna arka - plana at at; Doğrusal Olmayan Hper-küre Sınıflandırıcısı Ardışıl sınıflandırıcının son katmanında doğrusal olmayan hper-küre sınıflandırıcısı kullanılmıştır. Hç şüphesz sınıfların topolojs çok daha karmaşık ve konveks olmayan yapılar olablr. Bu durumda sınıfları doğrusal hper-kürelerle modellemek uygun değldr. Bu problemn çözümü çn zlenen yol, örnekler kernel hlesn kullanarak bu modeln uygun olduğu çok daha büyük boyutlu br uzaya çıkarmak ve bu yen uzayda kürenn parametrelern bulmaktır. Bu şlem Destek Vektör Maknelernde olduğu gb eştlk (12) dek ç çarpımların kernel fonksyonlarla değştrlmes le kolayca gerçekleştrlr. Daha açık br şeklde fade edlrse her br ç çarpım x, x j, kernel fonksyonu d k x x ( x ), ( x ) le değştrlmeldr. Burada : R grş uzayındak, j j örnekler büyük boyutlu yen uzaya aktaran fonksyonu fade etmektedr. Kullanılan kernel fonksyonlar arasında m. dereceden polnom fonksyonu k ( x, x ) ( x, x ) j j m, Gaussan 2 kernel k( x, x ) exp( x, x ) ve sgmod kernel k( x, x ) tanh( ( x, x ) ) j j sayılablr. Bu sayede çok daha karmaşık sınıfların topolojler doğru olarak modelleneblr. Doğrusal olmayan durumda br örneğn hper-küreye olan uzaklığının hesaplanablmes çn sıfırdan farklı Lagrange katsayılarına karşılık gelen destek vektörler kullanılarak kernel fonksyonların hesaplanması gerekr. Bu sebeple doğrusal olmayan hperküre sınıflandırıcısı doğrusal hper-küre sınıflandırıcısına oranla oldukça yavaştır. Fakat bu sınıflandırıcı son katmana gelen az sayıda örneğe uygulandığı çn konum bulma sstemnn genel hızını çok kötü etklememektedr. Bunun yanında deneysel çalışmalar doğrusal olmayan hper-küre sınıflandırıcısının doğrusal olmayan Destek Vektör Maknelerne oranla çok daha az destek vektörü döndürdüğünü ortaya çıkarmıştır. Deneysel olarak gözlemlenen bu durumu açıklamak çn Şekl 2.6 dan yararlanılablr. Doğrusal DVM sınıflandırıcısında destek vektörler k sınıfın brbrne yaklaştığı bölgelerden gelmektedr. Oysa doğrusal olmayan DVM sınıflandırıcısı kullanıldığında şeklde görüldüğü gb destek vektörler sınıfları sınırlayan tüm bölgelerden gelmektedr. Buna karşı tek sınıflı hper-küre sınıflandırıcısında destek vektörler sadece nesne sınıfını (postve class) belrleyen sınırlardan geldğnden, bu sınıflandırıcı DVM ne oranla çok daha az destek vektör döndürmektedr. Bu da konum bulma deneylermzde 19 j j

29 önerlen ardışıl sınıflandırıcıyı kullanan konum bulma sstemnn hızını doğrusal olmayan Destek Vektör Makneler kullanan konum bulma sstemnn hızına oranla 20 kata çıkan oranlarda arttırmıştır. Bu sebeple önerlen konum bulma sstem, lteratürdek doğrusal olmayan sınıflandırıcı kullanan konum bulma sstemlerne oranla hız yönünden çok daha avantajlıdır. Doğrusal olmayan hper-küre sınıflandırıcısı sınıflandırma başarımı yönünden DVM sınıflandırıcıları le karşılaştırıldığında k durum ortaya çıkmakatdır: Nesne grubuna at örnek sayısı çok fazla se başarım yönünden bu k sınıflandırıcısı arasında pek br fark gözlenmemştr (deneysel çalışmalar kısmında verlen yüz sezme deneyler bu seneryoya grmektedr). Fakat örnek sayısı az se doğrusal olmayan DVM sınıflandırıcısı çok daha başarılı sonuçlar vermştr (deneysel çalışmalarda verlen PASCAL VOC ver tabanı üzerndek çalışmalar bu duruma grmektedr ve bu farkın nedenler Vargılar ve Tartışma kısmında ayrıntılı olarak açıklanmıştır) Şekl 2.6. DVM sınıflandırıcısı le elde edlen karar sınırları. Sınıflandırıcının döndürdüğü destek vektörler her k sınıfı belrleyen sınırlardan gelmektedr. 2.4 KONUM BULMA SİSTEMİNİN AZALTILMIŞ KÜME YÖNTEMLERİ KULLANILARAK HIZLANDIRILMASI Proje kapsamında yaptığımız çalışmalarda doğrusal olmayan hper-küre sınıflandırıcılarının yanında karşılaştırma amaçlı doğrusal olmayan DVM sınıflandırıcısı da kullanılmıştır. Özellkle doğrusal olmayan DVM algortmasının döndürdüğü destek vektör sayısı çok fazla olduğu çn konum bulma sstemnn hızı oldukça yavaşlamıştır. Örnek olarak doğrusal olmayan hper-küre sınıflandırıcısının kullanıldığı ardışıl sınıflandırıcı br mgedek 20