SAKLI MARKOV MODEL KULLANILARAK GORUNTUDEN GERCEK ZAMANLI TURK ISARET DILI TANIMA SISTEMI

Transkript

1 SAKLI MARKOV MODEL KULLANILARAK GORUNTUDEN GERCEK ZAMANLI TURK ISARET DILI TANIMA SISTEMI Hakan Haberdar A Thess n Compuer Engneerng Submed n Paral Fulfllmen of he Requremens for he Degree of Maser of Scence YILDIZ TEHNICAL UNIVERSITY Graduae School Of Scence, Engneerng and Technology Ocober 005

2 YILDIZ TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ SAKLI MARKOV MODEL KULLANILARAK GÖRÜNTÜDEN GERÇEK ZAMANLI TÜRK İŞARET DİLİ TANIMA SİSTEMİ Elekronk ve Haberleşme Mühends Hakan HABERDAR FBE Blgsayar Mühendslğ Anablm Dalında Hazırlanan YÜKSEK LİSANS TEZİ Tez Danışmanı : Yrd. Doç. Dr. Songül ALBAYRAK İSTANBUL, 005

3 İÇİNDEKİLER Sayfa SİMGE LİSTESİ...v KISALTMA LİSTESİ... v ŞEKİL LİSTESİ...v ÇİZELGE LİSTESİ...v ÖNSÖZ...v ÖZET...x ABSTRACT... x. GİRİŞ.... İşare Dl Tanıma Ssemler.... Tez Çalışmasında Tasarlanan Ssem TÜRK İŞARET DİLİ Türk İşare Dl Sözlüğü Türk İşare Dl Kılavuzu Tez Çalışmasında Kullanılan Kelmeler MARKOV MODELLERİNİN TEMEL ÖZELLİKLERİ Ayrık Markov Prosesler Saklı Markov Model Saklı Markov Modellernn Üç Temel Problem Tanıma Problem Durum Dzsnn Bulunması Model Paramerelernn Öğrenlmes Model Seçm Sürekl Gözlemler Durum Geçş Olasılıkları Sürekl Saklı Markov Modelde Üç Temel Problem Saklı Markov Modeln Vdeo Görünüsünden Hareke Tanımaya Uygulanması ÖZELLİK SEÇİMİ Oramın Aydınlaılması Görünü Yakalama Aygıı Görünüde Ellern Bulunması Renkl Görününün Temel Özellkler Renk Uzayları RGB Renk Uzayı... 33

4 4.3.. YIQ ve YUV Renk Uzayları HSI, HSV ve YCbCr Renk Uzayları Ten Reng Tanıma El ve Yüz Olablecek Şekllern Değerlendrlmes Hareke Takb Anahar Çerçeve Seçm Global Özellklern Çıkarılması Yerel Özellklern Belrlenmes TÜRK İŞARET DİLİ TANIMA SİSTEMİ Ssem Yapısı ve Temel Tanıma Prensb İşaren Global Özellk Grubunun Belrlenmes İşaren Yerel Özellklere Göre Seçlmes Kelmeler Ayrı Ayrı Tanıma Cümle Tanıma DENEYSEL TANIMA SONUÇLARI Kelmelern Global Özellkler Kullanılarak Tanınması Kelmelern Yerel Özellklern Kullanılarak Tanınması SONUÇLAR VE ÖNERİLER... 6 KAYNAKLAR EKLER Ek a Temel Olasılık Kavramları Ek b Koşullu Olasılık Ek c Olasılık Yoğunluk Fonksyonu Ek d Beklenen Değer Ek e Lneer Bağımlılık Ek f Normal (Gauss) Dağılım Ek g Çoklu Raslanı Değşken Ek h Paramere Kesrm ÖZGEÇMİŞ... 7

5 SİMGE LİSTESİ İşareler arası durma eşk süres A Durum geçş olasılıkları mars B Gözlem olasılıkları mars H Herhang br global özellk grubundak üye sayısı K Eğm versndek gözlem dzsnn sayısı k Seçlen en yakın k komşu M Ayrık gözlem dzsnn uzunluğu N Durum sayısı O Gözlem dzs O k Eğm sendek k. gözlem dzs o Ssemn anında üreğ gözlem Q Durum dzs q Ssemn anında bulunduğu durum s Eğm versnde her grup üyesnden olan örnek sayısı T Gözlem dzsnn uzunluğu V Ayrık gözlem vekörünün alableceğ değerler kümes α () İler-yön değşken β () Ger-yön değşken γ () anında durumunda olma olasılığı λ Saklı Markov model paramere grubu Π İlk durum olasılıkları vekörü v

6 KISALTMA LİSTESİ CCD Charge Coupled Devce CCL Conneced Componen Labelng HMMs Hdden Markov Models HSI Hue Sauraon Inensy HSV Hue Sauraon Value knn k Neares Neghbor NTSC Naonal Televson Sandards Commee PAL Phase Alernang Lne RGB Red Green Blue TİD Türk İşare Dl TSL Tn Sauraon Luma TÜBA Türkye Blmler Akadems YCbCr Lumnance, Mav Renkllk, Kırmızı Renkllk YIQ Lumnance Inphase Quadraure v

7 ŞEKİL LİSTESİ Şekl. Hareke fadel kelme []... Şekl. Parmak hecelemel kelme... Şekl.3 İşare dl anıma ssemler... 3 Şekl.4 Görünüde sağ el, sol el ve yüzün ayır edlmes... 5 Şekl. TİD de kelme ekler vücu harekeler yada parmakla yön belrlerek verlr... 7 Şekl. J ve Ğ harflernn TİD karşılıklar (MEB, 995)... 9 Şekl.3 Kılavuzda kullanılan hareke okların anlamları... 9 Şekl.4 Hareke sırasında ellern zledğ yörüngeler ve global özellk grupları... Şekl 3. 3 durumdan oluşan br Markov model... 5 Şekl 3. Ssem br durumda ken bu durumun ekledğ gözlem oraya çıkarır... 7 Şekl 3.3 İler-yön değşken gözlem dzsn k parçaya ayırır... 9 Şekl 3.4 İler-yön ve ger-yön değşkenler... 0 Şekl 3.5 Ger-yön algormasında yneleme adımı... Şekl 3.6 ξ (, ) nn hesaplanması... 3 Şekl 3.7 Dör durumlu soldan-sağa saklı Markov model opolos... 4 Şekl 3.8 Gözlem üremeyen başlangıç ve son durumları eklenen model... 5 Şekl 3.9 Baum-Welch algormasına başlamadan önce başlangıç değer bulma adımları... 7 Şekl 3.0 Baum-Welch algormasının adımları... 8 Şekl 3. Görünü çerçevesnden gözlem dzs oluşurulması... 9 Şekl 3. Saklı Markov model le hareke anıma... 9 Şekl 4. Oramın aydınlaılması... 3 Şekl 4. İçnde çok çeşl renkler çeren, Ebru Sanaı le yapılmış örnek resm [3] Şekl 4.3 (a) Kırmızı bleşen (b) Yeşl bleşen (c) Mav bleşen Şekl 4.4 Verlen örnek resmn Y (gr sevyel) bleşen Şekl 4.5 (a) Ornal resm (b) H bleşen (b) S bleşen (b) I bleşen (Russ, 999) Şekl 4.6 (a) Ornal resm (b) Aday en reng pksellern bulunduğu resm Şekl 4.7 (a) Ornal Resm (b) Ten olmayan bölgelern seçlmes Şekl 4.8 CCL algormasında p pkselnn a,b,c,d le göserlen 4 komşuna bakılır Şekl 4.9 CCL algorması le en reng olan pksellerden ellern ve yüzün bulunması... 4 Şekl 4.0 Ellern merkezlernn bulunması... 4 Şekl 4. Anahar çerçevelern seçlmes... 4 Şekl 4. İşare sırasında ellern konumu... 4 Şekl 4.3 Koordna ssem Şekl 4.4 Aynı şaren farklı kamera açılarıyla ekrarlanması Şekl 4.5 Orn yüzün merkez nokası olan koordna ssem Şekl 4.6 Eln aldığı bçm :(a) acımak, (b)aksaray, (c) korkmak, (d) subay Şekl 4.7 Ellern anahar çerçevelerdek durumu Şekl 4.8 c global özellk grubuna a k ell şarelerde hareken sonunda ellern bçm: (a) ağır, (b) bırakmak, (c) dnlenmek, (d) kabul emek, (e) olmak, (f) yer Şekl 4.9 d5 global özellk grubuna a şarelerde hareken başında ellern bçm: (a) fırıncı, (b) fubolcu, (c) oyuncakçı Şekl 5. Global özellklern belrlenmes Şekl 5. Tüm modellern O gözlemn üreme olasılıkları Şekl 5.3 Karşılaşırma önces yapılan ön şlemler Şekl 6. Yakın global ve yerel özellklere sahp şareler... 6 Şekl 6. Yüz fadesnn ve dudakların şarelere kaığı anlam... 6 v

8 ÇİZELGE LİSTESİ Çzelge. Ssemn anıdığı kelmeler ve global özellk grupları... Çzelge. Global özellk gruplarındak kelme sayıları... 3 Çzelge 6. Eğm versnn özellkler Çzelge 6. Tek ell harekelere a global özellk grubu belrleme sonuçları Çzelge 6.3 Haalı sınıflandırılan gruplar (ek ell harekeler) Çzelge 6.4 İk ell harekelere a global özellk grubu belrleme sonuçları Çzelge 6.5 Haalı sınıflandırılan gruplar (k ell harekeler) Çzelge 6.6 Tüm şarelern beraber değerlendrlmes Çzelge 6.7 Yerel özellklern kullanılması Çzelge 6.8 Yerel özellklere a es sonuçları v

9 ÖNSÖZ Danışmanım Sayın Yrd. Doç. Dr. Songül ALBAYRAK a ez çalışmam boyunca ben yönlendrdğ, blgsn, değerl görüşlern ve deneymlern bana akardığı çn çok eşekkür ederm. Yıldız Teknk Ünverses alesne kaıldığım lk günden ber, her aşamada, her zaman deseğn esrgemeyen, Sayın Yrd. Doç. Dr. Banu DİRİ ye eşekkür ederm. Hayaımın ve çalışmalarımın her aşamasında bana desek olan arkadaşım Rubabe ŞİNASİ ye; oda arkadaşlarım Arş. Gör. M. Fah AMASYALI ve Arş. Gör. Nlgün ERDEM başa olmak üzere YTÜ Blgsayar Mühendslğ bölümündek büün arkadaşlarıma eşekkür ederm. Hayaım boyunca deseklern hçbr zaman eksk emeyen, benm çn her ürlü fedakârlıka bulunan, ben yüreklendren ve bana güvenen sevgl anneme, sevgl babama, sevgl ablama ve sevgl kardeşme çok eşekkür ederm. v

10 ÖZET İnsan makne ekleşm konusundak çalışmalar son yıllarda genş lg ve uygulama alanları bulmuşur. Bu uygulama alanlarından br anes nsanların makneler vasıasıyla brbrleryle leşmn kolaylaşıran ssemlerdr. İnsan harekelern doğru şeklde anlayablmek çn öncelkle nsanın çevresyle leşme geçerken kullandığı öğeler dkkale ncelenmeldr. İnsan harekenn öneml br parçasını oluşuran el harekelern kavrayablmek, nsan makne ekleşmn kolaylaşırmak çn öneml br adımdır. İşare dl şme engelllern brbrleryle leşm kurmasını sağlayan, el harekeler ve yüz fades gb öğelerden oluşan görsel br dldr. İşaree anlam kamada daha ekn rol oynayan el harekelernn meydana gerdğ özellkler eln zledğ yol (global özellkler) ve eln aldığı bçm (yerel özellkler) olmak üzere kye ayrılır. İşare dln oluşuran el harekelern anıyablen br ssem asarlayablmek, şme engelllern dğer kşlerle kolayca leşmn sağlayacağı çn son 5 yılda bu konudak araşırmalar armışır. Tasarlanan anıma ssemler emelde elekronk eldven abanlı ssemler ve görünü abanlı ssemler olmak üzere kye ayrılmakadır. Günümüze kadar çeşl ülkelern şare dller çn anıma ssemler asarlanmasına rağmen Türk İşare Dl anıma konusunda doyurucu br çalışma yokur. Bu ez çalışmasında, Türk İşare Dl harekelern anıyablen br ssem anıılacakır. Gelşrlen ssem k aşamalı olup, şare edlen hareke önce global özellklerne göre saklı Markov model kullanılarak gruplandırılmaka ve sonra belrlenen grupak üyelerden k en yakın komşu algorması kullanılarak en uygun olanı seçlmekedr. Türk İşare Dl harekelerne a br görünü arşv olmadığı çn, harekeler ssem asarlayan kş arafından öğrenlp gerçekleşrlmş ve böylece kşye bağımlı br ssem asarlanablmşr. Türk İşare Dl ne a 7 hareke kullanılarak ssemn başarısı es edlmş ve gelşrlen ssem le kabul edleblr oranlarda anıma yapmanın mümkün olduğu görülmüşür. Anahar kelmeler: Türk İşare Dl Tanıma, El Hareke Tanıma, Saklı Markov Model, Görünüden Hareke Analz, İnsan Makne Ekleşm. x

11 ABSTRACT Researchers sudy on desgnng nellgen nerfaces o provde more comforable neracon beween human and machne. The nerfaces generally analyze body moon and decde wha o do accordng o moon. Gesures, whch are generaed by hands and arms, are specal case of body moon. Sgn language, whch consss of hand posures and dynamc gesures wh facal expressons, s a vsual language used by deaf-dumb people. If a sysem ha recognzes sgn language gesures can be desgned, he deaf-dumb people wll have he chance of communcang wh he ohers. Sgn languages are characerzed by manual and non-manual feaures. The non-manual feaures nclude facal expressons, and he manual feaures can be dvded no man caegores: global feaures (hand movemen) and local feaures (hand shape). Sudes abou sgn language recognon have begun o be seen n he leraure for 5 years, and o dae many sysems have been desgned. These sysems can be caegorzed no wo man groups: daa glove based sysems and vson based sysems. In he leraure, here s no a comprehensve sudy on recognon of Turksh Sgn Language. The sysem proposed n he hess recognzes Turksh Sgn Language gesures n wo seps. Frs, he global feaure group of performed gesure s deermned by usng Hdden Markov Models, and hen he local feaures are used wh k neares neghbor algorhm o selec he correspondng word from canddaes ha are prevously derved from he global feaures. Because of havng no Turksh Sgn Language gesure daabase, a sgner dependen sysem can be desgned. 7 sgns are used o show ha he sysem can acheve sasfacory resuls n Turksh Sgn Language recognon. Keywords: Turksh Sgn Language Recognon, Hand Gesure Recognon, Hdden Markov Model, Moon Analyss from Vdeo, Human Machne Ineracon. x

12 . GİRİŞ Son yıllarda, araşırmacılar nsan ve blgsayar arasındak ekleşm daha kolay ve daha kullanışlı hale gereblmek çn akıllı arabrmler asarlamaya çalışmakadır. Bu arabrmler genellkle vücu harekelern analz emeke ve ne yapılacağına harekee göre karar vermekedr. El ve kol kullanılarak yapılan harekeler vücu harekelernn özel br parçasıdır ve bu arz harekeler anıyablen ssemler asarlamak nsan blgsayar ekleşm açısından çok öneml br adımdır. İşare dl, şme engelllern kend aralarında leşm kurmasını sağlayan görsel br dldr. Eln şekl, eln hareke, vücu hareke ve yüz fades şare dln meydana geren öğelerdr. İşare dlndek her hareke konuşma dlndek br kelmeye yada alfabedek br harfe denk gelr. Sık kullanılan kelmeler çn harekeler mevcuken (Şekl.), nadr kullanılan kelmeler le özel smler çn harf harf parmak heceleme yapılır (Şekl.). Şekl. Hareke fadel kelme [] Şekl. Parmak hecelemel kelme [] İşare dl konuşma dlnden eklense de kendne has br dlblgs yapısı vardır []. Her ülkenn şare dl kendne özgüdür, örneğn İnglz İşare Dl le Amerkan İşare Dl brbrnden farklıdır (Ha ve Suherland, 004). Ülkemzdek şme engelllern kend aralarında leşm kurmak çn kullandıkları Türk İşare Dl (TİD) sık kullanılan kelmeler le alfabedek 9 harfe karşı gelen harekelerden oluşmakadır. Şaye, şare dlne a harekeler

13 anıyablen br ssem asarlanablrse, şme engelllern dğer nsanlarla da kolayca leşm kurmasına olanak sağlanacakır. İşare dlndek harekelern karakersğn ele a özellkler le yüz fades ve vücu duruşu belrler (Grobel ve Assan, 997). Eln şare dlne kaığı özellkler global ve yerel (local) özellkler olmak üzere kye ayrılır. Hareke sırasında ellern zledğ yörünge hareken global özellklern meydana gerrken, eln aldığı bçm de hareken yerel özellklern oluşurur. Tcar anlamda kullanılablr br şare dl anıma ssem asarlanablmes çn hem eln global özellklernn hem de eln şekl ve yönü gb yerel özellklernn beraber değerlendrlmes gerekmekedr (Imagawa vd., 000). Bu çalışmada sandar br blgsayar le CCD (Charge Coupled Devce) kameradan oluşan ve çeşl Türk İşare Dl harekelern anıyablen br ssem asarlanmışır. Bu ssemde, şareler gerçekleşren kşnn elekronk yada renkl eldvenler kullanmasına gerek yokur. Ten rengnn özellklernden (Hsu vd., 00) faydalanarak ellern ve yüzün yer bulunmakadır. Görünüyü oluşuran çerçevelerden çıkarılan özellkler le saklı Markov modeller (HMMs, Hdden Markov Models) ve k en yakın komşu (knn, k Neares Neghbor) algorması kullanılarak gerçek zamanlı çalışan br anıma ssem asarlanmışır. TİD harekelern barındıran br verabanı olmadığından ve şmdye kadar bu konuda doyurucu br çalışma yapılmadığından öürü, harekeler ssem asarlayan kş arafından öğrenlmş ve gerçekleşrlmşr. Bu nedenle kullanıcıya bağımlı br ssem gelşrleblmşr.. İşare Dl Tanıma Ssemler İşare dl anıma konusundak çalışmalar, makne öğrenmes ssemlernde son 5 yılda görülmeye başlanmış ve günümüze kadar brçok ssem asarlanmışır. Bu ssemler emelde elekronk eldven abanlı ve görünü abanlı ssemler olmak üzere kye ayrılmakadır. Önceler, asarlanan ssemlern çoğu alıcılarla dolu elekronk eldvenler barındıran pahalı ssemlerdr (Takahash ve Kshno, 99; Lang ve Ouhyoung, 996). İşare gerçekleşren kşnn elekronk eldven gymes gerekğ çn kullanımı kolay olmayan, kşnn harekelern kısılayan özellklere sahprler. Elekronk eldven abanlı ssemlern dezavanalarından dolayı, son 0 yılda görünü abanlı ssemler üzerne çalışmalar armışır. Görünü abanlı ssemler kend çnde, hareke abanlı ssemler (Sarner, 995) ve şekl abanlı ssemler (Imagawa vd., 000) olmak üzere emelde k kaegorye ayrılmakadır (Şekl.3).

14 3 Şekl.3 İşare dl anıma ssemler Hareke abanlı ssemler eln şare sırasındak hareke, şekl abanlı ssemler se eln herhang br andak duruşu le lglenr. Ancak çok sayıda hareke anıyablen güvenlr ve kullanılablr ssemlern asarlanablmes çn her k yaklaşımın beraber uygulanması gerekmekedr. Görünüden şare dl anıma konusunda yapılan lk çalışmalar arasında en dkka çeken, Sarner ın 995 yılında gerçekleşrdğ Amerkan İşare Dl anıma ssemdr. Br kamera ve sandar br blgsayarın kullanıldığı ssemde anıma şlem saklı Markov model le sağlanır. Sarner, eln duruşunun ayrınılı şeklde ncelenmesnn gerekl olmadığını düşünmüş ve bunun yerne eln şeklnn, yönünün ve yörünge blgsnn kaba fadesn kullanmışır. Eller akp emenn kolay olablmes çn şare gerçekleşren kş sağ elne sarı, sol elne kavunç renke sıradan eldvenler gymşr. Kullanıcıya bağımlı olan ssemde zleme, analz eme ve anıma şlemlernn amamı gerçek zamanlı olarak yapılmışır. Zamr, fl, sıfa ve smden oluşan 40 kelmeden ürelen 494 cümlenn, 395 anes eğm, 99 anes es amaçlarıyla kullanılmışır. Yapılan esler sonunda bazı kelmeler çn sadece hareke blgsnn yeerl olamadığı ve parmakların duruşunun da önem kazandığı belrlenmşr. Kelmelern ürü ve cümlenn kaç kelmeden oluşuğu blnerek yapılan eslerde %99 başarı, cümle yapısının ve sayısının blnmedğ eslerde se %9 oranında başarı elde edlmşr. Ssem eldven kullanılmadan da es edlmş, ancak gerçek zaman performansı yakalanamamış ve başarı oranı %75 dolaylarına düşmüşür. Sarner ın bu çalışması sonrak yıllarda yapılan şare dl anıma ssemlerne ışık umuşur. 996 yılında Yoshno vd. arafından asarlanan Japonca İşare Dl anıma ssem, üzernde çeşl renklerde banlar bulunan br eldven kullanılarak gerçekleşrlmşr. Ssem hem parmak hecel kelmeler hem de hareke fadel kelmeler anıyablmekedr. Doğrudan eln duruşunu ncelemek yerne, eln şeklne göre gözüken banların renk kombnasyonu ve yoğunluğu kullanılmışır. Bu nedenle eldvenn üzerne renkl banlar yerleşrlrken, eln farklı duruşlarının aynı renk kombnasyonunu oluşurmamasına dkka edlmşr.

15 4 Başlarda yapılan çalışmaların çoğunda kısılı sayıda hareke anıyablen ssemler asarlanablmşr. Doğal olarak, car anlamda kullanılablecek br ssemn çok daha fazla sayıda hareke anıması gerekmekedr. 997 yılında Grobel ve Assan ın CCD kamera kullanarak asarladıkları kşye bağlı ssem Hollanda İşare Dl ne a 6 hareke %94 başarı anımışır. Grobel ve Assan (997), Yoshno vd. nn (996) kullandığı eldvene benzer eldvenler kullanmışır, ancak ek br eldven kullanmak yerne, her k el çnde eldven kullanılmışır. İşareler yapan kş sağ elne, parmakları, avuç çn ve eln arkasını bell edecek şeklde üzernde 7 farklı renk bulunan eldven ve sol elne üzernde 8 farklı renk bulunan eldven gymşr. Ellern hareke sırasında zledkler roa, eln şekl, yönü gb özellklerden faydalanan Grobel ve Assan saklı Markov modeller kullanarak anıma yapmışlardır. Imagawa vd. nn (000) asarladıkları ssem, en rengnden faydalanarak eller bulmaka ve k aşamalı br anıma şlem önermekedr. Öncelkle anınmaya çalışılan hareken global özellklerne göre mümkün olan aday kelmeler seçlmeke ve sonrasında seçlen bu şarelerden yerel özellkler kullanılarak şare edlen kelme belrlenmekedr. Ssemn başarısını ölçmek çn posanedek br konuşmada geçeblecek Japonca İşare Dl ne a 60 kelme seçlmşr. Tasarlanan ssemn kamusal br alanda ve bell br amaca yönelk kullanılacağı düşünülerek, br konu le lgl kelmeler anıyan ssemler asarlamak doğru gözükmekedr. Yapılan esler sonunda yakın global özellğe sahp kelmeler yerel özellklernden faydalanarak anıma başarısı %90 cvarında gerçekleşmşr. Bugüne kadar asarlanan ssemlere bakıldığında, Amerkan (Sarner, 995), Japon (Yoshno vd., 996), Hollanda (Grobel ve Assan, 997), Çn (Chena vd., 003), Arap (Mohandes vd., 004), Kore (Chang ve Pengwu, 004), İrlanda (Ha ve Suherland, 004) İşare Dller hakkında çalışmalar olmasına rağmen Türk İşare Dl anıma konusunda doyurucu br çalışma yokur.. Tez Çalışmasında Tasarlanan Ssem Bu çalışmanın amacı, br ade CCD kameradan alınan görününün sandar br blgsayar yardımıyla şlenmes sonucu Türk İşare Dl ne a çeşl harekeler anımakır. Öncelkle ellern ve yüzün yer Hsu vd. nn (00) önerdğ renkl resmlerde en reng anıma yönem le bulunmakadır. Daha sonra görünüdek yüz, sağ ve sol el, bağlanılı bleşen ekeleme (CCL, Conneced Componen Labeng) yönem (Gonzalez ve Woods, 993) kullanılarak ayır edlmekedr (Şekl.4).

16 5 HAKAN HABERDAR 005 Şekl.4 Görünüde sağ el, sol el ve yüzün ayır edlmes Arka plandan eller ve yüzü ayır emek çn en reng özellklernden faydalanılması nedenyle, ssem bazı kısılamaları berabernde germekedr. Eller brbrne emas ememeldr. Eller yüze emas ememeldr. Sağ el, sol eln her zaman sağında olmalıdır. Hareke boyunca eller ve yüz kameranın görüş alanı çnde olmalıdır. Koç Ünverses ve Türkye Blmler Akademsnn (TÜBA) orak çalışması sonucu oluşurulan Türk İşare Dl Sözlüğü ndek [] şareler ncelenmş ve yukarıda belrlen kısılamalara uygun olarak ssemn anıyableceğ 7 hareke seçlmşr. Gerçek zamanlı çalışablen br ssem asarlandığı çn, hem ssem hızını yükselecek hem de anıma oranını eklemeyecek şeklde çerçeve oranı ve görünü çözünürlüğü seçlmşr. İşare gerçekleşren kşnn yüzü bulunmasına rağmen, bu çalışmanın kapsamında hareke anıma şlemnde doğrudan kullanılmamışır. Türk İşare Dl nde yer alan harekelern uzunlukları çok çeşldr. Bu nedenle hareke çeren görünüyü oluşuran üm çerçeveler

17 6 değerlendrmek yerne, çlernden sadece dör anesn seçlmş ve bunlara anahar çerçeve adı verlmşr. Tanıma şlem k aşamalı olarak yapılmaka, önce ellern konum blgler saklı Markov model le değerlendrlp hareken a olduğu global özellk grubu belrlenmeke ve sonra da bu grupak şarelern yerel özellklerne bakılarak harekee karşı gelen kelme seçlmekedr.

18 7. TÜRK İŞARET DİLİ Türk İşare Dl arhnn Osmanlı dönemne kadar uzanmasına karşın, TİD hakkında Mll Eğm Bakanlığı nın 995 e yayınladığı görsel kılavuz dışında henüz br yazılı maeryal, arşv yada sözlük yokur []. Türk İşare Dl nn arhçesyle lgl blgler, şare dl görsel br dl olduğu ve dolayısıyla kağıda geçrlmes zor olduğu çn oldukça yeersz kalmakadır. Türk arhnde şare dlnn varlığı ve eğmde kullanımıyla lgl arşvler Osmanlıca olduğu çn bu konuda yoğun br arşv çalışması gerekmekedr. Şu ana kadar ednlen büün blgler en azından Osmanlı şare dlnn baıda kullanılan şare dlleryle br lşks olmadan gelşğ ve bu açıdan oldukça özgün br şare dl olduğudur []. TİD dek oplam şare sayısı blnmemekle brlke yerl ve yabancı araşırmacılar arafından ncelemeler devam emekedr. Türk İşare Dl sık kullanılan kelmelere ve alfabedek 9 harfe karşı gelen harekelerden oluşur. Kelme ekler çn özel br yapı bulunmamakla brlke, vücu yönü yada parmak şareler kullanılarak şare edlen kelmeye ek anlamlar kaılablmekedr (Şekl.). Şekl. TİD de kelme ekler vücu harekeler yada parmakla yön belrlerek verlr [] TİD hakkında yazılı kaynak eksklğ dolayısıyla leraürde Türk İşare Dl anıma ssemler

19 8 konusunda doyurucu br çalışma yokur. Araşırmacılar çn önerleblecek kaynaklar Koç Ünverses ve TÜBA nın oraklaşa oluşurduğu Türk şare Dl Sözlüğü [] le Mll Eğm Bakanlığının 995 yılında yayınladığı Türk İşare Dl Kılavuzu dur.. Türk İşare Dl Sözlüğü Bu ez çalışması sürecnce, Koç Ünverses ve Türkye Blmler Akadems nn brlke yürüüğü üç yıllık araşırma sürecnn ürünü olan TİD Sözlüğü nden [] faydalanılmışır. Tez çalışmasının emeln oluşuran harekelern amamı bu sözlüken seçldğ çn, burada sözlüğün nasıl meydana geldğnden kısaca bahsedlecekr. Sözlük oluşurulurken lk aşamada, İsanbul da şare dl kullanan 0 kşnn günlük sohbeler Beyoğlu ve Aksaray İşme Engeller Dernekler nde kameraya alınmışır. Toplam süres yaklaşık 0 saa bulan bu verler, dlblmsel ve pskolok yönemlerle oplanan dğer verlerle brleşrlp, hem TİD hem de Türkçe blen k ayrı ercüman arafından Türkçeye çevrlmşr. Tercüme edlen şare grupları daha sonra kelmelere bölünüp benzerlkler karşılaşırılmışır []. Son olarak bu sohbelerde kullanılan şareler, erken yaşa şare dl öğrenmş 3 ayrı şme engell le sözlük çn ekrar kameraya çeklmş ve yne onlar arafından onaylanmışır []. Inerne oramında bulunan kapsamlı lk kaynak olan Türk İşare Dl Sözlüğü nde sözlük ve kavramsal kaegorler alında oplam yaklaşık 750 şare bulunmakadır.. Türk İşare Dl Kılavuzu Türk İşare Dl hakkında yayınlanan ek Türkçe yazılı kaynak Mll Eğm Bakanlığı Özel Eğm Rehberlk ve Danışma Hzmeler Genel Müdürlüğü nün 995 yılında çıkardığı görsel kılavuzdur. Kılavuz şme engell breylern günlük hyaçlarını karşılayablecek yaklaşık 000 ade kelmeden oluşmakadır. Kılavuzun kolay kullanılablmes çn kelmeler konu başlıklarına göre gruplandırılarak, bölümler halnde sunulmuşur. Kelmelere ve alfabedek harflere karşı gelen fadeler, resmler ve hareke belren şare okları yardımıyla anlaılmakadır (Şekl.).

20 9 Şekl. J ve Ğ harflernn TİD karşılıklar (MEB, 995) Resmlern üzerndek hareke okları uluslar arası GESTUNA normlarına uygun olarak verlmş (Şekl.3) ve her hareke okunun ve şarenn anlamı açıklanmışır. Şekl.3 Kılavuzda kullanılan hareke okların anlamları

21 0.3 Tez Çalışmasında Kullanılan Kelmeler Tez çalışmasında anıma çn kullanılan şareler Bölüm. de anlaılan ssem kısılamaları göz önüne alınarak seçlmşr. Seçlen 7 ane şare, hareke sırasında ellern zledğ yörüngeye göre 45 farklı al gruba (a,, a9, b,, b9, c,,c9, d,, d9, e,, e9) ayrılmışır. Bu gruplar harekelern global özelklerne göre belrlendğ çn global özellk grupları olarak adlandırılmışır. Şekl.4 e R sağ ele, L sol ele karşı gelmek üzere ellern zledğ yörüngeler verlmşr. Buradan elde edlen verler ışığı alında sadece global özellklere göre sınıflandırma yapan br ssem asarlamanın yeersz olduğu anlaşılmakadır. Çünkü 7 hareken ancak 45 farklı al grup meydana germes, ssemn sadece global özellkler kullanarak anıyableceğ şare sayısını 45 le sınırlı kalacağı anlamına gelmekedr. Ssemn anıyabldğ şareler le şarelern a olduğu global özellk grupları Çzelge. de verlmşr. Çzelge. dek gruplar ncelendğnde brçok kelmenn aynı global özellk grubuna a olduğu görülmekedr. Örneğn Şekl.4 e a8 olarak verlen global özellk grubundan 6 ade kelme vardır. Bu durum, ssemn daha fazla sayıda kelme anıyablmesn sağlamak çn sınıflandırma yaparken global özellklern yanında yerel özellklern de kullanılması gerekllğn gösermekedr.

22 HAKAN HABERDAR 005 Şekl.4 Hareke sırasında ellern zledğ yörüngeler ve global özellk grupları

23 Çzelge. Ssemn anıdığı kelmeler ve global özellk grupları Kelme Grup Kelme Grup Kelme Grup Kelme Grup acımak a değl d kazak a8 seçmek e9 açık b del b kısa e6 seramk a8 ağır c devam a5 kış a8 serbes b Aksaray a dnlenmek c kızarmak c8 ser a8 alışverş c9 dsko b5 kızmak b6 sevnçl a8 almak e doğmak d3 kraz b sevnmek a8 anlamak b durmak b krl a4 sevmek c3 anne a eğmek a5 kap e3 sıfır c8 araba e3 eğlence c5 korkmak a sıkılmak a9 arka b Eskşehr a8 kova b sınav b amak c fabrka e3 kovmak c8 soğuk a8 aynı a8 fazla c8 köü c8 sonra b8 ayran b fena c8 kurbağa c7 subay a az a9 Fenerbahçe c8 küçük e6 şaka e4 bankacı a3 fırıncı d5 lmon b şampanya e3 başka e fubolcu d5 lunapark e3 şşman a8 başkan b gb a8 marangoz d7 alebe c8 bebek b gdş-gelş e5 masa d6 am d8 bebek arabası b3 gynmek a6 merak c8 aşınmak e8 beledye oobüsü c3 göndermek d mmar d9 ava c8 bezelye a9 haff a8 mnbüs c8 aze a8 bırakmak c haa b6 mooskle d6 embel a8 blgsayar a8 hava a8 muhasebe e7 op a8 bra b hazır d ne zaman b oprak c8 braz c8 hevesl d4 nefes c8 ren d7 bskle e3 hzmel c5 nerede a6 uvale c8 borç b kz c6 neyse a9 uyumak c boş b ncelemek e3 normal b uzun d6 bozuk b p d6 oda a8 üşümek a8 börek a8 semek c8 olmak c üzgün a9 bugün a9 ş d4 oyun a8 üzülmek c8 büyümek a4 şmek b7 oyuncakçı d5 var c8 canlı b4 y c8 öğremen c8 vermek b9 cansız c4 kabaha e4 öneml c8 vcdansız b4 cn b kabul emek c pahalı c8 vrgül b9 cömer c kalabalık a8 para c8 vsk b çadır b kalkmak d plav b yakın c8 çağırmak a4 kapalı e6 pşrmek e3 yasık a8 çalışmak d4 karpuz a7 radyo a8 yer c çay e4 kavanoz e4 raha a8 yumuşak a8 çıngırak a9 kavga e3 reklam e3 zaman b çocuk b kavun d6 saa a9 zayıf b çok a9 kayıp d6 sandal d4 zor b

24 3 Şekl.4 e verlen 45 global özellk grubunun 5 anes k elle 0 anes se ek elle gerçekleşrlen şarelere ar ve her grupa farklı sayılarda şareler mevcuur. Çzelge. de gruplardak kelme sayıları verlmşr. Çzelge. Global özellk gruplarındak kelme sayıları Global Özellk Grubu a a a3 a4 a5 a6 a7 a8 a9 Gruba A Kelme Sayısı Global Özellk Grubu b b b3 b4 b5 b6 b7 b8 b9 Gruba A Kelme Sayısı 8 9 Global Özellk Grubu c c c3 c4 c5 c6 c7 c8 c9 Gruba A Kelme Sayısı Global Özellk Grubu d d d3 d4 d5 d6 d7 d8 d9 Gruba A Kelme Sayısı Global Özellk Grubu e e e3 e4 e5 e6 e7 e8 e9 Gruba A Kelme Sayısı Özelemek gerekrse, ez çalışmasında asarlanan Türk İşare Dl Tanıma Ssem 7 hareke anıyablmekedr ve bu harekelern 78 anes ek elle, 94 anes de k elle gerçekleşrlen şarelerdr.

25 4 3. MARKOV MODELLERİNİN TEMEL ÖZELLİKLERİ Hang sınıfa a olduğu bulunmaya çalışılan örneğ oluşuran ver dzsnn elemanlarının, brbrnden bağımsız olduğunu varsaymak sınıflandırma şlemn kolaylaşırır. Böylece her br elemana a maksmum olablrlk (Maxmum lkelhood) derecesn hesaplayıp bunları çarparak, o örneğn hang sınıfa a olduğu bulunablr. Ancak, bu varsayım ver elemanlarının dzlmlernn brbrne bağımlı olduğu durumlarda kullanılamaz (Alpaydın, 004). Örneğn, İnglzcede harfnden sonra h gelme olasılığı çok yüksekken, x gelme olasılığı çok düşükür. Benzer şeklde, br DNA dzsn oluşuran elemanların dz çndek yerler rasgele değldr. Bu bölümde, bu ür özellklere sahp örneklern sınıflandırılmasında başarılı sonuçlar veren saklı Markov modellernn emel özelkler anlaılacakır. 3. Ayrık Markov Prosesler Her zaman, N farklı ( S, S,, ) S N durumdan brnde olan br ssem düşünüldüğünde, ssemn anındak durumu q le sembolze edlmek üzere, q = S fades, ssemn anında S durumunda olduğunu göserr. (3.) de verlen sab aralıklı ayrık zaman dlmnde ssemn br durumdan dğer br duruma geçmes olasılığı öncek durumların ne olduğuna bağlıdır: P ( q = S q = S, q = S k, ) (3.) Özel br durum olan brnc derece Markov modelnde se, + anındak durumun sadece anındak duruma bağlı olduğu varsayılır (3.). P ( q+ = S q = S, q = S k, ) = P( q+ = S q = S ) (3.) Model basleşrmek çn yapılan dğer br varsayım da, (3.3) de fade edlen durum geçş olasılıklarının zamandan bağımsız olduğudur. N + = = a P( q = S q = S ), a 0 ve a (3.3) Yukarıda belrlen knc varsayıma dayanarak S durumundan S durumuna geçş olasılığının her zaman aynı olduğu söyleneblr. Yan ssemn hang durumlarda olduğunu göseren gözlem dzsnde, bu geçşn dznn hang sırasında gerçekleşğ le a arasında br bağlanı yokur. Durum geçş olasılıkları N N boyuundak A = a ] marsnde verlr. [

26 5 (3.3) dek koşuldan da anlaşılacağı üzere A marsnn her saırının oplamı bre eşr. Bu model Şekl 3. de göserlen br olasılıksal makne (Sochasc auomaon) olarak düşünüleblr. HAKAN HABERDAR 005 Şekl 3. 3 durumdan oluşan br Markov model Burada ek özel hal ssemn lk anda hang durumda olacağıdır, bu da (3.4) de verlen π le fade edlr. N S = = π P( q = ), π (3.4) Bu olasılıklar, N elemanlı ve elemanlarının oplamı e eş olan Π = [ π ] lk durum olasılıkları vekörü le verlr. Gözlemleneblr Markov modelde, durumlar, yan ssemn hang durumda olduğu gözleneblr. Her anında q nn ne olduğu, br başka fade le ssemn hang durumdan hang duruma geçğ gözlem dzs olarak verlr. Gözlem dzsn, ssemn olableceğ durumlar oluşurur. Burada belrlmes gereken br noka da şudur k ssemn bulunduğu her durum gözlemleneblr fzksel br olayı (örn:yazı-tura ama) fade eder. Durum dzsne denk düşen gözlem dzs modelde bu gözlemn gerçekleşme olasılığı, O = o o o Q q q q le verlrse, T = = T P( O = Q A, Π) = P( q ) P( q P( O = Q A, Π) = P( q ) P( O = Q A, Π) = π a q T = qq P( q a q ) P( q q qt qt 3 ) q ) P( q T q T ) (3.5) olarak hesaplanır. π q lk durumun qolma olasılığını, a qq ssemn q durumundan q durumuna geçme olasılığını verr, ger kalan bu şeklde devam eder. Tüm gözlem dzsnn meydana gelme olasılığını bulablmek çn bu olasılıkların çarpılması yeerldr. Ssem

27 6 paramereler Π vekörü le A mars verldğnde, rasgele gözlem dzler (=durum dzler) oluşurablr. Tab olarak, burada öneml olan, ssemn üreğ gözlem dzler verldğnde ssem paramerelern hesaplayablmekedr. Model meydana geren paramerelern (A ve Π) hesaplanablmes çn, T uzunluğundak K ane gözlem dzsnn meydana gerdğ eğm vers kullanılablr. Bu durumda, lk durum olasılık vekörü K k ( q S = ) k = π = (3.6) K le hesaplanır. (3.6) dan da anlaşıldığı üzere, ssemn S durumu le başlayan gözlem dzs üreme olasılığının, S durumu le başlayan gözlem dzs sayısının üm gözlem dzs sayısına oranı le hesaplanablr. Durum geçş olasılıkları mars elemanı a se, verlen K gözlem dzs çnde S den hesaplanablr (3.7). S ye geçşlern sayısının S den üm durumlara geçş sayısına oranı le a = K T k ( q k= = K k T k k = = = S ve q ( q k k + = S ) = S ) (3.7) 3. Saklı Markov Model Gözlemleneblr Markov prosesnden farklı olarak, saklı Markov modelde ssemn herhang br anında hang durumda olduğu blnmez, ancak ssem br durumda ken bu durumun ekledğ gözlem oraya çıkarır (Şekl 3.).

28 7 HAKAN HABERDAR 005 Şekl 3. Ssem br durumda ken bu durumun ekledğ gözlem oraya çıkarır Gözleneblr Markov modelde ssem S durumunda ken, eldek gözlem sadece ssemn. durumda olduğudur. Saklı Markov modelde se, ssem br durumda ken, M ane farklı gözlemden v, v,, v } br anes, olasılık fonksyonuna bağlı olarak elde edlr. Bu olasılık { M b (m) le göserlr ve ssemn Sdurumunda ken Ssemn olableceğ durumlar ( S, S,, ) v m gözlemn üreme olasılığını verr. S N le elde edleblecek gözlemler { v, v,, vm } arasındak bağınıyı N M boyuundak B = [ ( m)] gözlem mars verr (3.8). b b ( m) P( O = v q = S ), b ( m) 0 ve b ( m) = (3.8) m Gözleneblr Markov model haırlanırsa, gözlem dzs, ssemn her anı çn bulunduğu durumdur. Saklı Markov modelde se gözlem dzs O = o o o y, gözlem olasılık marsndek değerlere göre her anı çn ssemn üreğ gözlemler meydana gerr ve durum dzs Q belrgn değldr. Zaen saklı Markov modelde saklı denlmesnn neden de ssemn bulunduğu durumların blnmemesdr. Bununla brlke, elde edlen gözlemler sayesnde ssemn hang durumda olableceğ ahmn edleblr. Burada br O gözlem dzsn, çok farklı sayıda Q durum dzsnn meydana gerebleceğ aşkardır, ab öneml olan bu durum dzlernden olablrlk olasılığı en yüksek olanı belrlemekr. M m= T

29 8 Br saklı Markov model aşağıdak elemanlardan oluşur: ) N, modeldek durum sayısı: S = S, S,, S } { N ) M, elde edleblecek farklı gözlem sayısı: V = v, v,, v } { M 3) A, durum geçş olasılıkları mars: A a ], a P( q = S q = S ) = [ + 4) B, gözlem olasılıkları mars: B = b ( m)], b ( m) P( O = v q = S ) [ m 5) Π, lk durum olasılıkları vekörü: Π = [ π ] π P ( q = S ), N ve M belrlendken sonra, ssem paramereler λ = ( A, B, Π) saklı Markov model oluşurur. λ verldğnde, herhang uzunluka, herhang sayıda gözlem dzs üreleblr. Doğal olarak burada amaçlanan, eğm se verldğnde paramerelern ( λ ) ahmn edlmesdr. 3.3 Saklı Markov Modellernn Üç Temel Problem Br λ modelnn üreğ çok sayıda gözlem dzs verldğnde çözümlenmes gereken 3 problem vardır: λ verldğnde, bu modeln gözlem dzs O = o o o y üreme olasılığı, P ( O λ). λ ve O verldğnde, bu gözlem dzsn oluşurma hmal en yüksek olan durum dzsnn Q = q q q bulunması olasılığı, P ( Q O, λ). Gözlem dzlernden oluşan eğm se T k K O } k T Χ = { = verldğnde, bu eğm sen en yüksek oranda gerçekleyen model paramereler λ nın hesaplanması, P ( Χ λ). Bu problemler sırasıyla aşağıda ncelenecekr Tanıma Problem λ le sembolze edlen br saklı Markov modeln üreğ gözlem dzs verldğnde, bu gözlem dzsn gerçekleyen olablr. Bu nedenle O nun elde edlme olasılığı T N ane farklı durum dzs O = o o o Q = q q T q T P( O λ ) = P( O, Q λ) (3.9) OLASI Q' LAR

30 9 le hesaplanır. Ancak burada olası durum dzs sayısı çok fazla olduğu çn şlem karmaşıklığı açısından uygun br çözüm değldr. Bu nedenle P ( O λ) hesaplaması çn ler-yön (Forward) ve ger-yön (Backward) algorması kullanılır. (3.0) da belrlen ler-yön değşken α (), anına kadar o o ) kısm gözlem dzsnn elde edlme ve anında durumun ayrılır (Şekl 3.3). ( Solması olasılığıdır. Böylece gözlem dzs ve + T olmak üzere kye HAKAN HABERDAR 005 Şekl 3.3 İler-yön değşken gözlem dzsn k parçaya ayırır α ( ) P( o o, q = S λ) (3.0) İler-yön algorması ynelemel olarak çalışır ve şlem karmaşıklığı ϕ ( N T ) dr. İler-yön algorma adımları aşağıda verlmekedr: İlk değer aama: α ( ) P( o, q α ( ) = P( o q α ( ) = π b ( o ), = S λ) = S, λ) P( q = S) = ve =, N (3.) Yneleme: α α + + ( ) P( o o + N ( ) = α ( ) a =, q + = S b ( o + ), λ) =,, N (3.) Son adım: N P( O λ ) = α ( ) (3.3) = T (3.) de verlen fadede, α () lk gözlem ve ssemn S durumunda olmasını, a S durumundan S durumuna geçş, b ( o + ) se + anında o + gözlemnn elde edlmes olasılığını fade eder. Her anı çn üm durumların ler-yön değerler hesaplandıkan sonra

31 0 (3.3) de verlen fade le gözlemn model arafından ürelme olasılığı hesaplanır. İler-yön değşkenne benzer şeklde, ger-yön değşken β () y anımlanarak (Şekl 3.4) aynı olasılık hesaplanablr. HAKAN HABERDAR 005 Şekl 3.4 İler-yön ve ger-yön değşkenler (3.4) de verlen β (), anında S durumunda olma ve ( o + ot ) kısm gözlemn elde eme olasılığını verr. β ( ) P( o + o q = S, λ) (3.4) T Ger-yön algormasının adımları aşağıda verlmşr: İlk değer aama: N T ( ) = ab ( ot ), =,, = β N (3.5) Yneleme: N β ( ) = a b ( o β N (3.6) = Son adım: N = + ) + ( ), =,, P( O λ ) = β ( ) π b ( o (3.7) ) (3.6) da verlen fade de a, Sdurumunda ken sonrak N olası S durumuna geçmey ve b ( ) o +, S durumunda ken o + gözlemn elde eme olasılığını belrr. β + ( ) se + anından sonrak üm gözlemlere karşı gelr ve bu bağınıyı Şekl 3.5 e verldğ gb fade edleblr.

32 HAKAN HABERDAR 005 Şekl 3.5 Ger-yön algormasında yneleme adımı 3.3. Durum Dzsnn Bulunması Saklı Markov modeln knc problem modeln üreğ gözlem dzs O = o o o verldğnde, bu gözlem dzsn oluşurma hmal en yüksek olan durum dzs Q = q q y bulma şlemnn çözümlenmesdr. (3.8) de verlen γ (), anında q T ssemn S durumunda olma olasılığını verr. T γ ( ) γ ( ) = P ( q N = = S α ( ) β ( ) O, λ ) α ( ) β ( ) (3.8) Burada α ( ) β ( ) çarpımı üm gözlem dzsn parçaya bölüp amamını aramakadır ve bu N çarpım normalze edlerek her anında γ ( ) = olması sağlanır. Elde edlen olasılıklardan = her anı çn olablrlk olasılığı en yüksek olanı (3.9) alınarak, durum dzs oluşurulablr. q * = arg maxγ ( ) (3.9) Ancak sadece bu olasılığa bakmak, a = 0 olduğu durumda ble anında ssemn S den S ye geçğ sonucunu doğurablr. Bu nedenle, hesaplamalara durum geçş olasılıklarını kaan Verb algorması kullanılır (Alpaydın, 004). (3.0) de verlen δ () değşken, anına kadar olablrlk dereces en yüksek olan durum dzsn fade eder ve anında durumuna erşlr. S δ ( ) max p( qq q, q = S, o o q q q λ) (3.0)

33 = anından başlanarak, ynelemel olarak her anı çn en opmum yol bulunur, Verb algormasının adımları aşağıda verlmşr. İlk değer verme: δ ( ) = π b ( o ), =,, N Ψ ( ) = 0 Yneleme: δ ( ) = maxδ Ψ ( ) = arg maxδ ( ) a ( ) b ( o ) a =,, N T anı çn: pah* = maxδ ( ), =,, N q * T = arg maxδ ( ) T T Gerye doğru gderek = T,, q * = Ψ + + ( * q ) Verb algorması bölüm 3.3. de verlen ler-yön algormasına çok benzer, ancak Verb algormasında anında. durum çn hesap yapılırken bu durumun önces olablecek üm. durumlarını hesaba kamak yerne sadece en büyük olasılığa sahp olan durum kaılır Model Paramerelernn Öğrenlmes Model paramerelern λ = ( A, B, Π) hesaplayablmek çn verlen eğm versnden k K Χ O } k faydalanılır. Bu aşamada (3.) de açık fades verlen, anında ssemn = { = +anında S durumunda olmasının olasılığı ξ (, ) anımlanır (Şekl 3.6). S ve ξ (, ) P( q ξ (, ) = N N k = l= = S, q + α ( k) a kl = S α ( ) a b ( o + l ) β b ( o O, λ) + + ( ) ) β + ( l) (3.)

34 3 HAKAN HABERDAR 005 Şekl 3.6 ξ (, ) nn hesaplanması Br beklen yükselme (Expecaon maxmzaon) şlem olan Baum-Welch algorması kullanılarak model paramereler hesaplanır. Baum-Welch algorması adımları aşağıda verlmşr: Mevcu λ = ( A, B, Π) paramereler kullanılarak ξ (, ) ve γ () değerler hesaplanır. Br öncek adımda belrlenen ξ (, ) ve γ () değerler le yen paramere akımı λ = ( A, B, Π) elde edlr. YENİ Durma şarı: P( O λyeni ) > P( O λ) olduğu sürece lk adıma dönülür. Eğm se olarak (3.3) ve (3.4) kullanılır. k K Χ = { O } k= verldğnde, model paramerelernn hesaplanmasında (3.), a = K T k ξ ( k= = K Tk k γ k = = k, ) ( ) (3.) b ( m) = K Tk k γ ( k = = K T k k = = )( o k k γ ( ) = v m ) (3.3) K k γ ( ) k = π = K (3.4) Eğm sende K ane eleman olduğu çn durma konrolü yaparken P ( Χ λ) olasılığı (3.5) de verldğ şeklde hesaplanır. K k P( Χ λ ) = P( O λ) (3.5) k=

35 4 3.4 Model Seçm Saklı Markov model opolosnn karmaşıklığı eldek vernn özellklerne göre seçlmeldr (Alpaydın, 004). Şekl 3. de verlen üm durumlar arasında karşılıklı geçşlern olduğu ergodk modelde A marsnn üm elemanları sıfırdan farklı olacağından hesaplamalar çn gereken şlem karmaşıklığı yüksekr. Bu nedenle, uygulamaya göre model seçlrken geçşlern sınırlı olduğu opololer erch edlr. Böylece ler-ger yön algormasının karmaşıklığı düşürülmüş olur. Örneğn ses anıma uygulamalarında, zaman lerledkçe durum nds numarasının armasına yada aynı kalmasına olanak sağlayan geçşlere zn veren soldan-sağa saklı Markov model (Şekl3.7) kullanılır. Şekl 3.7 Dör durumlu soldan-sağa saklı Markov model opolos Bu kısılama, özellkler zaman boyunca değşen ses, görünü gb gözlem dzlernn modellenmesn kolaylaşırmakadır (Alpaydın, 004). Soldan-sağa modelde, < olduğunda a = 0 şarını sağlayacak şeklde, durumların kendler dışında sadece nds numarası daha büyük olan durumlara geçmesne zn verlr ve model adını bu özellğnden alır. Modeln karmaşıklığını belrleyen br dğer noka da durum sayısı N dr. Durum dzs saklı olduğu çn durum sayısı da blnemez ama model eğmeye başlamadan önce vernn karakersk özellğne göre N deneme yanılma yapılarak seçlmeldr. 3.5 Sürekl Gözlemler Şu ana kadar bahsedlen durumlarda saklı Markov modeln üreğ gözlemlern keskl olduğu, yan üreyen gözlemlern v, v,, v } gb br kümenn elemanı olduğu varsayımı { M yapılmışır. Ancak hareke anıma uygulamasında seçlecek özellklern sürekl değerler alması kuvvele muhemeldr. Bu sorunu aşmak çn br vekör kuanalama yönem kullanarak değerlern sürekl halden keskl hale dönüşürülmes sağlanır (Alpaydın, 004) yada saklı Markov modeln paramereler sürekl değer alablen gözlemlerle çalışablr duruma gerlr (Young vd., 00). Tab bu durumda saklı Markov modeln emel üç problemne cevap olan ler-ger yön, Verb ve Baum-Welch algormalarının da yenden gözden geçrlmes gerekr.

36 Durum Geçş Olasılıkları Doğal ve oplumsal olaylarda karşılaşılan rasgele değşkenlerden brçoğunun normal dağılıma uyması sasğn merkez lm eorem le açıklanablr (Cer ve Yüksel, 998). Bu bağlamda, modeln üreğ gözlemlern olasılık yoğunluk fonksyonlarının (3.6) da verlen normal dağılıma uygun olduğu varsayılmışır. ( o µ )' Σ ( o µ ) Ν( o ; µ, Σ) = e (3.6) n (π ) Σ Olablecek gözlem sayısı (yada gözlemn alableceğ değer) sonsuz sayıda olduğu çn, B gözlem olasılıkları mars yerne (3.7) de verlen gözlem olasılıkları dağılım fonksyonu kullanılır. b ( o ) = Ν( o ; µ, Σ ) (3.7) b ( o ), anında S durumunun o gözlemn üreme olasılığını verr. S durumuna a olan oralama vekörü µ le kovaryans mars Σ paramereler eğm sürecnde hesaplanır. (3.4) e verlen lk durum olasılığı vekörü Π, modele gözlem üremeyen başlangıç ve son durumları eklenerek (Şekl 3.8), A durum geçş olasılıkları marsn lk saırını oluşurablr. Şekl 3.8 Gözlem üremeyen başlangıç ve son durumları eklenen model Şekl 3.8 den de anlaşılacağı üzere yen durum geçş olasılıkları son saırı sıfırlardan oluşur. (3.) de verlen fade, (3.) de yerne konulup gözlem olasılık yoğunluk fonksyonu eklenerek (3.8) dek forma dönüşürülür ve eğm se olarak geçş olasılıkları marsnn elemanlarını kesrlr (Young vd., 00). Χ = { = kullanılarak yen k K O } k a = K k = P Tk k = K k= k α ( ) a b( o P k Tk = k k α ( ) β ( ) k + ) β k + ( ), < < N ve < < N (3.8) Burada P k, k k O gözlemnn amamının model arafından ürelme olasılığı ) P ( O λ ya karşı gelr. Gözlem üremeyen başlangıç durumundan, gözlem üreen düğümlere geçş olasılıklarını

37 6 hesaplamak çn (3.9) kullanılır. Burada elde edlen değerler lk durum olasılıkları vekörüne denk gelmekedr. K k k a = α ( ) β ( ), < < N K P (3.9) k = k Gözlem üremeyen son duruma geçş olasılıkları se (3.30) yardımıyla elde edlr. a N = K K k= k k α T ( ) βt ( ) Pk, Tk k k α ( ) β ( ) P k= k = < < N (3.30) 3.5. Sürekl Saklı Markov Modelde Üç Temel Problem Bölüm 3.3 e ayrınılı olarak ncelenen üç emel problemn çözümü olan ler-ger yön, Verb ve Baum-Welch algormalarının da sürekl gözlem vekörler le uyumlu hale gerlmes gerekr. Bu nokadak esas sorun (3.7) de verlen model oluşuran her duruma a kovaryans mars le oralama vekörünün ( Σ, µ ) nasıl hesaplanacağıdır (Young vd., 00). Model ek br durumdan oluşmuş olsa, hesaplamalar çok kolaylaşacak basçe (3.3) ve (3.3) dek fadeler kullanılablecek. T µ = o, < < N (3.3) T Σ = T = T ( o µ )( o µ )', < N (3.3) < = Oysa k prake modeln brden fazla durum çereceğ aşkardır ve gözlem vekörlernn durumlara drek aanması, durum dzsnn saklı olmasından öürü mümkün değldr. Faka kovaryans marsne ve oralama vekörüne en azından başlangıç değerlernn aanablmes çn bazı varsayımlar yapılır. Gözlem vekörler modeln durum sayısına göre gruplara ayrılıp, (3.3) ve (3.3) kullanılarak Σ, µ çn başlangıç değerler elde edlr (Young vd., 00). Daha sonra başlangıç değerler le Verb algorması kullanılarak olasılığı en yüksek durum dzs belrlenp Σ, µ n değerler güncellenr. Bu şleme kesrlen değerler değşmeyene kadar devam edlr. Böylece Baum-Welch algormasında gerekl olan başlangıç değerler elde edlmş olur (Şekl 3.9). İler-yön ve ger-yön algormalarında gözlem olasılıkları marsnn elemanları yerne, doğrudan gözlem olasılık yoğunluk fonksyonu kullanılarak çözüm

38 7 sağlanır. Bu değşklkler ışığı alında Baum-Welch algorması kullanılarak modeln üm paramerelernn kesrm yapılır. Durum geçş olasılıklarının hesaplanmasında kullanılan (3.8), (3.9) ve (3.30) un yanı sıra Σ, µ paramerelernn kesrm çn (3.33) ve (3.34) kullanılır. K T k k k γ ( ) o k = = µ = K T (3.33) k γ ( ) k k= = Σ = K k= γ ( )( o k K k T k k = = µ )( o k γ ( ) k µ )' (3.34) Şekl 3.9 Baum-Welch algormasına başlamadan önce başlangıç değer bulma adımları (3.33) ve (3.34) de verlen fadelerde, (3.3) ve (3.3) den farklı olarak şlemlere (3.8) de anımlanan γ () kaılmış, böylece gözlem vekörünün drek br duruma aanması yerne o gözlem vekörünün o durum arafından ürelme olasılığı değerlendrlmş olur.

39 8 k K Eğm se olarak Χ = { O } k= verldğnde, Şekl 3.0 da özelenen Baum-Welch algormasının adımları gerçekleşrlerek model paramereler kesrlmş olur. Durma şarı K k P( Χ λ ) = P( O λ) olasılığının ararak bell br nokaya gelmesdr. k= Şekl 3.0 Baum-Welch algormasının adımları 3.6 Saklı Markov Modeln Vdeo Görünüsünden Hareke Tanımaya Uygulanması Saklı Markov model ses anımaya başarı le uygulanmakadır. Hareke anımaya lk uygulanışı se Yamao vd. (99) arafından 5x5 çözünürlüğünde ens vuruşlarını çeren 6 farklı görünüyü anıma çalışmalarıdır. Vernn bu kadar düşük mkarda olmasına rağmen, elde edlen anıma sonuçlarının hayl y olması saklı Markov modellern hareke anıma çn ne denl uygun olduğunu gösermeye yemşr. Hareke sınıflandırmak çn saklı Markov model kullanıldığında her sınıfa karşı gelen br model bulunmalıdır. Örneğn, 45 farklı hareke sınıflandırmak çn her görünü çn paramereler farklı 45 model belrlenmeldr. Herhang br kelmeye karşı gelen br şare dl hareke, gözlem dzs O = o o ot le fade edleblr. Bu durumda, hareke arka arkaya gelen görünü çerçevelernn oluşurduğu br yapı olarak düşünülürse, br harekee karşı gelen O gözlem dzsnn her elemanı da br çerçeveye karşı gelr (Şekl 3.).

40 9 HAKAN HABERDAR 005 Dzdek Şekl 3. Görünü çerçevesnden gözlem dzs oluşurulması o elemanı, anındak görünü çerçevesnden çıkarılmış özellkler çeren gözlem vekörüdür. Tab burada şu belrlmeldr k, uygulamaya göre özellklern sayısı ve aldığı değerler değşeblr. Eğer gözlem vekörünün elemanları V = v, v,, v } gb br kümeden { M sınırlı değerler alıyorsa, gözlem vekörü ayrıkır denr. Şaye görünü çerçevesnden elde edlen özellkler sürekl değerl se mulaka br kuanalama meodu le bu değerler ayrık hale gerlmeldr (Alpaydın, 004) yada Bölüm 3.5 de ncelenen sürekl saklı Markov model kullanılmalıdır. Bu çalışmada sürekl saklı Markov model kullanılarak hareke anıma çalışması yapılmışır. Öncelkle eğm vers kullanılarak, G ayrı saklı Markov model eğlp model paramereler belrlenmşr (Şekl 3.). HAKAN HABERDAR 005 HAKAN HABERDAR 005 Şekl 3. Saklı Markov model le hareke anıma O gözlem dzsnn hang kelmeye karşı geldğn anlamak çn, ssemn anıdığı G ane

41 30 harekee karşı gelen G farklı saklı Markov modeln bu gözlem üreme olasılıkları P( O λ ), =,, G, ler-yön yada ger-yön algormaları kullanılarak hesaplanır. En büyük olasılığı sağlayan modeln bu gözlem üreğ kabul edlr ve O gözlemne modele karşı gelen kelmedr denlr.

42 3 4. ÖZELLİK SEÇİMİ Bas br hareke anıma ssem ışık kaynağı, görünü yakalama aygıı ve vernn şleneceğ blgsayardan oluşur. Ssem asarlamanın öneml br adımı, ssemn çalışacağı oram dkkae alınarak uygun özellk seçmdr. Elde edlen vernn sağlıklı değerlendrleblmes çn öncelkle vernn sağlıklı br oramda alınması gerekr. Farklı ışık koşullarında aynı on ve doygunluk sevyesne sahp renklern farklı değerlerde algılanması nedenyle görününün sayısal orama akarımı sırasında oram şarlarının sseme eks büyükür. Benzer şeklde kullanılan görünü yakalama aygıının özellkler de ssemn şleyşn değşreblecek öneme sahpr. 4. Oramın Aydınlaılması Görünü şleme uygulamasında öneml nokalardan br anes ssemn çalışacağı orama uygun br ışık kaynağı seçmekr. Böylece görünüyü yleşrme aşaması çn harcanacak zaman mnmuma ndrlmş olur. Olası ışık kaynaklarından brkaçını şöyle sıralanablr: gün ışığı; çıplak ampul; flüoresan lamba ve haloen lamba. Genelde gün ışığını görünü şleme ssemlernde aydınlama kaynağı olarak düşünmek doğru olmaz çünkü ışığın reng ve parlaklığı gün çersnde değşmekedr. Çıplak ampuller ucuz br seçenek olsa da zaman zaman kamera le senmeyen ekleşmler meydana geldğ çn görününün kales düşmekedr. Br dğer nokada doğrudan akım le çalışmaları nedenyle çok ısınmaları ve buna bağlı olarak düzgün dağılımlı aydınlama sağlayamamalarıdır. Flüoresan lambaların homoen aydınlama alanı çok genşr ve çok ısınmazlar. Tek olası dezavanaı kaplama maddesnden kaynaklanan bazı spekral sınırlamalardır k bazen uygulamaya bağlı olarak bu senlen br özellk olablr. Uygun özellklernden öürü flüoresan lambalar brçok görünü şleme ssemnde kullanılmakadır (Erhard-Ferron, 000). Bu nedenlerden öürü, ez çalışmasında asarlanan ssemde oramın aydınlaılmasında ane 0 W Phlps Energy Saver flüoresan lamba kullanılmışır (Şekl 4.). Şekl 4. Oramın aydınlaılması

43 3 Tab burada öneml br başka nokada kameranın, ışık kaynağının ve obenn konumudur. İşn başında very en doğru şeklde alablmek çn, Şekl 4. de göserldğ üzere kameranın ve ışık kaynağının obenn aynı arafında olduğu aydınlama yapısı kullanılmışır (Erhard- Ferron, 000). 4. Görünü Yakalama Aygıı Brçok görünü şleme ssemnde CCD (Charge Coupled Devce) alıcılar büyük öneme sahpr. CCD kameralarda mekank parça yokur, gelen ışık ışığa duyarlı yarı leken elemanlar çeren CCD alıcının üzerne düşer. Pksel olarak düşünüleblecek bu elemanlar mars yada saır şeklnde sıralıdırlar. Brçok ssemde erch edlmesnn nedenlernden br anes düşük ışıka ble kalel görünü yakalamaya mkan vermesdr (Erhard-Ferron, 000). Ver kalesn arırablmek çn görünü yakalama aygıı olarak Phlps PCVC 840K model kamera kullanılmışır. /3 VGA CCD alıcısı olan kamera sanyede 60 çerçeve oranına sahpr ve lüksen daha düşük ışık olan oramda ble kalel görünü lem yapablmekedr []. Dengel br ssemn asarlanablmes çn kullanılan kameranın parlaklık, doygunluk, beyaz denges vb. gb çerçeve lem sırasında oram ve görünü şarlarına bağlı olarak oomak değşeblen paramerelern sab br değerde kalması sağlanmalıdır (Sangwne ve Horne, 998). 4.3 Görünüde Ellern Bulunması Görünü abanlı şare dl anıma ssemlernn çoğunda, kullanıcının çeşl ürlerde renkl eldven gymes senmekedr. Bu yaklaşım gerçek zamanlı asarım hyaçlarını karşılamak ve anınacak hareke sayısını arırmak çn kullanılmakadır. Ancak, hasane, banka vb. gb alanlarda çalışan hareke anıma ssemnn kullanıcının gydğ eldvene bağlı olması çok uygun gözükmemekedr. Bu nedenle, asarlanan ssemde nsanın en rengne a özellkler kullanılarak ellern akb gerçekleşrlmşr. Ayrıca, dğer araşırmalarda genellkle kullanılan 30x40 çözünürlük yerne, 60x0 çözünürlükek görünü le çalışılmış, böylece en reng belrlemek çn gereken zaman mnmuma ndrmek amaçlanmışır. Tanıma ssemnde Hsu vd. nn (00) önerdkler en reng anıma yönem kullanılmışır. Yönem ncelemeye başlamadan önce renk uzaylarını ncelemek faydalı olacakır.

44 Renkl Görününün Temel Özellkler İnsanların renkler algılaması gözün mevcu ışığa epk vermes ve beynn bu epky snrsel şlemlerden geçrmes le gerçekleşr. Renkler, nsan gözünde vdeo ssemlernde kullanılan üç emel renge (RGB, Kırmızı Yeşl Mav) kabaca karşı gelen uzun, ora ve kısa dalga boylarının lneere yakın oranlarda meydana gerdğ kombnasyonlar olarak algılanır. Br reng oluşuran emel özellkler renkllk (Chromnance) ve aydınlık (Lumnance) bleşenlerdr. Renkllk renk onu ve doygunluğunu verrken, aydınlık bleşen de parlaklık blgsn verr (Russ, 999) Renk Uzayları Renkl görünüyü fade emek çn, saklama oramları ve uygulamaların gereksnmlerne uygun olacak şeklde çeşl renk uzayları kullanılmakadır. Kullanılacak uzayın seçm yapılacak şleme göre değşmekedr. Br reng br uzayda emsl emek çn genelde şu öğeler kullanılır: emel renk bleşenler; parlaklık; renk onu; doygunluk RGB Renk Uzayı Genellkle renklern ekranda göserlmes çn kırmızı, yeşl ve mav bleşenlerden oluşan RGB uzayı kullanılır. Üç emel rengn 0 le 55 arasında değerler alan parlaklık oranlarının oplamalı karışımıyla elde edlr. Kırmızı le yeşln oplamından sarı, yeşl le mavnn oplamından urkuvaz, kırmızı le mavnn oplamından da sklamen renkler elde edlr. Üç emel rengn aynı parlaklık sevyelernn oplanmasıyla gr onları elde edlrken, üç bleşenn saf hallernn oplamı le beyaz renk elde edlmş olur. Şekl 4. de verlen örnek resmn kırmızı, yeşl ve mav renk bleşenler Şekl 4.3 de verlmşr. Şekl 4. İçnde çok çeşl renkler çeren, Ebru Sanaı le yapılmış örnek resm [3] Aşağıda verlen emek renk bleşenler le ornal resm karşılaşırıldığında renk oluşumunda bleşenlern kakısı kolayca anlaşılmakadır. Örneğn, ornal resmn merkez cvarında

45 34 bulunan kırmızı yoğunluklu bölgenn, yeşl (Şekl 4.3(b)) ve mav (Şekl 4.3(c)) renk bleşenlerne a resmlerde koyu onlu renklerle fade edldğ görülmekedr. Bunun neden, o bölgedek renge, yeşl ve mav bleşenn kakısının sıfıra yakın olması, dolayısıyla syaha yakın koyu onlarda renkler oluşmasıdır. HAKAN HABERDAR 005 HAKAN HABERDAR 005 HAKAN HABERDAR 005 Şekl 4.3 (a) Kırmızı bleşen (b) Yeşl bleşen (c) Mav bleşen RGB uzayında her br pksel 3 bay le göserldğnden, görünüyü hafızada bu formaa saklamak çok yer kaplar. Bundan dolayı RGB uzayı görünü saklama yada lem açısından elverşl değldr. Görünü şleme açısından da pek uygun olmayan bu uzayda yapılan şlemler uzun sürmekedr. Ayrıca yapılan bazı görünü yleşrme şlemlernde renk alamaları meydana gelmekedr (Gonzalez ve Woods., 993).

46 YIQ ve YUV Renk Uzayları RGB uzayında saklanan görününün çok yer kaplaması nedenyle, elevzyon yayıncılığında kullanılan ban genşlğn en aza ndreblmek çn, donanıma bağlı olarak YUV yada YIQ (Luma, Inphase, Quadraure) uzayları kullanılır. Y rengn parlaklık blgsn aşır ve renkl görününün gr sevyel haln (Şekl 4.4) fade eder, UV ya da IQ bleşenler de renk blgsn aşır (Russ, 999). Şekl 4.4 Verlen örnek resmn Y (gr sevyel) bleşen Avrupa da yaygın olarak kullanılan PAL (Phase Alernang Lne) ssemlerde YUV uzayı, Amerka da kullanılan NTSC (Naonal Televson Sandards Commee) ssemlerde se YIQ uzayı kullanılmakadır. Bu uzaylar le RGB uzayı arasındak lşk (4.) ve (4.) de verlmekedr. Y 0.99 = U 0.47 V R G 0. B (4.) Y 0.99 = I Q R 0.3 G 0.3 B (4.) Böylece görününün parlaklık özellğ le renkllk bleşenlern brbrnden ayrılmış olur. YUV uzayının yen eknololerde kullanılmasının nedenlernden br anes nsanın görme duyusunun, uzaysal bleşenlerden renkllğe parlaklıkan daha az duyarlı olmasıdır. Bu nedenle YUV uzayında kroma bleşenler parlaklık bleşenne göre daha az örneklenr (Russ, 999). Y bleşen görününün syah-beyaz elevzyonlardak bleşenn aşımakadır HSI, HSV ve YCbCr Renk Uzayları Görünü şleme uygulamaları açısından HSI (Hue Sauraon Inensy), HSV (Hue Sauraon

47 36 Value) ve YCbCr (Lumnance, Mav renkllk, Kırmızı renkllk) uzayları daha uygun gözükmekedr. Çünkü bu uzayların renk bleşenlern ayırım bçm, nsan görme ssemnn algılama şekl le örüşmekedr. HSI uzayı bleşenler, H (Hue) emek renk onunu, S (Sauraon) se rengn mkarını fade eder. Örneğn pembe ve kırmızı renkler çn H değer aynı ken farklı oranlarda kırmızı renk çermeler nedenyle S değerler farklıdır. I (Inensy) değer se rengn parlaklığını verr (Russ, 999). Şekl 4.5(a) da verlen görününün H, S ve I bleşenler sırasıyla verlmşr. Şekl 4.5 (a) Ornal resm (b) H bleşen (b) S bleşen (b) I bleşen (Russ, 999) RGB uzayından HSI uzayına dönüşümler (4.3) de verlmşr. [0,],, ) ( 3 )],, [mn( ) ( 3 )] )( ( ) [( )] ( ) [( cos / + + = + + = + + = B G R B G R I B G R B G R S B G B R G R B R G R H (4.3)

48 37 (4.), (4.) le (4.3) karşılaşırıldığında RGB uzayından YUV ve YIQ uzayına dönüşümün ve bunu donanımsal olarak gerçekleşrlmesnn daha kolay olduğu görülmekedr. Bu açıdan bakıldığında YUV ve YIQ uzaylarının neden elevzyon yayıncılığında kullanıldığı kolayla anlaşılmakadır. Görünü şleme açısından uygun olan br dğer renk uzayı da HSV uzayıdır. HSV renk uzayı nsanın algılamasına uygun olarak açısal br koordna ssemne sahpr. Kırmızı, mav ve yeşln doğrusal olmayan br şeklde yenden organze edlmş şekldr. HSI uzayına benzer şeklde, H (renk onu) emel rengn dalga boyunun ölçüsüdür, S (doygunluk) se rengn saflık ölçüsüdür ve V bleşen de rengn parlaklığını verr. YCbCr uzayı elevzyon snyal kodlama uzayları YUV ve YIQ den bağımsız olmakla brlke, Y bleşen bu uzaylarda olduğu gb rengn parlaklık blgsn aşır. Renkllk bleşenler se renk ve doygunluk blgsn verr. YCbCr uzayı vdeo görünü kodlamasında ve görünü sıkışırma uygulamalarında kullanılmakadır (Sangwne ve Horne, 998). Renk bleşenlern ayırım bçm bakımından görünü şleme çalışmalarına oldukça uygundur Ten Reng Tanıma Yüz anıma ssemlernde, en büyük sorun görünüde yüzün bulunmasıdır. Genelde yüzün konumu konusunda bazı ön kabuller yapılarak arama yapılır, ancak bu ön kabuller çoğu zaman gerçek haya uygulamaları çn doğru sonuç vermez. Hsu vd. 00 de gelşrdkler yüz anıma algorması, renkl resmlerde yüzü bulurken lk adım olarak görünüde en reng olablecek pkseller başarı le ayır edeblmekedr. Renkl görünüde en rengn bulablmek çn yapılması gereken ön öneml adım Bölüm 4.3. de bahsedlen renk uzaylarından doğru olanını seçeblmekr. Ten reng anıma konusunda farklı renk uzaylarında brçok çalışma yapılmış ve en y sonuçların TSL (Tn Sauraon Luma) uzayında elde edldğ belrlenmşr (Terrllon vd., 000). Ancak RGB uzayından TSL uzayına çf araflı dönüşüm bağınıları ağır maemaksel fadeler çerdğnden, gerçek zamanlı uygulamalar çn pek uygun değldr. Bu nedenle, Hsu vd. (00) rengn renkllk ve parlaklık bleşenlern ayırma şekl TSL uzayına benzeyen YCbCr uzayını kullanılarak en reng anıma uygulaması yapmışlardır. Yapılan çalışmaların çoğunda en reng olan pkseller çn renkllk bleşenlernn parlaklık bleşennden bağımsız olduğu varsayımı yapılmışır, ancak en reng onları lneer olmayan br şeklde parlaklığa bağlıdır. Hsu vd. (00) se yüz verabanından alınan en reng örneklern YCbCr uzayında belrlemş ve bazı maemaksel fonksyonlar yardımıyla dönüşümler yaparak bu bağımlılığın

49 38 oradan kaldırılmasını sağlamışlardır. Böylece YCbCr uzayında belrl sınırlar çnde kalan pkseller en reng olarak değerlendrlmşr (Şekl 4.6). Şekl 4.6 (a) Ornal resm (b) Aday en reng pksellern bulunduğu resm YCbCr renk uzayında, renkllk bleşenler (Cb ve Cr) parlaklık (Y) bleşennn fonksyonu olarak Cb(Y) ve Cr(Y) şeklnde fade edlrse, Cb (Y) ve Cr (Y) se dönüşürülmüş renkllk bleşenlerdr. Gerekl dönüşümler aşağıda verlmşr. < < + = ], [ ), ( ), ( ) ( )) ( ) ( ( ) ( h l h l h C C ı K K Y Y C Y yada K K Y K C Y W W Y C Y C Y C (4.4) < + < + = Y K K Y WH W Y Y WH K Y Y K WL W Y Y WL Y W h h maks C C maks C l l C C C C, ) ( ) (, ) ( ) ( ) ( mn mn (4.5) + < + = Y K K Y K Y K Y Y K Y K Y C h h maks h l l l b, 08) (8 ) ( 08, 08) (8 ) ( 08 ) ( mn (4.6) < = Y K K Y K Y K Y Y K Y K Y C h h maks h l l l r, 3) (54 ) ( 54, 44) (54 ) ( 54 ) ( mn (4.7) HAKAN HABERDAR 005

50 39 (4.4) ve (4.5) de C fades Cb ya da Cr ye karşı gelr. (4.4), (4.5), (4.6) ve (4.7) de verlen sablern değerler: W = 46, 97, WL = 3, WH = 4, W = 38, 76, WL = 0, C b C b WH =0, K = 5 ve K = 88 dr (Hsu vd., 00). Bu sabler verabanındak örnek C r l h en reng verlernden elde edlen değerlerdr. Y mn ve Y maks sabler YCbCr uzayında sırasıyla C b C r C r 6 ve 36 değerlerne eşr ve en reng olablecek pkseller çn elpk model dönüşürülmüşür (4.7) ve (4.8). C uzayına ı C ı b r ( x ec a x ) ( y ec + b y ) = (4.8) x cosθ = y snθ snθ C cosθ C ı b ı r c c x y (4.9) (4.8) ve (4.9) da verlen sablern değerler: c = 09, 38, c = 5, 0, θ =, 53, ec =, 60, x ec =,4, a = 5, 39 ve b = 4, 03 dr. (4.8) ve (4.9) fadelern sağlayan x ve y değerler en y reng bölgelernn C uzayında oluşurduğu kümeye denk gelmekedr ve elpk alan ı C ı b r çnde kalan pkseller en reng bölgelerdr (Hsu vd., 00). Yapılan eslerde görülmüşür k, görünüdek bazı pksellern en rengne çok benzemes nedenyle haayla en olarak belrlenmes mümkün olmakadır (Şekl 4.7). y x HAKAN HABERDAR 005 Şekl 4.7 (a) Ornal Resm (b) Ten olmayan bölgelern seçlmes Bu nedenle, aday en reng pkseller belrlendken sonra bazı ek konroller yapılarak bu bölgelern gerçeken el ya da yüz olup olamayacağı konrol edlmeldr.

51 El ve Yüz Olablecek Şekllern Değerlendrlmes Aday en reng pkseller belrlendken sonra oluşurdukları bölgeler bağlanılı bleşen ekeleme (CCL, Conneced Componen Labelng) yönemyle gruplandırılır. CCL algorması görünüde en olablecek pksellern komşuluklarına bakarak kaç farklı grup olduğunu belrler (Gonzalez ve Woods, 993). Aynı grupa bulunan üm pksellere aynı eke değer aanır. CCL algormasının adımları aşağıda verlmşr: Ten reng olan pkseller görünüde sol üs köşeden başlayarak konrol edlr. Pkseln sol komşusunun grup ekene bakılır. Eğer komşu ekelenmş se komşu ekenn değer mevcu pksele verlr. Eğer komşu ekelenmş ama değer mevcu pksel le aynı değlse, bu k eken aynı gruba a olduğu blgs no edlr. Bu şlemler Şekl 4.8 de göserlen 4 komşuya sırasıyla uygulanır. Tüm pkseller gözden geçrldken sonra aynı grup olduğu belrlen ekeler düzenlenr. Şekl 4.8 CCL algormasında p pkselnn a,b,c,d le göserlen 4 komşuna bakılır Burada en çok üyeye sahp lk üç grup yüz ve eller olarak kabul edlr, dğer grupları oluşuran üyelern gürülü olduğu kabul edlp değerlendrme dışı bırakılır. En fazla üyeye sahp olan C grubu yüz olarak kabul edlr, knc ve üçüncü en büyük gruplar C, C 3 eller olarak kabul edlr. Görünü sol arafan aranarak bulunan lk el grubunun sol el olduğu varsayımı yapılır. Buna ek olarak, her üç grubun boyularının gerçeken 60x0 çözünürlüğündek br görünüde el ve yüze a olup olamayacağı konrol edlr. F mn F maks ve H mn H maks çfler 60x0 çözünürlükek br görünüde sırasıyla ellern ve yüzün olableceğ mnmum ve maksmum değerler gösermekedr. Bu eşk değerler eğm vers olarak kullanılan görünülerden elde edlmşr. S, S ve S 3 sırasıyla görünüde yüz ve eller olarak belrlenen grupların boyuları olmak üzere: Eğer F mn < S < F maks se C grubu yüzdür. Eğer H mn < S < H maks ve H mn < S 3 < H maks se C ve C3 grupları eldr.

52 4 Burada yapılan kabullern doğru olablmes çn aşağıdak koşullar varsayılmışır:. Sol el her zaman sağ eln solundadır.. Eller hçbr zaman yüzün üs sınırını geçemez. CCL algorması le görünüde eller ve yüz Şekl 4.9 da göserldğ gb ayır edleblmekedr. HAKAN HABERDAR 005 Şekl 4.9 CCL algorması le en reng olan pksellerden ellern ve yüzün bulunması Eller ve yüz belrlendken sonra, eller ve yüzü oluşuran pksellern mnmum ve maksmum koordnaları kullanılarak elde edlen el ve yüz çerçevesnn merkezler (Şekl 4.0) br sonrak görünüde ellern ve yüzün yerlern hızlıca bulablmek çn kullanılır. HAKAN HABERDAR 005 Şekl 4.0 Ellern merkezlernn bulunması 4.4 Hareke Takb Tüm pksellern aranarak uygun aday en reng pksellern elde edlmes ve sonrasında yapılan şlemler gerçek zamanlı çalışan ssemlerden beklenen performansı düşüreblecek durumdadır. Bu nedenle eller ve yüz belrlendken sonra, aynı şlemler ekrar ekrar yapmak yerne ellern ve yüzün merkez koordnalarını br sonrak çerçevede kullanarak, yerlern daha hızlı bulmak mümkün olmakadır. Merkez koordna olan pksellern 8 komşusuna ynelemel olarak bakılarak ellern ve yüzün yer bulunmakadır (Sarner, 995). Zaman zaman ellern hızlı hareke nedenyle bu yönem sonuç vermedğnde, üm pkseller eker

53 4 eker konrol edlerek arama yapılmış ve eller bulundukan sonra ekrar merkeze bağlı arama yapılmışır. Bu yönem döngüsü eller kaybedldğ sürece brbr ardına devam emekedr. Burada hareke akb çn yapılablecek br dğer çalışmada çerçeve farkını alarak bell br eşk değernn üzernde olan bölgelerde hareke olduğunu varsayıp bu bölgelerde el aramakır (Zhao vd., 004). Tab bu şlem ssem daha fazla yoran br çözümdür. 4.5 Anahar Çerçeve Seçm İşare dln meydana geren kelmeler zamanda ve uzayda değşr. Şöyle k, br kş aynı şare k kere ekrarladığında her k hareke arasında farklılıklar oraya çıkablmekedr. Alamalı geçşlere sahp olan br saklı Markov model bu farklılıkların üsesnden gelerek anıma yapablr (Sarner, 995). Bununla brlke, üm şareler çn değşmeyen sayıda duruma sahp aynı saklı Markov model kullanmak uygun olmaz çünkü ssemn anıdığı şareler arasında uzun ve kısa sürel şareler vardır. Bu problem aşmak çn hareke meydana geren üm çerçeveler dkkae almak yerne anahar çerçeve adı verlen 4 çerçeve kullanılmışır. Br hareken başlangıç ve bş anları belrlendken sonra hareke süres üç eş parçaya bölünmüş ve Şekl 4. de göserldğ gb anahar çerçeveler seçlmşr. Şekl 4. Anahar çerçevelern seçlmes İk farklı şaree a harekeler sırasında ellern zledğ konum blgs Şekl 4. de verlmşr. Burada gr kareler hareke sırasında üm çerçevelerde ellern yerlern göserrken, syah kareler se anahar çerçevelerde ellern konumlarını gösermekedr. HAKAN HABERDAR 005 Şekl 4. İşare sırasında ellern konumu Şekl.4 e verlen global özellk grupları ncelendğnde, ssemn anıyabldğ harekelern

54 43 br kısmının ek elle br kısmının da k elle gerçekleşrlen harekeler olduğu görülmekedr. İk elle gerçekleşrlen harekelerden Şekl 4. (a) ve (b) de verlenler dkkalce ncelendğnde her k şaree a farklı özellkler dkka çekmekedr. Şöyle k, Şekl 4. (a) da verlen şaree her k elde smerk harekeler yapıldığı ancak Şekl 4. (b) de sağ ve sol eln harekelernn smerk olmadığı görülmekedr. Bu asmernn neden k elle gerçekleşrlen bazı şarelerde ellern farklı hareke yapması ve hareken farklı sürelerde amamlanmasıdır. Bazı durumlarda br eln hareke amamlamışken dğer eln hareke devam emekedr. Şekl.4 e bakıldığında, örneğn a3 ve d5 gruplarında her k eln farklı harekeler yapığı kolayca anlaşılmakadır. Bu farklılığa bağlı olarak, her k el çn farklı k anahar çerçeve seçc kullanılmışır. İk elle gerçekleşrlen harekelerde, sağ ve sol eln hareke kend çnde farklı üç parçaya bölünmüş ve dolayısıyla her k el çn farklı anahar çerçeveler seçlmşr. Harekelern başlangıç ve bş nokaları belrlenrken, şare gerçekleşren kşnn şareler arasında kısa sürel beklemeler yapığı varsayılmışır. Böylece ellern konumları belrlenen br eşk değernden fazla yer değşrrse şaren başladığı ve konumları sablendğnde de şaren bğ sonucu çıkarılablr. Ayrıca bazı durumlarda eln merkeznn değşmemesne rağmen parmakların hareke erlmesyle şare yapılmakadır. Böyle br durumda ellern merkez nokalarının sab kalması hareken olmadığı anlamına gelmemekedr. Bu nedenle, ek br konrol yapılıp Şekl 4.0 da göserlen el dış çerçevelernn boyularının değşp değşmedğne dkka edlmekedr. 4.6 Global Özellklern Çıkarılması Öncek bölümlerde, şare dln meydana geren harekelern ayır edc özellklernn global ve yerel özellkler olmak üzere kye ayrıldığından bahsedlmşr. Tez çalışmasında asarlanan ssem, bu özellkler ayrı ayrı değerlendrldğ çn k aşamalı br anıma yapmakadır. İlk aşama olarak, hareke sırasında ellern zledğ yörünge blgs yan şaren global özellkler değerlendrlmşr. Seçlen 4 anahar çerçevede ellern yaay ve dkey koordnaları (Şekl 4.3) kullanılarak (4.0) da verlen özellk mars, saklı Markov modellere grd olarak verlmşr.

55 44 Şekl 4.3 Koordna ssem = L L R R L L R R L L R R L L R R y x y x y x y x y x y x y x y x h (4.0) Ancak yapılan eslerde (x, y) koordna ssemnn ornnn çerçevenn sol üs köşes olarak belrlemenn (Şekl 4.3) bazı sorunlar oraya çıkardığı belrlenmş ve sağlıklı anıma sonuçları alınablmes çn şare yapan kşnn her defasında kameraya aynı açıda bakması gerekğ görülmüşür. Şekl 4.4 e göserldğ gb, aynı hareke farklı zamanlarda ekrarlandığında, kamera açısına bağlı olarak ellere a çok farklı konum blgler elde edleblmekedr. Şekl 4.4 Aynı şaren farklı kamera açılarıyla ekrarlanması Bu sorunu aşmak çn ellern anahar çerçevelerdek konum blglern doğrudan kullanmak yerne çerçeveler arasındak konum değşrme blgsn kullanma yoluna gdlmşr. Bu durumda (4.0) da verlen özellk mars, k anahar çerçevenn nds ve = k k k x x x olmak üzere (4.) dek hal almışır. = L L R R L L R R L L R R y x y x y x y x y x y x h (4.) Ancak bu durumda da ayır edc br özellk olan, ellern harekee başlarkenk konumları blgs (Şekl.4) kullanılamamış olur. Sadece konum değşrmelern kullanmak farklı HAKAN HABERDAR 005 HAKAN HABERDAR 005

56 45 konumlarda harekee başlayan ama eş mkarda yer değşrme yapılan harekeler ayır emey güçleşrr. Sonuç olarak farklı br koordna ssem kullanıp, ellern hareken başında hang konumda olduğu blgsnden faydalanılmasına karar verlmşr. Bölüm. de belrldğ üzere ssem çerçeve çersnde anıma çn kullanmasa ble yüz bölgesn bulablmekedr. İşarelern gerçekleşrlmes sırasında ellern yüze göre olan bağıl konumları şare gerçekleşren kşnn kameraya göre nerede durduğundan bağımsızdır. İşareç, görünü çerçevesnn soluna ya da sağına yakın dursa ble yüzü referans almak Şekl 4.4 le göserlen problemn üsesnden gelmekedr. Bu nedenle, yüzün merkez nokasının, kullanılacak yen koordna ssemnn orn olmasına karar verlmşr (Şekl 4.5). HAKAN HABERDAR 005 Şekl 4.5 Orn yüzün merkez nokası olan koordna ssem Harekee başlamadan önce ellern konum blgsnn de özellk marsne eklenmes sonucu (4.) de verlen global özellk mars elde edlmş olur. x R y R x L y L x R y R xl y L h = (4.) x R y R xl y L x R y R xl y L 4.7 Yerel Özellklern Belrlenmes Ssemn anıyabldğ harekeler ncelendğnde sadece global özellklere göre sınıflandırma yapmanın yeersz olduğu açıkça görülmekedr. Aynı global özellk grubuna sahp olup yerel özellkler, yan hareke sırasında eln bçmnn farklı brçok şare bulunmakadır. Örneğn a global özellk grubuna (Şekl.4) a 4 ane şare bulunmakadır ve bu şareler

57 46 gerçekleşrlrken eln aldığı bçmler Şekl 4.6 da verlmşr. Şekl 4.6 Eln aldığı bçm :(a) acımak, (b)aksaray, (c) korkmak, (d) subay [] Şekl 4.6 da verlenler ncelendğnde, çok sayıda kelme anıyablen br ssem asarlayablmek çn yerel özellklern de hesaba kaılması gerekğ anlaşılmakadır. Yapılan denemelerde, aynı hareken brden fazla ekrarlanması durumunda, eln aldığı bçmn her zaman amamen aynı kalmamakla brlke çok da fazla değşmedğ gözlenmekedr. Şekl 4.7 de aynı hareken 3 defa ekrarlanması sırasında, anahar çerçevelerde ellern bçmler göserlmekedr. Buna ek olarak, harekeler üzernde yapılan denemelerde farklı şaree a harekelern. ve 3. anahar çerçevelernde eln aldığı bçmn zaman zaman aynı olduğu gözlemlenmşr. Bu nedenle hem gerçek zamanlı çalışma şarlarının sağlanması hem de daha belrgn özellklern kullanılablmes çn sadece hareken başladığı ve bğ anda (. ve 4. anahar çerçeve) eln bçmnn değerlendrmenn yeerl olduğu sonucuna varılmışır. HAKAN HABERDAR 005