GİZLİ MARKOV MODELİ İLE GENİŞ SÖZLÜKLÜ SÜREKLİ KONUŞMA TANIMA

YILDIZ TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ GİZLİ MARKOV MODELİ İLE GENİŞ SÖZLÜKLÜ SÜREKLİ KONUŞMA TANIMA Ea USLU FBE Blgsaya Mühedslğ Aablm Dalıda Hazılaa YÜKSEK LİSANS TEZİ Tez Daışmaı: Yd. Doç. D. M. Elf KARSLIGİL İSTANBUL, 007

YILDIZ TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ GİZLİ MARKOV MODELİ İLE GENİŞ SÖZLÜKLÜ SÜREKLİ KONUŞMA TANIMA Ea USLU FBE Blgsaya Mühedslğ Aablm Dalıda Hazılaa YÜKSEK LİSANS TEZİ Tez Daışmaı: Yd. Doç. D. M. Elf KARSLIGİL Jü: Yd. Doç. D. Bau DİRİ Jü: of. D. Fe GÜRGEN İSTANBUL, 007

İÇİNDEKİLER Sayfa SİMGE LİSTESİ... v KISALTMA LİSTESİ... v ŞEKİL LİSTESİ... v ÇİZELGE LİSTESİ... x ÖNSÖZ... x ÖZET... x ABSTRACT... x. GİRİŞ.... Aus.... İsada Kouşma, Duyma....3 Kouşma Taıma... 4.4 Öce Çalışmala... 5. KONUŞMA TANIMADA KULLANILAN YÖNTEMLERE GENEL BAKIŞ.. 0. Özell Çıaım Yöemle... 0.. Sıfı Geçş Sayısı..... Eej Sevyes, Tepe Değe ve Tepe Değe Geçş Sayısı.....3 Doğusal Ögöülü Kodlama İle Özell Çıaımı.... Özell Sııfladıma Yöemle... 3.. Dam Zama Bümes... 3.. Yapay S Ağlaı... 5 3. FONETİK... 7 3. açalı Sesbmle... 7 3.. Tüçe de açalı Sesbmle... 7 3.. İglzce de açalı Sesbmle... 8 3. açalaüsü Sesbmle... 9 4. MEL FREKANS KESTRAL KATSAYI ÖZELLİKLERİ KULLANILARAK GİZLİ MARKOV MODELİ İLE GENİŞ SÖZLÜKLÜ SÜREKLİ KONUŞMA TANIMA... 0 4. Öşlemle... 4.. Ses Ves Sayısallaşıılması...

4.. Ö-Vugulama... 4..3 eceeleme... 3 4. Mel Feas Sepsum Yöem le Özell Çıama... 5 4.. Speal Aalz... 6 4.. Fle Baası Uygulama... 9 4..3 Log Eej... 30 4..4 Ayı Kosüs Döüşümü... 3 4..5 Özell Veöüü Oluşuulması... 3 4..6 K-Oalama Veö Kuaalama Yöem le Özell Azalılması... 3 4.3 Aus Model... 3 4.3. Maov Zcle... 3 4.3. Gzl Maov Model... 35 4.3.. İle/Ge Algoması... 36 4.3.. Veb Algoması... 38 4.3..3 Baum-Welch Algoması... 39 4.3.3 Gzl Maov Model Geş Sözlülü Süel Kouşma Taımada Kullaımı45 4.4 Dl Model... 46 5. UYGULAMA... 47 5. Ö İşlemle... 47 5. Özell Çıaımı... 48 5.3 Model Oluşuma ve Eğm... 5 5.4 Tes ve Taıma... 55 5.4. İ Raamlı Ayı Kouşma Deey Kugusu... 56 5.4. Douz Raamlı Ayı Kouşma Deey Kugusu... 57 5.4.3 Kısılı Sayıda Tealı Süel Kouşma Deey Kugusu... 58 6. SONUÇLAR VE ÖNERİLER... 6 KAYNAKLAR... 64 ÖZGEÇMİŞ... 68

SİMGE LİSTESİ p, Basıcı zamaa ve yee bağlı fosyou u, Oamda paçacılaı hızıı zamaa ve yee bağlı fosyou, Kovayas fosyou x w Xw x Fs f x[] X[] m f A B S A B N M a j b j Q O q v o Oooelasyo fosyou eceeleme fosyou Foue döüşümü soucu veya ayı zamalı Foue döüşümü soucu Zama boyuuda syal Laplace döüşümü soucu veya amaşı değşel fosyo Tes Laplace döüşümü soucu veya zama değşel fosyo Zama boyuuda ayı syal Ayı Foue döüşümü soucu Mel feas salasıda b değşe Feas salasıda b değşe Koşullu olasılı Gzl Maov Model Gzl Maov Model duum ümes Gzl Maov Model duumla aası geçş mas Gzl Maov Model gözlem sembolle geçeleşme olasılı mas Gzl Maov Model başlagıç duumu olma olasılı veöü Gzl Maov Model duum sayısı Gzl Maov Model gözlem sembolle sayısı duumuda j duumua geçş olasılığı j duumuda gözlem sembolüü geçeleşme olasılığı duumu başlagıç duumu olma olasılığı Duum dzs Gözlem dzs aıda buluula duum Gözlem ümes ıcı elemaı aıda gözlem sembolü İle değşe Ge değşe v

ˆ ˆ,j j a j Nomalze edlmş Fowad değşe Nomalze edlmş Bacwad değşe aıda de j ye geçş olasılığı aıda duumuda buluma olasılığı duumuda solaa ade gözlem ç e yüse geçeleşme olasılığı E olası duum dzs Tahm edle Gzl Maov Model Tahm edle geçş olasılığı b j Tahm edle gözlem sembolü geçeleşme olasılığı Tahm edle başlagıç duumu olma olasılığı N, Oalama veöü, ovayas mas ola omal dağılım c j j j Sada sapma Kaışım model asayısı Oalama veya oalama veöü Kovayas mas c j Tahm edle aışım model asayısı j Tahm edle oalama veya oalama veöü j Tahm edle ovayas mas v

KISALTMA LİSTESİ ANN CMU db DCT DFT DTFT DTW FFT GMM HMM Hz Hz LC MFCC MFKK ms Afcal Neual Newo Yapay S Ağlaı Caege Mello Uvesy desbel Dscee Cose Tasfom Ayı Kosüs Döüşümü Dscee Foue Tasfom Ayı Foue Döüşümü Dscee Tme Foue Tasfom Ayı Zamalı Foue Döüşümü Dyamc Tme Wapg Dam Zama Bümes Fas Foue Tasfom Hızlı Foue Döüşümü Gzl Maov Model Hdde Maov Model Gzl Maov Model Hez lo Hez Lea edcve Codg Doğusal Ögöülü Kodlama Mel Fequecy Cepsal Coeffces Mel Feas Kepsal Kasayılaı mlsaye v

ŞEKİL LİSTESİ Sayfa Şel. Kouşma ve duyma süece lş şema yapı... 3 Şel. Ses oluşumua lş aaom yapı []... 3 Şel.3 Duymaya lş aaom yapı []... 4 Şel.4 Kazese beş falı sesl haf ç ulladığı ezoas üple [3]... 6 Şel.5 Wheasoe u ouşma maes [3]... 6 Şel. Ses Taıma sseme lş geel blo yapı Cole, 997... 0 Şel. El yazısı aıma ç Dam Zama Bümes yöem gösel olaa geçeleşlmes Nels, 004... 4 Şel.3 Ço amalı pesepo ç geel gösem... 5 Şel 4. Geş Sözlülü Kouşma Taıma ssem geel yapısıa lş blo dyagam... Şel 4. Çözüülüğü öelemeye es... Şel 4.3 N=3 ç ddöge pecee fosyou... 3 Şel 4.4 N=3, 0. 4 ç Gauss pecee fosyou... 4 Şel 4.5 N=3 ç Hammg pecee fosyou... 4 Şel 4.6 N=3 ç Ha pecee fosyou... 4 Şel 4.7 N=3 ç Bale pecee fosyou... 5 Şel 4.8 Özell çıaım adımlaı blo şeması... 6 Şel 4.9 Hızlı Foue Döüşümü adımlaı Cooley, Tuey, 965... 9 Şel 4.0 Fle baası öeğ... 30 Şel 4. a. Egod, b. Solda sağa, c. Solda sağa zolamış Maov model çeşle.... 34 Şel 4. İle algoması ç yeleme adımı şema gösem. Rabe, 989... 37 Şel 4.3 Ge algoması ç yeleme adımı şema gösem. Rabe, 989... 38 Şel 4.4 a. Haala aes, b. Haalaı mula değe, c. Düzgü malye fosyou Baa, 005... 40 Şel 4.5 değşe ç şema gösem. Rabe, 989... 4 Şel 4.6, j değşe ç şema gösem. Rabe, 989... 4 Şel 4.7 Te boyulu aışımlı omal dağılım öeğ... 44 Şel 4.8 GMM eğm ve es aşamalaı blo yapısı... 46 Şel 5. a. Ö-vugulama ve omalzasyo öces, b. soası ses ves... 47 Şel 5. a. B pecee geşlğde ses ves, b. Uygu boyulu Hammg pecee fosyou, c. Ses ves pecee fosyouda geçlmş hal, d. İlgl v

pecee ç hesaplamış MFKK asayılaı... 49 Şel 5.3 a. Ses ves, b. Ses vese lş hesaplamış MFKK asayılaı... 50 Şel 5.4 İ boyulu b uzayda Öld uzalığı... 50 Şel 5.5 Fo veya foem ç emel GMM model paameele l duum aaması... 5 Şel 5.6 B eğm model ç elme bazıda ve fo bazıda çözümleme ves... 5 Şel 5.7 İl oşullaı velmş geel GMM ç a. A mas, b. B mas... 53 Şel 5.8 Sıfıda douza ada ealı aamla ç dl model... 55 Şel 5.9 İ aam ayı elaffuzu ç es model... 56 Şel 5.0 Bde douza ada ola aamlaı ayı elaffuzu ç es model... 57 Şel 5. İ aamlı süel ouşma aıma es model... 59 Şel 5. Cümle es model.... 60 v

ÇİZELGE LİSTESİ Sayfa Çzelge 3. İglzce de ullaıla sesl foemle sııfladıılması [4]... 8 Çzelge 3. İglzce de ullaıla yaım sesl foemle [4]... 8 Çzelge 3.3 İglzce de ullaıla sessz foemle sııfladıılması [4]... 8 Çzelge 3.4 Tüçe ç hece yapısı ve lgl yapılaa lş öele... 9 Çzelge 5. Gözlem sembolü geçeleşme olasılığı... 54 Çzelge 5. 0 ade es öeğ aamlı ayı aam aıma model le sııfladıma souçlaı... 56 Çzelge 5.3 İ aamlı es model ç -alı çapaz geçell sıaması souçlaı... 57 Çzelge 5.4 45 ade es öeğ douz aamlı ayı aam aıma model le sııfladıma souçlaı... 58 Çzelge 5.5 İ aamlı süel ouşma aıma souçlaı... 59 Çzelge 5.6 Süel ouşma cümle es model souçlaı... 60 x

ÖNSÖZ Daışmaım Sayı Yd. Doç. D. M. Elf Kaslıgl e ez çalışmam boyuca be yöleddğ, blgs, değel göüşle ve deeymle baa aadığı ç eşeü edem. Yıldız Te Üveses, Doaım Aablmdalı öğem üyele başa olma üzee YTÜ Blgsaya Mühedslğ bölümüde büü aadaşlaıma baa deselede ve aılaıda dolayı eşeü edem. Lsasüsü eğm süecde beabe leledğmz Selm Nası ve İla A a baa ola dese ve aılaıda dolayı eşeü edem. Sevgl aeme, sevgl babama ve sevgl adeşme, baa gösemş oldulaı sabı ve fedaalılada dolayı ço eşeü edem. Ea Uslu Mayıs, 007 x

ÖZET Blgsaya blmlede ses le lgl çalışmala geel olaa üç aa başlı alıda oplaabl: bula ouşma aıma, ouşmacı aıma-doğulama ve ouşma seezlemed. Aa başlılada ouşma aıma le mae-blgsaya aafıda sa ouşmasıı alaşılması veya buda blg çıaımı hedeflemeed. Bu ez çalışmasıda ço boyulu b aım uzayıa sahp ola ouşma aıma poblem geş sözlülü süel ouşma aıma geesmle aşılayaca şelde çözümüe yöel b uygulama geçeleşlmş. Mel Feas Kepsal Kasayı MFKK özell çıaımı ve Gzl Maov Model GMM le özell sııfladıılması bu çalışmaı emel adımlaıı oluşumaadı. MFKK özellle ouşmacı bağımsız olaa ses vese lş özellle oaya omasıda el b yöemd. GMM de adışıl özellle gelş sıası dae alıaa sııfladıılmasıı sağlaya b yöemd. MFKK özell çıaım adımlaıı ses vese uygulaması le eel değell özell veöle elde edl. MFKK asayılaıa K-oalama yöem uygulaması le e boyulu ayı değell b özell uzayıa geçl. Heb fo ç dö duumlu, solda sağa, ayı çıış olasılılaıa sahp GMM emel modelle uygu l duumlaı velee oluşuulu. Eğmde ullaıla ses vese lş çözümleme doğulusuda emel GMM le b aaya gelee sesle aası geçş sayılaıa göe olasılıladıılıla. Tüm eğm se üzede Baum-Welch algoması çolu gözlem duumu dae alıaa uygulaı ve üm emel GMM le ç model paameele gücelle. Kullaıla yalaşım le GMM model eğm aşamasıda ses üzede eeleme, bölümleme, elme başlagıcı ve bş şaeleme geeğ olmada ses vese lş sas yapı elde edleblmeed. Ssem başaısı falı elmey ayı olaa aıma, ço sayıda elmey ayı olaa aıma, ısılı sayıda ealı elmele süel ouşma yapısıda aıma, süel ouşma yapısıda cümle aıma deeysel ugulaı üzede celemş. Aaha Kelmele: Geş sözlülü süel ouşma aıma, Gzl Maov Model, Mel Feas Kepsal Kasayılaı. x

ABSTRACT I compue sceces eseaches o speech ca be vewed hee majo felds, whch ae speech ecogo, speae ecogo-vefcao ad speech syhess. The am of speech ecogo, as a majo feld, s fomao exaco fom speech daa by mache o compue. Wh hs hess a applcao fo lage vocabulay couous speech ecogo equemes, whch s a poo of mul dmesoal speech ecogo poblem space, s bul. O hs pupose mel fequecy cepsal coeffces MFCC feaue exaco s used ad feaue vecos ae classfed by hdde Maov models HMM. MFCC s a effecve feaue exaco mehod fo speae depede ecogo ad HMM ca hadle sequeal feaue vecos. Real valued MFCC feaue vecos ae fsly cluseed o dscee obsevaos wh K- Meas algohm. Dscee obsevaos ae he used wh lef o gh, dscee pobably emg HMM models. Sascal aue of speech daa ca be fgued ou by he HMM model wh o eed o labelg, segmeao o sgg wod sa ad edgs. As HMM ag s made o phoemes, es speech daa ca be decoded wh flexbly bul es HMM model. Sysem s esed o seveal models such as, wo wod dscee ecogo, e wods dscee ecogo, epeo cosa couous ecogo. Keywods: Lage vocabulay couous speech ecogo, hdde Maov model, mel fequecy cepsal coeffces. x

. GİRİŞ Teoloj gelşmde calılaı sahp oldulaı özellle sa yapımı aaç ve geeçlee aaılması seğ öeml ye umaadı. Calılaı büyesde va ola özellle b ısmı b ş yapılmasıa lş e veml yöem olduğu ç, b ısmı se sa yapımı daha hızlı, daha veml ve daha düşü haa paylaıyla çalışa ssemle gelşlmş olmasıa ağme calı açısıda alaşılabl e özell olması açısıda eoloj olaa ede ye bulablmeed. Ço daha hızlı habeleşme meolaıı vaolmasıa ağme ouşma ve duyma da sa açısıda alaşılabl e öeml leşm aacı olması baımıda bahsedle c p özellle aasıda sııfladıılabl ve sa-blgsaya aayüzü olaa aaa b özell oumudadı. Ses le lgl l çalışmala öcelle ses fz yapısıı alamaya yöel. Soalaı byoloj olaa sada ses oluşumu ve duymaı fzyolojs alaşılmaya çalışılmışı. Ses oluşumuu yapısıı oaya oması le yapay ouşma ayalaı modellemş ve geçeleşlmş. Geçeleşle bu ssemle eoloj gelşm zleyee sıayla mea, eleo-mea ve eleo ssemle olaa oaya çımışı. Güümüzde ouşma seezleme olaa ede ye bula ssemle şsel blgsayalada da baım ısıla çeçevesde geçeleşleble uygulamala olaa ullaılablmeed. Syal şleme ve blgsaya blmlede gelşmelee paalel olaa ouşma aımaya yöel yöem ve meola oaya omuşu. Kouşma aımada maemasel al yapıı gelşm le zama boyuuda şablo aşılaşıma yöemlede, soas hb ssemlee uzaa b gelşm oaya çımışı. Güümüzde ouşma aıma; ooma çev, oomobl ç ouşma aıma, omu aıma, sa-blgsaya aayüzü, ev oomasyou, obo uygulamalaı, blgsaya emell dl öğemde elaffuz gelşme, ooma ve gş ve beze oulada uygulama alaı bulmaadı. Kouşma aıma yöemle gelşm le byome ölçülede b olaa da ouşmacı aıma ve doğulama ssemle gelşlmş. Kouşmacı aıma ve doğulama ssemle güvel uygulamalaıda geş b ullaım alaı bulmaadı.

. Aus Kouşma ve duymaı emelde ses dalgası bulumaadı. Ses dalgası yapısı bayle b basıç dalgasıdı ve oamda paçacılaı basıç değşm lemes le yayılı. Ses b oamda yayılması le oama lş basıç, yoğulu, oamda paçacılaı hızı ve sıcalı değelede uzamsal ve zamasal değşlle geçeleş. Bu değşmle sağlaması geee süell ve sıı oşullaı göz öüe alıaa, p, basıcı zama ve yee göe değşm, u, paçacı hızıı zamaa ve yee göe değşm göseme üzee yoğuluğu ola b oamda düzlemsel b ses dalgası delem. le vele oşulu sağlaması geeğ söyleebl. Juag, Rabe, 005 p u. x Ses dalgasıı yayıldığı oamı düzgü olmaya b üp olaa modellemes le süell ve sıı oşullaı yadımıyla sada ses yolua lş ezoas feaslaı, foma değele, a-ezoas değele gb fz özellle hesaplaablmeed. Hesaplaa bu değele ses aımada aus özellle bellemesde emel oluşumaadı.. İsada Kouşma, Duyma Kouşma aıma ve ouşma seezde sa ouşması ve duyması model olaa alıdığı ç sada ouşmaı ve duymaı alaşılması öeml ve geeld. İsada ouşmaı oluşması, ssel olaa beyde alamsal fade oluşuulmasıda soa, geel ssel syalle lem, ses meazmasıı uygu şelde çalışıılması le geçeleşl ve oluşa ses dalgası hava yadımıyla lel. Duyma se ulağa ulaşa ses dalgasıı şlede soa ssel yollala beye ulaşıılıp alamsal bmlee döüşüülmes le geçeleş. Şel. le bahsedle yapıı şema gösem velmş. Ses oluşumu mea olaa acğe, solu bousu, ses elle, gıla, çee, dl, dş, üçü dl, dama, buu boşluğu ve duda gb ogalaı esyle sağlamaadı Şel.. Bu yapı b ssem yapısı le modelleee ouşmaya lş aus model elde edlmş Rabe, Juag, 993.

3 Kouşma Alam Dle İlş Özellle S ve Kas Koolü Ses Yolu Ses Dalgası Ayı İşae Süel İşae İlem Kaalı Hava Duyma Alam Dle İlş Özellle Ssel İşaele Kula Yolu ve Bazal Za Ses Dalgası Ayı İşae Süel İşae Şel. Kouşma ve duyma süece lş şema yapı Şel. Ses oluşumua lş aaom yapı []

4 Aus eoye göe ses oluşumu aya, fle ve yayılma le lgl asfe fosyolaıa sahp al ssemlede oluşmaadı. Bua göe ses ve ouşma le lgl: z Sz Tz Rz. S: aya asfe fosyou, T: ses ogalaı le lgl asfe fosyou, R: havada yayılma le lgl asfe fosyou olma üzee : ağızda mesafesde ses asfe fosyou olaa elde edl. Duyma se ses üemde vaola asfe fosyolaıı esle le oluşuulmuş b ssem olaa düşüülebl. Hava yolu lele ses dalgalaı dış ula yadımıyla ula yolua lel. Kula zaıda oluşa eşmle çeç, ös ve üzeg emle le duyma ogaı ohleaya ulaşıılı. Kohleada bulua bazla za üzede ılcal yapıla ve lf yoğuluğuu ohlea boyuca gdee aa yapı gösemes, ohleaı b ucuda düşü feasa, dğe ucuda yüse feasa duyalılığı sağla. Bazla za üzede ılcal o esepö hücele le ssel şaee döüşüüle ve duyma s le beye lel. Şel.3 Duymaya lş aaom yapı [].3 Kouşma Taıma Kouşma aıma gülü hayaa pe ço oam ve uygulamada ede ye bulmuş b oudu. Geel olaa ouşma aıma le sa ouşmasıı blgsaya aafıda

5 alaşılması ve buada blg çıaımı hedeflemeed. Kouşma aıma poblem bço falı boyu le aımlaablmeed. Kouşma aıma üzee yapıla çalışmala aı güümüzde bahsedle ço boyulu poblem uzayıı bell bölgelede özelleşmeed. oblem uzayı aşağıda bahsedle boyula ve uç duumla le aımlaablmeed:cole, 997 Kouşma modu: ayı elme aıma süel ouşma aıma Taıma bm: sözcü abalı foem abalı Kouşma sl: ouma spoae ouşma Kouşmacıya bağlılı: ouşmacı bağımsız aıma ouşmacı bağımlı aıma Sözlü geşlğ: 0 elme 0000 elme Dl model: solu duum maele doğal dl şleme le çe emell Syal ç güülü oaı: 0 db 5 db Kullaıla alıcı: güülü öleye mofo cep elefou Yuaıda bahsedle poblem uzayıı b bölges lglede süel ouşma aımaya lş zleece adımla üç aşama olaa celeebl; bula öşlemle, özell çıama ve sııfladıma aşamalaıdı. Öşlem aşaması geel olaa ses ves çeşl fleleme ve övugulama şlemlede geçlmes le ses ves asıl ve hag çözüülüe sayısallaşıılacağıa lşd. Özell çıaımı ses vesde ouşma aıma yapılablmes ç ayı edc özellle çeşl syal şleme ele le oaya omasıı amaçlamaadı. Özell değele sııfladıılması se ses ves adışıl yapısıı göz öüe alaa özell dzsde e olası elme çözümlemes elde edlmes sağla..4 Öce Çalışmala Ses le lgl blmsel çalışmala ahsel sıayla ses seezleme, ses syal şleme ve ouşma aıma üzee yoğulaşmışı. Ses seezleme ç sıasıyla mea, eleo-mea ve eleo ssemle ullaılmışı. Ses syal şleme ahsel sıasıyla zama boyuuda, feas boyuuda ve epsal özellle elde edlmes le lglemş. Kouşma aıma ousuda se ahsel olaa şablo aşılaşıma, öüü aıma ve sas modellele lglelmş.

6 Şel.4 Kazese beş falı sesl haf ç ulladığı ezoas üple [3] 770 l yıllada Chsa Kazese Juag, Rabe, 005 ezoas üple le sesl haf seezlemey başamışı. 79 de Wolfgag vo Kempele Juag, Rabe, 005 mea oollü aus-mea ouşma maes üemş. 800 le oalaıda Chales Wheasoe Juag, Rabe, 005 de ezoaölü ouşma maes yapmışı. Chales Wheasoe yapığı bu alele sedğ sesl haf el oolü le de ezoaöde sağlayablmeeyd. 939 da Home Dudley ele mea ouşma maes yapmışı. Şel.5 Wheasoe u ouşma maes [3] Kouşma aımaya lş l çalışmala aus ve foe özelllee dayamaaydı. Aus-foe özelllede b de ses oluşmasıda ses elle ses yayılımıa olaa sağlaya eşm feaslaı ola fomaladı. 95 de foma feaslaıda haeele e ouşmacı ç ayı aam aıma ssem

7 Davs, Bddulph ve Balashe aafıda Bell Laboauvalaı da geçeleşlmş, bu ssemde aamla, sesl hafle ezoas feaslaıda faydalaılaa aımaaydı. 956 yılıda Olso ve Bela o hece ç e ouşmacılı aıma ssem gelşmş. 959 da MIT de Foge ve Foge ouşmacı bağımsız olaa b_<sesl haf>_ fomaıda falı sesl haflele oluşuulmuş o falı elme aımasıa lş b ssem geçeleşmş. 960 lı yıllada Japo blm adamlaı Suzu ve Naaa, 96 sesl haf aımayı, Saa ve Dosha 96 süel ouşma aıma ç öcü b öe ola ses aımayı geçeleşmş. Ayıca NEC Laboauaı Nagaa, Kao, Chba, 963 aam aımaya yöel çalışmala geçeleşmş. 959 da Fy ve Dees dö sesl douz sessz haf le İglzce ç olası ses sıalaıı da hesaba aaa ouşma aımada sas yapı ullaımıı l öeğ oluşumuşu. 964 e RCA Laboaualaı da Tom Ma ouşmada sözle ç bş oası belleme le lgl çalışmalada bulumuşu. Ayıca Tom Ma 964 ve Vsyu 968 eş zamalı olaa yapılaı çalışmala le dam pogamlama yadımıyla ses syal zama yayılımıda ayalaa falılılaı gdeee ses syallede bezelle oaya çıamışladı. 978 de Saoe ve Chba ouşma aıma ç dam zama büümü le öüü aıma geçeleşmş. 97 de H. Fleche ses syal ç speal özellle le ses aaesle aasıda yaı lşy oaya oymuşu. Bu çalışmada soa ses aımada speal özellle ullaımı yaygılaşmaya başlamışı. 970 lede Doğusal Ögöülü Kodlama Lea edcve Codg yöem oaya omuşu. Aal B. Aal, Haaue, 97 ve Iaua Iaua, Sao, 970 ses syal ç dalga yapısıda haeele ses yolu ç asfe fosyou paameele ahm geçeleşe LC yöem emelle oaya oymuşu. Iaua 975 le Rabe ve Levso 979 LC yöem öüü aıma le ble ullaımı ç çalışmala geçeleşmş. Kouşma aıma le lgl olaa l ca üü Tom Ma uduğu Theshold Techology Ic. aafıda geçeleşle VI-00 ssemd. VI-00 yüse başaı ve geş b paza bulamamış olmasıa ağme 970 lede Amea Savuma Baalığı ı deseğde ouşma aıma bm uulmasıda el olmuşu. Beze çalışmala ve bulaı oaya oyduğu ye fle açısıda celedğde Lowee 990 ullaımıı öedğ solu duum maele ve çzge aama gaph

8 seach, CMU aafıda HeasayII de ullaıla aseo paalel süeçle ve IBM ses oollü dalosu Tagoa da ulladığı dl model gb yöemle soa çalışmalaa öcülü emş olduğu göülmeed. 980 lede ouşma aımada şablo aşılaşıma ve öüü aıma emell yöemlede sas modell aıma ssemlee geçş göülmeed. 97 de Leoad E. Baum Maov zcle b üev olaa aşamalı olasılı dağılımlaı bbe bağlaya Gzl Maov Model oaya oymuşu. Ayı çalışmasıda Leoad E. Baum Gzl Maov Model e lş e uygu paameele elde edlme yöemde bahsemş. Gzl Maov Model emell ssemle yede güdeme gelmes ve ouşma aımada ullaılması se980 lede J. D. Feguso 980 le S. E. Levso, L. R. Rabe ve M. M. Sodh 983 çalışmalaı le olmuşu. Gzl Maov Model l öcele ayı değell değşele ç çalışığı oaya omuşu. Daha soalaı Gzl Maov Model ç çbüey olasılı dağılımlaıı ullaılabl olduğu göselmş. Lpoace 98 se Gauss olasılı dağılımı gb sme elp dağılımlaı da Gzl Maov Model le ullaılabl olduğuu gösemş. 985 ve 986 yıllaıda Bell Laboaualaı da yapıla çalışmala le Juag, Levso, Sodh, 986 Juag, 985 Gzl Maov Model ç olasılı aışım modelle ullaılabllğ göselmş. Böylelle Gzl Maov Model ullaım alaı ouşmacı aımlaması ve ouşmacıda bağımsız süel ouşma aıma göevle yapablece düzeyde geşlelmş oldu. Kouşma aımada ullaıla yöemlede b dğe yapay s ağlaı olmuşu. İl olaa McCullough ve s aafıda 943 e oaya oa yapay s ağlaı, 980 lede haa ge yayılım eo bac-popagao meodu buluaa ada geş b ullaım alaı bulamamışı. Haa ge yayılım meoduu oaya oması le yapay s ağlaıı foem aıma, ayı aam aıma gb şlede başaılı souç vedğ göselmş Lppma, 990. 990 lada mmum sııfladıma haası avamıı bemsemes le ayııcı eğm dscmave ag yöem ve Dese Veö Maes Suppo Veco Mache gb çede abalı eel based meodla ouşma aımada ullaılmaya başladı Juag, Lee, Wu Chou, 997 Bahl, Bow, desouza, Mece, 986. 996 da Hu ve aadaşlaı dl ç emel bm olaa gödüle hecelede ve hece beze ses bmlede haeele İglzce ay smle ç 9 hecede oluşa aıma ssemle le

9 %84 lü başaı oaı yaalamışladı. Ayı yıl Boulad beze b çalışmayı Almaca ç geçeleşmş. Hauese Gzl Maov Model ve yapay s ağlaıı ble ullaıldığı b ssem asalayaa bu yapıı sadece b yöem ullaıldığı dğe asaımlaıda daha y souç vedğ gösemş 996 Wu ve aadaşlaı aafıda yüüüle b çalışma le hece ve fo veya foem bazıda hb semle aıma başaısıı aıdığı göselmş.997 Gaapahaju, Hamae, coe, ve Doddgo 00 yılıda gelşdle hece emell ouşma aıma çalışmalaı le fo veya foem emell ssemle başaı oaıa ulaşmışladı. Güümüzde ca veya aaşıma amaçlı gelşle ouşma aıma ssemle ç elde edle haa oalaı: aam aıma ç %0.3, 000 elmel sözlülü ouma ses ç %3, 0,000 elmel sözlülü ouma ses ç %6, 0,000 elmel sözlülü aşılılı ouşma ç %0, elefo üzede 0,000 elmel sözlülü ouşma ç %30 sevyelede geçeleşmeed. Bu çalışmaı amacı foem emell b ouşma aıma ssem asalamaı. Bu amaçla mel feas epsal asayı özellle üzede Gzl Maov Model le sııfladıma geçeleşlmeed. Tez çalışmasıda. bölümde geel olaa ouşma aıma ssemlede Gzl Maov Model dışıda sııflayıcıla le mel feas epsal asayı özellle dışıda ullaıla özell çıaım yöemlede bahsedlmş. 3. bölümde Tüçe ve İglzce ç ouşma aımada ullaıla paçalı sesbmle le geel olaa paçalaüsü sesbmlede bahsedlmş. 4. bölümde Gzl Maov Model ullaaa mel feas epsal asayı özellle üzede ouşma aımaı geçeleşlmese lş eo yapı; öşlemle, özell çıaımı, aus model ve dl model başlılaı alıda alaılmışı. 5. bölümde uygulamaı geçeleşlmesde bahsedlee 6. bölümüde elde edle souçla değeledlmş.

0. KONUŞMA TANIMADA KULLANILAN YÖNTEMLERE GENEL BAKIŞ Kouşma aıma poblem aa başlı alıda; özell çıaımı ve özell veöle sııfladıılması olaa ele alma gee. Bu şelde özell çıaım yöemle le özellle sııfladıılması ç ullaıla yöemle ala olaa bble le aışmalaıı öüe geçlmş olu. Eğm Ves Aus Model Dl Model Ses Ves Özell Çıaımı Modelleme/ Sııfladıma Aama Çözümleme Şel. Ses Taıma sseme lş geel blo yapı Cole, 997 Özell çıaım yöemle olaa Foue aalz, epsal asayılaı hesaplaması, epsal fa asayılaıı hesaplaması, syal eej sevyes hesaplaması, sıfı geçş sayısı hesaplaması, epe değe hesaplaması, epe değe geçeleşme sayısı bellemes, oooelasyo asayılaıı hesaplaması, Doğusal Ögöülü Kodlama Lea edcve Codg gb meolada bahsedlebl. Özell veöle sııfladıılmasıda Gzl Maov Model Hdde Maov Model, Dam Zama Bümes Dyamc Tme Wapg ve Yapay S Ağlaı Afcal Neual Newos yöemle ullaımı söz ousu olmaadı. Kouşma aımada ullaıla yöemlede bu çalışmaı ousu ola Mel Feas Kepsal Kasayılaı MFKK özellle Gzl Maov Model GMM le sııfladıılması deaylı olaa dödücü bölümde alaılacaı.. Özell Çıaım Yöemle Ses vese lş özellle zama, feas veya sepsum boyuuda aımlaablmeed. Zama boyuuda hesaplaable özellle sıfı geçş sayısı, eej sevyes, epe değe, epe değe geçş sayısı gb özellled. Ses ves feas yapısıda haeele fle baası uygulama ve feas speumu hesaplama yöemle uygulaabl. Sepsum boyuu

speumu speumu olaa aımlaabl ve ses vese lş doğusal ya da logam feas ölçeğe göe hesaplaabl. İsas b meo ola doğu uyduma yöem emel ala Doğusal Ögöülü Kodlama ve bu meo le hesaplaa özellle sepsum değele de ses vese lş özellle olaa ullaılablmeed Zhou, L., Fag, D. 988... Sıfı Geçş Sayısı Ses vese lş öe aasıda şae değşm sıfı geçş olaa aımlamaadı Zhou, L., Fag, D. 988. Sıfı geçş sayısı ouşmacı bağımlı ouşma aıma uygulamalaıda ayı edc özell olaa oaya çımaadı. Çoculaı ve bayalaı ses yüse feaslı olması se sıfı geçş sayısı özellğ ouşmacı bağımsız aıma ssemlede ayı edclğ olumsuz yöde elemeed... Eej Sevyes, Tepe Değe ve Tepe Değe Geçş Sayısı Ses vese lş eej sevyes ayı edc b özell olmasa da dğe özell çıaım yöemlee öşlem olaa elme başlagıç ve bşle bellemee ullaılı Zhou, L., Fag, D. 988. Tepe değe ve epe değe geçş sayısı sıfı geçş sayısı gb ouşmacıya bağlı olaa elaffuzla aasıda ayı edc özell oaya oyablmeed Zhou, L., Fag, D. 988...3 Doğusal Ögöülü Kodlama İle Özell Çıaımı Doğusal Ögöülü Kodlama Lea edcve Codg LC yöem ses dalgasıı duağa abul edlebleceğ ısa b aalıa c öeğ edde öce gele ade ses öeğ lee b bleşm olaa yazılableceğ vasayımıda haeele oaya omuşu Aal, 97. Bu vasayımı alıda, ouşma sıasıda ses oluşumua lş ogalaı ve ses yoluu ısa süele boyuca aus model çeçevesde duağa b yapıda aldığı geçeğ yamaadı. Böylelle ısa süele boyuca ses yoluu aus yapısı paame olaa modellemş olacaı. Bu vasayım delem. le fomülze edlmş. s a s. aı ç ses yoluu aus model değşmedğ ısa aalığı, ses syal delem. le vele peceeleme fosyouda geçlmesyle elde edlmş ola s m le fade edldğ duumda, geçe değe le ahm değe aasıda faa dolayı delem.3 le

vele ahm haası oluşu. dge N m m w m s m s 0 0. m s m s m e.3 Tahm asayılaıa lş e y esm delem.4 le vele haa aele oplamıı a asayılaıa göe mmze edlmes le.5 elde edlebl. 0 N m m s a m s m e E.4 a E 0,...,.5 Delem.5 le vele oşul üm a asayılaı ç uyguladığıda çözümü delem.6 sağlaya değele olduğu göülü Rabe, Juag, 993., em ovayas fosyou olaa smledl. N m N m m s m s a m s m s 0 0,.6 Delem.6 le vele oşulu sağlaya a asayılaıı buluması ç yöem ullaılı. Bu yöemlede l oooelasyo asayılaı yöem dğe se ovayas mas yöemd., em ç değşe döüşümü yapılısa ovayas fosyou oooelasyo asayılaı csde delem.7 le vele şelde yazılabl. m s m s N m 0, 0.7 Oooelasyo asayılaı ç x x smel oşulu da dae alıaa oooelasyo asayılaı yöem delem.8 le fade edlebl.

3 3 0 3 3 0 0 0 3 a a a a.8 m m ' değşe döüşümü yapılaa, em m csde yazılısa ovayas mas yöem delem.9 le vele şelyle elde edl.,0 3,0,0,0,,3,, 3, 3,3 3, 3,,,3,,,,3,, 3 a a a a.9 Gee ovayas mas yöem geese oooelasyo asayılaı yöem le {a,,a p } LC asayılaı lgl delem ssemle çözülmesyle elde edl.. Özell Sııfladıma Yöemle Ses ves doğası geeğ adışıl b yapıdadı. Bu sebeple hesaplaa özell veöle ç elde edldle sıa da göz öüe alıaa uygu sııflayıcıla ullaılmalıdı. Ses ves adışıl yapısıa göe Dam Zama Bümes, Yapay S Ağlaı, Gzl Maov Model, şablo aşılaşıma gb yöemle uygu şelde uyalaaa ullaılabl. Özell veöle sııfladıılması le lgl olaa Dam Zama Bümes ve Yapay S Ağlaı yöemlede bu bölümde bahsedlece... Dam Zama Bümes 983 yılıda Kusal ve Lbema eğ aasıda mesafe belleeblmes ç ye b yöem öedle. Bu yöem le eğle aasıda sahp olua oa öüüyü yaalama eğle zamasal olaa falı yeleşme sahp olsala da mümü olmaadı. Şel. le Dam Zama Bümes yöem el yazısı aımada gösel olaa ayı eğ üzede asıl geçeleşldğ göselmş. Ses aımada Dam Zama Bümes dyamc me wapg - DTW yöem, ayı ses dzs b ş aafıda dah falı zamalada falı zama aalılaıa yayılaa elaffuz

4 edlebleceğde haeele ullaılabl olduğu düşüülmüşü. Bu yöemde es öele elde bulua şablola le aşılaşıılmasıda uygu oalaı şabloda aşılılaıa de gelmes ç ses syal zama aalılaıda geşlelp daalılması söz ousu olmaadı. Şel. El yazısı aıma ç Dam Zama Bümes yöem gösel olaa geçeleşlmes Nels, 004 N ve N ayı se ç öe sayısı olma üzee l sede ve c sede j öele delem.0 le vele oşulu sağlasa bu oa doğusal öüşü olaa abul edlle. N N j N N.0 Doğusal öüşüm oşullaı dışıda süell, sıı ve mooolu oşullaıı da uygulaması öüşe oalaı bulumasıda dam zama bümes yöem oaya çıamışı. Süell oşulu Vuo 00 aafıda fomülze edlmş ve delem. le velmş. Süell oşulu le se aasıda aç ade öüşüme z veleceğ c paamees le belle. N N N cn j cn. N Sıı oşullaı le se ç l ve so oalaı öüşümü zolaı. Mooolu oşulu le öüşümle le yölü olaa aaı.

5.. Yapay S Ağlaı Yapay S Ağlaı Afcal Neual Newos - ANN lee ayışıılamaya öele sııfladımasıda olduça başaılı ola b yöemd. Geel olaa b gş, b çıış ve b ya da daha fazla sayıda aa amada oluşa, he amada ço sayıda aa düğümü buludua b yapıdadı. Şel.3 le p b ço amalı pesepo yapısı sembolze edlmş Rae, 989. S ağlaı calılada va ola ssel lem yapısıı al emeed. Calılada ssel lem heb çf s hüces aasıda myasal, s hüces çesde elesel olaa geçeleşmeed. S hücele aasıda leşm m lem bloe edc yöde ms se lem sağlayaca yöde geçeleşmeed. Kedde öce hücelede aldığı myasal uyaılaı oplamıı değelede s hüces lgl uyaıı lelmeye değe olup olmadığıa aa veee edde soa gele s hüces ç lem egelleyc ya da sağlayıcı myasal salıımı geçeleş. Beze yapı yapay s ağlaıda öo bmle aasıda bağla ç aaa ağılıla, öo çıış değele ve öolaı sahp olduğu aa fosyolaı le sağlamaadı. N G N A N Ç N G N A N Ç N G3 N A3 N G4 N Çp N A N Gq Gş Kamaı Aa gzl Kama Çıış Kamaı Şel.3 Ço amalı pesepo ç geel gösem Eğm aşaması soucu yapay s hücele aası bağlaı ağılı asayılaı elde eğm öele sağlayaca şelde gücelle. B es öeğ sııfladıılması se es öeğe lş özellle gş amaıa uygulaaa, gücellemş ağılı asayılaı

6 üzede yapıla hesaplama soucu çıış amaıda sııf blgs alıması le geçeleşl. Kouşma aımada Yapay S Ağlaı ullaımı b özell veöüü hag sesbme aşılı geldğ belleme ç ullaılı. Komu veme azı ouşma aıma uygulamalaıda se üm b ses ves Yapay S Ağı a velee omu e ve ayı olaa çözümleebl.

7 3. FONETİK Kouşmada alam faı yaaa e üçü ses bm fo olaa adladıılmaadı. Fola üm dlle ç oa b yapıda değld. He dl ç ede özgü sesbmle mevcuu. Km dllede sesbmle doğuda haflee aşılı gelmeeye, m dllede sesle haflede falı olaa smgesel elaffuz bmle olaa foemlee aşılı gelmeed. Kouşma aımada sesbmle paçalı ses bmle ve paçalaüsü sesbmle olaa aabaşlı alıda cele Megüşoğlu, 999. 3. açalı Sesbmle Sesbmle folaa veya foemlee aşılı düşe yapısı paçalı sesbmle olaa smledl. Kouşma aımada paçalı sesbmle üzede ssem modellemes le daha geş sözlülü aıma ssemle asalaablmee, faa gee sözlü geşlğde geese paçalı sesbmle sahp olduğu yüse sada sapmada dolayı bu ü ssemle aıma başaısı dğe ssemlee ıyasla daha düşü çıablmeed. 3.. Tüçe de açalı Sesbmle Tüçe Alay dlle çesde Oğuz gubua dahld. Tüçe de ullaıla sesbmle ülüüsüz olma duumua, ses elle eşm, sesle çıış ye ya da ses çıaa oga veya sesle çıış bçme göe sııfladıılmaadı Megüşoğlu, 999. Tüçe de ülü sesle {a, e, ı,, o, ö, u, ü}, üsüz sesle se {b, c, ç, d, f, g, h, j,, l, m,, p,, s, s,, v, y, z} olaa sııfladıılmaadı. Üsüz sesle, ses ellede eşme sebep olup olmamalaıa göe öümlü sesle {b, d, g, v, z, j, c, l,, m,, y} ve öümsüz sesle {p,,, f, s, ş, ç, h} olaa sııfladıılmaadı. Ülü sesle çıış yelee göe dl öü ülü sesle {, ü, e, ö} ve dl aası ülü sesle {ı, u, a, o} olaa ayışıılıe üsüz sesle çıış ye ve yadımcı ogaa göe çf duda {p, b, m}, al duda-üs dşle {f, v}, dl ucu-dş aası {, d}, dl ucu- dş e {s, z,,, l, ç, c}, dl öü-se dama {ş, j, y}, dl aası-dama {, g}, ses el-gıla {h} sesle olma üzee sııfladıılmaadı. Sesle çıış bçmlee göe sııfladıılmasıda ses ogalaıı aldılaı duumla öemld. Ülü sesle çıış bçmlee göe dl-dama aası açılığa göe da {, ü, ı, u}, oa {e, ö, ü}, geş {a};dudalaı bçme göe düz {, ı, e, a}, yuvala {u, ü, o, ö} olaa

8 sııfladıılıla. Üsüz sesle çıış bçmlee göe ağız ve gez sesle olaa sııfladıılı. Gez üsüzle {m, } sesled. Ağız üsüzle se palamalı {b, p, d,, g, }, sızmalı {v, f, z, s, j, ş, h}, palamalı sızmalı {c, ç}, ya üsüz {l}, çapmalı üsüz {}, yaı ülü {y} olaa sııfladıılmaadı. 3.. İglzce de açalı Sesbmle İglzce H-Avupa dl alesde Ceme dlle gubua dahld. İglzce de sesle le yazı alfabes bbde falılı gösemeed. Uluslaaası Foe Alfabes sadadıa göe İglzce de 50 paçalı sesbm bulumala ble İglzce alfabe 6 hafe oluşmaadı. İglzce paçalı ses bmle çzelge 3., 3. ve 3.3 le velmş. Çzelge 3. İglzce de ullaıla sesl foemle sııfladıılması [4] Te Sesl Ülüle Kısa Uzu Ö Aa Ö Oa Aa Çf Sesl Ülüle Kapalı So Oa Açı So Kapalı ɪ ʊ ː uː ɪə ʊə Oa Açı ɛ ʌ ɜː ɔː eɪ ɔɪ əʊ ɛə Açı æ ɒ ɑː aɪ aʊ Çzelge 3. İglzce de ullaıla yaım sesl foemle [4] ɪ ə Çzelge 3.3 İglzce de ullaıla sessz foemle sııfladıılması [4] Blabal Labo deal Labo vela Deal Alveola os alveola alaal Vela Gloal Sop p b d g Affcae ʃ dʒ Nasal m ŋ Fcave f v θ ð s z ʃ ʒ x h Appoxma ʍ w ɹ j Laeal appoxma l İglzce de sesbmle geel olaa ülü ve üsüz sesle olaa ye ayılı. Ülü sesle e sesl, çf sesl ve yaım sesl olaa sııfladıılmaadı. Üsüz hafle se çıış yelee ve

9 çıış bçmlee göe sııfladıılmaadı. 3. açalaüsü Sesbmle açalaüsü sesbmle hecele veya sözcüled. Ağzı e b haeeyle çıaılable b ülü ya da b ülü le b veya baç üsüz ses bleşmesyle oluşuula ses modele hece de. Hecele bleşlmesde sözcüle oluşu. Tüçe ç alı çeş hece yapısıda söz edlebl. Tüçe ç alı çeş hece yapısı ve lgl yapıya lş b öe çzelge 3.4 le velmş Megüşoğlu, 999. Çzelge 3.4 Tüçe ç hece yapısı ve lgl yapılaa lş öele Hece Yapısı Ülü Ülü üsüz Ülü üsüz üsüz Üsüz ülü Üsüz ülü üsüz Üsüz ülü üsüz üsüz Öe a a l ba el se Kouşma aımaya lş da sözlü le çalışıla uygulamalada paçalı sesbmle yee hece veya sözcü boyuuda sesbmle modelleee ullaılmaadı.

0 4. MEL FREKANS KESTRAL KATSAYI ÖZELLİKLERİ KULLANILARAK GİZLİ MARKOV MODELİ İLE GENİŞ SÖZLÜKLÜ SÜREKLİ KONUŞMA TANIMA Kouşma aımaı emel amacı vele b özell dzsde X, e olası elme çözümlemes W * elde edlmesd Cole, 997. Bu duum delem 4. le velmş. W * ag max W X 4. W Koşullu olasılılaı Bayes ualı çeçevesde yede yazılması 4. le aaa elme çözümlemes, özell dzs geçeleşme olasılığı ve elme geçeleşme olasılığıa bağlı olaa yazılableceğ göse 4.3. X W W W X 4. X W * X W W agmax W X agmax agmax X W W 4.3 W W X W Kouşma aımada özell dzs geçeleşme olasılığı aus model le elme geçeleşme olasılığı dl model le fade edlmeed. Özell dzs geçeleşme olasılığıı, öcede geçeleşmş duumlada haeele oaya omasıda Mel Feas Kepsal Kasayılaı le ses vese lş ayı edc özell değele çıaılmaa, Gzl Maov Model le de adışıl özell değele çf deecel soas b model le sııfladıılmaadı. Kelme üm sözlüğü çesde geçeleşme olasılığı W da dl model le oaya omaadı. Şel 4. le Geş Sözlülü Kouşma Taıma sseme lş yapı blo dyagam olaa velmş. Temel olaa blo dyagam sıasıyla öşlemle, özell çıaımı, ayı gözlem dzs elde edlmes, Gzl Maov Model paameele elde edlmes ve hesaplaa ye paameele üzede aıma şlem geçeleşlmes şle özelemeed. Al başlılada geel öşlemle, özell çıaım adımlaı, aus model ve dl modele lş emel yapı alaılmışı.

Ses Kayağı Öeleme 6 b-6 Hz 0,95 z Ö-Vugulama eceeleme log Eej Fle Baası FFT DCT MFCC K-Oalama Ayı Gözlem Değele GMM Eğm Kelme Çözümleme Model aameele Tes Gözlem Değele Şel 4. Geş Sözlülü Kouşma Taıma ssem geel yapısıa lş blo dyagam 4. Öşlemle Kouşma aımada öşlemle olaa eledle bölüm aalog ses syal sayısallaşıılması, yüse feas bleşele uvveledlmes ve seçle öeleme feası doğulusuda peceeleme ç uygu boyuu, aydıma boyuuu ve peceeleme fosyou bellemes çe. Ses syal yalaşı olaa 0-30 ms l düzeylede duağa abul edlmeed. Bu sebeple seçle öeleme feası doğulusuda soa adımlaı geesmle de düşüülee 0-30 ms y sağlayaca boyua pecee boyuu seçlmeld. 4.. Ses Ves Sayısallaşıılması Aalog ses syal aalog-sayısal döüşüücüle aacılığı le sayısal syale döüşüülü. Kouşma aıma poblem çeşl boyulaıda hags le lglelyosa oa lş aalog-sayısal döüşüücü ullaılmalıdı. Çeve şalaıda, fo güülüsüü esde uza b ouşma aıma çalışması ç güülü öleye özel mofolala ses aydı yapılmalıdı. Güülülü oamlada ouşma aıma uygulaması yapılaca se e aallı

geel amaçlı mofola ullaılabl. Ses ves sayısallaşıılmasıda b başa boyu öeleme feasıı seçmd. Öeleme eos geeğ b syal e yüse feasıı e az aı le öelese syal geel aaesğ aybememş olu ve syal öele üzede yede elde edlebl. İsa ulağı 0 Hz le 0 Hz feas aalığıda ses syal duyabl. Bu baımda aalog ses syal 0 Hz l alça geçe flede geçlde soa 40 Hz le öelese sa duyması smüle edlmş olu. Faa ouşma aıma ç 6 Hz l öeleme feası yeel olablmeed Rabe, Juag, 993. Ses ves sayısallaşıılmasıda b başa boyu da ve çözüülüğüdü ya uaalama le elde edlece ve aç bl olaa salaacağı poblemd. Kouşma aımada geel olaa 6 bl çözüülü ullaılı. Şel 4. le çözüülüğü aıılması le uaalama haasıı azalılabldğ göselmş. Şel 4. Çözüülüğü öelemeye es 4.. Ö-Vugulama Ses syalde yüse feaslı bleşele geel olaa düşü gelğe sahp. Bu yüse feaslı bleşele olduğu gb ullaılılasa aşıdılaı özellle am olaa elde edlemeyece. Ses syalde yüse feaslı bleşele özellle oaya çıaablme ç delem 4.4 le belle asfe fosyoua sahp ö-vugulama şlem uygulaı Juag, Rabe, 993. a H z 0 a 4.4 z

3 Delem 4.4 le belle asfe fosyou zama boyuuda uygulaması delem 4.5 le elde edlebl. x ' x ax 4.5 Geel olaa a ç 0,95 gb b değe ullaılı. 4..3 eceeleme eceeleme şlem le ses ves ısa zamalı feas speumuu elde edlmes sağlaabl. eceeleme şlemde ullaıla fosyo ses syal duağa özell gösedğ vasayıla süe boyuuda aımlaaa ses syal üzede gezdlme sueyle ses syal le peceeleme fosyou bell aalılala çapılı. eceeleme şlemlede çeşl fosyola uygulaabl: bulaa öe olaa ddöge, Gauss, Hammg, Ha, Bale, üçge, Bale-Ha, Blacma, Kase, Nual, Blacma- Has ve Blacma-Nual fosyolaı velebl.[6] Ddöge pecee fosyou delem 4.6 le bellmş olup zama boyuuda yapısı şel 4.3 le velmş.[6] Şel 4.3 N=3 ç ddöge pecee fosyou w 4.6 sada sapma olma üzee Gauss pecee fosyou delem 4.7 le bellmş olup zama boyuuda yapısı şel 4.4 le velmş. [6] w e N N 4.7

4 Şel 4.4 N=3, 0. 4 ç Gauss pecee fosyou Hammg pecee fosyou delem 4.8 le velmş olup zama boyuuda yapısı şel 4.5 le velmş. [6] w 0,53836 0,4664 cos N 4.8 Şel 4.5 N=3 ç Hammg pecee fosyou Ha pecee fosyou delem 4.9 le velmş olup zama boyuuda yapısı şel 4.6 le velmş. [6] w 0,5 cos N 4.9 Şel 4.6 N=3 ç Ha pecee fosyou

5 Bale pecee fosyou delem 4.0 le velmş olup zama boyuuda yapısı şel 4.7 le velmş. Bale pecee fosyou başlagıç ve bş oalaıda sıfı değe ala üçge pecee fosyoudu. Bale peceeleme şlem özell çıamada epsal asayıla hesaplaıe fle baası şelde uygulaı. N N w 4.0 N Şel 4.7 N=3 ç Bale pecee fosyou Tüm bu fomülasyolada 0 N oşulu geçeld ve N pecee boyuuu gösemeed. Kouşma aıma açısıda peceeleme öem ısa zamalı ayı Foue döüşümü yapılacağıda, peceeleme soucu syal başlagıç ve bş değele bbe yalaşıması le pecee uçlaıda oluşablece süeszlle ölemesded. Bu sayede elde edlece ısa zamalı feas speumu süeszllede ayalaaca geesz speum vesde ayılamış olacaı. Bahsedle duuma uygu düşece şelde ouşma aımada e ço ullaıla peceeleme fosyolaı Hammg ve Ha pecee fosyolaıdı. Hammg ve Ha pecee fosyolaı uygulaaa pecee uçlaıda süeszlle gdeleblmee faa uç oalaı özellle aybedlmeed. Bu sebeple peceeleme bb adıca değl pecee boyuuda daha ısa boyua aydıılaa uygulaı. Kaydıma geel olaa pecee boyuuu yaısı ada uygulaı. 4. Mel Feas Sepsum Yöem le Özell Çıama Ses ves ç çeşl özelllede bahsedlebl. B ısım özellle gel, sıfı geçş sayısı,

6 feas speumu, foma * değele, ses pedes pch ve syal aşıdığı eej gb ses dalgası le lşledleblece özellled. Buu yaıda mel feas sespum asayılaı, oooelasyo asayılaı, Doğusal Ögöülü Kodlama asayılaı gb b aım syal şleme ele ya da sassel şlemlele elde edleblece özelllede de bahsedlebl. Süel ouşma aıma açısıda başaılı souçla vemş ola Mel Feas Kepsal Kasayılaı ı elde edlmes şlem ses ves bell feas balaıa düşe güç değele b oalamasıı alıaa bala aası lee bağımsız asayılaı hesaplaması le geçeleşlmeed. Bu amaçla zama boyuuda ses ves ç feas speumu ayı Foue döüşümü le buluu. İsa duyması smüle edlece şelde - Hz cvaıa ada lee olaa eş daha soası ç logam olaa eş aalılı öüşümlü fle baası uygulaaa bell feas balaıa düşe oalama güç yalaşı olaa buluu. Oalama güç değele logam olaa yede fade edlee feas speumu omalze edl. eceeleme Soucu FFT Fle Baası MFCC DCT log Eej Şel 4.8 Özell çıaım adımlaı blo şeması Ayı osüs döüşümü le de hesaplaa özell değele bblede lee bağımsız b şelde döüşüülü. Uygulamalada Mel Feas Kepsal Kasayılaı ı yaıda bc deecede ve c deecede fa asayılaı da hesaplaaa özell veöü olaa ullaılmaadı. 4.. Speal Aalz Öşlemle le bell boyulada peceele halde düzelemş zama boyuuda ses ves speal aalz le feas özellle oaya oaca şelde feas boyuua geçl. Geel olaa b syal zama boyuuda feas boyuua geçlmes döüşüm olaa adladıılmaadı. Temel olaa zama boyuuda süel şaele ç feas döüşümü * Aus eode ses yoluu şel yapısı bayle sahp olduğu ezoas feas değele.

7 ye süel b şae üemeed, beze şelde aım geeğ zama boyuuda ayı şaele ç de feas döüşümü süel b syal üemeed. Zama boyuuda süel syalle feas döüşümle ç Foue döüşümü ve Laplace döüşümü ullaılı. Taım olaa Foue döüşüm çf { X, x } delem 4., 4. le, Laplace döüşüm çf { Fs, f } se delem 4.3, 4.4 le velmş. [7] j X x e d 4. j x X e d 4. s F s e f d s j 4.3 0 j s s j f e F s ds 4.4 j j Bu döüşüm çf aasıda fa Foue döüşümüü süel ejme lş celeme maı vemes, Laplace döüşümüü se hem geçc ejm hem de süel ejme lş celeme maı vee daha geel b döüşüm olmasıdı. Ayıca Foue döüşümüü uygulaablmes ç syal solu sayıda solu esemum oalaa sahp olması gee. Sese lş syal şleme ç gee ses oluşumuda ya da yayılımıda oluşaca ssem geçc hal cevabı le lglelmedğ geese de ses syal sosuz süeszlle olmayacağı ç Foue döüşümü uygu düşmeed. Zama boyuuda ayı syalle feas boyuua geçlmesde ayı zamalı Foue döüşümü ve z döüşümü ullaılı. z döüşümü Laplace döüşümüü ayı zamalı syalle ç uygulaa bezed. Ayı zamalı Foue döüşüm çf delem 4.5, 4.6 le velmş. [7] X j x[ ] e 4.5 - j x[ ] X e d 4.6 Daha öce bahsedldğ gb zama boyuuda ayı şae feas boyuua geçlmes soucu süel b fosyo üelmeed. Blgsaya oamıda bu vele şleeblmes

8 ç ıpı aalog ses ves öelemes gb, ayı zamalı Foue döüşümüde feas bleşe de b peyo boyuca N aalılala öeleee ullaılı. Bu şelde uygulama ayı Foue döüşümü olaa adladıılı ve delem 4.7, 4.8 le aımlamaadı. [7] 0 ] [ ] [ 0 N e x X N j N 4.7 0 ] [ ] [ 0 N e X N x N N j 4.8 Ayı Foue döüşümü geel olaa eel ya da amaşı asayılı gş syallee uygulaablmeed. Ses syalle ç se eel asayılı gş syalle söz ousudu. Ayı Foue döüşümü hesaplama şlem delem 4.7 le veldğ şelyle N çapma ve oplama geemeed. 965 yılıda çalışmalaı le Cooley ve Tuey ayı Foue döüşümü ç amaşılığı p öel b ve dzs ç N N log meebese dgeyece hızlı Foue döüşümüü oaya oymuşladı. Delem 4.9, 4.0 le vele aımla ve N N şelde çapalaıa ayılabldğ vasayımıyla ayı Foue döüşümü delem 4. le vele şelde yede yazılabl. N j e W 4.9 0,,... 0,,... 0,,... 0,,... 0 0 0 0 4.0 W W x X 0 0 0 0 0 0 ], [ ], [ 4. Ayıca delem 4. le vele em ç yapılablece dgemeye ye velmş. W e W W W W W W W j N 0 0 0 0 0 4. W W A x X 0 0 0 0 0 0 0 0 0 ], [ ], [ ], [ 4.3

9 Delem 4.3 le vele ayı Foue döüşümüe lş A 0, ] em he b [ 0 elemaıı hesaplama şlem geemeed. A ç 0 0 N elema hesaplaableceğ düşüülüse, A em hesaplaması N amaşılıadı. X [ 0, ] em vele b A em üzede hesaplamasıda se heb elema ç şlem geemeed. X ç 0 N elema hesaplaması geeğ düşüülüse, X em hesaplaablmes ç N amaşılı geemeed. Toplamda se X em hesaplaması ç N amaşılı yee N meebesde b amaşılı yeel olablmeed. N ço sayıda çapaı ola b bleş sayı olması duumuda se öeğ Foue döüşümü le amaşılı p N şelde yazılablyosa hızlı N log N meebese dgeebl. Geel olaa seçlmes duumuda se Cooley ve Tuey 965 l blgsaya ssemle adesleme ve çapma şlemlede olaylı sağlayacalaıı söylemeed. Şel 4.9 le hızlı Foue döüşümüü geçeleşlmese lş adımla velmş. N = m Fo =,...,m Fo j =,..., = j * N Fo = 0,...,N/ N wfaco = e emp = wfaco *f + f ++N/ f + = f + + f ++N/ f ++N/ = emp EdFo EdFo EdFo Şel 4.9 Hızlı Foue Döüşümü adımlaı Cooley, Tuey, 965 Bahsedle hızlı Foue döüşümü uygulaaa zama boyuuda ses vese lş feas özellle elde edlmş olmaadı. Feas özellle amaşı asayılı b dz olaa elde edl. Bu amaşı asayı dzsde gelle elde edlee özellle olaa gel değele uulu. Souça ullaıla pecee boyuuda sme b gel değele veöü elde edl. 4.. Fle Baası Uygulama Feas boyuuda hesaplaa gel değele ullaıla peceeleme fosyou boyuuda elde edlmeed. Özell veöüü bu boyuu le ullaılması yee bell balaa düşe

30 oalama gel değele alıaa hem özell veöü boyuu düşüülmüş olmaa hem de bell b uygulaşıma, fleleme sağlamaadı. Fle baası uygulamasıda bell b feas değee ada lee eş aalılı, daha soası ç se logam eş aalılı ısme öüşümlü üçge fle baası uygulamaadı. Böylelle sa ulağıı sahp olduğu yapı smüle edlmş olmaadı. Şel 4.0 Fle baası öeğ Şel 4.0 le 6 Hz le öelemş b syal ç uygulaablece fle baasıa lş b öe velmeed. Bu öee syal 6 Hz le öeledğ ç e yüse feası 8 Hz olaa abul edl. Kullaıla peceeleme fosyou boyuu 5 olduğu duumda, FFT de elde edlece 5 öel sme gel asayısıda ullaılaca ola l 56 öeğ hag flede hesaba aılacağı yaay esede öe sıılaıyla velmş. Buada 56 ıcı öe 8Hz feasıa de gelmeed. Logam eş aalılaı oluşuulmasıda ye sa duymasıda haeele oaya omuş ola mel feas ölçeğ ullaımı söz ousudu. Feas salası le mel feas salası aasıda döüşüm delem 4.4, 4.5 le velmeed. f m 595 log+ 4.4 700 m 595 f 700 0 4.5 4..3 Log Eej Çoğuluğu mel feas salasıda eş aalılada oluşuula peceelede elde edle fle baasıı uygulaması soucu hesaplaa özellle sas olaa sola çapı olaa adladııla yapıda elde edl. Özellle sas yapısıı omal dağılıma yalaşıma ç özell değele logamalaı alıaa ullaılı.

3 4..4 Ayı Kosüs Döüşümü Mel Feas Kepsal Kasayılaı ı hesaplamasıda so aşama ayı osüs döüşümüü uygulamasıdı. Ayı osüs döüşümü uygulaması le özell veöüde hem boyu azalılmış olmaa hem de özell değele osüs fosyolaıı lee bağımsız b bleşe olaa yazılması le aalaıda oelasyo bulumaya özellle oaya çıaılmış olmaadı. Kullaıla fle baasıı 5 ade flede oluşuğu duum ç ayı osüs döüşümü soucu boyuu 5 ola sme b özell veöü elde edl. 5 ade özelle l 3 aes lgl ses syal paçasıa lş Mel Feas Kepsal Kasayılaı olaa alıı. İl MFKK asayısı şae DC bleşee lş blg çemeed ve ayı edc b özell aşımadığı ç özell veöüe aılmaz. Souça 5 ade fle ullaılması le boyulu b özell veöü elde edl. Kullaıla K ade fle soucu elde edle değele X =,..., K le göselyo se log eej ve ayı osüs döüşümü soucu ble delem 4.6 le velebl Youg. MFCC K log X cos K 4.6 4..5 Özell Veöüü Oluşuulması Hesaplaa MFKK asayılaı yaıda, adışı MFKK asayılaı aasıda bc ve c deecede fala ve ses syale lş eej değe de çee b özell veöü oluşuulu. Adışı MFKK asayılaı aasıda bc ve c deece falada hesaplaa özellle dela özellle olaa adladıılmaadı. 4..6 K-Oalama Veö Kuaalama Yöem le Özell Azalılması Hesaplaa özell değele ço boyulu eel değell özell veöle olaa elde edlmeed. Kullaılaca Gzl Maov Model gözlem sembolle olasılı dağılımı yapısıa göe B değele süel ya da ayı olması duumu veya gözlem sembolle ç ayı olasılı dağılımı ullaılaca se veö uaalama le eel değell özell veöle bell sayıda ayı duum le fade edlebl. Veö uaalama ç K-oalama algoması ullaılabl. K-oalama algoması le vele özell veöle see sayıda meez veöü le emsl edleblmeed. Bu şelde b uaalama le heb peceede elde edle özell veöü b sııf olaa

3 ullaılabl. Souça özell veöü boyuuxpecee sayısı ade özell değe, pecee sayısı ade özell sayısıa dgeebl. K-oalama algomasıı adımlaı şu şelded: Eğm sede ade assal öe başlagıç sııf meezle olaa aaı Yaısama duumua ada Eğm sede he öe e yaı meeze sahp sııfa aaı Heb sııf ç ye meez değele hesaplaı 4.3 Aus Model Ses vesde elde edlmş özellle gee sesbmle boyuuda geese elme boyuuda solu duum maes şelde sas olaa modellemes aus model olaa adladıılı. Sesbmle boyuuda modelleme Gzl Maov Model le yapılıe, elme boyuuda modelleme Maov model le geçeleşlmeed. Kelme boyuuda modelleme elmele hag ual le dzleceğ deledğde dlblgs ve dl geel yapısı le yaıda lgld ve bu sebeple dl model olaa adladıılmaadı. Bu bölümde Gzl Maov Model ve Gzl Maov Model emel oluşua Maov zcle ve Maov model le lgl blg velde soa geel paameele hesaplamasıı asıl yapıldığı alaılacaı. Ayıca Gzl Maov Modelde ullaılaca değşele süel ya da ayı olması oşuluda paamee ahm asıl yapılacağıda da bahsedlece. Daha soa dl model geel yapısı haıda blg velece. 4.3. Maov Zcle Maov süeçle, b dz duum ve hehag b a ç bu duumlada bde dğee geçş o ada buluula duumu le ble öce buluula duumlaa da bağlı olaa aımladığı soas süeçled. Maov süeçle b al başlığı ola Maov zcle se ayı zamalı, duumla aası geçş sadece buluula duuma bağlı olaa aımladığı süeçled. Bua göe Maov zcle model le aımlaabl. Rabe, 989

33 { S, A, } 4.7 modelde S A : N ade ayı elemada oluşa duum ümes : NxN l duumla aası geçş mas : N boyulu başlagıç duum veöü olaa aımlamaadı. Model, Q={q, q, q 3,..., q T } T ade duum gözlem sıası olma üzee delem 4.8, 4.9 le vele oşullaı sağla. Rabe, 989 q S j q S, q S, q S j q S 4.8 q S q S j ql S ql S j 4.9 Delem 4.8 bc deecede Maov zc oşuluu bel ve soa duumu sadece buluula duuma bağlı olaa aımlaması alamıdadı Rabe, 989. Delem 4.9 se duumla aası geçş paameele zamala değşmedğ göse Rabe, 989. Duum geçş mas A ç delem 4.30-4.33 oşullaı geçeld Rabe, 989. a j q S q S, j N 4.30 j A [ a j ] 4.3 a j 0,, j 4.3 N j a j, 4.33 Geçş mas aımladığı geçşle doğulusuda oluşa gzl Maov modelle falı smle le adladıılmaadı. Geçş masde aımlı geçşlee göe Maov model çeşle şel 4. le velmş.

34 A A A A A3 A 4 A A 3 3 A4 A 3 A 4 A 4 A 33 3 4 A 43 A 34 a A 44 A A A 33 A 44 A A 3 3 A 34 4 A 3 A 4 b A A A 33 A 44 A A 3 3 A 34 4 c Şel 4. a. Egod, b. Solda sağa, c. Solda sağa zolamış Maov model çeşle. Başlagıç duum veöü ç delem 4.34-4.36 oşullaı geçeld. q S, N 4.34 0, 4.35 N 4.36 Yuaıda yapıla aımlamala ve sııladımala çeçevesde, oşullu olasılı ualı delem 4.37 de haeele, vele hehag b Q={q, q, q 3,..., q T } gözlem sıası ç bu gözlem sıasıı geçeleşme olasılığı delem 4.38 le velmş. A, B A B B 4.37

35 Delem 4.37 A ve B olaylaıı ble geçeleşme olasılığıı B olayıı ve B olayı vae A olayıı geçeleşme olasılılaıa bağlı olduğuu fade emeed. T q q T T T T T T T T T T T T T T T T a q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q Q q 3 3 3 3 3,...,,,...,,,...,,,...,,,...,, 4.38 Delem 4.38 le Q gözlem sıası, oşullu olasılı ualı doğulusuda, e e paçalaa ayılmaadı. He adımda oşullu olasılıla, bc deecede Maov zc özellğ uygulaaa duumla aası geçş olasılılaıa dgeeblmeed. So olaa ala q se başlagıç duumu olasılığı belmeed. 4.3. Gzl Maov Model Maov zclede he b gözlem b duuma aşılı geldğ vasayımı söz ousudu. Maov zclede falı olaa Gzl Maov Model de duumlaı doğuda gözleebl olmadığı vasayılı; gözlemle geçe duumlaı b olasılı fosyou olaa geçeleşğ vasayılı. Bua göe Gzl Maov Model de gözlemle, gözlemlede duumlaa geçş, gzl duumla, duumla aası geçşle söz ousu olmaadı. Gzl Maov Model ={N, M, A, B, } le aımlaabl. Model paameelee lş aımla aşağıda velmş Rabe, 989. N: modelde duum sayısıdı. Duum ümes S={S, S,..., S N } le göselmee ve aıda buluula duum q le fade edlmeed. M: ayı gözlem sembolle sayısıdı. Gözlem sembolle model fz çıılaıa aşılı gelmeed. Gözlem sembolle ümes V={v, v,..., v M } le göselmee ve aıda gözlee sembol O le fade edlmeed. A: Duumla aası geçş olasılı masd. Sözel olaa; aıda. duumda buluulup + aıda j. duumda buluma olasılığıı fade ede. A=[a j ] delem 4.39 le aımlamışı.

36 a j q S q S, j N 4.39 j B: Gözlem sembolle olasılı dağılımıdı. Sözel olaa aıda j. duumda buluulup. gözlemde sembolüü üelme olasılığıdı. B=[b j ] delem 4.40 le aımlamışı. j N b j O v q S j 4.40 M Doğuda gözleemeye duumlaı be olasılı dağılımı olaa meydaa gedğ gözlem sembolle geçeleşme olasılılaı b j delem 4.4, 4.4 le vele oşullaı sağla. b j 0, j, 4.4 M b, j 4.4 : Başlagıç duumu olasılı veöüdü. Sözel olaa. duumu l duum olma olasılığıdı. =[ ] delem 4.43 le aımlamışı. q S N 4.43 Yapıla aımlamala çeçevesde Gzl Maov Model ç üç poblem aımlaabl Rabe, 989. Bula:. Vele O=O O...O T gözlem sıası ve ={A, B, } model ç O gözlem sıasıı model le geçeleşme olasılığı hesaplaması.. Vele O=O O...O T gözlem sıası ve ={A, B, } model ç e alamlı Q=q q...q T duum sıasıı hesaplaması. 3. Vele O=O O...O T gözlem sıası ve ={A, B, } model ç O olasılığıı masmze edece şelde model paameele ahm edlmes. Bahsedle he b pobleme lş çözümle sıasıyla İle/Ge Fowad/Bacwad algoması, Veb algoması ve Baum-Welch algoması le e e şelde geçeleşleblmeed. 4.3.. İle/Ge Algoması Gözlem sembolle sıası geçeleşme olasılığı le lgl olaa aımlamış ola poblem çözümü ç e başıa İle ya da e başıa Ge algoması yeel olablmeed.

37 İle algoması ç değşe aıa ada ısm gözlem sıası soucuda S duumuda buluulma olasılığı olaa aımlaı ve delem 4.44 le fade edl. O, O,..., O, q S 4.44 İle algoması aşağıda bahsedle adımlala geçeleşl Rabe, 989: Başlagıç: b 4.45 O N Çıaım: j aj b j O 4.46 Bş: N O 4.47 T Sözel olaa; İle algoması le l adımda duumuu başlagıç duumu olması ve bu duumu gözlee O sembolüü üemes hmal. değe olaa aaı. İc adımda şel 4. le özeleeblece, üm duumlada j duumua geçş ve bu ye duumda O + gözlem sembolüü üelme olasılığı hesaplaı. S S... a j a j a Nj S j S N + +j Şel 4. İle algoması ç yeleme adımı şema gösem. Rabe, 989 Üçücü adım le de gözlem sıasıı geçeleşme olasılığı T. üm duumla üzede oplaaa hesaplaması le buluu. Ge algoması ç değşe aıda S duumuda buluulup + aıda bae soası ç gözlem sıasıı geçeleşme olasılığı olaa aımlaı ve delem 4.48 le fade edl. O, O,..., OT q S, 4.48

Ge algoması aşağıda bahsedle adımlala geçeleşl Rabe, 989: 38 Başlagıç: N 4.49 T Çıaım: N N ajb j O j 4.50 T j S a S a a N... S + +j S N Şel 4.3 Ge algoması ç yeleme adımı şema gösem. Rabe, 989 4.3.. Veb Algoması Çözümleme poblem olaa da ble Gzl Maov Model e lş poblem, gözlee sembolle alıda geçeleşe opmum duum dzs oaya çıamayı amaçlamaadı. Opmumlu aımı ya duumlaı e e he b ç ya da üm b gözlem dzs büüü ç yapılabl. Te e duumla üzede opmzasyo gee maı dışı souçla doğuableceğ geese amaşı olduğu ç ech edlmez. Veb algoması le vele b O={O, O,..., O T } gözlem sembolle dzs ç e uygu duum sıası Q={q, q,..., q T } e olaa elde edlebl. max q, q,..., q, O, O,..., O q, q,..., q 4.5 Delem 4.5 le O de O ye ada ola gözlem sembolle sağlaya ve aıda S duumuda buluula duum dzs ç masmum olasılı aımlaı. j max a b O 4.5 j j Delem 4.5 le j duumua hag. duumda geçş e yüse olasılıla geçeleşebleceğ hesaplaaa j duumuda O + gözlem sembolü üelme olasılığı + olaa aaı.

39 Duumla aası e olası geçşle j le uulaa, so adımda bae e olası yol geye doğu ap edlee see duum dzs elde edl. Veb algoması şu adımlada oluşu Rabe, 989: Başlagıç: b O N 4.53 0 4.54 Yeleme: N j max a b O T 4.55 j j j N N j agmax a T 4.56 Bş: j j N q * * T max N 4.57 T agmax N 4.58 T Yol Tab: * q * q T, T,..., 4.59 4.3..3 Baum-Welch Algoması Gzl Maov Model ç eğm aşaması model paameele ahm olaa geçeleşl. aamee ahm geel olaa assal değşele ç yapılıyosa Bayes ahm edc le, assal olmaya değşele ç yapılıyo se E Büyü Olabll Maxmum Lelhood ahm edc le geçeleşlmeed Baa, 005. Bayes ahm edc ç ahm le geçe değe aasıda faa dolayı b C, ˆ malye

40 fosyou le malye fosyou belee değe olaa E[ Cθ, θ ˆ ] s fosyou aımlaı. s fosyou mmze edlee e y θˆ ahm yapılmış olu. Malye fosyou olaa delem 4.60-4.6 le vele fosyola ullaılabl. Haalaı aes: ˆ ˆ C, 4.60 Haalaı mula değe: C, ˆ ˆ 4.6 Düzgü malye fosyou:, ˆ C, ˆ 4.6 0, ˆ Şel 4.4 a. Haala aes, b. Haalaı mula değe, c. Düzgü malye fosyou Baa, 005 Y assal değşee a Y, Y..., Y K öele ç y, y,...,y K değele elde edlyosa ve f y oşullu olasılı yoğulu fosyou olma üzee, vele malye fosyolaı s fosyouda yee oulaa; Haala aes ç: θˆ E[ y], oalama 4.63 Haalaı mula değe ç: θˆ medya 4.64 Düzgü malye fosyou ç: θ ˆ mod 4.65 ahm edcle hesaplaabl. Düzgü malye fosyou le hesaplaa ahm edcye E Büyü Sosal Maxmum A oseo - MA ahm edc de. E Büyü Olabll ahm edc vele Y değşe ç ve Y olasılı model ç ˆ

4 ahm değe delem 4.66 le bulu. ˆ ag max Y ag max 4.66 K y Bele E Büyüleme, Expecao Maxmzao - EM algoması souca E Büyü Olabll le ulaşa algomalada bd. EM algoması şu adımlada oluşu Baa, 005: Başlagıç: Dögü: ç l değe aaı Y X, hesaplaı Y Y X, log X, Y ˆ, ˆ değee göe masmze edl Baum-Welch algoması E Büyü Olabll le paamee ahm yapmaadı ve Bele E Büyüleme algomasıı adımlaıı zlemeed. Baum-Welch algoması ç, j ve değşele aımlaı., j vele b gözlem sıası ve başlagıç model ç aıda duumuda buluulup + aıda j duumua geçş olaa aımlaı ve delem 4.67 le fade edl. se vele model ve gözlem sıası ç aıda duumuda buluulma olasılığı olaa aımlaı ve delem 4.68 le fade edl., j q S, q S O, 4.67 j q S O, 4.68 S S S... S... S S N S N - + Şel 4.5 değşe ç şema gösem. Rabe, 989

4 S S S... S a j b j O+ S j... S S N +j S N - + + Şel 4.6, j değşe ç şema gösem. Rabe, 989 a b O j j, j N 4.69 N j a b O j j j j N, j 4.70 N j değşe zama des üzede oplayaa S duumuda geçşle sayısı ç b oalama değe hesaplaabl. Beze şelde, j değşe zama des üzede oplayaa S, S j geçşle sayısı ç oalama b değe hesaplaabl. { A, B, } ahmle ç: a j : S S j geçşle sayısı belee değe/s geçşle sayısı belee değe : İl duum olaa S göülmes b j : S j duumuda v gözlem sembolüü üelmes/s j duumuda geçşle a j, j 4.7 b j T, O v T j j 4.7 4.73

43 İl model le başlayıp ahm model hesaplaısa ya değee ya da O O oşuluu sağlayaca şelde daha y b ahme ulaşıldığı Baum ve aadaşlaı aafıda 97 çalışmalaı le göselmş. Uygulamada model paamee ahm le lgl aşılaşıla poblemlede bs ola uzu gözlem dzle le ble ve değşele a ada çapımla soucu hesap duyalılığıı alıda ço üçü değele alması duumudu. Bu poblem öüe geçleblmes ç he adımda ve değşele delem 4.74, 4.75 le vele ölçelemeye ab uulmaadı. ç ullaıla ölçeleme asayılaı ç de aye uygulaabl. aamee ahmde ve değşele yee ˆ ve ˆ ölçelemş değşele ullaılabl. N ˆ 4.74 N ˆ 4.75 Model paameele ç yuaıda bahsedle ahm edcle e b gözlem dzs ç hesaplaa değeled. Çoğu zama ç e b gözlem dzs ouşma aıma gb şlede üm geçş ve gözlem sembolle geçeleşme olasılılaıı amamıı eğmeye yeel olmamaadı. Bde ço gözlem dzs ç paamee ahm, gözlemle bbde bağımsız olduğu vasayımı le heb T m m=,..., M uzulua oplam M ade falı gözlem dzs ç delem 4.76-4.78 le velmeed Xaol, 000. M m T m M m T m j m m j a, 4.76 M m T m M m T v O m j m m j j b, 4.77

44 M m 4.78 M m Gözlem sembolle geçeleşme olasılığı b o değşele süel olasılı dağılımı j fosyou olaa modellemes duumu söz ousu olablmeed. b o süel olduğu duumlaı modellemesde yaygı olaa aışımlı omal dağılım Gaussa mxue fosyouu ullaımı söz ousu olmaadı. M b j o c j j j j N o,, 4.79 Delem 4.79 le vele aımda c j le j c duum ç ullaıla ıcı aışım modele a asayı, N, o, j j le de o gözlem sembolü ç j oalama veöü, j ovayas mas ola omal dağılımda hesaplaaca ola olasılı edlmeed. değe fade Şel 4.7 le e boyulu aışımlı omal dağılıma lş öe velmş. Şel 4.7 Te boyulu aışımlı omal dağılım öeğ Gözlem değele geçeleşme olasılılaıı, b süel olasılı dağılımı olaa modellemes le ahm geçeleşlece paameelee c, ve değele de ele. Delem 4.80 le ayı olasılı dağılımlı gözlem değele ç hesaplaa değe geelleşlmş hal ola j, değe velmş. j, değede haeele süel olasılı dağılımıa sahp GMM modelle ç ahm yapılaca dğe paameele gücelleece değele delem 4.8-4.83 le velmş. c, ve ç vele ahm değele e gözlem dzse lş olaa velmş Rabe, 989

45 M m jm jm jm j j j N j o N c o N c j j j j j,,,,, 4.80 T M T j j j c,, 4.8 T T j j o j,, 4.8 T j j T j j o o j,, 4.83 4.3.3 Gzl Maov Model Geş Sözlülü Süel Kouşma Taımada Kullaımı Geş sözlülü süel ouşma aımada paçalı sesbmle ullaımı gee aıma uzayıı ese b şelde geşleebldğ, geese eğm öe sayısı ısılaıı olayca aşabldğ ç uygu düşmeed. Juag, Rabe, 989. açalı sesbmle ya fo/foemle ouşma aımada ullaımı ç heb fo/foem ç beze emel GMM aımı yapılı. Geel olaa emel GMM le dö duumlu solda sağa modelle olaa aımlaı. Eğm aşamasıda heb eğm öeğe aşılı b GMM oluşuulmaadı. Heb eğm öeğ ç lgl fo çözümlemesde geçe foa lş emel GMM le bble aası geçşle sesle aası geçş sayısıa göe olasılıladıılaa b aaya gel. Tüm eğm öele ç oluşuula GMM le üzede Baum-Welch algoması çolu gözlem duumu dae alıaa uygulaı. Souça heb foa lş emel GMM paameele gücellemş olaa elde edlmeed. Şel 4.8 le GMM ç eğm ve es aşamalaı blo şema halde velmş.

46 GMM Model Dosyası GMM Başlagıç Değele Veme Tes Gözlem Değele GMM Eğm Model Oluşuma GMM Eğm GMM Model aameele Kelme Dzs Çözümleme Ses Ves Ee Dosyası Eğm Gözlem Değele Dl Model Şel 4.8 GMM eğm ve es aşamalaı blo yapısı Tes ve aıma aşamasıda gücel değel emel GMM le ugulaa es model çeçevesde baaya gelee aıma aama uzayı oluşuulu. Vele b gözlem dzs e yüse olasılıla sağlaya yol üzede fola aıma soucu olaa elde edl. 4.4 Dl Model Dl model le amaçlaa söz dzsde. elme w ı geçeleşme olasılığıı edde öce W w, w,..., w elme dzse bağlı olaa oaya omasıdı. Kelme geçeleşme olasılığıı edde öce - elmeye bağlı olaa oaya oması N-gam dl model, olaa adladıılı ve delem 4.84 le fade edl. w W w W 4.84 N-gam ç olasılı değele doğuda eğm sede feas sayımlaı le hesaplaablmeed. N-gamlaı oluşuulmasıda büyü sözlüle çalışılıyo olması bazı N-gamlaı eğm sede gözleememes poblem doğuabl. Bu duumda gözlee N- gam olasılılaıa olduğuda üçü olasılıla aaaa ala aı olasılıla gözleemeye N-gamlaa paylaşıılabl. Bazı duumlada se eğm se alamlı N-gam oluşumaya yeel olmamaadı, bu duumda se daha düşü elme sayılı dl modellede ağılıladıaa see N-gamla elde edlmş olu. Tes aşamasıda oluşuula aama uzaylaı üm elmele aası geçşle belledğ ç es modelle üzede b N-gam dl model yapısı oluşuulduğu söyleebl.

47 5. UYGULAMA Uygulama aşamasıı, ses syal sayısallaşıılmasıda başlayaa öşlemle, özell çıama, GMM model oluşuma, GMM eğm, dlblgs ya da dl model oluşuma ve GMM çözümleme süeçle geçeleşlme adımlaı bu başlı alıda alaılacaı. Ayıca falı uygulama modelle üzede elde edle deeysel souçlaa ve aıma başaı oalaıa da ye velece. Eğm ve es aşaması ç ullaıla İglzce ses öele CMU aafıda 99 yılıda aydedlmş ola AN4 veabaıda alımışı [5]. Bu veabaıda şlede sm, ades, elefo umaası ve doğum güü gb şsel vele sesl söylemele semş ve bu şelde 6 Hz e 6 b çözüülüle ses ves sayısallaşıılaa aydedlmş. Tüçe ouşma aıma deey ugusuda ullaıla ses vele 6 Hz e 6 b çözüülüe sayısallaşıılmış b ouşmacıya a ses öeled. 5. Ö İşlemle Ses ves üzede şlem yapılıe falı oamlada, falı şlede ayıla yapıldığı göz öüe alıaa ses ves - le aasıa omalze edlee ullaılmışı. Böylelle üm ses öele ç e yüse gel değele eşlemş olmaadı. a b Şel 5. a. Ö-vugulama ve omalzasyo öces, b. soası ses ves

48 Yüse feaslı özellle oaya çıaılması ç 4.5 eşlğde ö-vugulama şlem a=0.95 alıaa uygulamışı. Ö-vugulama ve omalzasyo öces ve soası ses vesde değşlğe lş b öe yaay ese zamaı düşey ese gel değele göseme üzee şel 5. le velmş. Sese lş ısa süel duağa feas özellle oaya çıaılması ç 56 öel delem 4.8 le fade edle Hammg pecee fosyolaı 8 e öe aydıılaa uygulamışı. 6 Hz l syal dae alıdığıda 56 öe 6 ms l ses syale aşılı gelmeed. 5. Özell Çıaımı eceeleme fosyou soucu elde edle 56 öel özell veöüe FFT uygulaaa feas boyuuda sme 56 öel ye özell veöü elde edl. Sme yapı dae alıaa özell veöüü geesz c yaısı özell veöüde çıaılı. Böylelle feas boyuuda 8 öel özell veöü elde edl. Feas boyuuda elde edle özellle amaşı değell olmala ble sahp oldulaı gel özellle hesaplaaa özell değele olaa ullaılı. İsa ulağıda bazal zaa bezem sağlama ç 0-000 Hz aası 0 ade lee eş aalılı, -8 Hz aası mel ölçeğde 5 ade logam eş aalılı üçge peceelele fle baası oluşuulaa 8 öel özell veöüe uygulaı. Souça boyuu 5 ola b özell veöü elde edl. Özell değele logamalaı alıaa özellle sas olaa omal dağılıma yalaşııldıa soa ayı osüs döüşümü uygulaaa 5 ade sme yapıda MFKK asayılaı elde edl. Sme yapı dae alıaa so MFKK asayısı le DC özellle çedğ ç l MFKK asayısı özell veöüde çıaılaa boyulu MFKK özell veöü elde edl. Şel 5. le b pecee geşlğde ses ves, uygulaaca peceeleme fosyou, peceeleme soucu ve peceeye lş hesaplaa MFKK asayılaı velmş. Şel 5.3 le se yalaşı s l b ses vesde elde edle MFKK asayılaı; peceelee, MFKK asayı sıasıa ve gel değee göe gafsel olaa göselmş.

49 a b c d Şel 5. a. B pecee geşlğde ses ves, b. Uygu boyulu Hammg pecee fosyou, c. Ses ves pecee fosyouda geçlmş hal, d. İlgl pecee ç hesaplamış MFKK asayılaı a

50 b Şel 5.3 a. Ses ves, b. Ses vese lş hesaplamış MFKK asayılaı Hesaplaa MFKK asayılaı boyulu b veö olaa elde edl ve bulada heb eel değell özellled. Uygulamada bu eel değel boyulu veöle K-oalama algoması le daha öcede bellemş meezlede edse e yaı olaa aaaa, ayı b gözlem değe alı. x,y d x x y y 0,0 x,y Şel 5.4 İ boyulu b uzayda Öld uzalığı Meez veöle bellemes K-oalama eğm aşaması le geçeleşl. GMM model eğmde ullaılaca ola ses sayısıı yaısı ada öbe oluşuaca şelde K- oalama algoması ç paamees belleee, Öld uzalığı şel 5.4 emel alıaa güdümsüz eğm geçeleşl. Souça ses fo veya foem sayısıı yaısı ada meez veö bulumuş olu. Bu oada bae aus model oluşuulması ve GMM model eğmde bahsedlece.

5 5.3 Model Oluşuma ve Eğm GMM model fo veya foemle baz alıaa oluşuulmaadı. He b fo veya foem başlagıç, gövde, çıış ve bağlaı olma üzee 4 duumlu GMM modele sahp. Bu emel GMM model şel 4. b le vele solda sağa modeld. Fo veya foemle ç oluşuula emel GMM modelle A paameese lş l oşullaı aamış halleyle şel 5.5 le velmş. B paameese lş olaa se l değe aaması heb duumda üm gözlem değelee eş olasılı veece şelde olmaadı. Şel 5.5 le vele l değele yapıla deemele soucu e başaılı aıma oaıı sağlaya değeled. olasılı olasılı olasılı olasılı duumla duumla duumla duumla 0. 0. 0.4 0.4 0.4 3 0.6 4 0.4 0.4 Şel 5.5 Fo veya foem ç emel GMM model paameele l duum aaması Fo veya foem bazıda üm emel GMM modelle oluşuulup l değele aadıa soa eğm se mesel odlaması doğulusuda bu modelle uygu şelde bleşlmes geemeed. Eğm se süel ouşma çee ses dosyalaıda oluşmaadı. Heb ses dosyasıda bblede falı aam dzle, falı şlece söylemş halleyle ayılı bulumaadı. Ayıca ses dosyalaıa lş cümle bazıda çözümlemele de me olaa eğm see dahld. GMM model eğmde e b eğm se üm fo veya foemlee lş model paameele eğm sağlayamayacağı ç ço sayıda gözlem öeğ le eğm yapılmalıdı. Bu amaçla da üm gözlem değele bde geçeleyece model paameele hesabı b sefede yapılmalıdı. Yuaıda bahsedle duumu geçeleme amacıyla heb eğm öeğe lş geel GMM model eğm öeğde geçe heb fo veya foem çeece şelde, bb ap ede fo veya foemle aası geçşle uygu şelde olasılıladıılaa oluşuulu. Ayıca eğm öeğ ümü ç yapay b başlagıç ve b çıış duumu elep bu özel duumla

5 ç özel gözlem değele aımlaaa üm model ap emes gee duum dzs oşulladıılmaadı. <S> ONE FOUR EIGHT TWO THREE </S> SIL W AH N F AO R EY T T UW TH R IY SIL Şel 5.6 B eğm model ç elme bazıda ve fo bazıda çözümleme ves A mas a

53 B mas b Şel 5.7 İl oşullaı velmş geel GMM ç a. A mas, b. B mas B eğm öeğde oluşuulaca geel GMM model ç hag fo veya foem emel modelle b aaya geleceğ eğm öeğe lş elme bazıda çözümlemş mede haeele, b elaffuz sözlüğüde elmelee aşılı gele fo-foem çözümleme le belle. Şel 5.6 le elme ve fo bazıda çözümleme öeğ velmş. Şel 5.7 le b eğm öeğe lş l oşullaı velmş geel GMM modelde duumla aası geçş mas A ı ve gözlem sembolle geçeleşme olasılığı mas B asıl olasılıladııldığı göselmş. A masde dyagoal olasılıla ses ç dğe geçşle sesle aası geçş gösemeed. Temel GMM le bleşlmesde oluşuula cümle ç GMM model Baum-Welch algoması le eğle yöem zleebl. Bulada l hem A hem de B paameele ble gücellemes yöemd. İl yöem le aşılaşıla b poblem se geel olaa eğm öeğde elmelee lş başlagıç ve bş oalaı şaelemede ullaılacağı ç, gözlem sembolü olaa e ço aşılaşıla değele geçeleşme olasılılaıa, üm duumlada, dğe gözlem sembollee göe daha yüse değe