T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ KONUŞMACI TANIMA YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ. Cemal HANİLÇİ

Transkript

1 T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ KONUŞMACI TANIMA YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ Cemal HANİLÇİ YÜKSEK LİSANS TEZİ ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI BURSA-2007

2 T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ KONUŞMACI TANIMA YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ Cemal HANİLÇİ Yrd. Doç. Dr. Fgen ERTAŞ (Danışman) YÜKSEK LİSANS TEZİ ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI BURSA-2007

3 T.C. ULUDAĞ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ KONUŞMACI TANIMA YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ Cemal HANİLÇİ YÜKSEK LİSANS TEZİ ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI Bu Tez.../.../ tarhnde aşağıdak jür tarafından oybrlğ/oy çokluğu le kabul edlmştr. Yrd Doç Dr. Fgen ERTAŞ Danışman......

4 ÖZET Son yıllarda kşnn sesnden km olduğunun belrlenebldğ uygulamalar yoğun lg odağı olmuştur. Kmlk belrleme ya da doğrulama, güvenlk ve erşm kontrolü gb uygulamalarda en öneml şlevlerden brdr. Gzl kaynaklara (blg, blgsayar, özel saha) kontrollü erşm sağlamanın yöntemlernden olan anahtar, şfre, kmlk kartı kolaylıkla kaybolablr, çalınablr veya taklt edleblrken, başkalarınca taklt edlemeyen kşye has eşsz özellkler yan byometrklern kullanımı rağbet görmeye başlamıştır. Byometrkler parmak z, el geometrs ve retna örüntüsü gb fzksel özellkler ya da el yazısı ve sesz (voceprnt) gb kşsel özellkler kullanır. Her ne kadar parmak z ve retna örüntüsü kşnn kmlğn belrlemede daha güvenlr olsa da telefon hattı üzernden blg toplama gb pratk uygulanablrlğnden dolayı ses örneğnden kşnn kmlğnn belrlendğ uygulamalar son yıllarda ön plana çıkmıştır. Bu tezde metnden bağımsız konuşmacı belrleme konusunda sıkça kullanılan yöntemlerden Saklı Markov Modeller ve Vektör Ncemle algortmaları ncelenmştr. Brnc bölümde, konuşmacı tanıma uygulamalarında bugüne kadar kullanılmış kşnn sesn temsl eden özellkler ve bu özellklern modellenmesnde kullanılan yöntemlerden bahsedlmektedr. İknc bölümde bu tezde yapılan deneyler sırasında kşnn sesn temsl eden parametrelerden mel ölçekl kepstrum katsayıları (mfcc) ve bu katsayıların çıkarımı sırasında zlenen adımlar detaylı br şeklde anlatılmaktadır. Konuşmacı tanıma sstemnde özellk çıkarımından sonrak adım olan modelleme teknklernden Saklı Markov Modeller (SMM) ve Vektör Ncemleme (VN) algortmaları da detaylı br şeklde knc bölümde anlatılmaktadır. Son bölümde se mfcc özellkler le SMM ve/veya VN kullanılarak elde edlen deneysel sonuçlar verlmektedr. Bu tezn k temel amacı vardır. Bunlardan lk, konuşmacı tanıma sstemlernn yapı taşlarından olan özellk vektörler boyutunun optmum değernn belrlenmesdr. İkncs se konuşmacı tanıma uygulamalarında en çok kullanılan k yöntem olan SMM ve VN algortmalarının karşılaştırmalı analzlernn yapılmasıdır. Ayrıca SMM yöntem le en fazla konuşmacı sayısının kullanıldığı metnden bağımsız konuşmacı tanıma uygulaması olması nedenyle de bu tez ayrı br önem taşımaktadır. Deneyler sırasında 630 kşlk TIMIT vertabanı kullanılmıştır. VN le yapılan deneylerde 21 sn eğtm (7 cümle) ve 9 sn test vers (3 cümle) çn 32 kod ktabı le 630 kş çn %100 tanıma oranı elde edlmştr. Yne aynı şartlarda 32 karışım ve 1 durumlu SMM kullanılarak 630 kş çn %100 tanıma oranı elde edlmştr. Her k test sonucu da deneysel sonuçlar ve tartışma bölümünde de belrtleceğ gb lteratürde yapılan çalışmalardan yüksektr. Anahtar kelmeler: metnden bağımsız konuşmacı tanıma, mel ölçekl kepstrum katsayıları, saklı Markov Modeller, Vektör Ncemleme

5 v ABSTRACT Nowadays dentfyng people from ther voces has become one of the most popular applcatons. Personal dentfcaton s an essental requrement for controllng access to protected resources. Personal dentty can be clamed by a key, a password or a badge, all of whch can be easly stolen, lost or faked. However, there are some unque (bometrcs) features of ndvduals whch cannot be mtated by someone else. Bometrcs uses physcal characterstcs such as fngerprnts, hand geometry and retnal patterns, and personal trats such as handwrtng and voceprnt. Although fngerprnts or retnal pattern are usually more relable ways of verfyng that a person s who he clams to be, dentty verfcaton based on person s voce has specal advantages for practcal deployment such as the convenence of easy data collecton over the telephone. In ths thess, two most common technques, Hdden Markov Models (HMM) and Vector quantzaton (VQ), whch are used n text-ndependent speaker dentfcaton, are analyzed from the vew pont of performance analyss. Frst chapter of ths thess descrbes the parameters whch represent speakers and the modelng technques that are used for modelng of these parameters. In the second chapter we descrbe the Mel Frequency Cepstral Coeffcents (mfcc), that s used durng experments as the parameters that represent speaker, and the steps of extracton these features from a gven voce sample. It s also descrbed n the second chapter, modelng of these features, HMM and VQ, whch s the second step of a speaker dentfcaton system. Fnally t s gven that the text-ndependent speaker dentfcaton results usng both HMM and VQ n the last chapter of ths thess. Ths thess has two man purposes. Frst, makng a decson about the optmum number of mfcc whch s gong to be used n the system and the second s, comparng two popular approaches to perform speaker dentfcaton, HMM and VQ, accordng to dentfcaton rates. The other mportance of ths thess s, t s the largest populaton text-ndependent speaker dentfcaton study usng HMM. The TIMIT database whch contans 630 speakers was used durng experments. 100% speaker dentfcaton rate was acheved wth the speaker dentfcaton system that uses VQ wth 32 codebooks for 630 speakers when the 7 sentences (approxmately 21 seconds) of each speaker were used to create codebook and the remanng 3 sentences (approxmately 9 seconds) for testng. Under the same condtons but usng a 1 state HMM wth 32 mxtures for modelng the speakers nstead of VQ, % 100 speaker dentfcaton rate was acheved. It wll be shown that these are the hghest dentfcaton rates of the earler studes n the last chapter. Key Words: text-ndependent speaker dentfcaton, mel frequency cepstrum coeffcents, Hdden Markov Models, Vector Quantzaton.

6 v İÇİNDEKİLER Sayfa TEZ ONAY SAYFASI... II ÖZET...III ABSTRACT... IV İÇİNDEKİLER... V KISALTMALAR DİZİNİ....VII ÇİZELGELER DİZİNİ... VIII ŞEKİLLER DİZİNİ...IX SİMGELER DİZİNİ...X GİRİŞ KURAMSAL TEMELLER ÖZELLİK SEÇİMİ Kısa Zaman Spektrumu Ptch (Perde) Frekansı Formant Frekansları Öngörücü Katsayıları Mel Ölçekl Kepstrum Katsayıları Sınıflandırma Yöntemler Şablon Modeller Dnamk Zaman Eğrme Vektör Ncemleme İstatstksel Modeller Saklı Markov Modeller Yapay Snr Ağları Gauss Karışım Model MATERYAL VE YÖNTEM Vertabanı Özellk Seçm Kısa Dönem Analz Mel Ölçekl Kepstrum Katsayıları Çerçeveleme Pencereleme Ön Vurgulama Hızlı Fourer Dönüşümü Mel Ölçekl Süzgeç Takımı Logartma Alma Ayrık Kosnüs Dönüşümü Özellk Eşleştrme ve Konuşmacı Modelleme Markov Modeller.. 25

7 v Saklı Markov Modeller Saklı Markov Modelde Üç Temel Problem ve Çözümü Değerlendrme Problem Tahmn Problem Model Yapısını Öğrenme Problem Saklı Markov Modellern Konuşmacı Tanımaya Uygulanması Vektör Ncemleme LBG Algortması K-Ortalama Algortması DENEYSEL SONUÇLAR VE TARTIŞMA VN le Deneysel Sonuçlar VN le Farklı Eğtm Algortmalar ve Uzaklık Ölçütlernn Karşılaştırılması SMM le Deneysel Sonuçlar Karşılaştırmalı Sonuçlar.48 ÖNERİLER...53 KAYNAKLAR...54 EKLER...57 ÖZGEÇMİŞ...60 TEŞEKKÜR...61

8 v KISALTMALAR DİZİNİ DTW Dnamk zaman eğrme GKM - Gauss karışım model SMM Saklı Markov Modeller VN Vektör Ncemleme MFCC Mel ölçekl kepstrum katsayıları LPC doğrusal öngörülü kodlama katsayıları NN Yapay snr ağları

9 v ÇİZELGELER DİZİNİ Sayfa Çzelge 3.1 TIMIT 168 kş çn LBG algortmasıyla farklı uzaklık ölçütler le elde edlen tanıma oranları.42 Çzelge 3.2 TIMIT 168 kş çn K-ortalama algortmasıyla farklı uzaklık ölçütler le elde edlen tanıma oranları.43 Çzelge 3.3 Çzelge 3.4 Çzelge 3.5 Çzelge 3.6 VN algortması le TIMIT 630 kş çn karşılaştırmalı sonuçlar...48 VN algortması le TIMIT 168 kş çn karşılaştırmalı sonuçlar..50 SMM le TIMIT 168 kş çn karşılaştırmalı sonuçlar SMM le TIMIT 630 kş çn karşılaştırmalı sonuçlar..51

10 x ŞEKİLLER DİZİNİ Sayfa Şekl 1.1 İk katmanlı br yapay snr ağı.. 10 Şekl 2.1 Kısa dönem analz Şekl 2.2 Mel ölçekl kepstrum katsayıları akış dyagramı Şekl 2.3 Ses şaretnn Hammng Penceresnden geçrlmş hal.17 Şekl 2.4 Ön vurgulama şlem..18 Şekl 2.5 Hızlı Fourer dönüşümü.19 Şekl 2.6 Mel ölçekl süzgeç takımı.20 Şekl 2.7 Süzgeç takımı çıkışında elde edlen şaret..21 Şekl 2.8 Logartması alınan şaret.22 Şekl 2.9 Ayrık kosnüs dönüşümü matrs.23 Şekl 2.10 Mfcc katsayıları. 24 Şekl durumlu Markov model..28 Şekl 2.12 SMM le konuşmacı tanıma sstemnn eğtm aşaması 32 Şekl 2.13 Bölütsel K-ortalama algortması akış dyagramı. 34 Şekl 2.14 SMM le konuşmacı tanıma sstemnn test aşaması 34 Şekl 2.15 VN algortmasının şleyş adımları.37 Şekl 2.16 K-ortalama algortmasının şleyş adımları 39 Şekl 3.1 VN le konuşmacı tanıma oranlarının değşm..40 Şekl 3.2 VN le 168 kş çn konuşmacı tanıma oranlarının değşm...41 Şekl 3.3 VN le 630 kş çn konuşmacı tanıma oranlarının değşm 41 Şekl 3.4 SMM le 12 mfcc kullanarak 40 kş çn tanıma oranlarının değşm.43 Şekl 3.5 SMM le 16 mfcc kullanarak 40 kş çn tanıma oranlarının değşm.44 Şekl 3.6 SMM le 20 mfcc kullanarak 40 kş çn tanıma oranlarının değşm.44 Şekl 3.7 SMM le 24 mfcc kullanarak 40 kş çn tanıma oranlarının değşm.45 Şekl 3.8 SMM le 168 kş çn tanıma oranlarının değşm...46 Şekl 3.9 SMM le 630 kş çn tanıma oranlarının değşm 46

11 x SİMGELER DİZİNİ x = x, x,..., x ) - özellk vektörü ( 1 2 n w -. sınıf μ - Ortalama - Ortak değşnt matrs P ( w ) - w sınıfının önsel olasılığı P( w x) - w sınıfının şartlı olasılık yoğunluk şlev P ( x w ) - w sınıfında x n olasılık yoğunluk şlev λ - Saklı Markov Model C - j. kod vektörü j

12 1 GİRİŞ Konuşma şaret pek çok blg taşımaktadır. İçerdğ blgler arasında en önemller kelme veya konuşulan mesajın çerğ ve konuşmacının kmlğdr. Konuşma tanıma söylenen kelme veya cümlenn çerğ le lglenrken konuşmacı tanıma kelme veya cümley söyleyenn kmlğ le lglenmektedr. Konuşmacı tanıma sstem özellkle son yıllarda oldukça lg çeken konular arasında yern almıştır. Konuşmacı tanıma, kşye özgü blglern bulunduğu konuşma şaretler aracılığı le otomatk olarak kmn konuştuğunun belrlenmesdr (Doddngton 1985, O Shaugnessy 1986, Furu 1997, Campbell 1994, Gısh ve Schmıdt 1994). Konuşmacı tanıma günümüzde sesl arama, telefon bankacılığı, telefonla alışverş, vertabanı erşm servsler, güvenlk kontrolü, blgsayarların sesle kontrolü ve adl uygulamalar gb alanlarda kullanılmaktadır. Konuşmacı tanıma şlem, konuşmacı doğrulama ve konuşmacı belrleme olmak üzere k gruba ayrılır. Bu k yöntemn ortak noktası, her k yöntemn de referans konuşmacılara at br vertabanı, benzer analz ve karar teknklern kullanmasıdır. Konuşmacı belrleme, sstemde kayıtlı konuşmacılardan hangsnn konuştuğunun belrlenmes, konuşmacı doğrulama se km olduğunu dda eden kşnn kabul veya reddedlmesdr. İk yöntem arasındak temel fark, karar aşamasında ortaya çıkmaktadır. Konuşmacı belrlemede sstemn ürettğ karar sayısı sstemde kayıtlı bulunan konuşmacı sayısına eşttr. Buna karşılık konuşmacı doğrulamada kş sayısından bağımsız olarak karar açısından sadece k seçenek vardır: Kabul veya Ret. Bundan dolayı konuşmacı belrlemede kş sayısı arttıkça tanıma oranı azalırken, konuşmacı doğrulamada tanıma oranı kş sayısından bağımsız olarak br sabte yakınsayacaktır. Konuşmacı tanıma sstemler Açık Küme ve Kapalı Küme olmak üzere kye ayrılır. İks arasındak tek fark, ssteme kayıtlı olmayan kşlern de ssteme grş yapablp yapamadığının önceden blnmesdr. Kapalı Kümede sstem sadece kayıtlı

13 2 kşler le çalışırken, Açık Küme se ssteme blnmeyen hatta yanıltmak steyen kşlern de erşebleceğnn kabul edldğ sstemdr. Açık küme konuşmacı tanıma sstemnde, blnmeyen konuşmacıya at grlen test cümles, sstemde kayıtlı bulunan referans modellerden hç br le uyuşmuyor olablr. Bu tür sstemlern karar aşamasında ek br sonuç daha ortaya çıkmaktadır. Bu sonuç Blnmeyen konuşmacı hçbr modelle uyuşmadı şeklndedr. Doğrulama veya belrleme şlemlernn her ksnde de açık küme tanıma şlem yapılacaksa karar aşamasında ek olarak br eşk değer test yapılmalıdır. Bu eşk değer test sayesnde blnmeyen konuşmacıya at şaretn kabul edleblr olup olmadığına karar verlr (Furu 1997). Genel olarak, br konuşmacı tanıma sstem Eğtm ve Test olmak üzere k aşamadan oluşmaktadır. Eğtm aşamasında, blnen konuşmacılar eğtm cümleler le ssteme tanıtılırlar. Bu şleme modelleme denlmektedr. Test aşamasında se blnmeyen konuşmacıya at test cümles, eğtm aşamasında oluşturulan her br modelle karşılaştırılır ve benzerlk ölçütü kullanılarak test cümlesnn hang modele at olduğuna karar verlr. Bu şleme se sınıflandırma adı verlmektedr. Konuşmacı tanıma sstemler metnden bağımsız veya metne bağımlı olablr. Metne bağımlı sstemlerde, eğtm ve test aşamalarında aynı cümleler kullanılır. Bu tür sstemlerde genellkle şablon eşleştrmeye dayalı sınıflandırma yöntemler kullanılmaktadır (Furu 1981, Nak ve ark. 1989, Rosenberg ve ark. 1991, Zheng ve Yuan 1988). Metne bağımlı tanıma sstemler genelde yüksek tanıma oranları vermektedr. Ancak adl uygulamalar gb güvenlk açısından önem taşıyan durumlarda önceden tanımlanmış sabt cümleler kullanılmaz. Üstelk nsan kulağı konuşmacıları konuşulan sözün çerğnden bağımsız olarak tanıyablmektedr. Bu nedenle son yıllarda metnden bağımsız konuşmacı tanıma uygulamaları daha da lg çekmeye başlamıştır. Metne bağlı ve metnden bağımsız yöntemlern her ksnn de çok öneml br zayıf noktası vardır. Bu zayıflık, bu tarz sstemlern ssteme kayıtlı brnn konuşmalarının kaydedlmes ve bu kayıtlar le kolayca aldatılableceğdr. Bu problem çözmek çn, bazı yöntemler küçük kelme kümeler, sayılar, anahtar kelmeler ve hatta bazı sstemler o an statstksel seçlen kelmeler kullanmaktadır (Hggns ve ark. 1991, Rosenberg ve ark. 1991).

14 3 Konuşmacı tanıma sstemnde, blnmeyen konuşmacıya at ses şaret, blnen konuşmacılara at modellerle karşılaştırılır. Blnmeyen konuşmacı, grş şaret en y eşleşmey hang modelle sağlıyorsa o modeln at olduğu kşye atanır. Konuşmacı doğrulamada se blnmeyen konuşmacı tarafından br kmlk ddası ortaya atılır ve sstem dda sahb konuşmacıyı dda ettğ kşnn model karşılaştırır. Eğer yeterl eşleşme sağlanırsa (eşk değern üstünde) kmlk ddası kabul edlr. Yüksek eşk değer, sstemde olmayıp da ssteme grmeye çalışan takltçlern kabul edlmesn zorlaştırır ancak bu durumda da sstemde kayıtlı kullanıcıların kabul edlmeme rsk ortaya çıkmaktadır. Bu nedenle optmum br eşk değernn belrlenmes gerekmektedr. Bu tezde TIMIT vertabanı kullanılarak kapalı küme, metnden bağımsız konuşmacı tanıma sstem gelştrlmştr. Bu sstem gerçekleştrlrken Saklı Markov Modeller (Rabner 1989) ve Vektör Ncemleme (Lnde ve ark. 1980) olmak üzere k ayrı modelleme teknğ kullanılmış ve bunların karşılaştırmalı analzler verlmştr.

15 4 1. KURAMSAL TEMELLER Konuşmacı tanıma problem, Özellk Çıkarımı ve Sınıflandırma olmak üzere k kısımdan oluşur (Atal 1976). Özellk Çıkarımı kısmında konuşma şaretnden kşy temsl eden parametreler elde edlr. Sınıflandırma aşamasında se Özellk Çıkarımı kısmında elde edlen parametreler kullanılarak blnmeyen test versnn kme at olduğunun bulunması çn değşk sınıflandırma algortmaları kullanılır Özellk Seçm Kşy temsl eden özellk vektörler zamanla değşen ve zamanla değşmeyen olarak k gruba ayrılır (Atal 1976). Zamanla değşmeyen özellkler, zaman geçtkçe değşklk gösteren özellklern ortalamalarının alınması le ya da ses yolunun değşmez anatomk yapısının ölçülmes le elde edlr. Bu özellklern en öneml avantajı konuşmanın çerğnden bağımsız oluşu ve bundan dolayı da metnden bağımsız konuşmacı tanıma uygulamaları çn uygun olmasıdır. Zamanla değşen özellkler se, zamanın sürekl br fonksyonu olan parametrelere karşı seçc olarak tanımlanmış parametrelern ayırt edlmes sonucu elde edlr. Zamanın sürekl br fonksyonu olarak tanımlanan özellklern elde edlmes kolay olmasına karşın çok sayıda gereksz blg çermektedr. Konuşmacı tanıma konusunda başlangıçta yapılan çalışmalarda genellkle zaman, frekans, enerj gb özellkler kullanılmıştır. Günümüze kadar frekans ve zaman ortamında analze dayanan brçok ek özellkler üzernde çalışılmıştır. Bunlardan sıklıkla kullanılanları aşağıda detaylı br şeklde verlmştr Kısa zaman Spektrumu Kısa zaman spektrumu ses şaretnn üç boyutlu olarak temsl edlmesne dayanır. Koordnatlar, zaman, frekans ve enerjdr. Kısa zaman spektrumu ses şaretnn özellklernn tamamını tanımlamaktadır.

16 Ptch (Perde) Frekansı: Ptch frekansı ses tellernn ttreşmlernn temel frekansıdır. Ptch frekansı hem zaman ortamında drekt olarak ses snyalnden peryotların ölçülmes le hem de frekans ortamında spektral tepe değerlernn hesaplanması le elde edleblr. Ptch frekansı konuşmacı tanıma uygulamalarında öneml br etkye sahptr. Ptch frekansı tek başına kullanıldığında ayırt edc olmasa ble dğer ses özellkler le brlkte konuşmacı tanıma uygulamalarında sıklıkla, ama ses tanımada nadren kullanılmaktadır (Rosenberg ve Sambur 1975, Rosenberg 1976, Markel ve ark. 1977, Jankowsk ve dğ. 1994) Formant Frekansları Formant frekansları ses yolunun rezonans frekansları olarak tanımlanmaktadır. Formant frekansları konuşmacıya bağımlıdır. Formant frekanslarının ölçülmesne lşkn br çok yöntem lteratürde tanımlanmıştır (Schaefer ve Rabner 1970). Ancak bayan ve erkek konuşmacılar çn formant frekansları le lgl güvenlr br ölçüm yapılablmes hala temel problemlerden brdr Öngörücü katsayıları Doğrusal öngörü analz, zaman ortamında ses şaretnn spektral özellklern karakterze etmede öneml br yere sahptr. Bu yöntemde, ses şaretnn her br örneğ, geçmş p adet örneğn doğrusal ağırlıklandırılmış toplamı şeklnde öngörülür. Ortalama karasel öngörü hatasını mnumum yapan ağırlık katsayıları öngörücü katsayıları olarak tanımlanır. Genellkle 5 khz band sınırlı br ses şaret çn 12 adet katsayı kullanmak yeterldr. Öngörücü katsayıları zamanın br fonksyonu olarak değşr ve genellkle 20 ms lk peryotlar halnde hesaplanması uygundur. Doğrusal öngörücü tabanlı katsayılar (LPC) ses yolunu modellemektedr. Bu katsayılar konuşmacı tanımada sıklıkla kullanılmasına rağmen gürültüden oldukça etklenmektedrler (Terney 1980). Bu nedenle gürültülü ses çeren uygulamalarda süzgeç takımından elde edlen özellkler daha gürbüzdürler (Van Alphen ve Pols 1991, Palwal 1992, Reynolds ve Rose 1995).

17 Mel Ölçekl Kepstrum Katsayıları Mel ölçekl kepstrum katsayıları günümüzde en çok kullanılan özellk vektörlerdr. Doğrusal öngörü analzne gerek kalmadan hesaplanablmektedr. Çünkü doğrusal öngörü analz ses yolunu modellerken, mfcc özellkler nsan kulağını modellemektedr. Süzgeç takımı kullanılarak elde edldğnden dolayı gürültülü seslerde öngörücü katsayılarına göre daha y performans göstermektedr. İnsanın ses algılama karakterstğne dayanmaktadır. Genellkle mfcc özellklerne ek olarak bunların türevler de kullanılmaktadır. Mfcc katsayıları hem konuşma tanıma hem de konuşmacı tanıma uygulamalarında başarılı sonuçlar vermektedr (Reynolds 1995) Sınıflandırma Yöntemler Konuşmacı tanıma bastçe br örüntü sınıflandırma problemdr. Verlen br test cümlesne at özellk vektörlern kullanarak bu test cümlesn hang konuşmacının söyledğn bulmak sınıflandırıcının görevdr. Bu görev yerne getrmek çn her konuşmacının eğtm verler le akustk modeller oluşturulur. Sınıflama aşamasında test cümlesne at özellk vektörlernn eğtm kümesndek konuşmacılara at şablonlarla olan benzerlğne bakılır. Bu benzerlk ölçütü yardımı le konuşmacı tanıma sstem test cümlesnn km tarafından söylendğn belrler. Konuşmacı tanıma uygulamalarında çeştl sınıflandırıcı teknkler kullanılmaktadır. Bu teknkler genel olarak şablon tabanlı ve statstksel olmak üzere k gruba ayrılablr. Bu bölümde bu sınıflandırıcılar hakkında genel blglere yer verlecektr Şablon Modeller Şablon model tabanlı sınıflandırıcılar en bast sınıflandırıcılardandır. Bu nedenle konuşmacı tanıma uygulamalarında lk kullanılmaya başlanan yöntemler genellkle şablon modeller grubuna at sınıflandırıcılardan oluşmuştur. En yaygın şablon modeller Dnamk Zaman Eğrme ve Vektör Ncemlemedr.

18 Dnamk Zaman Eğrme Dnamk Zaman Eğrme konuşmacı tanıma uygulamalarının lk dönemlernde kullanılmaya başlanan br sınıflandırma teknğdr. Metnden bağımsız konuşmacı tanıma uygulamaları çn kullanışlı ve y sonuçlar veren br yöntemdr l yıllarda oldukça popüler br yöntem olmasına karşın günümüzde yern statstksel modellere bırakmıştır (Furu 1994). Konuşma hızındak değşklklerden dolayı br konuşmacının farklı zamanlarda söyledğ aynı cümleler arasında zamanlama açısından farklılıklar ortaya çıkmaktadır. Zamanlamadak bu problem test cümles le eğtm cümles arasındak öneml benzerlkler bulmak çn Dnamk zaman eğrme algortması le çözülür (Doddngton 1985). DTW, test cümles le eğtm şablonunu karşılaştırırken muhtemel yollardan optmum olanı bulablmektedr. Verlen br referans (eğtm) şablonu R ve test cümles T çn N R ve N T sırasıyla eğtm ve test cümlelerndek çerçeve sayıları olsun. DTW T nn zaman eksen n y R nn zaman eksenne eşleştren br m = w(n) fonksyonu bulmaktadır. DTW, T cümlesn çerçeve çerçeve, R cümlesndek en y çerçevey bularak aşağıdak karşılaştırmayı yapablmek çn tarar. T D = mn d( T ( n), R( w( n))) w( n) (1.1) n= 1 Denklem (1.1) de d, T cümlesne at n. çerçeve le R cümlesne at w(n). çerçeve arasındak br uzaklık ölçütü ve D, en y yolu veya en y eşleşmey temsl eden uzaklık ölçütüdür. Verlen br test cümlesne at özellk vektörü dzs çn, DTW bütün referans şablonlar arasından en y eşleşme uzaklıklarını bulmaktadır. Sstem bu uzaklıkları saklar ve test cümlesnn en küçük uzaklık veren şablona at olduğu kararını verr. DTW genellkle metne bağımlı konuşmacı tanıma uygulamalarında kullanılmaktadır (Campbell 1997).

19 Vektör Ncemleme DTW genellkle metne bağımlı konuşmacı tanıma uygulamalarında kullanılmaktadır. Eğer amaç metnden bağımsız konuşmacı tanıma gerçekleştrmek se muhtemel yöntemlerden brs konuşmacıyı modellemek çn konuşmacıya at tüm özellk vektörlern kullanmaktır. Fakat özellk vektörü boyutunun yüksek olduğu durumlarda bu yaklaşım pratk değldr. Bu nedenle bu tür yaklaşımlarda genellkle özellk vektörü boyutunu azaltan/sıkıştıran yöntemler kullanılmaktadır. Kşye özgü kod ktabı kullanan VN yöntem hem konuşma hem de konuşmacı tanımaya başarıyla uygulanan ve en blnen yöntemlerden brdr (L ve Wrench 1983, Soong ve dğ. 1985, Rosenberg ve Soong 1987, Matsu ve Furu 1990, Matsu ve Furu 1991). VN de, her br konuşmacıya at özellk vektörlernden, bu vektörler temsl eden az sayıda vektör elde edlr. Her konuşmacı br kod ktabı le temsl edlr. Kod ktabı özellk vektörlernn ortalamalarından oluşan kod vektörlernden oluşmaktadır İstatstksel Modeller Günümüzde çoğu konuşmacı tanıma sstemnde statstksel modeller kullanılmaktadır. İstatstksel modeller statstksel skorlarla uygun ve anlamlı sonuçlar ortaya çıkarmaktadır. Br statstksel model tabanlı sınıflandırıcıda, özellk eşleştrme şlemnde verlen br konuşmacı model kullanılarak test cümlesne at br olablrlk hesabı yapılır. model Br konuşmacıya at eğtm verlernn eğtlmes sonucu oluşan br statstksel s λ olsun. Sstem N adet kşyle eğtldğnde sstemde N adet statstksel model olacaktır. Br test cümlesne lşkn özellk vektörü Y = y, y,..., y ) olsun. ( 1 2 L Amacımız bu test cümlesn sstemde kayıtlı olan N adet kşden hangsnn söyledğn bulmaktır. Bu şlem olasılık hesabı le yapılmaktadır. s s P ( Y ) = p( y1, y2,..., yl λ ) s = 1,2,..., λ N (1.2) s Bu olasılıkların tamamı hesaplandıktan sonra karar aşağıdak kurala göre verlr.

20 9 s = arg max p( Y λ ) (1.3) * s 1 s N s Eğer ardışık çerçevelere at özellkler arasında lşk yoksa (bağımsızlarsa) denklem (1.2) şu şeklde düzenleneblr. L s s P( Y λ ) = p( y λ ) (1.4) = 1 İstatstksel modellerde Denklem (1.4) den her sınıf çn elde edlen olasılık değerne göre sınıflama yapılır. Lteratürde bu olasılığı hesaplayan br çok yöntem vardır. En önemller Gauss Karışım Model (Reynolds 1992), Saklı Markov Modeller (Rabner ve Juang 1993) ve Yapay Snr Ağlarıdır (Chester 1993). Bu kısımda kısaca bu yöntemlerden bahsedlecektr Saklı Markov Modeller Dzlern modellenmesnde kullanılan dğer br statstksel model türü Saklı Markov Modellerdr (SMM) (Rabner 1989). SMM her br gözlem vektörünün br durumun statstksel fonksyounu olduğu statstksel br süreçtr. Bu statstksel fonksyon drekt olarak gözlenemez ancak başka br statstksel süreç tarafından gözleneblr bu nedenle Saklı Markov Modeller adını almaktadır (Rabner ve Juang 1993). SMM sonlu sayıda durumdan oluşan ve her durumun özellk vektörüne at olasılık yoğunluk fonksyonunu çerdğ br süreçtr. SMM de durumlar brbrlerne br durum geçş şlev aracılığı le bağlıdır. Durum geçş olasılıkları, a j, br durumdan dğer br duruma geçş olasılıklarını belrtmektedr. SMM tabanlı sınıflandırıcılar genellkle metne bağımlı konuşmacı tanıma yöntemler çn uygundur. Saklı Markov Modelleme çeştl ses tanıma uygulamalarında başarı le kullanılmış olup (Juang ve dğ. 1985, Rabner ve dğ. 1988, Rabner ve Juang 2005) konuşmacı tanıma uygulamalarında da ses tanımada olduğu gb yüksek başarı göstermştr. SMM

21 10 tabanlı yöntemler metnden bağımsız uygulamalarda VN yöntem le kıyaslanablecek başarım göstermş olup (Thsby 1991), metne bağımlı uygulamalarda se dğer yöntemlere kıyasla daha y sonuçlar vermştr (Reynolds and Carlson 1995) Yapay Snr Ağları (NN) Yapay snr ağları temell sınıflandırıcılar hem metne bağımlı hem de metnden bağımsız uygulamalarda kullanılmaktadır. NN grş ve çıkış arasında eşleştrme yapmakta oldukça başarılıdır ve eğtlmş sınıflar çn sonsal olasılıkları tahmn edeblmektedr. NN lneer olmayan karar yüzeylern tahmn edeblmektedr. NN, snr ağının arzu edlen transfer fonksyonunu oluşturmak çn brbrne bağlı az sayıda fonksyonel brmlerden (nöron) oluşmaktadır. Yapay Snr Ağlarının brçok türü vardır. Bunlardan bazıları Çok katmanlı algılayıcılar (Mult-Layer Percepton) (Oglesby ve Mason 1990, Rudas ve Zahoran 1991), Radyal Tabanlı Fonksyon ( Radal bass functon) (Oglesby ve Mason 1991), Öğretc Vektör Ncemleyc (Learnng Vector Quantzer) (Bennan ve Gallnar 1991). Şekl 1.1. İk katmanlı br yapay snr ağı Bu türlerden en yaygın kullanılanı MLP dr. MLP br grş katmanı, belrl sayıda gzl katman ve br çıkış katmanından oluşur (Şekl 1.1). Grş katmanı grşler bütün gzl nöronlara dağıtan lneer olmayan br katmandır. Çıkış katmanındak her br nöron drekt

22 11 olarak br sınıfla lşkldr. Grş şaret, grş nöronları tarafından MLP ye letlr ve her br çıkış nöronu lgl sınıf çn sonsal olasılığı çerr. Grş şaret, hang nöron en yüksek olasılığa sahp se o sınıfa atanır. Yapay snr ağları teknğnn en öneml dezavantajı ssteme yen br kş eklendğnde tüm sstemn tekrar eğtlmes gerekllğdr (Reynolds ve Rose 1995) Gauss Karışım Model Gauss Karışım Model (GKM) tabanlı yöntemler metnden bağımsız konuşmacı tanıma uygulamalarında kullanılmaktadır. GKM, konuşmacı tanımda lk defa 1990 yılında Reynolds kullanılmıştır (Reynolds 1992). Bu yöntem metnden bağımsız uygulamalarda oldukça y sonuçlar vermektedr. GKM de n. çerçeveye at özellk s vektörünün olasılığı, p( λ ), M adet çok boyutlu Gauss olasılık yoğunluk y n fonksyonunun ağırlıklandırılmış toplamından elde edlr. s s s p y λ ) = p b ( y ) (1.5) ( n n ( n s Bu fadede b y ), ortalaması μ ve ortak değşnt matrs s olan. karışım bleşenn göstermektedr. Ağırlık katsayıları aşağıdak şartı sağlamaktadır. M s c = 1 = 1 (1.6) Herhang br konuşmacıya at br GKM model şu şeklde fade edlr: s s s { c, μ, }, M s λ = 1 (1.7) GKM yöntem tek durumlu sürekl ergodk SMM ye karşılık gelmektedr (Matsu ve Furu 1994). Bozuk ve kısıtlanmamış ses kullanan konuşmacı tanıma sstemlernde yüksek başarım sağladığı kanıtlanmıştır (Reynolds ve Rose 1995). Bu yöntem şlem malyet az

23 12 ve gerçek zamanlı uygulanablrlğ kolay olan br yöntemdr (Reynolds 1992, Reynolds ve dğ. 1992). Bu tezde kşy temsl eden özellkler olarak mfcc katsayıları, sınıflandırıcı model olarak se vektör ncemleme (VQ) ve Saklı Markov Modeller kullanılmıştır. Bu yöntemlerle lgl ayrıntılı açıklamalar 2. bölümde verlmştr.

24 13 2. MATERYAL VE YÖNTEM Genel olarak, br konuşmacı tanıma sstem k ana kısımdan oluşmaktadır. Bunlardan lk, kşnn ses örneklernden o kşy en y şeklde ayırt edeblecek ses özellklern çıkartma ve daha sonrak se bu özellkler kullanarak o kşye at model oluşturmaktır. Özellk çıkarma ve model oluşturma çn öncelkle sstemn kullanacağı br vertabanına htyaç vardır. Vertabanı seçmnde dkkat edlmes gereken en öneml noktalar; herkesn erşebleceğ, yaygın olarak kullanılan ve dünyaca kabul edlr özellklere sahp olmasıdır. Ancak bu özellklere sahp br vertabanı le yapılan çalışmalar brbrleryle kıyaslanablr. Bu nedenlerden dolayı bu tezde bu şartlara uygun, oldukça sık kullanılan ve y blnen br vertabanı olan TIMIT (Jankowsk ve ark. 1990) kullanılmıştır. TIMIT vertabanındak kşlere at ses örnekler şlenerek, kşler en y karakterze eden mel ölçekl kepstrum katsayıları elde edlmştr. Daha sonra bu özellkler sınıflanarak kşlere at modeller oluşturulmuştur. Modelleme aşamasında vektör ncemleme ve saklı markov model olmak üzere k ayrı yöntem kullanılarak sonuçlar elde edlmştr. Bu bölümde, özellk vektörlernn elde edlmes, sınıflandırılması ve konuşmacı tanıma sstemnde kullanılması aşamaları detaylı olarak verlmştr Vertabanı TIMIT vertabanında Amerkan İnglzcesnn 8 ana lehçesne sahp bölgelerden seçlmş 438 erkek, 192 kadın olmak üzere toplam 630 konuşmacıya at 10 ar fonetk olarak zengn cümle bulunmaktadır. Konuşmalar sessz ortamda karbon mkrofon kullanarak kaydedlmş ve 16 khz de örneklenmştr. Bu tezde, her konuşmacının 10 cümlesnden 7 tanes eğtm, kalan 3 cümle se test çn kullanılmıştır Özellk Seçm Ses şaret konuşmacı le lgl değşk blgler çermektedr. Ses şaretnn çerdğ blgler arasında kullanılan dl, lehçe, konuşmanın çerğ ve konuşmacının ruhsal

25 14 durumu gb öneml özellkler vardır. Ses şaret konuşmacının fzksel özellklernn (ses yolu boyutu, çevresel etkenler ve letm kanalı) ve ruhsal durumunun br fonksyonu olarak düşünüleblr (Nak 1990). Bu nedenle farklı konuşmacıların ses örnekler arasında ve hatta aynı konuşmacıdan değşk zamanlarda alınmış ses örnekler arasında farklılıklar vardır. Özellk çıkarma şlem k nedenden dolayı önemldr. Bunlardan lk, konuşmacılara at statstksel modellern gürbüz olması çn, kncs se eğtm verlernn ölçüleblr boyutlarda olması, bu sayede de şlem fazlalığını azaltmak çndr (Knnunen 2003). İdeal özellk vektörlernn sağlaması gereken belrl şartlar vardır Bu şartlar, Konuşma sırasında doğal olarak ve sıklıkla ortaya çıkmalı, Kolay ölçüleblr olmalı, Zamanla değşmemel veya kşnn sağlık durumundan etklenmemel, Gürültüden veya letm hattından etklenmemel, Takltlelere karşı hassas olmamalı, şeklnde sıralanablr (Wolf 1972). Pratkte bu şartların tümünü aynı anda sağlayan özellkler bulmak oldukça zordur. Uygulamanın türüne göre gerekl şartları sağlayan özellkler kullanılmalıdır. Ses şaretnn akustk parametreler zamanla değşen ve zamanla değşmeyen parametreler olmak üzere k gruba ayrılablr. Zamanla değşmeyen parametrelern en öneml avantajı konuşmanın çerğnden çok konuşmacıyı temsl etmesdr ve bu yüzden de metnden bağımsız konuşmacı tanıma uygulamaları çn uygundur (Atal 1976). Konuşmacı tanıma uygulamalarında özellk seçmnde üzernde durulan temel noktalardan brs kullanılan özellklern sesn perde ve spektrum özellklern temsl edecek şeklde seçlmesdr (Reynolds 1992). Sesn spektrumunu temsl eden özellklerden doğrusal öngörü katsayıları ve bunların değşk türevler (PARCOR katsayıları, Kepstrum katsayıları) le süzgeç dzs enerjler ve bunların kepstral dönüşümler en yaygın olarak kullanılanlardır.

26 Kısa Dönem Analz Ses şaret, ses yolunun yapısı tbaryle sıkça değştğ çn şaret kısa bölümler halnde şlenmeldr. Böylece şaret yeternce küçük parçalar halnde şlendğ zaman daha kararlı sessel özellk gösterecektr (Deller ve ark. 1993) Böylece şaretn kısa döneml br bölümünden özellkler çıkarılmış olacaktır k, bu şleme kısa-dönem analz denlmektedr. Şekl 1 de kısa dönem analznn adımları gösterlmektedr. Kısa dönem analznde şaret belrl kısımları örtüşen küçük parçalara (çerçeve) ayrılır. Örtüşmenn sebeb blg kaybını engellemektr. Her br çerçeve uzunluğu önceden tanımlanmış br pencere fonksyonu le çarpılır. Pencere fonksyonu le çarpılan çerçevelere pencerelenmş çerçeveler de denlmektedr. Konuşmacı tanıma sstemlernde kullanılan brçok pencere fonksyonu vardır ancak bunlardan en yaygın olanı Hammng Penceresdr. Hammng penceresnn matematksel gösterm; 2nπ w( n) = cos( ) N 1 (2.1) şeklndedr. Denklem (2.1) de N, pencere boyutu ya da çerçeve boyutunu fade etmektedr. Şekl 2.1. Kısa-Dönem Analz

27 16 Br çerçeveden elde edlen özellkler kümesne özellk vektörü adı verlr. Kısa dönem analznden sonra özellk vektörlernn elde edlmesnde değşk yöntemler kullanılmaktadır. Bu çalışmada kşnn sesn karakterze eden özellkler olarak Mel Ölçekl Kepstrum Katsayıları kullanılmaktadır Mel Ölçekl Kepstrum Katsayıları (MFCC) Mel ölçekl kepstrum katsayıları (mfcc), ses şaretn temsl eden özellkler arasında en çok blnen özellklerdr. Mfcc özellkler, ses şaretnn düşük frekans bleşenlernn taşıdığı blg mktarının nsanlar açısından yüksek frekans bleşenlernn taşıdığı blg mktarına göre daha öneml olduğu temelne dayanır (Deller ve ark. 1993). Mfcc özellkler kısa dönem analznden sonra her br çerçeveden bu özellklern elde edlmes şeklnde olur. Mfcc özellklernn elde edlmes sırasında zlenen adımlar Şekl 2.2 de gösterlmektedr. Ses İşaret Çerçeveleme Pencereleme Ön Vurgulama mfcc DCT Log Mel Ölçekl Süzgeç Takımı FFT 2 Şekl 2.2. Mel ölçekl kepstrum katsayıları akış dyagramı Çerçeveleme Grş şaret, M örnekten oluşan kısımları örtüşen N örnek uzunluğunda konuşma parçalarına bölünür (M<N). İlk çerçeve N örnekten oluşurken sonrak çerçeve, lk çerçeveden M örnek sonra başlar ve böylece N-M kadar örnek örtüşür. Deneyler sırasında TIMIT vertabanı çn 10 ms lk kısımları örtüşen 20 ms uzunluklu çerçeveler kullanılmıştır.

28 Pencereleme Çerçeveleme şlemnden sonrak adım olan pencereleme şlemnde amaç snyaln başındak ve sonundak süreksz kısımları azaltmak, dolayısıyla snyaln başındak ve sonundak blg çermeyen bölümler bastırarak spektral bozulmayı engellemektr. Grş şaretmz x(n), pencere fonksyonunu w(n) ve çıkış şaretmz se y(n) le fade edecek olursak, çıkış şaretmz, y ( n) = x( n) w( n) (2.2) şeklnde olacaktır. Genellkle pencere fonksyonu olarak Hammng penceres kullanılır ve Hammng penceresnn matematksel fades Denklem (2.1) de verlmektedr. 2πn w( n) = cos( ) N 1, 1 n N (2.3) şeklndedr. 40 (a) 320 uzunluklu (20 ms) konusma çerçeves (b) 320 uzunluklu (20 ms) Hammng Penceres (c) Isaretn Hammng penceres le pencerelendkten sonrak hal Şekl 2.3. (a) 20 ms uzunluklu konuşma çerçeves, (b) 20 ms uzunluklu Hammng penceres, (c) konuşma şaretnn pencerelenmş hal

29 18 Denklem (2.3) de N, çerçeve uzunluğunu fade etmektedr. Şekl 2.3 (a) da 20 ms uzunluklu br Hammng Penceres, (b) de 20 ms uzunluklu br konuşma şaret ve (c) de şaretn Hammng penceres le pencerelenmş hal görülmektedr Ön Vurgulama Ön vurgulama şlemnde grş şaret brnc dereceden br FIR süzgeç grşne uygulanır. Brnc dereceden süzgecn transfer fonksyonu, 1 H ( z) = z (2.4) şeklndedr. Ön vurgulama şlemnn amacı snyaln yüksek frekans bleşenlern daha baskın hale getrmektr. Şekl 2.4 (a) orjnal ses şaretn ve (b) ön vurgulama şlem yapıldıktan sonra süzgeç çıkışında elde edlen şaret göstermektedr (a) x 10 4 (b) x 10 4 Şekl 2.4. (a) Orjnal ses şaret, (b) Ön vurgulama şlemnden sonra elde edlen şaret

30 Hızlı Fourer Dönüşümü (HFD) N örnekten oluşan konuşma parçasını zaman domennden, frekans domenne çevrmek çn Hızlı Fourer Dönüşümü uygulanır. HFD, Ayrık Fourer Dönüşümünü (AFD) hızlandırmak çn uygulanan br algortmadır. N, örnekl br set çn AFD nn matematksel fades, X n N = 1 k= 0 x k e 2πjkn N, n = 0,1,2,..., N 1 (2.5) şeklndedr. Şekl 2.5 (a) da ön vurgulama şlem yapılmış ve daha sonra da Hammng penceres le pencerelenmş konuşma çerçeves, (b) de se Hızlı Fourer Dönüşümü alınarak elde edlen genlk spektrumu görülmektedr. 10 (a) (b) Şekl 2.5. (a) Konuşma çerçeves, (b) konuşma çerçevesnn genlk spektrumu Mel Ölçekl Süzgeç Takımı Akustk çalışmalar sonucunda konuşma snyallernn frekans ortamındak çerklernn doğrusal ölçekl olmadığı sonucuna varılmıştır (Rabner ve Juang 1993). Bu

31 20 sonuç yen br ölçeğn tanımlanmasına sebep olmuştur. Böylece gerçek frekansı f (Hz) olan br şaret mel adında br ölçeklendrme le fade edlr. 1 khz frekanslı br sesn, nsan kulağının algısal duyma eşğnn 40 db yukarısı 1000 mel olarak tanımlanır. Dğer değerler referans sese göre ayarlanır (Rabner ve Juang 1993). Mel ölçeğ 1 khz e kadar doğrusal, 1 khz den sonra se logartmk olarak değşen aralıklarla fade edlen br ölçektr. Verlen br f (Hz) frekansını mel frekansı ölçeğnde fade etmek çn, f mel ( f ) = 2595log(1 + ) (2.6) 700 denklem kullanılır. Genlk spektrumu hesaplanan şaret br sonrak adımda mel ölçekl süzgeç takımından geçrlr. Mel ölçekl süzgeç takımı, 1 khz e kadar doğrusal, 1 khz den yüksek frekanslarda se logartmk olarak yerleştrlmş üçgen süzgeçlerden oluşmaktadır. Şekl 2.6 da mel ölçekte yerleştrlmş süzgeç takımı görülmektedr. Mel Ölçekl Süzgeç Takm Genlk Frekans (Hz) Şekl 2.6. Mel ölçekl süzgeç takımı. Mel ölçekl süzgeç takımında kullanılacak süzgeç sayısı (FS) şaretn band genşlğn kapsayacak şeklde seçlmektedr. İşaretn örnekleme frekansı f s se süzgeç sayısı [0,

32 21 f s ] frekans aralığını kapsayacak şeklde seçlmeldr. l süzgeç takımında bulunan 2 süzgeçlerden br olsun. Bu fltrenn merkez frekansı f c l, alt ve üst frekansları se sırasıyla fc l 1 ve fc l+1 olur. N noktalı ayrık Fourer dönüşümü le genlk spektrumu çn üçgen fltreler ayrık Fourer dönüşümü frekans nds k le tanımlanır, k [ 0, N ]. 2 k (( ) f s fc l N Fl [ k] = k ( f c ( ) f l+ 1 N 1 s ) /( f /( f cl cl + 1 f c l 1 f cl ) ) L C l l k C l < k U l (2.7) fc f l cl + 1 fc l 1 Burada Cl = N, U l = N ve Ll = N sırasıyla l. fltreye at merkez, alt f s f s f s ve üst frekans ndslern belrtmektedr (Reynolds 1992) Fltre Says Şekl 2.7. Süzgeç takımı çıkışında elde edlen şaret

33 22 Süzgeç takımında 40 adet süzgeç kullanılması durumunda, genlk spektrumu elde edlmş şaret süzgeç takımının grşne uygulandığında çıkışta 40x1 uzunluklu br vektör, yan her br fltreden vektörün br elemanı elde edlmektedr. Şekl 2.7 genlk spektrumu alınmış şaretn süzgeç takımından geçrlmes le çıkışta elde edlen şaret göstermektedr Fltre Says Şekl 2.8. Süzgeç çıkışında elde edlen şaretn logartması alındıktan sonra elde edlen şaret Logartma Alma Sonrak adımda se süzgeç çıkışında elde edlen şaretn logartması alınmaktadır. l. fltrenn logartmk enerj çıkışı c(l) le gösterecek olursak, 1 Ul c ( l) = log( Fl [ k] X[ k]) (2.8) A l k= L l şeklnde hesaplanır. Denklem (2.8) dek A l fltrelern band genşlğne bağlı olarak kullanılan normalzasyon katsayısı olup, U l A = F [ k] (2.9) l k= L l k

34 23 şeklnde hesaplanır. Logartma alarak özellk vektörlernn değşmlere karşı daha az hassas olmaları sağlanmaktadır. Şekl 2.8 de şaretn logartmasının alındıktan sonrak hal görülmektedr Ayrık Kosnüs Dönüşümü (AKD) Mfcc çıkarma şlemnn en son adımı olan Ayrık Kosnüs Dönüşümünde logartmk mel ölçeğndek verler tekrar zaman ortamına dönüştürülür. Sonuç olarak da elde edlen verler Mel frekansı kepstrum katsayıları (mfcc) olarak adlandırılır. Ses snyalnn spektrumunun kepstral gösterm lgl çerçevedek ses şaretn y br şeklde temsl etmektedr. Mel spektrum katsayıları ve bunların logartmaları reel sayılar olduğu çn zaman ortamına geçmek çn ayrık kosnüs dönüşümü kullanılablr. Logartma alma şlemnden sonra elde edlen şaret c l le gösterrsek mfcc katsayıları, mfcc( ) 1 FS FS = l= 1 1 cos π c l l, 2 FS = 1,... FS 1 (2.10) şeklnde hesaplanır. Ayrk Kosnüs Dönüsümü Kepstrum Katsaylar Fltre Says -0.2 Şekl 2.9. Ayrık Kosnüs Dönüşümü Matrs

35 24 Şekl 2.9 da 40 süzgeç ve 25 kepstrum katsayısı çn Ayrık kosnüs dönüşümü görülmektedr. Şekldek renk ölçeğne göre kepstrum katsayılarının aldığı değerler görülmektedr. Şekl 2.10 da se logartması alınmış şaretn ayrık kosnüs dönüşümü alındıktan sonra elde edlen verler görülmektedr. 16 MFCC katsaylar Genlk Kepstrum Katsaylar Şekl AKD sonucunda mfcc lern elde edlmes Özellk Eşleştrme ve Konuşmacı Modelleme Öncek bölümde ses snyalnden konuşmacıyı temsl eden özellk vektörlernn elde edlmes anlatılmıştı. Bu bölümde se konuşmacı tanıma sstemnn adımlarından olan sınıflandırma aşaması anlatılacaktır. Sınıflandırma, verlen br ses örneğnn sstemde kayıtlı olan kullanıcılardan hangsne at olduğuna karar verlmesdr. Bu adım genellkle eşleştrme ve modelleme olmak üzere k gruba ayrılır. Modelleme, kşye at ses snyalnden elde edlen özellk vektörü kullanılarak oluşturulan modeln konuşmacı tanıma sstemne kayıt edlmesdr. Eşleştrme se blnen konuşmacı modeller le blnmeyen konuşmacıya at özellk vektörler arasındak benzerlğn ölçülmesdr (Campbell 1997).

36 25 Konuşmacı tanıma uygulamalarında sınıflandırma problemnn çözümünde k temel yöntem kullanılmaktadır: Şablon Eşleştrme ve İstatstksel Eşleştrme. Şablon yöntem zamandan bağımsız ya da zamana bağımlı olablr. Zamana bağımlı yöntemde konuşmacı model sabt br cümleden elde edlen özellk vektörlernden oluşmaktadır. Tanıma sırasında test cümles le şablon model arasındak benzerlğn br ölçüsü olan eşleşme skoru Dnamk Zaman Eğrme yöntem le elde edlr. Bu yöntem metne bağımlı uygulamalar çn deal br yöntem olablr ancak metnden bağımsız uygulamalarda stenlen düzeyde performans göstermemektedr. Metnden bağımsız uygulamalarda se özellk ortalama (feature averagng) (Gsh ve Schmdt 1994) olarak blnen yöntemler mevcuttur. Özellk ortalama, herhang br kş çn uzun zaman peryodu boyunca ortalama özellğe olan uzaklık prensbne göre özellk vektörlernn ortalamasını kullanır. Dğer br alternatf yöntem se ses snyalnn zamanla değşen karakterstklern fade etmek çn statstksel br model oluşturmaktır (Nak 1990). Bu yöntem, konuşmacıların özellk vektörlernn olasılık yoğunluk şlev le modellenmes ve sınıflandırma se olasılık veya benzeşme dayalı olarak yapılmasından oluşur. Bu bölümde en çok kullanan modelleme ve eşleştrme yöntemlernden olan Saklı Markov Modeller ve Vektör Ncemleme teknklernden bahsedlecektr Markov Modelller Sınıflama yöntemler çerk bağımlı ve çerk bağımsız olmak üzere k gruba ayrılır. İçerk bağımsız sınıflamada br deney sonucunda ortaya çıkan özellklern bağımsız olduğu kabul edlr. Bu varsayım sınıflar arasında lşk olmadığı anlamına gelr. Ses tanıma, konuşmacı tanıma gb uygulamalarda ardışıl özellk vektörler brbrnden bağımsız değldr. Bu nedenle sınıflama bütün özellk vektörler aynı anda kullanılarak yapılmalıdır. Markov Modeller çerk bağımlı sınıflandırıcılar grubuna grmektedr (Theodords ve Koutroumbas 2003). Bu türden sınıflandırıcıların temel başlangıç noktası Bayes sınıflandırıcılardır. Dğer br deyşle br x özellk vektörü, P( w x) > P( w x) j (2.11) j

37 26 şartını sağlıyorsa x K w sınıfına atanır. K adet gözlemden oluşan br dz (özellk vektörü) X = x x,..., ve bu gözlem vektörlernn atanacağı sınıflar w,( = 1,2,... M ) 1, 2 olsun. Ω :, w 1 2 w,... w K se br gözlem dzsne karşılık gelen muhtemel br sınıf K dzs olsun. Bu türden sınıf dzlernn toplam sayısı M kadardır. Sınıflandırma yapmadak amacımız hang Ω sınıf dzs, X gözlem dzs le uyumludur? sorusuna cevap vermektr. Bu yaklaşım, x 1 dzsnn w 1 sınıfına, x 2 dzsnn w 2 sınıfına atanmasına karşılık gelr. Bayes kuralına göre br X gözlem Ω sınıfına aşağıdak şart gerçekleştğnde atanır. P( Ω X ) > P( Ω j X ) j (2.12) Bu fade aşağıdak fadeye denktr: P( Ω ) p( Ω X ) > P( Ω ) p( Ω X ) j. (2.13) j j Bayes sınıflandırıcısı le br X gözlemnn at olduğu sınıfa karar vereblmek çn M adet sınıf dzs üzernden olasılık hesabı yapmak ve bunlardan maksmum olasılık veren sınıf dzsn elde etmek gerekmektedr. Brçok uygulama çn bu tür br yaklaşım hesaplama karmaşası yüzünden oldukça zordur. Bunun yerne sınıflar arası lşky kullanan modeller kullanılablr. K Markov modeller en çok kullanılan çerk bağımlı sınıflandırıcılardan brdr. Br w w,... sınıf dzs çn Markov model aşağıdak varsayımı yapmaktadır., 1 2 P w w, w,... w ) P( w w ) (2.14) ( = k k 1 k 2 1 k k 1 Bu varsayımın anlamı sınıflar arası bağımlılık sadece brbrn takp eden k sınıf le sınırlıdır. Bu tp br model brnc dereceden Markov model olarak adlandırılır. Dğer br deyşle sırasıyla w w w,,..., k 1 k 2 1 vektörler) çn, x k gözlemnn k anında sınıflarına at olan xk 1, xk 2,..., x1 gözlemler (özellk w sınıfına at olma olasılığı, k-1 anında x 1 k k

38 27 gözlemnn at olduğu sınıfa bağlıdır. (2.14) denklemn olasılığın zncr kuralı le yenden yazarsak aşağıdak fade elde edlr. P( Ω ) P( w, w2,..., w 1 N = P ( w w,..., w ) (,..., )... ( ) 1 P w 1 w 1 w 2 P w N N N N 1 1 Buradan ) N, ) P( w k w ) 1 k k = 2 P( Ω ) = P( w 1 (2.15) elde edlr. Gözlemlern statstksel olarak bağımsız olduğu br sınıf dzs çn P Ω ) (2.16) ( X ) P( Ω ) = P( w ) p( x ) ( ) ( 1 1 w P w 1 w k p x k 1 k wk şeklnde fade edleblr Saklı Markov Modelller Saklı Markov Modeller (SMM) br örüntüye at çerçevelern spektral özellklern temsl etmede sıklıkla kullanılan ve en çok blnen yöntemlerden brdr. SMM nn (veya dğer statstksel yöntemler) temelnde yatan en öneml varsayım, ses snyalnn parametrk br rastsal süreç olarak y br şeklde karakterze edleblmes ve bu rastsal süreç parametrelernn doğru br şeklde hesaplanablmesdr (Rabner ve Juang 1993). SMM nn temel kuramı Baum ve arkadaşları tarafından 1960 ların sonlarında belrtlmştr. Konuşma tanıma uygulamalarında se 1970 lerde Baker, Jelnek ve arkadaşları tarafından kullanılmıştır. SMM, konuşma tanıma uygulamalarında en gelşmş teknktr (Juang ve dğ. 1985, Rabner ve dğ. 1988, Rabner ve Juang 2005). SMM ayrıca konuşmacı tanıma uygulamalarında da kullanılmaktadır. (Furu ve Matsu 1994, Zhu ve ark. 1994, Yu ve ark. 1995). SMM sınıflar arası lşky tanımlamada kullanılan br modelleme teknğdr. SMM stokastk br modeldr ve statstksel özellkler zamanla değşen dzlern modellenmesnde sıkça kullanılmaktadır. SMM de durumlar doğrudan gözlenemez. Br

39 28 durumda hang sembolün/gözlemn üretleceğ başka br olasılık fades le belrlenr. Bu modelde br takım enyleme teknklernn gözlem dzlerne uygulanması sonucu en yüksek olasılıklı durum dzs elde edlr. Konuşma snyal gerçekte statstksel özellkler zamanla değşen br snyaldr. Konuştuğumuz zaman ses organlarımız hava basıncını ve hava akışını duyulablecek ses dzler üretecek şeklde modüle eder. Ses modelleme belrl seslern kısa dönem spektral özellklernn analzn çerr ve bu modelleme farklı seslere karşılık gelen ses organ yapısının uzun dönem değşmn tanımlamamızı sağlar. SMM bastçe gözlem dzs x, x,..., x ) üreten ve sonlu sayıda durumdan ( 1 2 N oluşan br rastsal süreçtr. Bu nedenle SMM belrl sayıda durumdan ve gözlem dzsnden oluşmaktadır. Gözlem dzs br durumdan dğer br duruma geçşn br sonucudur. Şekl 2.11 de 3 durumlu br SMM gösterlmektedr. a 11 a 22 a 12 S 1 S 2 a 21 a 31 a 32 a 13 a 23 S 3 a 33 Şekl durumlu Markov model Bu şekldek br Markov model ergodk model olarak fade edlmektedr. Ergodk modeln anlamı her durumdan her duruma geçşn olmasıdır. Şeklde gösterlen modelde a j ler durumlar arası geçş olasılıklarını belrtmektedr. Matematksel olarak durumlar arası geçş olasılıkları şu şeklde fade edlmektedr.

40 29 a j = P[ q = S q 1 = S ] 1, j N (2.17) t j t Durum geçş olasılıkları aşağıdak şartı sağlamalıdır. a 0 (2.18a) j N a j j= 1 = 1 (2.18b) Denklem (2.17) de N, durum sayısını göstermektedr. Durum geçş olasılıkları durum geçş matrs le fade edlmektedr. Şekl 2.11 dek 3 durumlu Markov model çn durum geçş matrs şu şekldedr: a11 a12 a13 A = a21 a22 a23. a 31 a32 a33 Br SMM aşağıdak parametrelerden oluşmaktadır: Modelde kullanılan durum sayısı N. Gözlem sembol sayısı M. Durumlar arası geçş olasılık matrs A. Gözlem sembol olasılık matrs B. Başlangıç durum olasılıkları π. Tüm bu parametreler yardımıyla br SMM model şu şeklde belrtlmektedr: λ = ( A, B, π ). Bu sayede modeln tüm parametreler belrtlmş olur. Durum geçş olasılık matrs A ve başlangıç durum olasılıkları π = π, π,..., π ] şeklnde verlen br sstemde her [ 1 2 N hang br q = q, q,..., q ] durum dzsnn bu model tarafından üretlme olasılığı [ 0 1 T aşağıdak fadeden elde edlr: P( q A, ) = π q0 aq0q 1aq1q2... aqt 1qT π. (2.19)

41 30 Durum dzsnn gözlenmedğn ve bunun yerne q t durumlarında üretlen her br Ot 1 gözlemnn (özellk vektörü) blndğn kabul edersek mümkün olan her S (=1,2, N) durumunda O t gözlemnn üretlme olasılığı gözlem olasılık matrs { b } N O t ) = le tanımlanır. Burada b ( Ot ), S durumunda B ( = 1 O t gözlemnn (özellk vektörü) üretlme olasılığıdır ve şu şeklde fade edlr (Rabner ve Juang 1993). b O ) = P( O q = S ) (2.20) ( t t t Her hang br O = O, O,..., O ) gözlem dzsn üreten q durum dzs blndğnde ( 1 2 T sstem tarafından bu gözlem dzsnn üretlme olasılığı P O q, B) = b ( O ) b ( O )... b ( O ) (2.21) ( q1 1 q2 2 qt T şeklnde olacaktır. Gözlem dzs O ve durum dzs q nun sstem tarafından üretlme olasılığı T q0 aqt 1qtbqt ( Ot ) t= 1 P( O, qπ, A, B) = π (2.22) olacaktır. O gözlem dzsnn verlen model tarafından üretlme olasılığı se P ( O λ ) = P( O, q λ) (2.23) q olur. SMM de gözlem semboller sürekl veya ayrık olablr. Sürekl olması durumunda gözlem sembol olasılıkları sürekl br olasılık dağılım şlev le fade edlr. Bu durumda model Sürekl Saklı Markov Model adını alır Saklı Markov Modelde Üç Temel Problem ve Çözümü SMM nn gelştrlmesnde çözülmes gereken üç temel problem bulunmaktadır (Rabner 1989). Bunlar: