Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi Pamukkale University Journal of Engineering Sciences

Transkript

1 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 Pmukkle Üniversitesi Mühendislik Bilimleri Dergisi Pmukkle University Journl of Engineering Sciences Türkçe ses tnım sistemlerinde dil modeli boyutunun doğruluk ornın etkisi How does lnguge model size effects speech recognition ccurcy for the Turkish lnguge? Behnm ASEFİSARAY, Erhn MENGÜŞOĞLU 2*, Murt HACIÖMEROĞLU 3, Hyri SEVER Bilgisyr Mühendisliği Bölümü, Mühendislik Fkültesi, Hcettepe Üniversitesi, Ankr, Türkiye. 2Bilgisyr Mühendisliği Bölümü, Mühendislik Fkültesi, Türk Hv Kurumu Üniversitesi, Ankr, Türkiye. 3Bilgisyr Mühendisli Bölümü, Mühendislik Fkültesi, Gzi Üniversitesi, Ankr, Türkiye. Geliş Trihi/Received: 2..25, Kbul Trihi/Accepted: * Yzışıln yzr/corresponding uthor doi:.555/pjes Arştırm Mklesi/Reserch Article Öz Bu çlışmnın hedefi, Dil Modeli (DM) üretmek için kullnıln metin derlem büyüklüğünün, Ses Tnım Sistemleri (STS) üzerindeki etkisini rştırmktır. Çlışmd yrıc DM elde etmek için ypılmsı gereken işler detylı olrk nltılmktdır. DM isttistiksel olrk oluşturulduğundn, eğitim verisinde bulunn veri miktrı rttıkç STS doğruluğunun rtmsı beklenmektedir. Fkt Türkçe gibi sondn eklemeli dillerde, kullnıln derlemin büyüklüğünün hngi nokty kdr sistemin doğruluk ornı üzerinde etkin olcğı önem tşımktdır. Bu çlışmd, toplnn frklı büyüklükteki metin derlemleri ile konuşm tnım sisteminde Dil Model Ağırlığı (DMA) ve Aktif Token Syısı (ATS) prmetrelerini değiştirerek ypıln deneyler yer lmktdır. Bu çlışm DM boyutu büyüdükçe Türkçe konuşm tnım bşrımının yükseldiğini göstermektedir. Anck, DMA ve ATS değerlerinde ypıln yrlmlrın tnım bşrımın olumlu bir etki yptığı gözlemlenememiştir. Anhtr kelimeler: Dil modeli, Ses tnım sistemleri, Dil modeli ğırlığı, Aktif token syısı Giriş Günümüzde, Ses Tnım Sistemlerinin (STS) kullnımı birçok lnd yygınlşmıştır. Bu lnlr örnek olrk çğrı merkezleri, mobil çeviri sistemleri ve otomtik dikte sistemleri verilebilir. Anck bu lnlrd kullnıln STS ler Geniş Dğrcıklı (GD) ve çok syıd konuşmcıy ship sistemler olduklrındn, sisteme girdi olrk verilen ses dosysı çoğu zmn idel değildir (gürültü, klitesiz sesler vb). Dolyısıyl sdece seste oln kustik öznitelikleri (coustic fetures) kullnrk sesin lgılnmsı ve olsı kelimenin bulunup metine çevrilmesi oldukç zordur. Bu nedenden dolyı Akustik Modelin (AM) ynsır, isttistiksel bir model olrk o dile it kelimelerin olsı ypısını DM çerçevesinde kullnmk STS'nin bşrı ornının iyileştirmesinde önemli rol oynmktdır []- [4]. DM temel olrk bir dile it kelimelerin ypısl ve isttistiksel bilgilerini tşımkt ve STS de bu modelden çıkn olsılığı hesb ktrk bşrımını rtırmktdır. Anck DM'nin, STS ye beklenen pozitif etkisini oluşturbilmek için yeterli miktrd metin verisinin olmsı gerekmektedir [5]. Ayrıc DM büyüklüğüne krşılık gelen pozitif ktkı miktrı her dilin kendi ypısın göre değişiklik göstermektedir []. Abstrct In this pper we imed t investigting the effect of Lnguge Model (LM) size on Speech Recognition (SR) ccurcy. We lso provided detils of our pproch for obtining the LM for Turkish. Since LM is obtined by sttisticl processing of rw text, we expect tht by incresing the size of vilble dt for trining the LM, SR ccurcy will improve. Since this study is bsed on recognition of Turkish, which is highly gglutintive lnguge, it is importnt to find out the pproprite size for the trining dt. The minimum required dt size is expected to be much higher thn the dt needed to trin lnguge model for lnguge with low level of gglutintion such s English. In the experiments we lso tried to djust the Lnguge Model Weight (LMW) nd Active Token Count (ATC) prmeters of LM s these re expected to be different for highly gglutintive lnguge. We showed tht by incresing the trining dt size to n pproprite level, the recognition ccurcy improved on the other hnd chnges on LMW nd ATC did not hve positive effect on Turkish speech recognition ccurcy. Keywords: Lnguge model, Speech recognition systems, Lnguge model weight, Active token count Türkçe, sondn eklemeli bir dil olmsındn dolyı, İngilizce ile krşılştırıldığınd, çok fzl syıd (teorik çıdn sonsuz syıd) kelime ve dolyısıyl cümleye shiptir. Diğer trftn, DM büyüklüğünün pozitif etkisini dh doğru görüntülemek için ypıln deneylerde Sözlük Dışı Kelime (SDK) syısının sıfır vey sbit olmsı gerekmektedir. Dolyısıyl bu çlışmd DM eğitimi için kullnıln metin derlemin büyüklüğünün etkisi Türkçe STS`de, SDK etkisi olmksızın bir rştırm konusu olrk seçilmiştir. Arştırm konusu için seçilen yöntem klsik bir yöntem olmkl birlikte ykın zmnd Türkçe için burd ypıldığı gibi krşılştırmlı bir çlışm mevcut değildir. Bu çlışmnın Türkçe konuşm tnım için derlem hzırlrken yol gösterici olmsı hedeflenmektedir. Bunlr ek olrk DM`nin büyüklüğü ile AM nin ürettiği olsı kelime syısı rsındki ilişki de bu çlışmd ele lınmktdır. Olsı kelime syısının rtmsın izin vermek performnsı olumsuz yönde etkilemektedir. Fkt geri ivmelenmenin değişik büyüklükteki DM için ne kdr olcğı d çlışm konusu olrk belirlenmiştir. Genelde, DM boyutu üzerinde ypıln rştırmlrın çoğu DM boyut etkisini, SDK üzerinde görüntülemek ve bunu çözmek için ypılmıştır [],[6],[7]. Fkt elde edilen sonuçlrın ve

2 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 B. Asefisry, E. Mengüşoğlu, M. Hcıömeroğlu, H. Sever bşrımlrın, SDK'den ne kdr bğımsız olrk hesplndığı bir sorun olrk söylenebilir. Türkçe dilinde sdece DM boyutunu göz önüne lrk (SDK olmdn vey tüm deneylerde sbit SDK olmsı şrtıyl) STS bşrımı üzerinde ypıln z syıd çlışm bulunmktdır. [] çlışmsındn elde edilen sonuçlrd, SDK ols d, DM eğitimi için frklı sözcük syılrını kullnrk, kullnıln genel metin derleminin büyüklüğü 25M kelimeden 2M kelimeye rttırıldığınd kelime ht ornınd bir düşüş görülmektedir, bu d DM boyutunun pozitif etkisini göstermektedir. Fkt ynı çlışmd elde edilen sonuçlrd en büyük sözlük kullndığınd ise %.9'luk bir SDK ornındn bhsedilmiştir. [8]'de ypıln rştırmd sınırlı dğrcıklı ve geniş dğrcıklı bir STS ypılmsı hedeflenmiştir. Aynı çlışmd geniş dğrcıklı denemelerde frklı DMA ktsyılrı ile denenmiş sonuçlr incelendiğinde, DMA ktsyısı rttığınd kelime ht ornının d rttığı gözükmektedir. Yine ynı çlışmd SDK nedeniyle orty çıkn kelime htlrının vrlığındn bhsedilmiştir. Bşk bir çlışmd [9], Çince STS de metin derlemi üzerinde, kelime syısınd değişiklik yprk üretilen DM nin sınm ortmın ykınlştırılmsı mçlnmıştır. Fkt elde edilen iyileşmenin yüzde kçının SDK syısının zlmsındn dolyı, ne kdrının kelimelerin frklı kombinsyonlrd üretilmesinden dolyı olduğu belli değildir. DM üretmek için hzırlnn metin derlemi üzerinde konuy göre dptsyon ypmk ise bir diğer yöntem olrk STS bşrım ornının rtırılmsınd kullnılmktdır. Örneğin [2] çlışmsınd ypıln rştırmd STS'nin doğruluk ornını yükseltmek için DM'de konuy göre dptsyon ypılmıştır. Bunu ypmk için kullnıln yöntemlerden birisi de, o konu ile ilişkili dh fzl metin toplyıp vr oln dil modelini konuy özel bu yeni metinlerle yeniden eğitmektir. Bu syede sınm ypıln ortmı dh iyi şekilde ifde edebilmek mümkün olmktdır [4],[5]. Benzer bir diğer çlışmd Frnsızc dilinde, DM üretmek için kullnıln metin derleminin etkisi, STS`nin bşrımı ve dğrcık dışı kelimelerin zltılmsı üzerinde durulmuştur. Örneğin [] çlışmsınd kullnıln metin derleminin hngi döneme (yıl rlıklrı) it olduğu, sözlükte bulunn kelime syısı ve metin derleminin büyüklüğü etkisi rştırılmıştır. Bu çlışmd son yıllr it gzete hberlerinden üretilen DM`nin STS bşrı ornın oln pozitif etkisi görülmektedir. []'de ypıln rştırmd yine Frnsızc DM üretmek için gzete hberlerinden elde edilen metin derlemi üzerinde normlizsyon işlemi (Text Normliztion) gerçekleştirilmiştir. Aynı çlışmd, normlizsyon yöntemlerinin kullnımının STS üzerinde pozitif bir etki sğldığı görülmektedir. Bu çlışmd tüm bu sonuçlrı ele lrk, gzete hberlerinden toplnn metinler üzerinde normlizsyon yöntemlerini kullnıp ve SDK olmksızın DM boyut etkisini rştırmktyız. 2 Sisteme genel bkış Bu kısımd STS mimrisinde önemli bir rolü oln DM ve AM eğitiminde kullndığımız veriler ve yöntemler nltılmktdır. 2. Dil modeli eğitimi İsttistiksel DM ler, metin içinde bir cümlenin vey bir cümle içinde bulunn kelimelerin yn yn gelme olsılıklrını hesplmd, geniş dğrcıklı ve sürekli konuşm tnım (Continuous Speech Recognition Systems) sistemlerinde sıklıkl kullnılmktdır [2] Şekil de genel olrk DM elde etmek için gereken şmlr gösterilmiştir. DM nin oluşturulmsı ve eğitimi için ypıln şmlr şğıd sırlnmıştır. 2.2 Veri toplm DM eğitimi için metin verisi olrk genel konulrd İnternet ten, dh önce ypılmış bir çlışmd [3] kullnılmış oln, Milliyet gzetesinin İnternet syfsındn indirilen yzılr kullnılmıştır. Bu metin derleminden yırdığımız bir prçsının, normlize edilmemiş hli yklşık olrk MB civrınddır. Şekil de görüldüğü gibi bu verileri kullnılbilir bir hle getirmek için birtkım ön işlemlerin ypılmsı gerekmektedir. 2.3 HTML dosylrın yıklnmsı Metin veriler, öncelikle HTML etiketlerinden yrıştırılmıştır. Dh sonr orty çıkn syı, noktlm işretleri vb. gibi gürültü tşıyn krkterler yıklnmıştır. Ypıln ön işlemler metin normlize yöntemleri olrk dlndırılmkt ve ypıln rştırmlr göre DM çprşıklık (perplexity) ornını düşürmektedir []. 2.4 Filtreleme Metin verilerin İnternet ten rstgele toplnmsındn dolyı, Türkçe sözlükte bulunmyn birçok ybncı ve iml ynlışlığı oln kelime bulunmktdır. Bu kelimelerin STS sözlüğünde olmsı sözlüğün büyümesine ve dolyısıyl sistemin hız ve doğruluk ornının düşmesine neden olmktdır []. Dolyısıyl bu kelimelerin syısını zltmk için önerdiğimiz bir filtre yklşımı kullnılmıştır. Bu yöntemde önce metin derleminde kereden fzl geçen kelimeler bulunup bir sözlük oluşturulmktdır. Dh sonr bu sözlüğe göre metin veri tbnı üzerinde bir filtreleme işlemi ypılmktdır. Şekil 2 de görüldüğü gibi filtreleme lgoritmsı öncelikle bir cümleyi metin derleminden okur ve kelimelere yırır. İlk kelimenin sözlükte olup olmdığı test edilir, kelime sözlükte vr ise bir sonrki kelime test edilir ve bu işleme sözlükte bulunmyn bir kelime bulunn kdr devm edilir. Sözlükte bulunmyn bir kelime ile krşılşıldığınd o n kdr bulunn kelimeler bir cümle olrk derleme kydedilir. Dh sonr bu işlem cümlenin geri kln kısmı için tekrrlnır. Bu çlışmd dh önce elde edilen MB lık yzı dosysı bu lgoritmy girdi olrk verilmiş ve sonuç olrk 42 MB lık bir yzı derlemi elde edilmiştir. 2.5 Bölütleme (Segmenttion) DM üretmek için kullnıln metin derleminin büyüklüğü etkisini rştırmk için bu dımd, önceki dımd elde edilen temiz (yıklnmış) metin derlemi üzerinde bölme işlemi gerçekleştirilmiştir. Kelimelerin dosylr rsınd dğılımını mümkün olduğunc eşit tutmk için (sonuçlrın güvenilir olmsı için) bu işlem rstgele olrk ypılmıştır. Dh sonr Şekil de görüldüğü üzere bölünen metin derlemleri birleştirilerek büyükten küçüğe doğru sırlı 6 det metin derlemi elde edilmiştir. Metin derlemlerinin özellikleri Tblo de verilmiştir. Değişik büyüklükte metin derlemlerinin her biri kullnılrk yine 6 det DM oluşturulmuş ve sınm ortmın verilmiştir.

3 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 B. Asefisry, E. Mengüşoğlu, M. Hcıömeroğlu, H. Sever Şekil : DM elde etmek için ypılmsı gereken işler. Şekil 2: Derlemdeki cümleleri yeni cümlelere yırm. 2.6 Sözlük dışı (Out of vocbulry) kelimelerin etkisi Sınm şmsınd kullnıln ses dosylrınd geçen kelimeler sistemin sözlüğünde bulunmuyors (SDK) o kelimelerin STS ile bulunmsı olnksızdır [7]. Dolyısıyl frklı DM büyüklüklerini dil bir biçimde değerlendirebilmek için sınm mçlı kullnıln ses dosylrınd geçen kelimeler tüm metin derlemlerine tek kelimelik cümleler olrk eklenmiştir. Sınm cümleleri olduğu gibi metin derlemine eklendiğinde, DM nin performnsının boyutun ters orntılı olrk rtcktır. Bunun nedeni küçük derlemdeki sınm cümlelerinin ğırlığının büyük derlemdekilere göre dh büyük olmsıdır. Derlem Tblo : Metin derlemlerin özellikleri (text corpus properties). Kelime Syısı Frklı Kelime Syısı Cümle Syısı Büyüklük (MB) Üçlü dil modeli Günümüzde, N-grm modeller, özellikle ikili (N=2) vey üçlü (N=3) modeller STS lerde sıklıkl kullnılmktdır [4]. Bu çlışmd ise DM üretmek için stndrt olrk kullnıln ve Türkçe dil ypısın uygun oln 3-grm modeli kullnılmıştır. Bu şmd, önceki dımdn elde edilen metin derlemlerini kullnrk, SRILM [5] rcı ile frklı boyutlrd DM elde edilmektedir. Elde edilen DM dosylrının ikili (binry) formtındki özellikleri Tblo 2 de verilmiştir. Tblo 2 de ynı zmnd her DM için hesplnn çprşıklık ornı verilmiştir. Çprşıklık ornı, sınm şmsınd kullnılck cümlelerin, üretilen DM ler üzerinde denenerek elde edilmektedir [5]. Görüldüğü üzere DM boyutu rttığınd çprşıklık ornı düşmektedir. Tblo 2: Üretilen DM özellikleri. DM# Derlem Büyüklüğü N-grm Çprşıklık (Perplexity) 8.6 MB 3-grm MB 3-grm MB 3-grm MB 3-grm MB 3-grm MB 3-grm Akustik model eğitimi (Acoustic model trining) AM eğitiminde Ort Doğu Teknik Üniversitesi (ODTÜ) trfındn geliştirilmiş konuşm derlemi kullnılmıştır [3]. Bu derlem 8 stlik 6 khz ve 6 bit lik WAV formtınd olup genel olrk gürültüsüz konuşm kyıtlrındn oluşmktdır. AM eğitimi için çık kodlu Sphinx4 ( yzılımının eğitici rcı, Sphinx Triner kullnılmıştır. Eğitim şmsınd önce enerji 3 Mel Frekns Kepstrum Ktsyılrı ve bu değerlerin birinci ile ikinci türevlerini içeren öznitelik vektörleri oluşturulmuştur. Dh sonr bu vektörler kullnılrk üç durumlu ve 2 Guss krışımlı üçlü sklı Mrkov modelleri eğitilmiştir. Sınm ses kyıtlrı, kustik ses çözücüye gönderilmekte ve olsı sözcükler DM den çıkn sözcük ktsyılrı ile birleştirilerek sonuç üretilmektedir. 3 Sınm ortmı Sınm ses dosylrı, yukrıd belirtilen ODTÜ ses derleminden rstgele seçilen stlik konuşm kümesidir. Sınm ses derlemindeki hiçbir ses dosysı sistemin eğitimi sırsınd kullnılmmıştır. 2

4 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 B. Asefisry, E. Mengüşoğlu, M. Hcıömeroğlu, H. Sever Bu çlışmd her bir büyüklükteki DM Sphinx4 kod çözücüsündeki değişik DMA ve ATS prmetreleri ile denenmiştir. DMA prmetresi dil modelinin AM krşısındki ğırlığını belirlemektedir. DM ğırlığını rtırmk AM den dönen dy kelimelerin ğırlık değerlerini göreceli olrk düşürmekte ve sistemi DM ye dh bğımlı hle getirmektedir. ATS ise AM den dönecek dy kelime syısını belirlemektedir. Ady kelime syısı rtırıldıkç sistem performnsı düşmekte nck sistemin doğruluk ornı rtbilmektedir. 3. Değerlendirme kriterleri STS de kullnıln değerlendirme kriterleri iki grub yrılmktdır. Bunlrdn birisi Kelime Ht Ornı (Word Error Rte) ve diğeri ise Yklm (Recll) ve (Precision) ornıdır. Eğer STS çıktısı son mç (End Gol) olrk kullnılcks Kelime Ht Ornı nı değerlendirme kriteri olrk kullnmk dh doğrudur [6]. Diğer trftn STS otomtik dizinleme vey konuşmlr üzerinde rm ypm gibi mçlr için kullnılcks, bu durumlrd STS Ön Uç (Front End) olrk kullnılmkt ve dh sonr bu çıktı üzerinde bilgi erişim yöntemleri uygulnbilmektedir. Dolyısıyl bilgi erişim yöntemlerinde Yklm ve ornı değerlendirme kıstsı olrk kullnılmktdır [6]. 4 Sonuçlr Şekil 3 te ltı det değişik boyutt DM ve sınmdn dönen yklm ve kesinlik değerleri verilmiştir. Şekil 3 ün her bir çizgesi yrı bir dil modeli ğırlığı ile ypıln deney sonuçlrını göstermektedir. Bu sonuçlr göre, Türkçe için yeteri kdr büyük bir dil modeli oluşturmnın oldukç önemli olduğu orty çıkmktdır. Anck 5. ve 6. dil modellerinin rsındki bşrım frkı çok zdır. Bu d Türkçe STS için dil modelinin büyüklüğünün, bşrım ornın oln ktkısının bir sınırı olduğunu ifde etmektedir. Yine Şekil 3 incelendiğinde frklı dil modeli ğırlıklrının nlmlı bir etki yrtmdığı gözlemlenmiştir. Şekil 4 te yine ltı değişik DM nin bşrı ornlrı gösterilmektedir. Şekil 4 te her bir çizge frklı dy kelime syılrı için ypıln deneyi göstermektedir. Şekil 4 incelendiğinde dy kelime rtışının sistemin bşrımın z d ols ktkısının olduğu gözlemlenmektedir. Bütün bu sonuçlr ele lındığınd, Türkçe için diğer birçok dilde olduğu gibi DM yi büyütmenin bşrımı olumlu yönde etkilediği görülmektedir. Anck DM büyüklüğünün belirli bir sınırdn sonr kyd değer bir bşrı rtışı getirmediği de nlşılmktdır. Ayrıc DM ğırlığının rtırılmsının bşrım kyd değer bir etkisi olmdığı orty çıkmktdır. Ady kelime syısını rtırmk d bşrım çok z ktkı sğlmktdır.,8,6 DMA=8 Yklm,8,6 DMA=9 Yklm,8,6 DMA= Yklm,8,6 DMA= Yklm,8,6 DMA=2 Yklm,8,6 DMA=3 Yklm Şekil 3: Frklı DMA nın sistemin bşrısın oln etkisi (x: Dil modeli, y: Konuşm tnım bşrımı). 3

5 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 B. Asefisry, E. Mengüşoğlu, M. Hcıömeroğlu, H. Sever,8,6 ATS= Yklm,8,6 ATS=2 Yklm,8,6 ATS=3 Yklm,8,6 ATS=4 Yklm,8,6 ATS=5 Yklm,8,6 ATS=6 Yklm Şekil 4: Frklı ATS nın sistemin bşrısın oln etkisi(x: Dil modeli, y: Konuşm tnım bşrımı). 5 Teşekkür Bu çlışm 85.STZ.2- no.lu proje kpsmınd Bilim Snyi ve Teknoloji Bknlığı ve Mntis Yzılım Dnışmnlık şirketi trfındn desteklenmiştir. 6 Kynklr [] Aksungurlu T, Prlk S, Sk H, Srclr M. "Comprison of lnguge modeling pproches for Turkish brodcst news". IEEE 6 th Signl Processing, Communiction nd Applictions Conference, Aydın, Turkey, 2-22 April 28. [2] Korkmzsky F, Jojic O, Shevde B. "Boosting of speech recognition performnce by lnguge model dpttion". IEEE Aerospce Conference, Big Sky, MT, USA, 3- Mrch 27. [3] Slor Ö, Pellom BL, Ciloglu T, Hcioglu K, Demirekler M. "On developing new text nd udio corpor nd speech recognition tools for the Turkish lnguge". 7 th Interntionl Conference on Spoken Lnguge Processing (INTERSPEECH), Denver, CO, USA, 6-2 September 22. [4] Suzuki M, Kjiur Y, Ito A, Mkino S. "Unsupervised lnguge model dpttion bsed on utomtic text collection from WWW". 9 th Interntionl Conference on Spoken Lnguge Processing (INTERSPEECH), Pittsburgh, PA, USA, 7-2 September 26. [5] Klkov D. Lnguge Model dpttion for tiny dpttion corpor, 9 th Interntionl Conference on Spoken Lnguge Processing (INTERSPEECH), Pittsburgh, PA, USA, 7-2 September 26. [6] Di J. "Hybrid pproch to speech recognition using hidden Mrkov models nd Mrkov chins". Vision, Imge nd Signl Processing, 4(5), , 994. [7] Woodlnd PC, Johnson SE, Jourlin P, Sprck Jones K. "Effects of out of vocbulry words in spoken document retrievl". 23 rd Annul Interntionl ACM SIGIR Conference on Reserch nd Development in Informtion Retrievl, Athens, Greece, July 2. [8] Aksoylr C, Mutluergil SO, Erdogn H. "The ntomy of turkish speech recognition system". IEEE 7 th Signl Processing nd Communictions Applictions Conference, Antly, Turkey, 9- April 29. [9] Chen Z, Lee KF, Li M. "Discrimintive trining on lnguge model". 6 th Interntionl Conference on Spoken Lnguge Processing (INTERSPEECH), Beijing, Chin, 6-2 October 2. [] Add-Decker M, Add G, Guvin J, Lmel L. "Lrge vocbulry speech recognition in French". IEEE Interntionl Conference on Acoustics, Speech nd Signl Processing, Phoenix, AZ, USA, 5-9 Mrch

6 Pmukkle Univ Muh Bilim Derg, 22(2), -5, 26 B. Asefisry, E. Mengüşoğlu, M. Hcıömeroğlu, H. Sever [] Add G, Add-Decker M, Guvin JI, Lmel L. "Text normliztion nd speech recognition in French". 5 th Europen Conference on Speech Communiction nd Technology (Eurospeech), Rhodes, Greece, September 997. [2] Zhung L, Bo T, Zhu X, Wng C, Noi S. "A Chinese OCR spelling check pproch bsed on sttisticl lnguge models". IEEE Interntionl Conference on Systems, Mn nd Cybernetics, Den Hg, the Nederlnd, -3 October 24. [3] Cn F, Kocberber S, Bglioglu O, Krds S, Ocln HC, Uyr E. "New event detection nd topic trcking in Turkish". Journl of the Americn Society for Informtion Science nd Technology, 6(4), 82-89, 2. [4] Isotni R, Mtsung S. "Speech recognition using stochstic lnguge model integrting locl nd globl constrints". ARPA Spoken Lnguge Technology (SLT) Workshop, Plinsboro, NJ, USA, 994. [5] Stolcke A. "SRILM-An Extensible lnguge modeling toolkit". 7 th Interntionl Conference on Spoken Lnguge Processing (INTERSPEECH), Denver, CO, USA, 6-2 September 22. [6] Yzgn A, Srclr M. "Hybrid lnguge models for out of vocbulry word detection in lrge vocbulry converstionl speech recognition". IEEE Interntionl Conference on Acoustics, Speech nd Signl Processing (ICASSP), Montrel, Quebec, Cnd, 7-2 My 24. 5