ANKARA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ DOKTORA TEZĠ. TIKANIKLIK GĠZLENMESĠ ĠÇĠN TERSĠNĠR ZAMAN SKALASI DEĞĠġĠMĠ.

Transkript

1 ANKARA ÜNĠVERSĠTESĠ FEN BĠLĠMLERĠ ENSTĠTÜSÜ DOKTORA TEZĠ TIKANIKLIK GĠZLENMESĠ ĠÇĠN TERSĠNĠR ZAMAN SKALASI DEĞĠġĠMĠ Saadettin GÜLER ELEKTRONĠK MÜHENDĠSLĠĞĠ ANABĠLĠM DALI ANKARA 2011 Her haı saıdır

2 TEZ ONAYI Saadettin GÜLER tarafından hazıranan Tıanıı Gizenmesi Ġçin Tersinir Zaman Saası DeğiĢimi adı tez çaıģması 21/10/2011 tarihinde aģağıdai jüri tarafından oy biriği ie Anara Üniversitesi Fen Biimeri Enstitüsü Eetroni Mühendisiği Anabiim Daı nda DOKTORA TEZĠ oara abu edimiģtir. DanıĢman : Prof. Dr. Haı Göhan ĠLK Jüri Üyeeri : BaĢan : Prof. Dr. Enis ÇETĠN Bient Üniversitesi, Mühendisi Faütesi, Eetri-Eetroni Mühendisiği Böümü Üye : Doç. Dr. Çağatay CANDAN Ortadoğu Teni Üniversitesi, Mühendisi Faütesi, Eetri ve Eetroni Mühendisiği Böümü Üye : Yrd. Doç. Dr. Murat Hüsnü SAZLI Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı Üye : Yrd. Doç. Dr. Haı Aparsan ILGIN Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı Üye : Prof. Dr. Haı Göhan ĠLK Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı Yuarıdai sonucu onayarım Prof. Dr. Özer KOLSARICI Enstitü Müdürü

3 ÖZET Dotora Tezi TIKANIKLIK GĠZLENMESĠ ĠÇĠN TERSĠNĠR ZAMAN SKALASI DEĞĠġĠMĠ Saadettin GÜLER Anara Üniversitesi Fen Biimeri Enstitüsü Eetroni Mühendisiği Anabiim Daı DanıĢman: Prof. Dr. H. Göhan ĠLK Bu tez çaıģmasında; sesin tıanı anaardan veya ağardan ietimi için zaman saası değiģimi tenierinin sentezeme aiteeri anaiz edimiģtir. Sesin ietim öncesi hızandırıması ses süresini düģürdüğünden daha az band geniģiği ie ietimesi sağanır. Ġetien ses arģı tarafta terar yavaģatıması ie orijina saasına geri döndürüür. Paet anahtaramaı ağarda tıanıı gecime ve ses çerçevesi aybına da neden oabiir. Aıcı tarafına uaģan seserin zaman saasının artırıması ie bu gecime ve ayıp da gizenebiir. Sesin daha az bit oranı ie ietimi için; zaman aanı tenierinden OLA, SOLA, EM- TSM, GLS-TSM, WSOLA, PSOLA, AOLA, Suzii- Misai ve PICOLA; freans aanı tenierinden faz vooder; sinya modeeme tenierinden de sinüs modeeme ve spetra modeeme sentezi uanımıģtır. Agoritmaar TIMIT ses veritabanından aınan 8 farı asanda 8 ayrı ere ve 4 bayan tarafından sesendirien fonoti dengei cüme ie test edimiģtir. PESQ sonuçarına göre en iyi sentez aitesi WSOLA ve gerçe tepe enterpoasyonu sinüs modeeme ie ede edimiģtir. Uyaranabiir çama zamanaması ve paet aybı gizemesi için SOLA, WSOLA ve tez çaıģmasında önerien yeni bir teni uanımıģtır. Bu agoritmaar örne gecime ve ayıp simüasyon modeine göre uyguanmıģtır. Ses örneği oara TIMIT ses veritabanından aınan aynı seser uanımıģtır. PESQ sonuçarına göre bayan seseri için WSOLA, ere seseri için ise önerien yöntem en iyi sentez aitesini sağamıģtır. Tez çaıģmasında yeni bir freans aanı teniği oara DCT ie zaman saası değiģimi de önerimiģtir. DCT modeeme ie faz vooderden daha aitei TSM sentezeme aitesi ede edimiģtir. Kayboan prototiperin sentezenmesi de PESQ sonuçarına göre PSOLA dan daha iyi gerçeeģmiģtir. Eim 2011, 136 sayfa Anahtar Keimeer: Zaman saası değiģimi, uyaranabiir çama zamanaması, paet aybı gizemesi, OLA, faz vooder, DCT, sinüs modeeme, spetra modeeme sentezi i

4 ABSTRACT Ph.D. Thesis REVERSIBLE TIME SCALE MODIFICATION FOR CONGESTION CONCEALMENT Saadettin GÜLER Anara University Graduate Schoo of Natura and Appied Sciences Department of Eectronics Engineering Supervisor: Prof. Dr. H. Göhan ĠLK In this thesis wor; synthesis quaity of time scae modification agorithms for deivery of voice/audio through congested channes or networ are examined. Speeding audio/voice up is aso shortening the duration of audio/voice and aows saving in transmission rate. The audio/voice is speed down at the receiver side to go bac to the origina scae. In pacet switching networ, congestion may increase the networ deay or may cause to pacet oss. The deay increment or pacet oss may be conceaed at the receiver side by increasing the duration of the received pacets. OLA, SOLA, EM-TSM, GLS-TSM, WSOLA, PSOLA, AOLA, Suzii- Misai and PICOLA among time domain agorithms; phase vocoders among frequency domain agorithms and Sinusoida modeing and spectra modeing synthesis among signa modeing agorithms are used for transmission rate decreament. Voices of a sentence spoen by 8 mae and 4 femae speaers each beongs to different diaect regions of the US are seected from TIMIT corpus to test the agorithms. WSOLA and Sinusoida Modeing with quadratic spectra interpoation are the best performer according to the PESQ resuts. SOLA, WSOLA and a nove proposed technique is used for adaptive payout and pacet oss conceament. These agorithms are appied to seected sampes of TIMIT corpus according to a sampe payout scheduing and pacet oss scheme. According to the PESQ resuts, the proposed technique is the best performer for mae speaers whie WSOLA is the best for femae speaers. Modified DCT synthesis is aso used as nove frequency domain technique. Accordig to PESQ resuts, its synthesis quaity is better than phase vocoder s for transmission rate decrement and beter than PSOLA for prototype interpoation. October 2011, 136 pages Key Words: Time scae modification, adaptive payout, pacet oss conceament, OLA, phase vocoder, DCT, sinusodia modeing, spectra modeing synthesis. ii

5 TEġEKKÜR DanıĢman hocam Prof. Dr. H. Göhan ĠLK e (Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı) ço teģeür ederim. Tez onusunun beirenmesinden sonuçanmasına adar çaıģmamın her safhasında yaın igi ve önerieri ie beni yönendirmiģ ve teģvi etmiģtir. Tez Ġzeme Komitesi üyeeri Prof. Dr. Enis ÇETĠN (Bient Üniversitesi, Mühendisi Faütesi, Eetri-Eetroni Mühendisiği Böümü) ve Yrd. Doç. Dr. M. Hüsnü SAZLI ya (Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı) tez çaıģmam boyunca değeri yorum ve önerieriye yaptıarı atıdan doayı teģeür ederim. Tez jürisi üyeeri Doç. Dr. Çağatay CANDAN (Ortadoğu Teni Üniversitesi, Mühendisi Faütesi, Eetri ve Eetroni Mühendisiği Böümü) ve Yrd. Doç. Dr. H. Aparsan ILGIN a (Anara Üniversitesi, Eetroni Mühendisiği Anabiim Daı) tezi ouyup yorumamaarından doayı teģeür ederim. Son oara tez çaımam boyunca bana tahammü eden aiem ve aradaģarıma teģeür ederim. Saadettin GÜLER Anara, Eim 2011 iii

6 ĠÇĠNDEKĠLER ÖZET... i ABSTRACT... ii TEġEKKÜR... iii KISALTMALAR DĠZĠNĠ... vi ġekġller DĠZĠNĠ... viii ÇĠZELGELER DĠZĠNĠ... x 1. GĠRĠġ Amaç ve Kapsam KURAMSAL TEMELLER Zaman Saası DeğiĢimi Ġçin Zaman Aanı Tenieri OLA SOLA GLS-TSM EM-TSM TD-PSOLA WSOLA AOLA Suzii-Misai yöntemi Laroch yöntemi PICOLA Zaman Saası DeğiĢimi Ġçin Freans Aanı Tenieri Kısa Zaman Fourier DönüĢümü (STFT) Faz voodereri Faz iiti vooderer Zaman Saası DeğiĢimi Ġçin Sinya Modeeme Tenieri Sinüs modeeme Spetra Modeeme Sentezi (SMS) GeçiĢ Modeeme Sentezi (TMS) Paet Anahtaramaı Ağarda Tıanıı Ġçin Zaman Saası DeğiĢimi Aınan sesin çama zamanaması Gecime tahmin yöntemeri Uyaranabiir çama ve zaman saası değiģimi Paet aybı saama PESQ PESQ agoritması PESQ tahminerinin abu ediebiiriği MATERYAL VE YÖNTEM TSM Agoritmaarıya Sesin SııĢtırıması TSM ie değiģen bit oranı ses sııģtırması TSM agoritmaarının sentezeme aitesinin arģıaģtırma modei Agoritmaarın ses sııģtırıması için uyguanması Veri Kaybı Gizemesinde Gecimenin Azatıması Paet aybı gizemesi için örtüģmei eeme imiteri WSOLA ie paet aybının gizenmesinde gecimenin azatıması SOLA iv

7 3.2.4 Paet içerisinde örtüģmei eeme DCT ie Zaman Saası DeğiĢimi DCT ve değiģtirimiģ ters DCT dönüģümü Spetra genierin enterpoasyonu Perde dönüģümü ve enterpoasyonu BULGULAR VE TARTIġMA Ses SııĢtırma Performansarının Değerendirimesi OLA ie ses sııģtırma özne değerendirmesi SOLA ie ses sııģtırma özne değerendirmesi GLS-TSM ie ses sııģtırma özne değerendirmesi EM-TSM ie ses sııģtırma özne değerendirmesi TD-PSOLA ie ses sııģtırma özne değerendirmesi WSOLA ie ses sııģtırma özne değerendirmesi AOLA ie ses sııģtırma özne değerendirmesi Suzii-Misai yöntemi ie ses sııģtırma özne değerendirmesi PICOLA ie ses sııģtırma özne değerendirmesi Faz vooderi ie ses sııģtırma özne değerendirmesi Sinüs modeeme ie ses sııģtırma özne değerendirmesi SMS ie ses sııģtırma özne değerendirmesi PESQ sorarına göre nesne aite değerendirmesi Uyaranabiir Çama Zamanaması ve Paet Kaybı Gizemesi Değerendirmeeri WSOLA ie paet aybının gizenmesinde gecimenin azatıması SOLA paet aybının gizenmesinde gecimenin azatıması Paet içerisinde örtüģmei eeme Uyaranabiir çama zamanaması ve paet aybı PESQ değerendirmesi DCT Modeeme Buguarı SONUÇ Ses SııĢtırma Ġçin TSM Agoritmasının Seçimi Uyaranabiir Çama Zamanaması ve Paet Kaybı Gizemesi için TSM Teniğinin Seçimi DeğiĢtirimiĢ DCT ie Sentezeme KAYNAKLAR ÖZGEÇMĠġ v

8 KISALTMALAR DĠZĠNĠ AMDF Ortaama Muta Far (Average Magnitude Difference Function) AOLA Uyaranabiir ÖrtüĢmei Eeme (Adaptive OverLap Add) AR Kendi endine Azaan (AutoRegressive) DCT Ayrı Kosinüs DönüĢümü (Discrete Cosine Transform) DRT AnaĢıırı TeĢhisi Testi (Diagnostic Rhyme Test) DTW Dinami Zaman Katama (Dynamic Time Warping EM-TSM Zarf EĢemei Zaman Saası DeğiĢimi (Enveop Matching for Time Scae Modification) FFT Hızı Fourier DönüĢümü (Fast Fourier Transform) FIR Sonu Dürtü Tepisi (Finite Impuse Response) GLS-TSM Gene Yere Aramaı Zaman Saası DeğiĢimi (Goba Loca Search Time Scae Modification) HF Yüse Freans (High Frequency) IDCT Ayrı Kosinüs Ters DönüĢümü (Inverse Discrete Cosine Transform) IEEE Eetri-Eetroni Mühendiseri Biriği (Institute of Eectrica and Eectronics Engineers ) IFFT Hızı Fourier Ters DönüĢümü (Inverse Fast Fourier Transform) ISO Uusararası StandartaĢtırma Organizasyonu (Internationa Organization for Standartization) ITU Uusararası Teeomüniasyon Biriği (Internationa Teecommunication Union) KHz Bin Hertz LPC Doğrusa Tahmineme Kodaması (Linear Predicting Coding) MELP Mixed Excitation Linear Prediction (KarıĢı Uyarmaı Doğrusa Tahmineme) MOS Ortaama fiir soru (Mean opinion Score) MPEG Hareeti Resim Uzman Grubu (Moving Picture Experts Group ) ms mii saniye MSE Ortaama Hata Kare (Mean Square Error) NLMS NormaeĢtirimiĢ En DüĢü Ortama Kare (Normaized Least Mean Square) NTSC Uusa Teevizyon Sistem Komitesi (Nationa Teevision System Committee) vi

9 OLA ÖrtüĢmei Eeme (OLA- OverLap Add) PAL Faz Dagaı Çizgi (Phase Aternating Line) PESQ Ses Kaitesinin Agısa Değerendirmesi (Perceptua Evauation of Speech Quaity) PICOLA ĠĢareteyici Araığı Kontroü ÖrtüĢmei Eeme (Pointer Interva Controed OverLap Add) PSOLA Perde Senron ÖrtüĢmei Eeme (Pitch Synchronous OverLap Add) SMS Deterministi artı Rastgee Çözümeme (Spectra Modeing Synthesis) SNR Sinya Gürütü Oranı (Signa to Noise Ratio) SOLA ÖrtüĢmei Eeme (OLA- OverLap Add) SPL Ses Basınç Seviyesi (Sound Pressure Leve) STFT Kısa Zaman Fourier DönüĢümü (Short Time Fourier Transform) TD-PSOLA Zaman Aanında Perde Senron ÖrtüĢmei Eeme (Time Domain - Pitch Synchronous OverLap Add) TMS GeçiĢ Modeeme Sentezi (TMS-Transient Modeing Synthesis) TSM Zaman Saası DeğiĢimi (Time Scae Modification) VoIP Internet Protooü üzerinden Ses (Voice over Internet Protoco) WSOLA Dagabiçimi Benzerii ÖrtüĢmei Eeme (Waveform Simiarity OverLap Add) vii

10 ġekġller DĠZĠNĠ ġei 2.1 Kes yapıģtır yönteminde orijina ses, yavaģatımıģ ses ve hızandırımıģ ses için çerçeveerin gösterimi... 8 ġei 2.2 ÖrtüĢmei eeme (Bonada 2002)... 9 ġei 2.3 SOLA iģeminde örtüģme tahmini ġei 2.4 PSOLA agoritmasında 2 perdei segmenter ve bu segmenter ie örtüģmei eeme (Bonada 2002) ġei 2.5 AOLA ie zamanda saası değiģimi (Lawor, 1999) ġei 2.6 AOLA yavaģatması (Lawor, 1999) ġei 2.7 Zaman saası değiģimi ie yavaģatma (Suzii ve Misai 1992) ġei 2.8 PICOLA ie hızandırma (ISO/IEC ) ġei 2.9 PICOLA ie yavaģatma (ISO/IEC ) ġei 2.10 Zaman freans düzemi (Bonada 2002) ġei 2.11 Faz voodererinin anaiz ve sentezi (Sethares 2007) ġei 2.12 Faz voodererinde anaiz ve sentez ġei 2.13 Ġnsan sesinin modeemesi ġei 2.14 Sinüs modeeme anaizi (McAuey vequatieri 1986a) ġei 2.15 McAuey ve Quatieri (1986b) sinüs modeemesinde anaiz ġei 2.16 Gerçe freans tepeerini buma için paraboi freans enterpoasyonu (Smith ve Serra 1987) ġei 2.17 Sinüs fazarının enterpoasyonunda esii ġei 2.18 SMS (deterministi artı rastgee çözümeme) anaizi ġei 2.19 SMS sentezi ġei 2.20 TMS anaizi (Verma vd. 1997) ġei 2.21 TMS sentezi ġei 2.22 Çama zamanama yöntemerine göre uçtan uca gecime ve ağ gecimesi (Liang vd. 2003) ġei 2.23 Uyaranabiir tahmineyici adımı (DeLeon ve Sreenan 1999) ġei 2.24 Çama zamanamaarı (Liang vd. 2003) ġei 2.25 Kayıp paetin öncei paeterden sentezenme göserimi (Stenger vd. 1996) ġei 2.26 Kayıp paetin sonrai paeterden sentezenme gösterimi (Sannec vd. 1996) ġei 2.27 Kayıp paetin en az tampon gecimesi ie gizenmesi (Liang vd. 2003) ġei 2.28 PESQ modeinin yapısı ġei 3.1 Yarı zaman çift yönü habereģme anaından tam zaman çift yönü habereģme için WSOLA nın uanım ġei 3.2 Uyaranabiir WSOLA ie sabit bit oranı odeerin değiģen bit oranı odeere dönüģtürümesi ġei 3.3 Uyaranabiir WSOLA da anaiz sesindei benzeri segmenteri ve asimetri pencereer ġei 3.4 DCT atsayıarından ters dönüģüm ie sentezenen periyodi sinyain aynasa simetri özeiği (Ġ ve Güer 2011) ġei 3.5 DeğiĢtirimiĢ Ters DCT ie periyodi sinya sentezeme ġei 3.6 Aynı perde periyodu ve spetrumuna sahip ii anaiz segmenti ie enterpoasyon viii

11 ġei 3.7 DeğiĢtirimiĢ DCT ie perde enterpoasyonu ġei 4.1 OLA sentez seseri ġei 4.2 OLA sentez sinya spetrumarı ġei 4.3 SOLA sentez seseri ġei 4.4 SOLA sentez sinya spetrumarı ġei 4.5 GLS-TSM sentez seseri ġei 4.6 GLS-TSM sentez sinya spetrumarı ġei 4.7 EM-TSM sentez seseri ġei 4.8 EM-TSM sentez sinya spetrumarı ġei 4.9 PSOLA sentez seseri ġei 4.10 PSOLA sentez sinya spetrumarı ġei 4.11 WSOLA sentez seseri ġei 4.12 WSOLA sentez sinya spetrumarı ġei 4.13 AOLA sentez seseri ġei 4.14 AOLA sentez sinya spetrumarı ġei 4.15 Suzii-Misai yöntemi ie sentez seseri ġei 4.16 Suzii Misai yöntemi ie sentez sinya spetrumarı ġei 4.17 PICOLA sentez seseri ġei 4.18 PICOLA sentez sinya spetrumarı ġei 4.19 Faz vooderi sentez seseri ġei 4.20 Faz vooderi sentez sinya spetrumarı ġei 4.21 Sinüs tepeerinin yoarı ġei 4.22 Sinüs modeeme sentez ses parçaarı ġei 4.23 Sinüs modeeme sentez sinya spetrumarı ġei 4.24 MQ sinüs modeeme sentez ses parçaarı ġei 4.25 MQ sinüs modeeme sentez sinya spetrumarı ġei 4.26 Spetra modeeme sentezi seseri ġei 4.27 Spetra modeeme sentez sinya spetrumarı ġei 4.28 Simüasyonar için veri modei ġei 4.29 WSOLA ie uyaranabiir çama zamanaması ve ağ ayıparının gizenmesi spetrumarı ġei 4.30 Gecimeye ve paet ayıparına göre WSOLA ie uyaranmıģ seser ġei 4.31 SOLA ie uyaranabiir çama zamanaması ve ağ ayıparına göre zaman saası değiģimi simüasyon spetrumarı ġei 4.32 Gecimeye ve paet ayıparına göre SOLA ie uyaranmıģ seser ġei 4.33 Paet içerisinde örtüģmei eeme ie uyaranabiir çama zamanaması ve ağ ayıparına göre zaman saası değiģimi simüasyon spetrumarı ġei 4.34 Gecimeye ve paet ayıparına göre paet içerisinde örtüģmei eeme ie uyaranmıģ seser ġei 4.35 DCT modeeme sentez seseri ġei 4.36 DCT modeeme sentez sinya spetrumarı ġei 4.37 DCT modeeme ie ayıp paeterin sentezenmesi ġei 4.38 Orijina ve prototiperi terar sentezenen sinyaerin yaınsanmıģ parçaarı ġei 4.39 YaaĢı 40 ms i aybın oduğu sinya bögesine yaınsama ix

12 ÇĠZELGELER DĠZĠNĠ Çizege 2.1 PESQ in abu ediebiir doğruuğunun gösteridiği fatörer, odayıcıar ve uyguamaar Çizege 2.2 PESQ in tahmineme doğruuğuna güveniemiyece fatörer, odayıcıar ve uyguamaar Çizege 2.3 PESQ in abu ediebiir doğruuğunun henüz gösterimediği fatörer, odayıcıar ve uyguamaar Çizege 4.1 TIMIT Veritabanından aınan seserin dizin ve dosya adarı Çizege 4.2 Agoritmaarın hızandırma ve yavaģatma sentezi PESQ sonuç istatistieri Çizege 4.3 BeĢ ez hızandırma-yavaģatma sentezinden sonrai PESQ sonuç istatistieri Çizege 4.4 5ms segment büyüüğüne göre WSOLA PESQ sonuç istatistieri Çizege 4.5 Uyaranabiir çama zamanaması ve paet aybı gizemesi agoritmaarının PESQ sonuç istatistieri x

13 1. GĠRĠġ Zaman saası değiģimi (TSM) ses sinyainin yere freans içeriğini değiģtirmeden süresini değiģtirmete böyece orijina ses ayıtarında perde ve tınıyı değiģtirmeden hızı veya yavaģ onara dinemeyi sağamatadır. Bu iģem onuģma seserinde onuģmacının hızı veya yavaģ onuģması, müzi seserinde temponun artması veya azaması etierini gerçeeģtirir. Sesi baģa bir zaman saasına dönüģtürme popüer ve faydaı bir sayısa ses iģeme teniği oduğundan birço ses iģeme uyguamaarında uanımatadır (Dorran 2006). Bunardan bazıarı; Görüntü ve sesin post-senronizasyonu: Genede bir fim çeiminde önce görüntüer çeiir daha sonra sesendirmeer yapıır. BireĢtirme aģamasında görüntü ve sesin birbiriye senronizasyonarı düzetiir (Bonada 2002). Sinema /video formatına çevirmede: Sinema formatında saniyede 24 görüntü var ien PAL ve NTSC gibi formatarda saniyede 25 ve 30 görüntü omatadır. Bu nedene çevrim sırasında sesde de bazı iģemer gereebimetedir (Paone vd. 1999). Ses sentezemede: Önceden aydedimiģ ses parçaarının (örneğin difonar) bireģtiriere onuģma veya sesin bütünü ouģturuuren sentez esnasında bazı parçaarın süresinin değiģtirimesinde uanımatadır (Mouines vd. 1989, Charpentier ve Mouines 1990, Macon ve Cements 1996). Di veya müzi eğitiminde: Sesin veya onuģmanın yavaģatıması anaģıırığını arttırmatadır (Eroğu ve Karagöz 1998, Donnean vd. 2003, Demo vd. 2004). Müzi ritminin öğrencinin enstrümanı çama yeteneğine göre yavaģatıması çaıģmayı oayaģtırmatadır. 1

14 Teesereter mesajarının veya ditafonarın yavaģ veya hızı dinenmesi: Bıraıan mesajarı hıza tarama zaman azandırmata; seçien mesajı yavaģ dineme de anaģıırığı arttırmatadır (Hejna 1990). Sayısa ütüphaneer ve uzatan eğitimde ses materyaerinin hızı taranması: Kuanıcıarın ses verierini hızı taramasına iman sağamatadır (Wong 1998, Omoigui vd. 1999). Müzi aranjmanında: Önceden aydedimiģ seser için tempo değiģtiren bir araç oara uanımatadır. Buna e oara birbiri ardına çaınan müzi parçaarında ritim geçiģini yumuģatma için de uanımatadır (Bonada 2002). ĠetiĢim anaarındai çerçeve ayıparının ve gecimeerin gizenmesi: Gerçe zamanı uyguamaarda ietiģimde ayboan veya gecien ses çerçeveerinin dineyiciye hissettirmeden giderimesi için diğer ses çerçeveeri uzatımatadır (Liang vd. 2001). Ses sııģtırmada: Sesi ietiģim anaından göndermeden önce hızandırma ve arģı tarafta yavaģatma ietiģim bandının daha uygun uanımını sağamatadır (Eroğu vd. 2001, Ġ ve Güer 2006). Sesin zaman saası değiģimi için iteratürde ço faza teni buunmatadır. Uyguanaca teniğin seçiminde üretien sesin aitesi ve agoritmanın iģem basitiği en önemi ritererdir. Zaman saası değiģimi tenieri, gene oara zaman aanı tenieri, freans aanı tenieri ve sinya modeeme tenieri oma üzere üç ana ısımda ategorize edimetedir (Bonada 2002). Zaman aanı tenieri, anaiz ve sentez iģemerini zaman aanında gerçeeģtirmetedir. Anaiz sinyainden aınan ses parçaarının benzeriği aranmata, buunan benzeriere göre örtüģmei eeme yapıara sentezeme gerçeeģtirimetedir. Benzeri araması anaiz sesinden aınan segmente göre SOLA 2

15 ve AOLA da oduğu gibi sentez sesi üzerinde veya WSOLA, PSOLA ve PICOLA da oduğu gibi anaiz sesi üzerinde yapıabimetedir. ÖrtüĢmei eeme segment uzunuğu da uanıan teniğe göre sabit veya değiģen oabimetedir. Benzeri aramaarda iintinin en yüse değeri, ortaama muta farın (AMDF) en üçü değeri, far are ortaamasının en üçü değeri, tepe notaarının eģeģtirimesi, perdeerin buunması gibi yöntemer uanımatadır. Zaman saasının değiģimi; benzeri arama ve/veya sentez segmenti büyüüğü, ardıģı anaiz segmenteri arasındai ortaama uzaı ve ardıģı sentez segmenteri arasındai ortaama uzaı parametreeri değiģtiriere sağanmatadır. Saanın düģürümesi oara ifade edien onuģmanın hızandırıması veya müzi seserinde temponun artırıması; anaiz sinyainden aınan segmenterin arasındai uzaığın artırıması, sentez segmenti boyutunun düģürümesi, ardıģı sentez segmenteri arasındai uzaıarın düģürümesi veya ii benzer anaiz segmentinin örtüģtürüere te sentez segmenti sentezeme ie sağanmatadır. Saanın artırıması ise azatımasında yapıan iģemerin tersi ie mümün omatadır. Freans aanı tenieri ise anaiz sinyaini segmentere böere Kısa Dönem Fourier dönüģümü (STFT) ie spetrumu ede etmete ve ardıģı segmenter arasındai spetrumun değiģimini modeemetedir. Faz voodereri ve türeveri oan bu tenierde zaman saası değiģimini spetrum değiģim modeinin zamanamasını artırara veya düģürere freans aanında gerçeeģtirmete ve sentez spetrumarını ters STFT ie zaman aanına çevirere sentez sinyaini ouģturmatadır. STFT için ayrı zaman dönüģümü Hızı Fourier dönüģümü (FFT) ie gerçeeģtirimetedir. Sinya modeeme tenieri ise anaiz aģamasını freans aanında gerçeeģtirmete sentezi ise genede zaman aanında gerçeeģtirmetedir. Tez apsamında inceenen tenier genede sinüs modeeme tabanı oup sesin üretimesini (yo-ayna modeine göre) modeemetedir. Sinüs modeemenin anaiz aģaması faz voodererine benzer Ģeide anaiz sesinin STFT spetrumunu çıarmatadır. Spetrumun geni tepeerine göre basın sinüseri geni, freans ve faz aymaarı ie beirenmetedir. ArdıĢı anaiz segmenteri arasındai basın sinüser eģeģtiriere geni, freans ve faz değiģimeri modeenmetedir. Sentez aģamasında ise bu anaiz modei parametreerinin enterpoasyonu ie saası değiģtirimiģ sentez modei ouģturumata ve sentez sinyai 3

16 bu sentez modeinin sinüserinin geni, freans ve faz modeerine göre zaman aanında üretimetedir. 1.1 Amaç ve Kapsam Bu tez çaıģmasının amacı ietiģim anaarında oabiece tıanıı veya bant apasitesi yetersizieri durumarında ses ietiģiminin sağanabimesi veya devamıığının ve aitesinin orunması için TSM tenierinin uyguanmasıdır. Devre anahtaramaı ağarda önceden tesis edimiģ habereģme oturumarı bazı ısımardai habereģme bant geniģiğinin tamamını dodurabiir. Bu durumda ses ietiģimi için yeni bir habereģme oturumu baģatıma istendiğinde yeni tesis ediece devre bağantısı bu tıanı ısımarın da uanımını geretirebiir. Tıanı ısımardan aan diğer habereģme verieri sııģtırıamaz ise oturum baģatıamamatadır. Paet anahtaramaı ağardan ses ietiminde ise oturumunun baģangıcında tıanıı omaz ise bağantı yapımata, faat daha sonrai tıanma durumarında gecime veya paet ayıparı artabimetedir. Bu durum ses ietiģiminin aitesini düģürmetedir. Tıanıı durumu önceden öngörüebiiyor ise devam eden ve yeni geen ses oturumarında ietien seserin zaman saaarı hızandırıara odanması ie ietiģim anaının bant geniģiği daha verimi uanıabiir. Bu durumda özeie VoIP veya teefon gibi gerçe zamanı ietiģim için aıcı tarafından aınan hızandırımıģ sentez sesinin od çözümü yapıdıtan sonra terar orijina saaya döndürümesi geremetedir. Kuanıaca TSM agoritmasının hem hızandırma hem de yavaģatma için sentezeme aitesinin yüse, agoritma gecimesi düģü ve saa değiģim oranı ontro ediebiir oması önemidir. Özeie paet anahtaramaı ağarda gerçe zamanı ses ietiģiminde ana gecimesi oturum esnasında artabimete veya ana apasitesinin yetersiz amasından doayı veri aybı ouģabimetedir. Kana gecimesinin artması veya anada veri aybının ouģması, anaın aıcı tarafında aınmıģ oan tüm ses verierinin sentezenere 4

17 çaınmasına ve çama beeğinin boģamasına neden oabiir. Bu durum yeni ses paeti uaģıncaya adar çaınan sinyade bir boģuğa neden omatadır. Dinenen sesin anı opmaar nedeniye aitesi ve anaģıırığı azamatadır. TSM agoritmaarı, gecimeerde çama beeğini mevcut ses verierinin zaman saasını artırara sentezenen ses ie dodurmata, gecime azamaarında çama beeğindei mevcut ses verierinin saasını düģürere uçtan uca gecimeyi düģürebimetedir. Kanada veri aybı ouģması durumunda da ayboan verier TSM agoritmaarı ie mevcut verierden sentezenebimetedir. Tezin KURAMSAL TEMELLER Böümü atında TSM tenieri ve uyaranabiir çama zamanaması ve paet aybı gizemesi için iteratürdei çaıģmaar anatımıģtır. Ġ üç at böümde sırasıya zaman aanı, freans aanı ve sinya modeeme TSM tenieri agoritma detayarı ie yer amatadır. Son at böüm ise bu tenierin uyaranabiir çama zamanaması ve paet aybı için uyguanmasına yönei tenier detayandırımıģtır. MATERYAL VE YÖNTEM Böümü nde ise tez apsamında yapıan çaıģmaar üç at böüm atında anatımıģtır. Ġ atböüm TSM agoritmaarı ie ietiģim anaarından ietiece sesin sııģtırımasına yönei oup daha öncei böümde yer aan TSM tenierinin hızandırma ve yavaģatma modeine göre uyguanmasına yönei uyaramaarını ve agoritma parametreerinin beirenmesini içermetedir. Ġinci at böümde ise uyaranabiir çama zamanaması ve paet aybı gizemesi için WSOLA, SOLA ve tez apsamında önerien teni ie uyguanmasına yönei modeer anatımatadır. Son at böümde ise yeni bir freans aanı TSM teniği oara DCT modeeme sunumatadır. BULGULAR VE TARTIġMA Böümü nde bir öncei böüme parae üç at böüm atında gerçeeģtirien tester ve bu testerin değerendirimesini içermetedir. Tester TIMIT ses veritabanından aınan seser uanıara gerçeeģtirimiģtir. Sentezenen seserin dinenmesi ve sinya grafierinin inceenmesi ie gerçeeģtirien özne aite değerendirmeerinin yanında ITU-T P.862 de tanımanan PESQ sorarı da uanımıģtır. Ses sııģtırmaarına yönei testerde aınan orijina sese önce 5

18 hızandırma uyguanmıģ, hızandırıan bu sese daha sonra yavaģatma uyguanmıģtır. Uyaranabiir çama zamanaması ve paet aybı için ise ağ gecimesi ve uçtan-uca gecime simüasyonu için veri modei urumuģ, agoritmaar bu veri modeine uygun oara çaıģtırımıģtır. DCT modeemenin sııģtırma performansı hızandırmayavaģatma sentezemesi ie değerendirimiģ, prototip enterpoasyonu performansı da PSOLA ie arģıaģtırıara verimiģtir. 6

19 2. KURAMSAL TEMELLER 2.1 Zaman Saası DeğiĢimi Ġçin Zaman Aanı Tenieri KonuĢmanın hızını değiģtirme için sesin ayıt hızı ie çama hızını farı tutma yeteri değidir. Örneğin hızı ontro ediebien bir ayıt hızı oara çaındığında seserin oduça değiģtiği hatta hız ii atına çıtığında seserin anaģımadığı, dineyen heres tarafından far ediebiir. Orijina (anaog) ses x a (t) ie bu sesin zaman aanında α atı adar hızandırımıģ hai y a (t) ie gösteridiğinde araarındai bağıntı EĢiti 2.1 ie ifade edimetedir (Verhest 2000). y ( t) x ( t) (2.1) a a Bu eģitiğin Fourier dönüģümeri aındığında freans aanındai gösterimi EĢiti 2.2 ie ifade ediir (Verhest 2000). 1 Y a ( ) xa ( ) (2.2) EĢiti 2.2 de açıça beiri oduğu gibi zaman aanındai bu tür bir sııģtırma veya geniģetme freans aanında da sırasıya geniģetme veya sııģtırmaya neden omatadır. Bu nedene onuģmanın hem ısa dönem (zarfı veya LPC atsayıarı) hem de uzun dönem (perde periyodu ve diğer uzun zaman parametreeri) iiģieri bu iģem ie değiģtirimetedir. Ġnsanın ses agıaması freans aanında oduğu için anaģıırı bozumatadır. Bu nedene i TSM uyguamaarında, istenen zaman saasını ede etme için TSM sisteminin giriģ sesi birbireriye örtüģmeyen ms zamanı çerçeveere ayrımata ve bu çerçeveerden uygun oanar atııp veya teraranıp giriģ sesi hızandırımata veya yavaģatımatadır (Lee 1972). Kes yapıģtır oara adandırıan ve Ģei 2.1 de de gösterien bu yapı agoritmi oara basit ve hızı omaa birite seste bazı 7

20 bozuuar meydana getirmetedir. Bu bozuuar sesin es yapıģtır notaarındai süreiierin ve en önemisi perde periyotarının bozumasından meydana gemetedir GiriĢ sesi ve çerçeveeri YavaĢatımıĢ zaman saası (%150 süre) HızandırımıĢ zaman saası(%75 süre) ġei 2.1 Kes yapıģtır yönteminde orijina ses, yavaģatımıģ ses ve hızandırımıģ ses için çerçeveerin gösterimi Bu bozumaarı giderme için sesi çerçeveere ayırıren süreiiği diate aan (oa tepeer veya perde periyoduna göre çerçeveer) es yapıģtır agoritmaarı geiģtirimiģ ve zaman saası değiģtirien seserin aitesi arttırımıģtır (Roucos ve Wigus 1985, Maah 1979) OLA Kes yapıģtır yöntemeri perde periyodu süreiiğine diat etse dahi bir çerçevenin eenmesi veya çıarıması sinyade süreiiği istenen düzeyde sağamayabimetedir. Çünü norma bir onuģmada seser aynı gibi görünse de ton ve vurgu ardıģı perde periyotarında değiģebimetedir. Ton ve vurgu değiģimi geçiģerde (sesi-sessiz veya sessiz-sesi geçiģeri) daha da faza oduğundan bu bozuu daha da beirgin hae gemetedir. Bu bozuuarı düzetme için eeme/çıarma yerine örtüģmei eeme (OLA- OverLap Add) uanımatadır. OLA yönteminde saası değiģtiriece ses 8

21 birbirerinden n uzaıta boyutu N oan çerçeveer uanımatadır (Roads 1978). Daha sonra ses sentezeniren çerçeveer arasındai uzaıar n oara değiģtiriir. Öncei çerçeveerin son ısımarı ie ardındai çerçeveerin i ısımarında örtüģme oacağından, örtüģen notaarda öncei çerçevenin değererine gidere azaan ardındai çerçevenin örtüģen değererine gidere artan bir ağırı veriir ve ağırıı topam ie örtüģen yererin değereri buunur. Bu iģemde ardıģı ii parçanın örtüģen tüm notaarında uanıan ağırıarın topamı 1 e eģit oaca, bu ağırıar öncei çerçevenin örtüģen ısmı için monoton azaan diğeri için monoton artan oacatır. Ağırı oara doğrusa ağırı (Baret penceresinin i ve iinci yarısı) uanıabieceği gibi, Hamming, Hanning vb. pencereer de uanıabiir. Bu OLA iģemi ġei 2.2 de gösterimetedir. ġei 2.2 ÖrtüĢmei eeme (Bonada 2002) ġei 2.2 de de gösterien örtüģmei eeme, f(j) fonsiyonu atama ağırıarı, L ise örtüģen örneem sayısı oma üzere EĢiti 2.3 ie ifade ediir. y( m. n j) : (1 f ( j)) y( m. n j) f ( j) x( mn j) ;0 j L 1 (2.3.a) y( m. n j) x( mn j) ; L j N 1 (2.3.b) OLA iģemi diğer birço baģarıı zaman saası değiģimi tenierine teme ouģturmaa birite örtüģen ısımar birbireriye benzer oamayacağı için süreii ve perde periyodunun aymasından doayı sentezenen seste bozuuar ouģmatadır. 9

22 2.1.2 SOLA OLA teniğindei ardıģı çerçeveer arasındai uzaığın değiģmesinden doayı sinya süreiiği bozuduğundan sinya süreiiğini sağama için atanan ardıģı çerçevenin birbireriye uyumu hae getirimesi bu probemeri ortadan adırabiir. Bu nedene SOLA da benzer yererin atanması amaçanmatadır (Roucos ve Wigus 1985). SOLA da giriģ sesi x; S a (anaiz adımı) örneem araıara N uzunuğundai çerçeveere ayrımatadır ( n = S a ). Sentez sesinde ise çerçeveer birbirerinden S z (sentez adımı) örneem araıarının benzeriği sağayan omģuuğunda örtüģtürüür. ( n =S z ) Tüm çerçeveer için değereri ayrı ayrı hesapandığından ardıģı ii sentez çerçevesi arasındai uzaı ( m ve m-1 çerçevesi) S z + m - m-1 oara hesapanır. Optimum m değeri min m max araığında aranır. Optimum m değerini hesapama için; EĢiti 2.4 te ifade edien normaeģtirimiģ iintinin en yüse değeri (Roucos ve Wigus 1985), EĢiti 2.5 de ifade edien basiteģtirimiģ iintinin en yüse değeri (Verhest ve Roeands 1993, Lawor ve Fagan 1999), EĢiti 2.6 da ifade edien ortaama muta farın en düģü değeri (Verhest ve Roeands 1993) EĢiti 2.7 de ifade edien far are ortaamasının en düģü değeri gibi yöntemer uanıır (Wong vd. 1998). L 1 j0 L 1 j0 y( ms R ( ) (2.4) m 2 y ( ms s s j) x( ms j) L 1 j0 a j) 2 x ( ms a j) 10

23 L 1 L 1 j0 j0 y( ms R ( ) (2.5) m y( ms s s j) x( ms j) L 1 j0 a x( ms j) a j) L 1 j0 y( ms s j) x( ms a j) AMDF ( ) (2.6) L m L 1 j0 y( ms s j) x( ms a j) 2 ( ) (2.7) L Yuarıdai eģitierde L ; değerine göre örtüģen örneem sayısıdır. Bu eģitiere göre m değeri seçiditen sonra zaman saaı ses sentezi EĢiti 2.8 e göre yapımatadır. y ( ms j) : (1 f ( j)) y( m. S j) f ( j) x( ms j), 0 j L 1 (2.8.a) z z a y( msz j) x( msa j), L j N 1 (2.8.b) EĢiti 2.8.a da yer aan := iģareti y( msz j) değerinin günceeneceğini göstermetedir. ĠĢaretin so tarafındai yeni değer iģaretin sağ tarafındai esi değerini de uanara günceenecetir. f ( j) ise doğrusa oara artan bir fonsiyondur ve değeri EĢiti 2.9 da verimetedir. 0, j 0 f ( j) j /( L 1), 0 j L (2.9) 1, j 1 SOLA ie sentezenen sesin aitesi parametreerin seçimine de bağıdır. Ġ uyguamaarda N; onuģma sesi için 30 ms, müzi sesi için 40 ms seçiiren, S a =N/2 min =-N/2 max =N/2 seçimiģtir (Roucos ve Wigus 1985). Mahou vd. (1986), S a 11

24 değerini hızandırma için N/2, yavaģatma için ise N/2α oara önermiģtir. Wong vd. (2003) ise S a değerini hem hızandırma hem de yavaģatma için N/4α oara seçmiģtir. Hejna (1990) ie Wong vd. (2003) bazı öze durumarda optimum değeri için hesapamaara gere omadığını beirtmiģerdir. S a -S s + m-1, min ie max arasına den gediğinde m =S a -S s + m-1 için ardıģı ii pencerenin örtüģen ısımarı anaiz sesinin aynı parçası omata ve en yüse benzeri sağanmatadır. Bu durum ġei 2.3 te de gösterimetedir. m =S a -S s + m-1 (2.10) a) (m-1). çerçeve S a (m). çerçeve (m-1). çerçeve b) S z - m-1 min max S z - m-1 m =S a -S z + m-1 (m). çerçeve ġei 2.3 SOLA iģeminde örtüģme tahmini a. Orijina sestei çerçeveer arası uzaı, b. SOLA sentez sesindei çerçeveer arası uzaı GLS-TSM GLS-TSM (Gene, yere arama- zaman saası değiģimi) SOLA tabanı bir tenitir (Yim ve Pawate 1996). SOLA da ardıģı çerçeveerde örtüģece benzer notaarı buma için iinti hesaparı ço faza iģem geretirdiğinden bu agoritmada bunun yerine önce gene benzeriğe, daha sonrada bu gene benzerite buunan değer omģuuğunda yere benzeriğe baıır. 12

25 Gene benzerite sentez sesi ie anaiz sesinin örtüģen ısımarı için sıfır esme notaarının sayısına baımatadır. ArdıĢı ii nota farı iģareterde ise burada bir sıfır esiģi vardır demetir. Sıfır esiģeri sinyain freans içeriğiye aaaı oduğundan benzer yererde sıfır esiģ sayıarı hemen hemen aynıdır. Sıfır esiģ notaarı sayısı EĢiti 2.11 dei gibi hesapanmatadır. m L 1 m0 x m sgx m 1 z sg (2.11) Burada x(m) pozitif ise sg(x(m)) =1; negatif ise sg(x(m)) =0 dır. değeri ise benzeri arama araığında ( min max ) herhangi bir değerdir. L ise örtüģen notaardai örneem sayısıdır. Anaiz ve sentez seserinin örtüģme notaarında EĢiti 2.11 e göre hesapanan z değereri fararının en üçü oduğu indisi gene benzeri sonucudur ve gobamin oara adandırıır. Gene benzeri değeri buundutan sonra daha net benzeriğe uaģma için yere benzeriğe baıır. Yere benzerite sıfır notaarı için 11 boyutu bir vetör tanımanır. Bu vetörün eemanarı EĢiti 2.12 de verimetedir. f f f f f f f f f f f x( i) x( i 1) x( i) x( i 1) ( x( i) x( i 2)) / 2 x( i 2) ( x( i) x( i 3)) / 3 x( i 3) ( x( i 1) x( i 1)) / 2 x( i 1) ( x( i 2) x( i 1)) / 3 x( i 2) (2.12) Yere benzeriğe baııren x sinyainin örtüģen değererinde sıfırı en büyü açıya esen nota buunur. Bu notaarda yere benzeri vetörü f x hesapanır. Sentez 13

26 sinyai y nin gobamin omģuuğundai sıfır notaarı için yere benzeri vetöreri f y, i hesapanır. Daha sonra f x vetörü ie f y, i vetöreri arasındai mesafeere baıır. Mesafenin en üçü oduğu notaya göre en iyi örtüģme indisi buunur. Mesafenin hesapanması için EĢiti 2.13 uanımatadır. d 1 11 f j f, i x y, i j (2.13) Yim ve Pawate (1996) GLS-TSM i eetroni avye, üfemei çagı ve yayı çagının da araarında buunduğu çeģiti enstrümanarın seseriye test etmiģer ve yüse aitei zaman saaı ses ede etmiģer KHz dei seser için SOLA dan ır at daha hızı oduğunu beirtmetedirer. Yim ve Pawate (1996), yere benzeri aramasının gobamin omģuuğunda arandığı beirtimiģtir. Faat bunun ne adar omģuuğunda oduğu açı değidir. Bu onu baģa aynaardan da araģtırımıģ faat bu değer buunamamıģ hatta bazı aynaarda bu sorun die getiriere endieri tarafından bu değerer seçimiģtir. Wong vd. (1998); gobamin omģuuğunda 7 adet benzeri arama sıfır esiģ notasında mesafe öçümü yapmıģtır. Dorran vd. (2006) gobamin omģuuğunda 10 adet benzeri arama sıfır esiģ notasında mesafe öçümü yapmıģtır. Her ii aynata da sentezenen sesin aitesinin ötü oduğu beirtimiģtir. Pawate nin de yer adığı bir maaede GLS-TSM in gene aramaarı 400 ms i çerçeveerde yapıdığı beirtimetedir (Agnihotri vd. 2002). 400 ms i ses çerçeveeri baģta onuģma oma üzere birço ses için oduça büyütür EM-TSM EM-TSM (Zarf EĢemei Zaman Saası DeğiĢimi) SOLA da uanıan normaeģtirimiģ iinti araması yerine anaiz ve sentez seserinin iģareterinin iintisini uanmatadır (Wong vd. 1998). Ses örneerin iģareteri için EĢiti tei fonsiyonar tanımanmatadır (Wong vd. 2002). 14

27 x 2 ( 1, x( msa i) 0 i) sign( x( msa i)) (2.14) 1, x( msa i) 0 y 2 ( 1, x( mss i) 0 i) sign( y( mss i)) (2.15) 1, x( mss i) 0 y2, ( 2 i i) y ( )) oara bir fonsiyon tanımansın. Bu fonsiyonun örtüģme notaarındai örneer ümesi y y i), i 0,1 L 2, 2, (,..., 1 oacatır. Aynı Ģeide x i) x ( ) oara bir fonsiyon tanımansın. Bu fonsiyonun örtüģme 2, ( 2 i notaarındai örneer ümesi x i), i 0,1 L x oacatır. Bu ii 2, 2, (,..., 1 fonsiyonunun örtüģme notaarındai çarpımı z2, ( i) x2, ( i) y2, ( i) oacatır ve bu fonsiyonun örneer ümesi z i), i 0,1 L z oacatır (Wong vd. 2002). 2, 2, (,..., 1 Buna göre iģareterin normaeģtirimiģ iintisi (EMF / Zarf eģeme fonsiyonu) EĢiti 2.16 da ifade edidiği gibi oacatır. R L 1 sign y( ms j) sign x( ms j) s a 2, j0 j0 m ( ) (2.16) L 1 L 1 L 2 2 signy( mss j) signx ( msa j) j0 j0 L 1 z ( j) A adında bir üme tanımansın. Bu üme örtüģme aanındai anaiz sesinin sıfır esiģ notaarını versin. ArdıĢı 2 örneğin çarpımarı -1 oan değerer bu ümenin eemanarı oacatır. j x ( j 1) x ( j) 1, 0 j L 1 ie gösterisin. A ümesinin eeman sayısı M : 2, 2, B adında bir üme tanımansın. Bu üme örtüģme aanındai sentez sesinin sıfır esiģ notaarını versin. ArdıĢı 2 örneğin çarpımarı -1 oan değerer bu ümenin eemanarı oacatır. j y ( j 1) y ( j) 1, 0 j L 1 ie gösterisin. B ümesinin eeman sayısı N : 2, 2, 15

28 c c C adında C A B A B ) ( A B ) oan bir üme tanımansın. A B ( ümesinin eeman sayısı r ie gösteriirse, eaman sayısı c =M +N -2r oacatır. sıraanır. r M ve r N oacatır. C ümesinin Bu üç ümenin eemanarı aģağıdai gibi A a, 1, a,2,..., a, M B b, 1, b,2,..., b, N C c, 1, c,2,..., c, M N 2r Burada C ümesi; (2002) tarafından ispatanmatadır. z 2, fonsiyonu için sıfır esiģ notaarını gösterdiği Wong vd. z, z2, (0) oursa z, = 1 ise R() hesapamasının payında c, 1 notasına adar hep artı geece daha sonra iģaret değiģeceği için değerer gemeye baģayaca, daha sonra terar iģaret değiģirse ( c, 2 için) terar artı değerer gemeye baģayacatır. Bu nedene R m () EĢiti 2.17 dei gibi yazıabiir. R m ( ) 1 L L 1 j0 M N 2r z, j1 z2, ( j) 2 ( 1) c, j ( 1) L j1 M N L (2.17) EĢiti 2.17, EĢiti 2.4 e göre hesapanması ço daha oay omasına rağmen min max araığındai tüm değereri için iinti buunmaıdır. Bu hesapama terararını azatma için sınırı sayıda değereriye iintinin hesapaması durumunda diğer değereri için iintinin bu sınırı sayıda hesapanan iintiere göre daha basit iģemere hesapanabimetedir(wong vd. 2003). Bu sınırı sayıdai değererinin ümesi K o ie gösteriirse bu üme EĢiti 2.18 de verimetedir. K o : A B : b 1,1 1b 1, N N 1 : a L 1 L N, 1, M min max (2.18) 16

29 K,,...,, eemanarı için iinti EĢiti 2.17 ye göre buundutan sonra o 1, 2 3 Q1 diğer eemanarı için normaize edimiģ iinti değeri EĢiti 2.19 da verien eģitiğe göre hesapanmatadır (Wong vd. 2003). R m ( i 1) L L ( M N 2 z, z, ( 1) i i i Rm ( i ) ( i 1 i ) i1 i ) L ( i 1 i ) i 1 (2.19) EĢiti 2.19 da yer aan g( i, j) ( 1) oup g( i, j) ise b, j erin C, j setindei i N j1 i i yereridir TD-PSOLA Ses sinyaeri (monofon enstrüman veya onuģma) uzun dönem iiģisini sağayan perdeere sahiptir. PSOLA (Perde senronu örtüģmei eeme) ses sinyainin perdeerini buup 2 perde uzunuğundai ısımara ayırmata ve örtüģmei eemeeri tespit edien perdeere göre yapmatadır (Mouines vd. 1989, Mouines ve Charpentier 1990). PSOLA agoritması i oara anaiz sesinin ötümü ve ötümsüz ısımarını bumatadır. Ötümü ısımarı için sesin perdesini buup iģareter, ötümsüz ısımar içinse perde iģareterini sabit uzaıara oyar. Zaman aanında PSOLA (TD-PSOLA) perde tespitini zaman aanında yapar. ÖrtüĢmei eeme prosedürü perde senronu yapıdığından sentezenen sesin aitesi yüsetir. PSOLA agoritması anaiz ve sentez oma üzere ii ısımdan ouģmatadır. Anaiz ısmında giriģ sesi çerçeveere ayrıır. Sentez ısmında ise bu çerçeveer bireģtiriere zaman saası değiģtirimiģ ses sentezenir. Anaizde i adım sesin periyodi ısımarının masimum notaarına ve ötümsüz ısımarının sabit uzaıı örneemerine perde iģaretini t i oymatır. Perde periyodu P(t i ), zamana bağı oara iģaretenmiģ örneemerin arasındai uzaıtan P(t i ) =t i - t i oara hesapanır. Daha sonra giriģ sesi perde iģareterinin oduğu örneemer 17

30 ortaanaca Ģeide parçaara ayrıır. Her parça 2 perde periyotu Hanning penceresi ie pencereenir. Sentezde hızandırma/yavaģatma fatörü, sentez sinyainin perde periyotarının ~ uzunuğu ~ P ( t ) yi beirer (EĢiti 2.20). P ~ ( ~ t ) P ~ ( t) P( t) (2.20) Sentez perde zamanarı öncei perde periyotarından EĢiti 2.21 e göre hesapanır. ~ ~ t ~ ( ) ~ 1 t P t t P( ti ) (2.21) EĢiti 2.21 de yer aan ~ t sentez sesinde yer aan. perde iģaretini t i ise anaiz sesinde yer aan i. perde iģaretini simgeemetedir. Yani senteze eenece. parça anaizdei i. parçanın örtüģmesiye ede edimetedir. Burada t i, t ~ i t yı en üçü yapaca Ģeide seçiir. EĢiti hızandırma/yavaģatma fatörü, sabittir. Faat bu ~ t t 0 ( ) d ie sabit omayan hızandırma/yavaģatma fatörü için de geneenebiir. ġei 2.4 ten de görüebidiği gibi EĢiti 2.21 e göre >1 için bazı anaiz parçaarı birden faza örtüģmei eemede uanıabiir. Yine aynı Ģeide <1 için bazı anaiz parçaarı uanımayabiir. 18

31 ġei 2.4 PSOLA agoritmasında 2 perdei segmenter ve bu segmenter ie örtüģmei eeme (Bonada 2002) WSOLA WSOLA (Dagabiçimi benzerii örtüģmei eeme), anaiz sesi (giriģ sesi) x(n) ie zaman saaı sentez sesi y(n) arasında n (m) için en ço yere benzeriği buur. Bu ifade EĢiti 2.22 ie gösteriir; n ( m). w( n) ( ) xn m. w( ) m : y n (2.22) EĢiti 2.22 de yer aan w(n) ağırı penceresi, (=) iģareti en ço benzeri anamında ve (m) ise zaman saasını değiģtiren zaman atama fonsiyonudur. EĢiti 2.22 yi sağama için WSOLA agoritması atanaca çerçeveerin en ço benzeriği sağayaca Ģeide omģuuğunda adar aymasına izin verir. Buna min max 19

32 göre WSOLA zaman saası EĢiti 2.23 de ifade edimetedir (Verhest ve Roeands 1993, Verhest 2000). 1 n S. x n S 2 w yn 2 w n S S (2.23) Bu formüde yer aan segmentinin uzunuğu oup; segmenti için en ço benzeriği sağayan sapmadır. S sentez S ise sabit S için.s e sabit omayan S içinse S i i 0 topamına eģittir. EĢiti 2.23 de hesapama oayığı için w 2 n S =1 seçiir ve paydadan urtuunur. Sabit S için S. S ettiğinden saa fatörü için EĢiti 2.24 yazıabiir. S. S 1 / (2.24) WSOLA dai pencere fonsiyonu w(n) in pencere uzunuğu sentezenen sinyain her bir segmenti için atama ie uanıaca oan anaiz segmenti sayısına bağıdır. Verhest %50 atamanın baģarıı sonuç verdiğini söyemetedir i o zaman pencere uzunuğu 2S oacatır. %50 atamada y(n), ediir. ( 1) S n. S için EĢiti 2.25 ie ifade y 2 n w n ( 1) S. xn ( 1) S / ( 1) S 1 2 w n S. xn S/ S (2.25) Bu eģitite =0 için sıfır aınır. Diğer ar ise Ġinti, AMDF veya normaeģtirimiģ iintiye göre buunabiir (Verhest ve Roeands 1993, Verhest 2000). SOLA da uanıan diğer benzeri indisi hesapama yöntemeri de uanıabiir. için AOLA 20

33 AOLA (Uyaranabiir ÖrtüĢmei Eeme) agoritmasında giriģ (anaiz) sesine uzunuğu w oan bir pencere uyguanara bir ses segmenti ede edimetedir (Lawor 1999). ġei 2.5.a da da görüdüğü gibi pencere (doayısıya ses segmenti) uzunuğu ötümü seser için en az 2 tane en düģü freans (teme freans veya perde) periyodu içerece Ģeide seçimetedir. Ötümsüz segmenter için ise bir öncei ötümü seste uanıan segment uzunuğu ie aynı seçiebiir (Lawor 1999). Daha sonra bu segmentin aynısı opyaanara, Ģei 2.5.b de görüdüğü gibi tepe notaarı birbireriye den geece Ģeide sağa doğru aydırıır. Daha sonra bu ii segmentin örtüģen notaarı için ağırıı eeme (örtüģmei eeme) yapıara Ģei 2.5.c de görüdüğü gibi doğa geniģetimiģ (yavaģatımıģ) bir sinya parçası ouģturuur. Bu ouģturuan geniģetimiģ ses parçasının uzunuğu doğa geniģetme oranı ne için w.ne dir. Daha sonra anaiz sesinden st uzunuğunda (daha önce aınan w uzunuğundai segmentten sonrai örneer) bir parça Ģei 2.5.d de görüdüğü gibi aınır. Yeni aınan bu parçanın uzunuğu w, ne, de (istenen geniģetme oranı) parametreerine bağıdır. Anaiz sesinden aınan bu yeni st parçası sentezenen sese eenir (Ģei 2.5.e). Sentezenen seste Ģei 2.5.e de görüdüğü gibi st parçasını da içerece yeni bir w uzunuğunda segment aınır ve bu yeni segmentin opyası daha öncei iģem gibi aydırıara tepe notaarı örtüģtürüece Ģeide örtüģmei eeme yapıır. Yeni segmentin bir ısmı esi sentezden gemete yanızca st parçası anaiz (orjina giriģ) sesinden gemetedir. Bu segmentin geniģemesi de ne oranında oacağı için bu yeni segmentte yer aan st parçasının geniģemesi de ne.st oacatır. Anaiz sesinden terar bir st parçası aınıp sentez sesine eenirse, yeni ouģturuaca w uzunuğundai segmentte bu yeni aınan st parçası ve bir öncei terarda aınmıģ ve uzatımıģ ne.st parçası oacatır. Bu segment de uzatıdığında sentezde st uzunuğu ne.st ve bir öncei terardan geen ne.st uzunuğu da ne 2.st uzunuğuna sahip oacatır. 21

34 ġei 2.5 AOLA ie zamanda saası değiģimi (Lawor, 1999) Bu terarar A+1 ere sürerse sentez sesinin sonundai w.ne uzunuğundai parça Ģei 2.6 da da gösteridiği gibi ne A.st yi de içerecetir. ġei 2.6 da görüdüğü gibi w.ne EĢiti 2.26 dai gibi açıabiir. w. ne. 2 A st. ne st. ne... st ne (2.26) ġei 2.6 AOLA yavaģatması (Lawor, 1999) EĢiti 2.26 da ne A = de seçiirse Tayor serisi açıımından EĢiti 2.27 de ifade edien değere uaģıır. A st w.( 1 ne)/(1 ne ) w.(1 ne)/(1 de) (2.27) EĢiti 2.27 de yer aan de istenen geniģeme fatörüdür. 22

35 Doğa geniģeme fatörü ne segment içinde yer aan en düģü freansa bağı oacağından her terarda değiģebiirer. Bu nedene EĢiti asında bir yaınsama eģitiğidir. ne ve st de her geniģeme için baģtan hesapanmaıdır. Zaman saası sııģtırması (hızandırma) iģeminde de yavaģatmada oduğu gibi anaiz sesinden w uzunuğunda bir segment aınır. Aynı Ģeide bu segmentin bir opyası aydırıara örtüģmei eeme yapıır. Faat örtüģmei eenen örneemerin sağında aan ve örtüģmeyen örneemer doğa hızandırıan segmenti bırama için bıraıır. Doğa hızandırma oranı nc ve istenen hızandırma oranı dc ise EĢiti 2.28 ie ifade ediir. st w.( 1 nc) /(1 dc) (2.28) Suzii-Misai yöntemi Suzii ve Misai (1992) zaman saası değiģimi ie yavaģatma için anaiz sesinden ardıģı ii adet T s uzunuğunda çerçeve amatadır. Daha sonra bu ii ardıģı çerçevenin S S için EĢiti 2.29 dai gibi iintieri hesapanmatadır. T s 1 m0 R( ) x( i m ) x( j m) (2.29) EĢiti 2.29 da yer aan i i çerçevenin baģangıcı, j ise iinci çerçevenin baģangıcıdır. T c Max R( ) (2.30) Ġintisi en yüse çıan τ değeri T c için ii çerçeve arasında örtüģmei eeme yapıır (EĢiti 2.30). Böyece sentezenen sesin uzunuğu T s -T c our. Bu durum T c >0 ve T c <0 için ġei 2.7 de gösterimetedir. ġei 2.7 den de anaģıabieceği gibi Eğer T c >0 için sentezenen ses EĢiti 2.31.a ie ifade ediir. T c <0 için sentezenen ses ise EĢiti 2.32.b ie ifade ediir. 23

36 24 ġei 2.7 Zaman saası değiģimi ie yavaģatma (Suzii ve Misai 1992) 1 0 ) ( )) ( (1 ) ( ) ( ) ( c s c T T j x w T i x w y (2.31.a) 1 ) ( 1 ) ( )) ( (1 ) ( ) ( 1 0 ) ( ) ( c s s c s c c c T T T T i x T T j x w T i x w T j x y (2.31.b) EĢiti 2.31.a için ağırı penceresi w() değereri EĢiti 2.32.a da, EĢiti 2.31.b için ağırı penceresi w() değereri ise EĢiti 2.32.b de yer amatadır. 1) 1)/( ( ) ( c T s T w (2.32.a) 1) 1)/( ( ) ( c s c T T T w (2.32.b) EĢiti 2.30 veya 2.31 ie sentez sesi ouģturudutan sonra anaiz sesinden aınan i çerçeveden sonrai örneerden c s x T T T ) 1 /( adar bir sinya aınır ve sentez sinyainin sonuna eenir. Böyece öncei sentezenen ısım T s -T c oduğundan topam sentez uzunuğu T s -T c +T x = α.t s our. Zaman saası fatörü α büyü oduğunda T s üçü

37 oacatır. Daha sonra geniģetme iģemine devam etme için ardıģı segmenterin indiseri EĢiti dei gibi günceenir. i i /( 1) (2.33) T s j i T s /( 1) T c (2.34) Suzii ve Misai zaman saasını hızandırma için yavaģatmada uanıan aynı yöntemi uanmatadır. Faat far oara ağırı penceresi yavaģatmadai gibi monoton azaan deği monoton artan bir fonsiyon oara seçimetedir. Ġinti hesapamasında i çerçeve sabit tutuup 2. çerçeve aydırıdığından, sinya eeme ve indiserin günceenmesi formüeri değiģmetedir. Buna göre sentez sinyai en ço benzeriği sağayan τ için EĢiti 2.31 ie benzer Ģeide oacatır. Faat ağırı penceresi değereri EĢiti dai gibi oacatır. w ( ) ( T T )/ T T 1 (2.35) s c s c w ( ) ( T )/ T T 1 (2.36) s s c Ġ çerçeveerden sentez sesinin i ısmı ouģturudutan sonra T x ( 2 1) T /(1 ) T uzunuğundai parça giriģ sinyainden aınır ve sentez s c sinyainin sonuna eenir. Daha sonra geniģetme iģemine devam etme için ardıģı segmenterin indiseri EĢiti dei gibi günceenir. i j T s /( 1) T c (2.37) j j Ts /( 1) (2.38) Suzii ve Misai (1993), yaptıarı çaıģmada T s uzunuğunu 12 ms S - ve S + değererini ise -10 ve +10 ms seçmiģerdir Laroch yöntemi Laroche (1993) AOLA da oduğu gibi anaiz sesinden adığı bir çerçeveyi endisiye örtüģtürüyor. Bu yöntemde anaiz sesinden uzunuğu T a =40 ms oan bir segment 25

38 aınmatadır. Daha sonra bu segmentin öziintisine baıır. min araığında EĢiti 2.39 ie max 1 R(, t (2.39) T a 1 ) x( t1 ) x( t1 ) Ta 1 Öz iintisinin masimumunu veren τ değeri için endisiye örtüģen ısımarda örtüģmei eeme yapıır. Zaman saasında geniģeme için τ min ve τ max negatif; sııģtırma için ise pozitif seçimetedir. τ min ve τ max en az 10 ms en ço 25 ms uzunuğunda bir segmentin teraramasını/siinmesini sağayaca büyüüte seçiir. Laroche(1993), anaiz sesini uzunuğu T a =40 ms oan ve birbireriye çaıģmayan segmentere ayırmatadır. Bu segmenterin her biri daha sonra ya sentez sesine eenmete veya yavaģatıdıtan (veya hızandırıdıtan) sonra sentez sesine eenmetedir. Bir segmentin hızandırıacağı/yavaģatıacağı çıtının beenen uzunuğunun beiri bir toeransın atında veya üstünde omasına göre arar verimetedir. Laroche çaıģmasında bu toeransı da 40 ms oara uanmıģtır PICOLA PICOLA (ĠĢaretenmiĢ araı ontroü örtüģmei eeme) ISO/IEC de (MPEG- 4 audio) önerien zaman saası değiģimi yöntemidir. PICOLA ie hız ontroü MPEG- 4 de zorunu deği uanıabiir bir özeitir. PICOLA 8 KHz veya 16 KHz de örneenmiģ mono seserde uanıabiir. Hız ontroü giriģ sinyai örtüģmei eemei sentez sinyai ie değiģtiriere veya örtüģmei eemei dagabiçimi eeyere sağanır. MPEG-4 de PICOLA için zaman saası değiģimi oranı ve zaman saası değiģiminin oup omadığını gösteren bayraar (fag) uanıır. Ġetiece sesin çerçeveerinde zaman saası uyguanıp uyguanmadığı uyguandıysa oranı bu Ģeide beirtiir. PICOLA ie hızandırma Ģei 2.8 de gösterimetedir. P 0 iģreteyicisi (pointer) mevcut iģenen çerçevenin baģangıç örneğini göstermetedir. Çerçeve uzunuğu LF örne boyutundadır ve hemen ardındai çerçeveer LW uzunuğundadır (Morita ve Itaura 1986). LF uzunuğundai çerçevenin i yarısı (Dagabiçimi A) ie iinci yarısı 26

39 (Dagabiçimi B) arasındai örne baģına ortaama bozuma EĢiti 2.40 ie hesapanmatadır. 1 2 D( LW) x( n) y( n) PMIN LW P (2.40) MAX LW ġei 2.8 PICOLA ie hızandırma (ISO/IEC ) a. Orijina sinya, b. ÖrtüĢmei eenmiģ sinya, c. Hızandırıan sentez sinyai EĢiti 2.40 da D(LW) dagabiçimi uzunuğu LW oduğunda ardıģı ii dagabiçimi arasında örne baģına ortaama bozumayı, x(n) Dagabiçimi A yı; y(n) Dagabiçimi B yi P MİN ve P MAX da LW parçası için en az ve en ço dagaboyu uzunuğunu göstermetedir. Tipi oara 8 KHz ie örneenmiģ ses için P MİN =32 P MAX =160; 16 KHz ie örneenmiģ ses için P MİN =80 P MAX =320 örneem seçiir (Morita ve Itaura 1986). 27

40 PICOLA da LW uzunuğu D(LW) bozumayı en düģü seçece Ģeide seçiir(morita ve Itaura 1986). Daha sonra atama ağırıarı Dagabiçimi A için doğrusa azaan (Baret in iinci yarısı) Dagabiçimi B için doğrusa artan ve topamarı 1 oaca Ģeide seçiere örtüģmei eeme yapıır ve Ģei 2.8.b dei gibi Dagabiçimi C ouģturuur. Daha sonra iģareteyici P 0 dan P 1 notasına aydırıır. Dagabiçimi C nin baģangıcı ie P 1 notası arasındai uzaı L dir ve uzunuğu EĢiti 2.41 de verimetedir. 1 L LW 1 HIZORANI 2 (2.41) HIZORANI 1 L, LW den büyü ise anaiz sesinde Dagabiçimi B yi taip eden Dagabiçimi D sentez sesine eenir. Böyece anaiz sesinden aınan LW+L uzunuğundai bir parça için L uzunuğunda daha üçü bir parça sentezenmiģ our. PICOLA ie yavaģatma Ģei 2.9 da gösterimetedir. ġei 2.9 PICOLA ie yavaģatma (ISO/IEC ) a. Orijina sinya, b. ÖrtüĢmei eenmiģ sinya, c. YavaĢatıan sentez sinyai 28

41 ġei 2.9.a da P 0 iģreteyicisi (pointer) mevcut iģenen çerçevenin baģangıç örneğini göstermetedir. Çerçeve uzunuğu LF örne boyutundadır ve hemen ardındai çerçeveer LW uzunuğundadır. LW uzunuğu EĢiti 2.40 a göre beirenditen sonra Dagabiçimi A aynen sentez sesine eenir ve daha sonra Dagabiçimi A ie Dagabiçimi B hızandırma ısmında oduğu gibi örtüģmei eeme yapıara sentez sesinin sonuna eenir. Daha sonra iģareteyici Ģei 2.9.b de gösteridiği gibi P 0 dan P 1 notasına aydırıır. P 1 notası Dagabiçimi C nin baģangıcından L örneem uzaıtadır. Böyece L uzunuğundai bir parçadan L+LW uzunuğunda bir parça sentezenmiģ omatadır (Morita ve Itaura 1986). L uzunuğu EĢiti 2.42 ye göre seçimetedir. HIZORANI L LW 0,5 HIZORANI 1 (2.42) 1 HIZORANI 2.2 Zaman Saası DeğiĢimi Ġçin Freans Aanı Tenieri Freans aanı tenierinin temei Homer Dudey in (1939) ana vooderine dayanmatadır. Kana vooderinde ses sinyai anaiz ediere teme freansı tespit ediir ve spetra bigieri bir fitre ie odanır. KodanmıĢ oan bu ses sinyai terar sentezeniren teme freansın enerjisi uanıara ötümü/ötümsüz ayrımı yapıır ve beirenen fitre ötümü seser için teme freanstai periyodi sinya ie ötümsüz seser için ise rastgee gürütü ie sürüür. Böyece ses sinyai terar ouģturumuģ our. Fanagan ve Goden (1966) bu modei ses sinyainin ısa zaman geni ve faz spetrumunu aara geiģtirmiģtir. Faz vooder oara aınan bu teni freans aanı zaman saası değiģimi tenierinin temei omuģtur. Faz voodereri Kısa-Zaman Fourier DönüĢümüne (STFT) dayanmatadır. Bu nedene STFT de zaman saası değiģimi için uanıabimetedir. Faz voodereri tanımandıtan sonra zaman saası değiģimi aitesini arttırma için Faz voodereri üzerine çeģiti geiģtirmeer yapımıģtır. GeiĢtirien bu tenier faz voodererinin 29

42 sahip oduğu yatay (zamansa) faz uyumuuğuna e oara diey (freans bögeeri arası) faz uyumuuğunu da (eģ fazıı) sağamatadır Kısa Zaman Fourier DönüĢümü (STFT) Ses sinyai ısa süre içerisinde hemen hemen periyodi bir yapıdadır. Bununa birite bu süre yeterince uzadığında bu periyodii azamata ve tüenmetedir. Ses ve benzeri sinyaerin ısa sürei freans spetrumunu ama için sinya ısa zaman periyodunu beireyen pencere fonsiyonu ie çarpıara sesin sinyain sadece beiri bir zaman araığındai değereri bıraıır. Daha sonra ede edien sinyae Fourier dönüģüme uyguanara sinyain STFT si aınmıģ our. Herhangi bir sinyain STFT si EĢiti 2.43 ie ifade ediir. X j ( ms, ) w( ms ) x( ). e (2.43) Bu eģitite m, Fourier dönüģümü yapıan m. çerçeve; S, ardıģı çerçeveer arasındai uzaı; 2 / N, =0,1,2.N-1 oma üzere freans değeri, N pencere uzunuğu ve w(n), pencere fonsiyonudur. X ( ms, ) armaģı sayı oup EĢiti 2.44 te ifade edidiği gibi faz ve geni değererine sahiptir. X ( ms, ) X ( ms, ) X ( ms, ) (2.44) EĢiti 2.43 te yer aan w( ms ) x( ) x(n) sinyainin m. sinya çerçevesi (Ģei 2.10.c de gösterimetedir) oup bu sinyain Fourier dönüģümü EĢiti 2.45 ifadesinden doayı EĢiti 2.46 ie gösteriir. x w ( ms, ) w( ms ) x( ) (2.45) X j ( ms, ) xw( ms, ). e (2.46) 30

43 EĢiti 2.46 da gösteridiği gibi herhangi bir x(n) sinyainin pencereenmiģ parçasının STFT si ardıģı pencereenmiģ segmenterin Fourier dönüģümü our. Pencere büyüüeri 2S seçidiğinde pencereer %50 örtüģme sağamıģ ourar. ÖrtüĢen segmenter için pencereerin zaman aanındai örtüģen değereri topamı 1 oaca Ģeide seçiirse x(n) sinyainin Fourier dönüģümü tüm çerçeveerin STFT erinin topamı oara ee aınabiir Terarı STFT Griffin ve Lim (1984) sesin habereģme anaından ietiminde geni değereri yerine STFT parametreerini uanmayı önermiģerdir. STFT parametreeri geni ve faz spetrumu değererinden ouģtuğundan hem geni hem faz parametreeri ietme veri mitarını arttırdığından sadece geni değererini ietmeyi önermiģerdir. Sadece STFT geni spetrumu parametreeri uanıara yapıan sentezeme ardıģı çerçeveerde faz aymasına neden omata bu da sesin bozumasına neden omatadır. Bu nedene faz bigisinin arģı tarafta terar ede edimesi geremetedir. STFT x( n) X ( ms, ) (2.47) EĢiti 2.47 de ifade edidiği gibi x(n) sinyainin STFT si aınmıģ osun. X ( ms, ) omģuuğunda herhangi bir STFT gösterimi sinyaden x(n) toeransı ie ede ediebimetedir. sinyai beiri bir hata? Y( ms, ) x( n) (2.48) Y ( ms, ) ie X ( ms, ) hata are yaınsamasında benzerdir (Griffin ve Lim 1984). n), Y( ms, ) xw ( ms, ) yw( ms, ) D x( (2.49) m 2 31

44 EĢiti 2.49 da ( ms, ) w( ms ) x( ) ve ( ms, ) w( ms ) y( ) oup, hatayı en x w aza indirgeme için bu ifadenin x (n) gradyan ifadesinden x (n) çeiirse EĢiti 2.50 ede ediir. y w e göre gradyanı aınara sıfıra eģitenir. Bu x( n) m w( ms n) y m w ( ms, n) 2 w ( ms n) (2.50) Yuarıda da beirtidiği gibi aıcı tarafa sadece geni bigieri gönderidiğinden geni spetrumu X ( ms, ) biiniyor, faz spetrumu X ( ms, ) biinmiyor. x (n) sinyaini terar ede etme için aģağıdai agoritma uanıır. Biinmeyen faz sapması için i faz tahmini yapıır (gereiyorsa faz ayması sıfır aınır) ve ( ms, ) hesapanır. 0 X ie ( ms, n) IFFT X ( ms, ) X ( ms, ) y w EĢiti 2.50 uanıara x (n) tahmini x 1 ( n ) buunur. Hesapanan 1 ( n 2 1 x ) için STFT uyguanara X ( ms, ) X ( ms, ) X ( ms, ) buunur. Hesapanan bu yeni STFT nin faz bigieri yeni faz tahmini oara aınır ve i 3 adım teraranara 1 X ( ms, ) X ( ms, ) X ( ms, ) oara buunur. 25 ie 100 adımda fazda ço faza değiģim omayacağından hemen hemen doğru tahmin ediere x 1 ( n ) ie ses sinyai abu ediebiir aitede buunur Terarı STFT ie zaman saası değiģimi Griffin ve Lim (1984), STFT nin zaman saası değiģimi içinde uanıabieceğini beirtmiģtirer. STFT agoritmasına göre EĢiti 2.43 herbir ses çerçevesi için spetrum 32

45 bigisini vermetedir. Spetrum bigisinden sinyain zamandai değererini ede etme için Ters STFT uyguanır ve N adet örneem değeri buunur. Ters STFT uyguanıren STFT freans değererinin sayısı interpoasyon ve esitme ie değiģtiriip, ters STFT bu yeni STFT adeterine göre yapıırsa zaman saası değiģimi gerçeeģtirimiģ our. Zaman saası değiģiminin anaiz aģamasında STFT aınıren ardıģı pencereer arası uzaı için S Sa seçiir. Sentez için ise Ss S seçiir. Bu sayede Ss Sa için zamanda sııģtırma, tersi için zamanda geneģtirme uyguanmıģ our. Ters STFT ie ede edien sinya çerçeveerinin arasındai uzaı değiģtiği için bu çerçeveerin sınırarında faz ayması ouģmatadır. Faz uyumuuğunu terar sağama için terarı STFT yöntemi uanıır. Yeterince terardan sonra EĢiti 2.51 ie sentezenen zaman saası değiģmiģ çerçeveer arası faz uyumu sağanmıģ sinya ede ediir. x 1 ( n) m w( ms s n) y w m ( Y( ms, ) X a 2 w ( ms s n) ( ms s, )) (2.51) Faz voodereri Faz voodereri Fanagan ve Goden (1966) tarafından onuģma sesini habereģme anaından ietmeden önce sııģtırma amacıya geiģtirimiģtir. Bu modede onuģma sinyai; ısa zamanı segmentere böünere sinüs bieģenerinin freans ve geni parametreeri ie terar yaratıabiir Ģeide modeenmetedir. Fanagan ve Goden faz vooderinin zaman saası değiģimi veya perde saası değiģimi için de uanıabieceğini beirtimiģerdir. Zaman saası ve perde saası değiģimi Portnoff (1976) tarafından FFT uanıara gerçeeģtirimiģtir. Faz voodereri Böüm de anatıan Kısa Zaman Fourier DönüĢümünü uanmatadır. Faz vooderi matematise ifadeeri aynı oan ii ayrı baıģ açısına göre yorumanmatadır (Doson 1986). 33

46 1. Fitre banaarı yorumu 2. Fourier dönüģümü yorumu Bu baıģ açıarı, Ģei 2.10 da zaman freans düzeminde yatay ve diey çizgier oara görüebiir. Yatay esene parae tüm çizgier sesin o freans haznesinde zamana bağı oara değiģimini (fitre banası) diey çizgier ise herhangi bir ısa zaman araığında sesin freans spetrumunu göstermetedir. ġei 2.10 Zaman freans düzemi (Bonada 2002) Faz voodererinin fitre banaarı ie gösterimde giriģ sinyainin zamana değiģen spetrumu EĢiti te ifade edien N bant-geçirgen parae fitre çıtıarı topamıdır. Yani freansarı N freans haznesinde topanara ayrıır. N arttıça freans hazneeri daraara çözünürüğü artar, zaman çözünürüğü azaır. h ( n) h( n) e 2n j N, 0,1,..., N 1 (2.52) 34

47 j H ( e j ) H ( e ( ) ), 2 N (2.53) Her bir fitrenin çıtısı (sinyain freans hazneerindei değereri) EĢiti 2.54 ie ifade ediebiir. y ( n) e 2n j N m m x( m) h x( m) e ( n m) 2m j N m h( n m) e x( m) h( n m) e 2n j N X ( n, ), 2 ( nm) j N 0,1,..., N 1 (2.54) Faz vooderinin topam çıtısı EĢiti 2.54 te verien herbir fitrenin çıtıarının topamıdır (EĢiti 2.55). y N 1 N 1 ( n) y ( n) 0 0 2n j N X ( n, ) e (2.55) Faz voodererinin Fourier DönüĢümü ie gösteriminde ise Ģei 2.11 de gösteridiği gibi STFT den faydaanıır. Anaiz adımı Böüm de anatıdığı gibi EĢiti 2.43-ie gerçeeģtiriir. Sinyain Fourier dönüģümü yapıdıtan sonra istenmesi durumunda spetra özeierde de değiģime gidiebiir. Spetra özeieri değiģtiriiren her bir ısa dönem çerçevesi de değiģtiriebiir. t sr, R ardıģı çerçeveer arası uzaı oma üzere s s s s s spetrai değiģtirimiģ sinya Y, ) ie gösterisin. DeğiĢtirien Fourier döģümünden ( t s sentez sinyai üretiiren sinyain ısa zamanı ters Fourier dönüģümü aınır. Ede edien sinyain zaman aanında gösterimi EĢiti 2.56 da gösterimetedir. EĢiti 2.57 ise fitre banası gösterimine göre her bir fitreye teabü eden ve EĢiti 2.55 ie de ifade edien sentez sinyaidir. n s y ( n) w( n t ) y ( n t ) s s s (2.56) y ( n) s 1 N N 1 0 Y( t s s, ) e j n (2.57) 35

48 ġei 2.11 Faz voodererinin anaiz ve sentezi (Sethares 2007) Faz vooderi ie zaman saası değiģimi Zaman saası değiģimi sentez adımını anaiz adımından farı tutara gerçeeģtiriir. Rs R a için, Sentez sinyainin geni spetrumu ve faz spetrumu anaiz sinyai ie aynı tutuursa ardıģı segmenter arasında faz ayması meydana geir. Bu durum Ģei 2.12 de gösterimetedir. 36

49 ġei 2.12 Faz voodererinde anaiz ve sentez a. Anaiz sinyainin zamanda gösterimi, b. Aynı faz ve geni için sentez sinyaindei faz bozuması, c. Fazı düzetimiģ sentez sinyai Zaman saası değiģimi faz aymasını düzetme için spetra değiģiiği geretirir. Zaman saası değiģiminde sentez sinyainin geni spetrumu EĢiti 2.58 de ifade edidiği gibi anaiz sinyainin geni spetrumu ie aynı seçimetedir. Freans spetrumu EĢiti 2.59 da gösteridiği gibi günceenir. Y s ( ts a Y ( t s, ) X ( t, ) (2.58) s s, ) Y ( t s s 1 s, ) R ˆ ( t ) (2.59) s a EĢiti 2.59 da ifade edidiği gibi faz düzetmesi için sentez sinyainin bir öncei s segmenttei faz spetrumu değereri baz aınır. ˆ ( ). fitre haznesi (fitre gösterimindei) için birim örneem baģına anı faz değiģimi oup ii ardıģı segment arasındai örneem sayısı t a Rs oduğundan bu süre için günceeme yapıır. s Anı faz değiģimi ˆ ( ) tespiti için ii ardıģı anaiz segmenti arasındai faz t a değiģimine bama gereir. Eğer herhangi bir freans haznesi içinde sadece te bir freans (sapma yo) osaydı ardıģı segmenter arasındai faz değiģimi R a ourdu. 37

50 Bununa birite freans hazneerine düģen sinya haznenin freans araığı içinde değiģim gösterdiğinden sapma EĢiti 2.60 ie buunur. s X ( t s a ) X ( t s a 1 ) R (2.60) a EĢiti 2.60 dan birim örneem baģına düģen sapmayı buma için ardıģı anaiz segmenteri arasındai birim örneem baģına düzen faz farı EĢiti 2.61 de yer amatadır. s 1 s ˆ ( ta ) p (2.61) R a EĢiti 2.61 de yer aan teme freans sapması oup değerin π ie +π arasında s p yer aabimesi için 2 π atarının eenmesiye tespit ediir Faz iiti vooderer Faz vooderi, STFT faz spetrumunda herbir freans anaı için zaman eseninde yatay faz uyumuuğunu sağamatadır. Faat faz voodererinde farı freans hazneeri farı faz atama çözüümerine sahip oabimetedir. Faz çözüümü agoritması öçüen faz ie 2π atarı topamına eģittir. Faat 2π atarı tüm freans hazneeri için eģit omayabimetedir. Bu da zaman germe oranı ie çarpıdığında fazarda bozumaara yo açabimetedir. Faz iiti vooderer freans anaarı arasında (diey esende) faz uyumuuğunu sağama için geiģtirimiģtir. GevĢe ve atı iitemei oara ayrımatadır. Katı iitemei de endi arasında Idendity ve Saaı faz iiteme oara iiye ayrımatadır GevĢe iiteme Faz vooderi yatay faz uyumuuğunu sağaren freansarı fitre banasının fitreerinin ortasına toparamatadır. Bu da bazen yanıara neden oabimetedir. 38

51 Pucete (1995) tarafından önerien gevģe iitemede faz voodererinin faz s1 yaınsama eģitiğinde (EĢiti 2.59) yer aan Y (, ) yerine omģu freans hazneerinin faz ayması etisini de ifade etme için Y ( t s s 1 s1 s1, ) Y ( t, ) Y ( t, ) ortaaması onur. Bu eģitite omģu s1 s1 hazneerin negatif oara topanmasının nedeni ardıģı freans hazneeri arasında yer aan 180 derecei faz farıdır. t s Katı iiteme GevĢe iitemede faz aymaarını göreceeme tüm freans hazneerine uyguanmatadır. Laroche ve Doson (1999) tarafından önerien atı iitemede ise sadece yere tepeere göre göreceeme uyguanır. Herhangi bir freans haznesinin geniği omģu 4 haznenin geniğinden daha yüse ise o freans haznesi bögenin tepesi oara aınır. Tepe freans hazneerinin fazarı hesapanır ve çevresindeierin sentez fazı bu tepe freansın anaiz fazına göre EĢiti 2.62 ie ifade edidiği gibi hesapanır. s s s s Y t, ) Y ( t, ) X ( t, ) X ( t, ) (2.62) ( s s a a Eğer tepe freans haznesi ardıģı zaman segmenterinde değiģirse yani 1 ien 2 oursa çevre freans anaarının fazarı EĢiti 2.63 te ifade edidiği gibi our. s s s Y t, ) Y ( t, ) X ( t, ) X ( t s, ) (2.63) ( s s 2 a a 2 s s1 s EĢiti 2.63 te 2/ 3 / 3 ve Y t, ) Y ( t, ) R ( t ) yerine onur. ( s 2 s 1 s 2 a oara 2.3 Zaman Saası DeğiĢimi Ġçin Sinya Modeeme Tenieri TSM için en teme sinya modeeme teniği Sinüs modeeme oup diğer tenier genede bu mode üzerine urumuģtur. Sinüs modeeme özeie ötümü seser için oduça baģarııdır. Bu mode agoritmasının sinyain ötümsüz veya ötümü ötümsüz geçiģerini (veya ötümsüz ötümü geçiģeri) modeemesindei probemeri düzetme 39

52 için Spetra Modeeme Sentezi (SMS) ve GeçiĢ Modeeme Sentezi (TMS) gibi tenier geiģtirimiģtir Sinüs modeeme McAuay ve Quatieri (1986) tarafından geiģtirien Sinüs modeeme teniği ses sinyainin zaman ie değiģen spetra araterini zaman ie değiģen sinüser topamı oara ifade etmetedir. Sinüs modeeme teme oara sesin ouģmasını modeemetedir. Sesin ouģumu için ii önemi yapı ayna ve yo oara tanımanmatadır. Kayna beiri freansara göre titreģimdir. Ġnsan sesinde ayna ses teeri (ötümü) veya ciğererden basınç ie çıan havayı sııģtıran organar (ötümsüz ses) oabiir. Yo ise boğaz, ağız ve burundai nefes you ve bu yodai gırta di, diģer gibi organarın yapısıdır. ġei 2.13 te insan sesinin modeemesi yer amatadır. Müzi enstrümanarından çıan seser veya diğer seser de beiri freansarda titreģen teer(örneğin tei çagıar), materyaer (örneğin vurmaı çagıar) veya havanın sııģması ie ouģur. ġei 2.13 Ġnsan sesinin modeemesi Sesin aynağı e(t), zamana göre değiģen yo modei ise h(t,t) ie gösteriirse ses EĢiti 2.64 ie ifade ediir (McAuey ve Quatieri 1986a). 40

53 t s( t) h( t, t ) e( ) d (2.64) 0 Bu ifadede sesin ouģumu için beiri freansarda titreģim geretiği için e( ) farı freans, faz ve geniere sahip sinüser topamı oara ifade ediebiir (EĢiti 2.65). L( t) e ( t) a ( t)cos ( t) (2.65) 1 Bu ifadede L (t), t anında sesi ouģturan sinüserin sayısı; (t) a, bu sinüserin her birinin geniğini ifade eder. (t) ise freans ve o freanstai fazını içerdiğinden EĢiti 2.66 ie ifade ediebiir (McAuey ve Quatieri 1986a). ( t) V ( t) (2.66) V t ( t) w ( ) d (2.67) t 1 EĢiti 2.66 da yer aan. sinüsün faz sabitini ifade eder. Kaynağın freansı azda osa zamana bağı değiģebidiğinden her bir sinüsün freansı w (t) ie gösteriir ve. sinüsün t anındai değiģen faz etisi V (t) EĢiti 2.67 dei gibi ifade ediir. EĢiti 2.64 te yer aan yo modeinin Fourier dönüģümü ise EĢiti 2.68 te gösteridiği gibidir (McAuey ve Quatieri 1986a). H( w, t) j( w, t) M( w, t) e (2.68) EĢiti 2.68 de M ( w, t) ve ( w, t) zamana bağı fitre (yo modei) geniği ve fazıdır. Youn her bir sinüs aynağına etisi ayrı oara M ( t) M ( w, t) ve ( t) ( w, t) ie gösteridiğinde EĢiti 2.64 te yer aan ses modei aģağıdai gibi ifade ediir. 41

54 L( t) s( t) A ( t)cos( ( t)) (2.69) 1 A ( t) a ( t) M ( t) (2.70) ( t) ( t) ( t) V ( t) ( t) ( t) (2.71) EĢiti 2.69 sesin sürei zaman aanında Sinüs modeeme eģitiğidir. Bu modeemenin geni ve fazı ise sırası ie EĢiti de ifade edidiği gibi ayna ve youn geni ve fazarını ihtiva etmetedir Anaiz Sinüs modeemenin anaizi (sesin sinüs modeeme parametreerin buunması), Ģei 2.14 te gösteridiği gibi anaiz çerçeveerinin Kısa Zaman Fourier DönüĢümünden (STFT) freans değereri w (t), geni parametreeri A (t) ve sabit faz fararı (t) değererinin tahmini ie baģar. McAuey ve Quatieri (1986) insan sesinin sinüs modeemesini önerdieri için anaizin 2. aģamasında ayna ve yo parametreerini çıartmatadır. ġei 2.14 Sinüs modeeme anaizi (McAuey vequatieri 1986a) ġei 2.14 te sesin pencere fonsiyonu ie çerçeveere ayrıdığı görümetedir. Pencere fonsiyonu oara Hamming pencere seçimetedir. McAuey ve Quatieri (1986a) pencere büyüüğü oara perde periyodunun en az 2,5 atının seçimesini önermetedir. Ötümsüz çerçeveerde spetra çözünürüğün sağanması için de 20 ms ie 30 ms arasında bir uzunuta çerçeve uanımını önermetedir. 42

55 McAuey ve Quatieri (1986b), sinüs modeeme iģemini her çerçeve için ayrı oara gerçeeģtirdiğinden anaiz ve sentez için EĢiti de yer aan t yerine R ve örneem veri notasyonu uanmatadır. Bu notasyonda R çerçevede yer aan örneem sayısını ise hangi çerçeve oduğunu göstermetedir. Bu notasyona göre STFT EĢiti 2.72 ie hesapanır. S ) jmw ( w, R) w( R m) s( m e (2.72) m Fourier dönüģümü gerçeeģtiriditen sonra çerçeve spetrumunun ardıģı ii freans notası arasındai eğiminin pozitiften negatife döndüğü spetra notaarı tepe oara aınır. Yani S( w, R) S( w 1, R) 0 ve S( w 1, R) S( w, R) 0 sağayan w freansarı yere tepe notaarı oduğundan tepe sinüserin freansı oara aınır. ˆ ˆ ( R) oma üzere ˆ. çerçevenin. sinüs tahmininin freans değeri oma üzere geni ve faz tahmineri EĢiti ie ifade ediir. Aˆ ˆ S( ˆ, R) (2.73) S( ˆ, R) (2.74) McAuey ve Quatieri bu değereri hesapandıtan sonra EĢiti de yer aan sesin ayna ve yo parametreerinin Ģei 2.15 de de gösteridiği gibi hesapanmasını önermiģtir. Ses younun geniği ˆ ˆ M M ( ˆ, R) ve fazı ˆ ˆ ( ˆ, R) çıarıara ayna parametreeri de geniği Mˆ aˆ Aˆ / Mˆ ve ˆ ˆ ˆ ie hesapanmatadır. Ses younun değerini hesapama için homomorfi deonvoüsyon veya hep-utup yöntemerinden biri uanıır. Ses younun fazını hesapama ise daha zordur. Faat ses younun minimum faz fitre modei oduğu varsayıara sistem fazının ( ˆ ) ve geniğinin ( Ŝ ) ogaritmaarı 43

56 Hibert dönüģüm çifterini ouģturur. Böyece ses you fazı ˆ ; Mˆ tahmininin Hibert dönüģümü ie ogaritmi değerinden ve homomorfi fitreemesinden ede ediir. ġei 2.15 McAuey ve Quatieri (1986b) sinüs modeemesinde anaiz Smith ve Serra (1987) ise modei tüm seser için önerere you hesaba atmamıģ ve McAuey ve Quatieri (1986a, 1986b) tarafından uanıan 2. aģamayı uanmamıģtır. Smith ve Serra(1987) tepe notaarı buundutan sonra bu değereri öçüen değer oara aır ve bu öçüen değererden gerçe tepe freansarını ve genierini paraboi modee göre tahmin eder (Ģei 2.16). 44

57 ġei 2.16 Gerçe freans tepeerini buma için paraboi freans enterpoasyonu (Smith ve Serra 1987) Gerçe tepe örne freansı ie öçüen tepe örne freansı arasındai far EĢiti 2.75 ie hesapanır (Smith ve Serra 1987).. p (2. 75) Bu eģitite β öçüen tepe örneğinin freans değerini α ve ise öçüen tepe örneğinden öncei ve sonrai örneerin freans değererini ifade etmetedir. Böyece gerçe freans değeri EĢiti 2.76 da ifade edidiği gibi hesapanır. w * w p (2.76) Bu freansdai geniğin armaģı sayı değeri ise EĢiti 2.77 ie hesapanara geniği ve fazı buunur. 1 A ( ) p (2.77) 4 45

58 Ninness (2000) yaptığı çaıģma sonucunda McAuey ve Quatieri (1986a, 1986b) ve Smith ve Serra (1987) tarafından önerien ii yöntem ie anaizi yapıan seserin sentezenmesinde pe faza agısa bir far omadığını beirtmiģtir Sentez Sinüs modeemenin anaizi çerçeve çerçeve yapıdığından anaiz ie hesapanan sinüs bieģenerinin parametreerinden sinyain sentezenmesi terar çerçeve çerçeve gerçeeģtiriirse çerçeve geçiģerinde esii meydana geebiir. Bu esiiğin engeenmesi için sinya geçiģerinin yumuģatıması gereir (McAuey ve Quatieri, 1986b). Ses you ve aynağın geni ve faz fararı freansarına bağı oduğundan anaizde. çerçeve için öçüen tepe freansarının +1. çerçevede öçüen tepe freansarı ie iiģiendirimesi gereir. Özeie ses sinyainin ötümü-ötümsüz veya ötümsüz-ötümü geçiģerinde (müzi enstrümanarında da nota değiģimeri) bazı sinüs bieģeneri eģeģtiriemeyebiir. +1. çerçevede yer aan herhangi bir sinüs bieģeni. çerçevedei sinüs bieģeneri ie iiģiendiriemiyor ise bu sinüs bieģeninin (i +1. çerçevede ouģtuğundan) DOĞUM notası +1. çerçevedir. Benzer Ģeide. çerçevede yer aan herhangi bir sinüs bieģeni +1. çerçevedei sinüs bieģeneri ie iiģiendiriemiyor ise bu sinüs bieģeninin (en son. çerçevede yer adığından) ÖLÜM notası. çerçevedir. McAuey ve Quatieri(1986b) tarafından önerien yöntemde; ardıģı çerçeveer arasındai sinüs bieģeneri iiģiendiriditen sonra sinüs bieģenerine ait yo ve ayna modei için geni geçiģerinin yumuģatıması. sentez çerçevesinin her bir örneği için aģağıdai doğrusa enterpoasyon eģitiği ie basitçe hesapanmatadır (EĢiti ). Mˆ t Mˆ Mˆ ( ) ( 1 Mˆ ) t / T (2.78) aˆ ( t) aˆ ( aˆ 1 aˆ ) t / T (2.79) 46

59 Smith ve Serra (1987) tarafından daha ço müzi için önerien Sinüs modeemede yo ve ayna uanımadığından geçiģerin yumuģatıması ardıģı çerçeveerde iiģiendirien sinüs bieģenerinin genieriye doğrudan uyguanmatadır (EĢiti 2.80). Aˆ t Aˆ Aˆ ( ) ( 1 Aˆ ) t / T (2.80) EĢiti de yer aan T çerçeve boyutu oup t ise 0 t<t oma üzere zamandır. ˆ 1 A ve  +1. ve. çerçeveerde öçüen ve birbireriye iiģiendirien sinüs bieģenerine ait genierdir. EĢiti 2.69 ie modeenen ses younun fitre parametreeri yavaģ değiģtiğinden fazı da aynı Ģeide yavaģ değiģir. Bu nedene yo fazının da ineer enterpoasyon ie hesapanması yeteridir (EĢiti 2.81). ˆ t ˆ ˆ 1 ( ) ˆ ( ) t / T (2.81) Sinüs bieģenerinin freansarının ve ayna fazarının geçiģ yumuģatması ise daha armaģı bir yöntem oup übi enterpoasyon geretirir. Bir baģa zoru ise faz değeri π ie - π arasında öçüdüğünden enterpoasyon hesabında Ģei 2.17 de gösteridiği gibi diate aınmaıdır. ġei 2.17 Sinüs fazarının enterpoasyonunda esii a. Mod 2π ie öçümden doayı esii, b. Kesiiğin düzetimesi ve gerçe faz farı 47

60 48 EĢiti 2.69 da yer aan sinüserin faz için übi poinom 0 t<t oma üzere EĢiti 2.82 ie ifade edimetedir. Fazın türevi de freansı vermetedir (EĢiti 2.83) 3 2 ) ( ˆ t t t t (2.82) ) ( ˆ t t t (2.83) Bu eģititei poinom sabiteri, t=0 ve t=r için ardıģı ii çerçevedei faz ve freans değereri yerine onara ede ediir (EĢiti 2.84). ) ˆ ˆ ( 1 ) 2 ˆ ˆ ˆ ( R M R R (2.84.a) ) ˆ ˆ ( 1 ) 2 ˆ ˆ ˆ ( R M R R (2.84.b) ˆ (2.84.c) ˆ (2.84.d) Tüm bu parametreer hesapandıtan sonra sinüs modeeme parametreerinden EĢiti 2.85 ie sentezeme gerçeeģtiriir. )) ( ˆ )cos( ( ˆ ) ˆ( ) ( 1 n L n n A n s (2.85) Smith ve Serra (1987) ses sentezinde tepe sinüserinin fazını uanmamıģtır. Hem anaiz hem de sentezde faz hesapamaarı uanımadığından özeie übi enterpoasyondan aynaanan hesap yüerinden urtuunmuģtur. Sadece genie yapıan bu sentezemede sentezenen ses orijina sesten farı omaa birite birço uyguama için agısa oara aynı sesi vermetedir

61 Sinüs modeeme ie zaman saası değiģimi Sinüs modeeme sesin ouģumunu modeediği için zaman saası değiģiminde de sesin ouģumunun değiģimi modeenmetedir. Sabit bir oranda değiģim için değiģim oranı ρ ie ifade ediirse orijina hızdai sesin 0 t anındai ısmı sentezenen seste 0, 0 t t anında sentezenir. ρ >1 için ses yavaģatımıģ ρ <1 için ses hızandırımıģ our. Sentezenen sesin ifadesi EĢiti 2.86 dai gibidir (McAuey ve Quatieri 1986b). )) ( )cos( ( ) ( ) ( 1,,,,,,, t L t t A t s (2.86) Sentezenen sesin, t anındai ısmı, orijina sesin 1 t, anındai ısmını modeeyeceğinden geniği de bu Ģeide modeenir ve EĢiti 2.87 ie ifade ediir. ) ( ) ( ) ( ) (, 1, 1, 1,, t M t a t A t A (2.87) Fazın modeenmesi için ses you fazı da ρ ie aynı oranda değiģeceği için sentez sesinin fazı EĢiti 2.88 ie ifade ediir. ) ( ) ( ) (, 1,,,,, t t t (2.88) Sentez sesinin aynağının freansı da aynı Ģeide orijina sesin 1 t, anındai freans ie aynı oacağından EĢiti ie ifade ediir. t t d t,, ) ( ) ( 1,, (2.89) t t t V d t 1, 1 1,, ) / ( / ) ( ) (, 1 (2.90)

62 2.3.2 Spetra Modeeme Sentezi (SMS) Spetra modeeme sentezinde (SMS) sinüs modeemeye gürütü bieģeni eenmetedir. Serra ve Smith (1990) tarafından önerien bu modede sinüser ses sinyainin sadece rasgee omayan hemen hemen periyodi ısımarını modeeren, aan gürütü bieģeneri de ayrı oara modeenir. SMS de sinya EĢiti 2.91 dei gibi ifade ediir. R s( t) Ar ( t)cos( r ( t)) e( t) (2.91) R1 EĢiti 2.91 de yer aan A r (t) ve (t) sinüs modeemede oduğu gibi r. sinüs r bieģeninin geniği ve fazı, e(t) ise gürütü bieģenidir. Sinyain R sinüs bieģeni topanara rastgee omayan (deterministi) ısmı ouģturuur. (t) fazı ise anı freansın (radyan cinsinden) integrainin i sabit faz farı ie topanmasıya ede ediir (EĢiti 2.92). r t ( t) ( ) d (0) (2.92) r 0 r r Sinyain gürütü bieģeni ise fitreenmiģ beyaz gürütü oara modeenir ve EĢiti 2.93 ie ifade ediir. t e( t) h( t, ) u( ) d (2.93) 0 EĢiti 2.93 te u( ) beyaz gürütü ve h( t, ) zamana bağı değiģen fitrenin dürtü tepisidir. 50

63 SMS Anaiz SMS anaizi sinüs modeeme anaizi gibi baģar. Ses sinyai pencere fonsiyonu ie çerçeveere ayrııp FFT ie ompes (armaģı) spetrumu hesapanır. Çerçeveer arası sinüs iiģiendirmeeri ie tepe sinüs bieģenerin freans ve geni spetrumu yörüngeeri buunur. Bu sinüs bieģenerin topamı ie sentezenen sinyain deterministi ısmı sinyaden çıartıara sinyain gürütü bieģeni (rastgee ısmı) buunur. Daha sonra sinyain gürütü bieģeninin spetra yaısaması hesapanır (Ģei 2.18). ġei 2.18 SMS (deterministi artı rastgee çözümeme) anaizi Geni spetrumu N i FFT ie hesapandığında; spetrum notaarının çözünürüğü, ses sinyainin örneeme freansının FFT boyutuna oranı oacatır. Çerçeve uzunuarı spetra çözünürüğü arttırmata yetersiz adığından çözünürüğü artırma için pencere fonsisyonu ie ayrıan sinya çerçeveerine sıfır örneemeri eenere (zero padding) freans çözünürüğü arttırıır. Freans çözünürüğünün binde bir hassasiyetinde oması verimii açısından aranmatadır (Serra ve Smith 1990). 51

64 Sinüs bieģen gürütü çözünümü için sinüs tepe süreiiği oduça önemidir. Sinyain teme freansının hesapanması tepeerin süreiiğinin ararı oara sağanmasına iman vermetedir. Spetra yaınsamada ses sinyainin gürütü bieģeni pencere fonsiyonu (ses sinyainin sinüserini buma için uanan pencerenin aynısı) ie çerçeveere ayrıdıtan sonra geni spetrumu hesapanır. Gürütü bieģeninin rastgeeye yaın (quasi-periodic) oduğu varsayımıya sesin areteristiğine sadece gürütünün Ģei eti ettiğinden geni spetrumarı sadece spetrum zarfı ie ifade ediebiir. Bunun için aģağıdai tenier uanıabiir (Serra ve Smith 1990); Spine Enterpoasyon, En üçü are metodarı, Düz çizgi yaınsamaarı, LPC (Doğrusa tahmin odaması- Linear Predicting Coding) SMS sentez SMS sentezi için; hesapanan anaiz parametreerinde istenien değiģiiğe göre yapıan dönüģümerden sonra sinyain deterministi ve gürütü bieģeneri eenir (ġei 2.19). ġei 2.19 SMS sentezi 52

65 Gürütü bieģeninin anaizinde sadece gürütü spetrumunun geniği hesapandığından faz spetrumu için rastgee değerer atanır. Bu sayede gürütü spetrumunun ters FFT si gürütü bieģenini verir SMS ie zaman saası değiģimi SMS zaman saasını değiģtirme için uyguandığında sesin perdesi ve gürütü bieģeninin gürütüsü orunur. Hem sinüs bieģenerinin hem de gürütü bieģeninin sentez ve anaiz adımarının oranı zaman saası değiģim oranını verir. Faat bu yöntem geçiģerde ses aitesi açısından sııntı yaratır (Serra ve Smith 1990) GeçiĢ Modeeme Sentezi (TMS) Sesin SMS teniği ie modeenmesinde ses sinyai deterministi ve rastgee bieģenerinden ouģuren, GeçiĢ Modeeme Sentezi (TMS-Transient Modeing Synthesis) bu modei geiģtirere geçiģerini de ayrı oara hesaba atmatadır (Verma vd. 1997). GeçiĢerin açı bir Ģeide ayrı oara ee aınması daha gerçeçi ve sağam bir sinya modei urumasını sağamata ve sinüs modeeme ie SMS e göre esnei azandırmatadır. SMS de geçiģer ve gürütü birite fitreenmiģ beyaz gürütü oara modeeniren TMS de geçiģer gürütüden ayrı modeenmete, böyece sinüs modeeme ve SMS in sesin esin geçiģerindei handiaparı azatımatadır TMS anaiz ġei 2.20 de görüdüğü gibi TMS anaizinde i önce diğer sinya modeeme tenierinde oduğu gibi sesin basın sinüs bieģeneri modeenir. Sinüs bieģeneri ie sentezenen ses orijina sesten çıartıdıtan sonra aan artı sinya geçiģeri ve gürütüyü içermetedir. Bu artı sinyaden geçiģ bieģeneri modeenip çıartıdığında aan sinya SMS de oduğu gibi gürütü oara modeenir. 53

66 ġei 2.20 TMS anaizi (Verma vd. 1997) Sinüs bieģenerinin ve gürütü bieģeninin modeenmesi SMS modeemesine benzer yapımatadır. GeçiĢin modeemesi için sinüser ie geçiģer arasındai dönüģüm iiģisinden faydaanıır. Sinüs bieģenerinin anaizinde zaman bögesi sinyainin spetra tepeerinin izenmesi buunuren, geçiģerin anaizinde freans bögesi sinyain spetra tepeerinin izenmesi gerçeeģtiriir. Bunun için DCT (Ayrı Kosinüs DönüĢümü) uanıır. DCT zaman bögesindei geçiģeri sinüsere çevirir. Zaman bögesinde yavaģça değiģen bir sinüs sinyai (saınım) DCT bögesinde darbe oara görüür. Zaman bögesindei darbeer ise freans bögesinde saınım oara görüür. Zaman bögesinde bir osinüs sinyain freansı ne adar büyü ise DCT bögesindei dönüģümü baģangıçtan o adar uza oduğundan zaman bögesindei darbe baģangıçtan ne adar uzasa DCT bögesinde o adar yüse freans osinüs oara görüür. Bu nedene DCT bögesinde yapıaca bir sinüs anaiz ie tespit edien spetra tepeerin geniği, freansı ve fazı zaman bögesi için tespit edien geçiģerin özeierini beirer. TMS anaizinde; DCT nin bu özeierinden faydaanara Ģei 2.20 de de gösteridiği gibi önce birbireriye örtüģmeyen boarın DCT si aınır, daha sonra da ede edien sinyain sinüs bieģenerinin parametreeri hesapanara geçiģ parametreeri tespit ediir. 54

67 Tespit edien bu parametreerden sinüs mode sentezi yapııp ters DCT aınara buunan geçiģ sinyai i artı sinyaden(geçiģer ve gürütüyü içeren) çıartıır TMS sentez TMS modeeme sentezinde anaiz aģamasında tespit edien parametreerden sinüs bieģeneri, geçiģ bieģeneri ve gürütü bieģeni ayrı ayrı modeenere bireģtiriir ve sinya sentezenmiģ our. ġei 2.21 TMS sentezi TMS ie zaman saası değiģimi Zaman saası değiģimi ie TMS sentezi için sinüs bieģenerinin ve gürütü bieģeninin değiģimi Sinüs modeeme ve SMS dei gibi gerçeeģtiriir. GeçiĢerin de sinüs ve gürütüye parae oranda değiģtirimesi geretiğinden DCT bo uzunuarı aynı oranda değiģtiriir. Böyece DCT boda daha ço veya daha az sinüs dagası görüür ve geçiģer zaman bögesindei uygun oasyonarda sağanır. 2.4 Paet Anahtaramaı Ağarda Tıanıı Ġçin Zaman Saası DeğiĢimi Ses ve verinin bir arada ietidiği Ġnternet gibi paet anahtaramaı ağar üzerinden ietiģimde ses paeterin gecimesi değiģebimete hatta bu paeter aıcıya hiç uaģmadan ağda (yo oabimete) ayboabimetedir. Ġnternet teefon gibi gerçe zamanı sesi ietiģimin yapıdığı durumarda aıcıar ses paeterini uzun süre beeyemeyeceği için zamanında uaģmayan paeter için terar gönderme gibi 55

68 yöntemer uanıamamatadır. Bu nedene herhangi bir paet aybı aıcı tarafındai ses sinyainin anaģıabiiriğini veya aitesini bozmatadır. Gerçe zamanı ses ietiģimi için paet aybının ii teme sebebi vardır. Ġi paetin ağda yo oması ve aıcıya hiç uaģmaması, diğeri ise paetin aıcıya zamanında uaģamamasıdır. Paetin ağda tamamen aybomasını engeeme için sadece aıcı tarafında uyguanabiece bir yöntem buunmamatadır. Gecime ve jitterden (gecime değiģiminden) aynaanan paet ayıparı ise aıcının tampon beeeri geniģ tutuara azatıabimetedir. Aıcı tampon beeerinin geniģ tutuması ise tampon gecimesini doayısıya uçtan uca gecimeyi artırmatadır. Gecime, teefon gibi arģııı ietiģimde interatifiği engeediğinden arģııı ietiģimin aitesini bozmatadır (ITU- T G ). Bu nedene jitteri teafi etme için uanıan tampon gecimesi (payout time) ve paet aybı birbireriye çeiģen ve ietiģim aitesi için optimize edimesi gereen parametreerdir Aınan sesin çama zamanaması Paet anahtaramaı ağar üzerinden ses ietiģiminde, anaog aynatan aınan ses sayısa hae çevriir ve uygun uzunuta parçaara ayrıara beirenen odayıcı ie odanır. Gönderen ağ notası tarafında yapıan bu iģemer ie ede edien tüm odanmıģ ses parçaarı doğrudan paetenere aıcıya uaģtırıma üzere ağdan gönderiir. Genede her paette gönderien ses parçası uzunuğu sabit oduğundan gönderen taraftai ardıģı ii paetin ağa sunuma zamanarı arasındai far paetin içerdiği sesin süresi adardır. Ağ üzerinden ietien ve aıcı tarafından aınan ses paeteri jitter teafisi için tampon beeğe atarıır. Bu jitter ayarama teniğinde aınan ses paeti hemen çaınmayara pananan çama zamanı geene adar tampon beete beetiir. Bu nedene beirenen çama zamanında tampon beete tutuan ses çaınmaya baģadığında, bu sesin çama iģemi tamamanmadan yeni paetin gemiģ oması ve tampon beeğe atarıması geremetedir. Asi durumda uaģmayan veya gecien paetin gecime süresi adar bir çama boģuğu oaca ve ses aitesi bozuacatır. 56

69 En az paet ayıpı ses aitesini sağama için tampon bee büyüüğünü en yüse ağ gecimesi ie en düģü ağ gecimesi arasındai süre farı adar sesi saayabiece büyüüte tutma geremetedir. Bu durum gerçe zamanı onuģmada sesin aıcıya geç uaģmasına neden oduğundan tampon bee ço yüse tutuamamatadır. Uçtan uca gecimenin sabit tutumaya çaıģıdığı sabit zamanamaı çamada tampon bee büyüüğü genede paeterin geç uaģmasından doayı ayıpara da az da osa izin verece Ģeide beirenir. Çama zamanamasının değiģebidiği uyaranabiir çama ise onuģma araarındai sessizi boģuarı esnasında uyaranabien veya onuģma esnasında uyaranabien oma üzere 2 ayrı yöntem ie gerçeeģtiriebiir. ġei 2.22 sabit ve uyaramaı çama yöntemerine göre uçtan uca gecimeerini ve paet ayıparını örne bir onuģmanın paeterinin ağ gecimeerine göre göstermetedir (Liang vd. 2003). ġei 2.22.a da, tüm ietiģim boyunca uçtan uca gecimenin sabit tutuduğu ve tampon bee geniģiğinin buna göre beirendiği örne çama zamanamasıdır. Ortaama gecime 160 ms oup paet ayıparı da faza oduğundan verimi bir yöntem değidir. Ortadai grafite ise uçtan uca gecimeye göre çama zamanaması onuģma boģuarında uyaranmatadır. Gecimeden aynaanan paet aybı açısından avantaj sağamasa da ortaama uçtan uca gecimesi daha iyidir. En attai grafite ise çama zamanamasının onuģma esnasında da dinami oara değiģtiriebidiği uyaranabiir çama zamanaması teniğini göstermetedir. Bu grafite hem gecimeden doayı paet aybının azatıdığı hem de ortaama gecimenin 150 ms nin atına düģürüdüğü görümetedir. 57

70 ġei 2.22 Çama zamanama yöntemerine göre uçtan uca gecime ve ağ gecimesi (Liang vd. 2003) a. Sabit çama zamanaması, b. KonuĢma periyotarı arasındai boģuarda uyaranabiir çama zamanaması, c. KonuĢma esnasında uyaranabiir çama zamanaması Gecime tahmin yöntemeri VoIP gibi paet anahtaramaı ağar üzerinden gerçe zamanı onuģma veya teeonferans ietiminde uçtan uca gecimenin ayaranması (uyaranabiir çama zamanamasının uyguanabimesi) için i önce paeterin ağ gecimeerinin tahmini geremetedir. Bu tahmine yönei birço agoritma buunmatadır. 58

71 Ramjee vd. (1994), uçtan uca gecimenin beirenmesinde ağ gecimesi ve jitter tahmini için AR (autoregressive) mode uanmıģardır. Bu modede uçtan uca gecimeer EĢiti ie hesapanan tahminere göre beirenmetedir. d ˆ dˆ ) n (2.94) i i 1 (1 i vˆ vˆ (1 ) dˆ 1 n (2.95) i i i i Bu eģitierde yer aan dˆ i AR modeine göre ses paeteri için ağ gecimesi tahmini oup vˆ i gecime değiģimi (jitter) tahminidir. ni ise en son aınan i. paetin ağ gecimesi oup uyarama oranıdır. Bu tahminere göre uçtan uca gecime göre beirenir. Di EĢiti 2.96 ya D i dˆ vˆ (2.96) i i Ramjee vd. (1994 ağ gecimesi ve varyans tahminerini aınan her paete göre yapımasını faat D i günceemesinin onuģmaar arasındai sesi anarında günceenmesini modeemiģerdir. Yapıan çaıģmada 4 ayrı durum için ayrı agoritmaar AR modeine göre önerimiģtir. Ġ agoritmada üsse ağırıı ortaama uanımıģ oup EĢiti 2.94 te yer aan 0, oara seçimiģtir. Ġinci agoritmada gecime artıģarına daha hızı tepi verme için α değeri azaan gecime ( ˆ i d i 1 n ) için i agoritma ie aynı seçimiģ omasına rağmen artan gecime için 0,75 oara beirenmiģtir. Üçüncü agoritma ise gecimeyi en aza indirmeye yönei oup bir öncei onuģma periyodunda aınan paeterin en düģü ağ gecimesi gecime tahmini oara beirenir. Dördüncü agoritma ise ani gecime artmaarını tespit ve taip etmeye yöneitir. Agoritma norma ve spie mod oma üzere 2 ayrı moda sahiptir. Spie moda ağ gecimesi tahmini bir öncei paetin gerçeeģen gecimesine göre taip edimetedir. ArtıĢın omadığı norma durumarda ise α. 0,875 oara aınmatadır. Jung ve Atwood (2006) AR modeini uyguaren uçtan uca gecime yerine jitteri uanmıģardır. Bu yöntemde ardıģı ii paetin uaģma gecimeeri arasındai far 59

72 anı jitter oara beirenmetedir. Daha sonra EĢiti 2.94 dei gecime tahmini yerine yumuģatımıģ jitter tahmini ve aınan paetin ağ gecimesi yerine anı jitter onara EĢiti 2.97 dei gibi günceenmetedir. Jˆ i Jˆ J (2.97) i1 (1 ) i1 Ani gecime artmaarının tespitine ve taibine yönei Moon vd. (1998) AR modeini geiģtirme için histogram tabanı tahmineme uanmıģardır. Bu modede uçtan uca gecimenin tahmini, öncei onuģma periyodundai ağ gecimesi istatistieri uanıara hedefenen paet düģme oranına göre beirenmetedir. Pinto ve Christensen (1999) tarafından önerien optimum araı teniğinde de yeni baģayan bir onuģma periyodunun gecimesi aynı benzer yönteme beirenmete ve onuģma peryodarı arasındai sessiz araı bu günceenen uçtan uca gecimeye göre günceenmetedir. Liang vd. (2003) uçtan uca gecimeyi dinami oara değiģtirebidierinden geçmiģ onuģma periyodarı (taspurt) yerine en son aınan w adet paetin gecimeerini üçüten büyüğe sıraayıp sıraamatadır. Bu paeterin standart sapmasını hesapadıtan sonra sıraamanın en sağına bu w adet paettei en büyü gecime ie hesapanan standart sapmanın ii atını topayara sıraamanın en sağına eemiģerdir. Benzer Ģeide sıraamanın en souna oabiece en üçü ağ gecimesini eemiģerdir. Hedefenen paet aybını sağayan bu sıraamadai en üçü gecime notası ve bu notanın sağındai gecime notasını tespit edip interpoasyon yapara uçtan uca gecimeyi hesapamatadır. NLMS (normaeģtirimiģ en üçü hata are ortaaması) gecime değiģimerine en iyi tepi veren yöntemerden biridir (DeLeon ve Sreenan 1999). NLMS ie beenen ve gerçe gecime farının areerinin topamı en üçü oaca Ģeide beirenere tahmin hatası en aza indirimeye çaıģıır. NLMS yöntemine göre ağ gecimesinin hesapanması Ģei 2.23 te yer amatadır. NLMS de son paetten önce aınan paeter FIR (sonu dürtü tepisi) fitreden 60

73 geçiriere ağ gecimesi tahmini yapıır. Daha sonra uyaranabiir FIR fitrenin atsayıarını günceeme için MSE (Ortaama Hata Kare) uanıır. ġei 2.23 Uyaranabiir tahmineyici adımı (DeLeon ve Sreenan 1999) Uyaranabiir NLMS fitrenin atsayıarının tahmini EĢiti 2.98 e göre gerçeeģtiriir. h i1 hi n T i ~ n a ie i n i (2.98) Bu formüde h i uyaranabiir fitre atsayıarının Nx1 vetörü, ~ adım büyüüğü ve n i en son aınan ağ gecimeerinin Nx1 vetörü, T vetör transpozudur. e i tahmin hatası oup EĢiti 2.99 ie hesapanır. e h n nˆ (2.99) i T i i i LMS agritması aģağıdai adımara göre gerçeeģtiriir (DeLeon ve Sreenan, 1999). Daha önce gemiģ oan N paetin ağ gecimeeri NLMS agoritmasında uanıara geece oan paetin ağ gecime tahmini yapıır. (EĢiti 2.99 a göre) EĢiti 2.95 e göre varyans hesapanır. EĢiti 2.96 da dˆ i yerine nˆ i onara uçtan uca gecime hesapanır. Shawani ve Kaba, (2003) normaize edimiģ LMS (east mean square- en düģü ortaama are) yöntemini uanmıģ ve hızı gecime değiģimerini (spie) hıza ayarayabime için spie tespit modu geiģtirmiģtir Uyaranabiir çama ve zaman saası değiģimi 61

74 Gerçe zamanı seser paeteniren ardıģı ii paeterin ağa sürüme zamanamaarı arasındai far paetin içerdiği sesin süresi adardır. Sabit odeerin uanıdığı paeterde bu süre sabittir. Örneğin internet ortamında paeterin içerdiği ses uzunuğu oara 20 ms sıça uanıan bir süredir. Bu durumda gönderen taraf her 20 ms de bir sesi paeteyip ağa samatadır. Uçtan uca gecimenin sabit tutuduğu sabit çama zamanamasında aınan her ses paeti zamanı gediğinde od çözümü yapıara aynı süre oara çaınmata zamanında yetiģmeyen paeter için o paeterin ses süreeri adar bir boģu ouģmatadır. Uyaranabiir çama zamanamasında uçtan uca gecimeer dinami oara değiģince tampon beete seserin çama süreerinin yeniden uyaranabimesi geremetedir. Aıcı tarafta paet süreerinin ayaranması için zaman saası değiģimi yöntemeri uanımatadır. ġei 2.24 te sabit çama zamanamaı ve uyaranabiir çama zamanamaı tenier için paeterin gönderme, ama ve çama zamanarı gösterimetedir. ġei 2.24 Çama zamanamaarı (Liang vd. 2003) ġei 2.24 te uanıan notasyon aģağıdai gibidir. i t s i. ses paetinin ağa gönderime zamanı i t r i. ses paetinin aıcıya uaģma zamanı i t p i d n i d b i. ses paetinin çama zamanı i. ses paetinin ağ gecimesi i. ses paetinin tampon beete beeme süresi 62

75 Lo Paeteme süresi i L i. ses paetinin çama süresi ġei 2.24.a da tüm paeter için paeteme süresi ve bu paeterin çama süreeri eģittir i1 i i1 i ( ts ts t p t p Lo ). Uçtan uca gecime sabit tutuup paetin ağ gecimesi ie tampon beete beeme süresinin topamı beirenen bu sabit değere ( t i p t i s d i n d i b d max ) eģittir. Uyaranabiir uçtan uca gecimenin gösteridiği Ģei 2.24.b de paeteme süresi sabit omasına rağmen aıcı tarafta bu paeterin çama süresi değiģmetedir. Bu paeterin çama süreeri bir sonrai paet için beirenen çama zamanı ie o paetin çama zamanı arasındai far adardır. i L t i 1 p t i p (2.100) i L, uçtan uca gecime bir öncei ie aynı ise Lo ie aynı oup, bu gecime daha düģü ise L o dan üçü daha yüse ise L o dan büyü oacatır. Küçütme ve büyütme zaman saasında sesin sııģtırıması veya geniģetimesi ie gerçeeģtirimetedir. Liu vd. (2001), uçtan uca gecimenin beirenmesinde AR mode tabanı tahmineme, zaman saası değiģimi için SOLA uanmıģardır. Liang vd. (2003) ise uçtan uca gecimenin beirenmesinde histogram yöntemini, zaman saası değiģimi için ise WSOLA uanmıģardır. Her ii çaıģmada da AR mode veya histogram modee göre beirenen gecime değereri hedefenmiģ gerçe gecime değereri ise bu hedefe göre zaman saası değiģimi ie ede edien süre oara günceenmiģtir. Bir baģa OLA tabanı çaıģma ise Gournay ve Anderson (2006) tarafından PSOLA uanıara gerçeeģtirimiģtir. Rodbro ve Jensen (2002), zaman saası değiģimi oara OLA tenieri yerine sinüs modeeme uanmıģardır Paet aybı saama 63

76 Paet anahtaramaı ağardan ses ietiminde aıcı tarafta uyaranabiir çama teniğinin uanımı geç paet ayıparını büyü oranda engeemetedir. Paet anahtaramaı ağarda ayıpar ağda da ouģabimetedir. Özeie ağdai yoğun hatardan paeti yönendirmeye çaıģan ağ notaarının tamponarının taģması bunun en büyü nedenidir. Paet ayıparının gizenmesi için i uanıan tenierden biri patern eģemedir. Bu yöntemde ayıp oan paete benzeyen paterner daha öncei paeterin arasından seçiere ayıp paet süresi adar teraranır (Goodman vd. 1986). Aynı paet paterni en az bir ez daha terarandığından sistemde eoara neden oabimetedir. Bu eoarı giderme için bir öncei paetten bir perde boyu adar örne aınara bu prototip perdenin ayıp paet süresi adar teraranması gerçeeģtirimiģtir (Goodman vd. 1986, Goodman vd. 1988). Bu durumda sentezenen ayıp paetin bir öncei ve bir sonrai paet uyumsuzuğu seste ani tı ara neden omatadır. Kaitenin artırıması için Vaenzuea ve Animau (1989) bu perde paternerinin eenmesinde öncei ve sonrai paetere senronizasyonu sağayara faz uyumunu da sağamıģardır. Bununa birite seste meanieģmeerin oduğu beirtimetedir (Sannec vd 1996). Zaman saası değiģimi agoritmaarı da paet ayıparının giderimesi için en sı uanıan tenierden biridir (Sannec vd. 1996, Liu vd. 2001, Liang vd. 2003, Meraza 2008, Mojia vd. 2009). Kayıp paetin sentezenmesinde zaman saası değiģimi uyguanıren Stenger vd. (1996), ayboan paetten öncei ii veya üç paeti WSOLA ie ayıp paetin süresini biraz geçece Ģeide uzatmıģ (1,25 ms), ayıp paetten sonra aınan i paetin ön ısmı ie örtüģmei eeme yapara diğer uçta ouģabiece faz uyumsuzuğunu gidermeye çaıģmıģardır (Ģei 2.25). Bu yöntem ayıp paetten öncei ii üç paetin de tampon beete beemesine yo açtığından gecimeyi artırmatadır. 64

77 ġei 2.25 Kayıp paetin öncei paeterden sentezenme göserimi (Stenger vd. 1996) Sannec vd. (1996) bu yöntemin asine paet uzatmayı ayıp paetten sonra aınan paeterde yapmıģardır. Bu yöntemde ayıp paetten öncei paetin son 2 ms i ısmı hariç aynen uanımatadır (Ģei 2.26). Kayıp paetten sonra aınan paeterin uzatıması ie ayıp paet sentezenmiģ our. Kayıp paetten öncei paet ie uyumsuzuğu azatma için de 2 ms i örtüģmei eeme uanımıģtır. Her ne adar bu yöntem ayıp paetten sonrai paeterin uzamasını uansa da örtüģmei eeme yapıabimesi için bu paeterin boyutunun da tampona eenmesine ihtiyaç duymatadır. Bu nedene tampon gecimesini düģürmediği iddia edimetedir (Sannec vd. 1996). ġei 2.26 Kayıp paetin sonrai paeterden sentezenme gösterimi (Sannec vd. 1996) 65

78 Liang vd. (2003) tampon gecimesini en aza indirme için uyaranabiir çama zamanaması uandıarından ayıp paet gecimesini de düģürme istemiģerdir. Bu nedene ayıp paeti sentezeme için bir öncei ve bir sonrai paeti uanmıģardır. Uyaranabiir çama zamanaması da uandıarından öncei ve sonrai paetin senronizasyonunu en ço benzer ısımarı örtüģtürere sağamıģardır. Bu yöntemde ayıp paetin öncesindei paetin uzunuğunun 2 atına, sonrai paetin uzunuğunun ise 1,3 atına çıarıması hedefenmiģtir. Hedefenen ses uzaması ie gerçeeģen ses uzamaarı aynı omadığından, Ģei 2.27 dei grafierde aınan paet ie çaınan paeterin çama zamanamaarı sonrasındai süre fararı L ie göserimetedir. ġei 2.27 Kayıp paetin en az tampon gecimesi ie gizenmesi (Liang vd. 2003) a. Te paet aybı, b. Araıı ii paetin aybı, c. ArdıĢı ii paetin aybı 66

79 2.5 PESQ Modern habereģme ağarı; düģü bit oranı odayıcıar, ana hataarı/ayıparı, değiģen gecime ve fitreeme nedeniye bozumaara sahiptir. Bu ağar üzerinden ietien sesin agıama aitesi, SNR (signa-to-noise ratio-sinya gürütü oranı) gibi asi metrier ie değerendiriememetedir. Kaite değerendirmesinin güveniir bir you, ço sayıda dineyici örneerinin iģise aite değerendirme yaptığı testerden ede edien istatistiere göre puanama ouģturmatır. Faat bu özne tester zaman amata ve ço sayıda değerendirme geretirdiğinden yüse maiyeti omatadır. PESQ (Perceptua Evauation of Speech Quaity - KonuĢma Kaitesinin Agısa Değerendirmesi) ITU-T Recommandation P.862 ie tanımanan onuģma ses aitesinin öçümü için nesne bir yöntemdir. PESQ özne dineme testeri ie ede edien MOS sor tahmini için geiģtirimiģ oup; ses odayıcıar ve uçtan uca habereģme aite öçümeri için uanımatadır. PESQ te yönde ietien onuģmadai ses bozumaarını ve sestei gürütüeri değerendirmetedir (ITU-T P.862). Ses Ģiddeti seviyesindei değiģimeri ve çift yönü onuģma ietiģimine ait uçtan uca gecime süresi gibi diğer agısa rahatsızıarı puanamamatadır PESQ agoritması PESQ; orijina referans sinyai X(t) yi, habereģme anaarından geçtiten sonra ede edien Y(t) bozuan sinyai ie arģıaģtırmatadır. Bu bozuma sesin odayıcı ie odanmasından, ana gürütüsünden, gecime ve gecime değiģiminden, paet aybından veya anaın doğrusa omayan freans tepisinden aynaanabimetedir. ġei 2.28 de PESQ agoritmasının basit mode yapısı gösterimetedir. Agoritma önce referans sinya ve bozuan sinyain agısa ses seviyeerini eģ baza getirmetedir. Eetrise sinyaden sesin terar üretimesindei agısa ayıparı bir fitre ie modeeyip ii ses arasındai gecimeeri de tahmin etmetedir. Psioausti bir modee göre iģitse dönüģümü modeeyen adımar ie agıanabiece bozuuarı 67

80 beiremetedir. Bu bozuuarın etierinin puanarını da topayara MOS tahminini hesapamatadır. ġei 2.28 PESQ modeinin yapısı Seviye ayarı Bozuan sinya ie referans sinyain ses seviyeeri aynı omayabimetedir. PESQ agoritmasında i adım; her ii sinyain ua referans notasına göre agısa ses Ģiddeti 79dB SPL seviyesine getirimesidir. Farı freans tonarındai seserin Ģiddetse agıanması aynı omadığından seviye ayarı aģağıdai adımara gerçeeģtirimetedir. Orijina ve bozuan sinya bir fitreden geçiriir Bu fitre 250Hz den üçü freansarı boamata; Hz arasındai freansarı aynen geçirmete; 2000 Hz de 0dB, 2500 Hz de -5dB, 3000Hz de -10dB, 3150 Hz de -20dB, 3500Hz de -50 db, 4000 Hz ve üstünde -500 db oaca Ģeide parçaı doğrusa oara zayıfatmatadır. Bu fitre çııģarı sadece azanç hesapaması için uanımatadır. Bu fitre çııģındai ses örneerinin areerinin ortaaması buunur. Buunan ortaama değerere göre azanç atsayısı hesapanır. Her ii ses için de ayrı hesapanan bu azanç atsayıarına göre orijina ses X(t) ve Y(t) nin seviye ayararı yapıara X S (t) ve Y S (t) ede ediir. 68

81 GiriĢ Fitresi PESQ agoritması sesin dinemesinin teefon avizesiye yapıacağı varsayımıya X S (t) ve Y S (t) sinyaerini bir fitreden geçirir. Teefon avizesini modeeyen bu fitre FFT ie gerçeeģtiriere X IRSS (t) ve Y IRSS (t) sinyaeri ede ediir Zaman ayarı Bozuan sesin referans sese göre gecimesi; tüm ses için ortaama gecimenin hesapandığı, sessiz periyotar arasındai onuģma periyotarındai gecimeerin hesapandığı ve onuģma periyotarının at çerçeveere de böünere anı gecimeerin hesapandığı adımara hesapanır. ĠĢitse modeemede bozuuarın büyü oması durumunda da yanıģ beirenen gecimeerin düzenenmesi için de gecimeer terar hesapanır. Zarf tabanı gecime tahmini: X IRSS (t) ve Y IRSS (t) sinyaeri 4ms i çerçeveere ayrıara tüm çerçeveerin enerjierinin eģi değere (atif ses tespiti seviyesine göre) oranarı ie çerçeve numarası oma üzere X ES (t) ve Y ES (t) zarfarı hesapanır. Bu zarfarın çapraz iintisinden bozuan sesin referans sese göre gecimesi abaca buunur. Sessiz periyotardai gecime değiģimi: Atif ses tespiti seviyesine göre sessiz böge oara tespit edien ses ısımarının 200ms den faza oduğu yererden seser ayrıır. Her bir at zaman araığı için zarfarın çapraz iintisiye bozuan sestei gecime değereri 4ms hassasiyete abaca buunur. Gecime değererinin daha hassas buunması için X IRSS (t) ve Y IRSS (t) seserindei 4ms gecime hassasiyeti ie abaca iintiendirien at zaman araıarından %75 örtüģmei hanning pencerei, 64 msi çerçeveer aınır. Referans ses ie bozuan ses at parçaarındai her bir çerçeve için çapraz iinti uyguanır. Çapraz iintinin en yüse seviyesi güven derecesiye birite gecimenin baģangıç ve bitiģ notaarını tespit eder. Her bir at araıtai çerçeveerin gecimeeri ve gecime güven öçümü değererinin histogramı çıarıır. At 69

82 araıarın histogramarının, 1ms i simetri üçgen pencere ie onvoüsyonarı hesapanır. Konvoüsyonun masimum değeri uanıara her bir at araı için gecime ve güven derecesi günceenir. Ati onuģma periyotarındai gecime değiģimeri: KonuĢma periyotarı sırasındai gecime değiģimeri at araıarın böünmesi ve her bir böüm için gecimeerinin terar düzenenmesi ie gerçeeģtiriir. Her bir böümün gecime tahmini için önce zarf tabanı zaman ayaramasından sonra çapraz iinti ie hesapanara güven öçümeriye birite hesapanır. Farı böümemeere göre gecime ve güven dereceeri buunara güven derecesinin en yüse oduğu nota buunana adar değiģi böümeme iģemeri teraranır. Böyeie tüm at araı böümeri için gecimeer hassas oara hesapanmıģ our. Böümeme yapıara hesapanan yeni güven dereceerinin böümeme yapımadan hesapanmıģ oan at araı güven dereceerinden daha yüse oması aranır. Böümeme sayısı onuģma periyotundai gecime değiģimi sayısı adardır ĠĢitse dönüģüm PESQ agoritmasındai; iģitse dönüģüm; sinyaeri zaman ve freansa bağı iģitse agıama seviyesine göre ifade eden bir psioausti modedir. ĠĢitse dönüģüm aģağıdai aģamaarı içermetedir. Bar spetrum: Hamming pencerei FFT ie 32ms sürei ve %50 örtüģmei her bir çerçevenin anı güç spetrumu hesapanır. Bu güç spetrumundai freans değereri değiģtirimiģ Bar saasındai agısa freansar için eģ araıı 42 utuya grupanır. Freans eģiteme: Atif onuģma çerçeveeri için Bar utuarının değererinin zamansa ortaaması ie ortaama Bar spetrumu hesapanır. Referans sinya ie bozumuģ sinyain ortaama Bar spetrum orananmasıya test edien sistemin sabit freans tepisi tahmin ediir. Bu tahmine göre 70

83 referans ses çerçeveerindei Bar utuarındai değerer bu freans tepisi oranarı ie çarpıara bozumuģ sese göre eģitenir. Bu eģiteme oranarı her bir Bar utusu için ±20dB ie sınırıdır. Kazanç sapmaarını eģiteme: Kazanç sapmaarını beireme için her bir referans sinya çerçevesi ve igii bozumuģ sinya çerçevesinin duyuabiir (sesi) güçerinin oranarı uanıır. Bu oranar birinci dereceden aça geçirgen fitre ie fitreenir, sınırandırıır ve bozumuģ sinya referansa göre eģitenir. Ses Ģiddeti eģiteme: Freansa bağı eģi değereri ve üseri de uanıara Bar spetrumarı agısa ses Ģiddetine göre eģitenir. Böyece her bir zamanfreans hücresi için agıanan ses Ģiddeti hesapanmıģ our Bozuu iģeme ve idra modeeme ĠĢitse dönüģüm ie azanç sapmaarı ve ses Ģiddeteri eģitenen referans sinya çerçeveerinin iintii bozumuģ sinya çerçeveeri ie Bar spetrumarının muta farı iģitse hata öçümünü verir. PESQ sor tahmini yapııren, gecime değiģimerinden aynaanan sapma değiģimeri (sime) ve agıanamayaca adar üçü muta farar (maseeme) da diate aınır. Bazı odayıcıar seste ouģan yeni zaman-freans bieģeninin modeenmesi durumunda daha faza agısa bozuu da meydana geebidiğinden daha faza bozuu meydana getirebimetedir. Bu yeni bieģenin hiç modeenmemesi agısa oara daha baģarıı sonuç verebidiğinden, PESQ asimetri fatörü bozuu parametresi de hesapamatadır. PESQ in idra modeemesinde uanıan bu sime, maseeme ve asimetri adımarı aģağıdai gibidir. Sime: Sime (negatif gecime değiģimi) bozuan seste örtüģmei eenen bir ısım ouģturmatadır. Eğer bu gecime değiģimi yarım çerçeve uzunuğundan büyü ise örtüģmei eenen ısımar atıır. 71

84 Maseeme: Referans ve bozumuģ sinyain zaman-freans hücreerindei duyuan ses Ģiddeterinin en üçüğünün dörtte biri mase eģiği oara baz aınır. Her bir zaman-freans hücresi için referans ve bozumuģ sinya ses Ģiddeterinin farı bu eģiğe göre arģıaģtırıır. Far mase eģiğinden daha üçü ise maseenir ve sıfır oara aınır. Asimetri: PESQ agoritması asimetri fatörü oan ve omayan ii farı hata ortaaması hesapamatadır. Asimetri fatörü her bir zaman-freans hücresi için bozumuģ sinya ie referans sinyain Bar spetra yoğunuarının istirarı oranarından hesapanmatadır. Bu oranarın 1,2 üzerinden üseri aınır. Bu üsse değerer 12,0 dan büyü ise sınırandırıır, 3.0 dan üçü ise 0.0 oara değiģtiriir. Asimetri ağırıı bozuu bu değerin çarpımıya ede ediere sadece eemei bozumaarın öçümü yansıtıır. Ġdra modeeme ie çıarıan Bar spetum muta fararı büyü oan çerçeveer için zaman ayarama adımarına geri dönüür ve ötü araıarın terar ayaranması sağanır PESQ sorunu hesapama Freans ve Zaman aanındai asimetri fatörü ve asimetri fatörsüz bozuuar ayrı değerendiriir. Herbir çerçeve için Bar spetrum muta fararının freans değererininin ortaaması asimetri fatörü bozuu değereri için L1 norm, simetri bozuuar için L3 norm ie hesapanır. Her çerçeve için ede edien bu değerer uanıara ardıģı 20 çerçeve (örtüģmei eemeden doayı yaaģı 320 ms) için hem asimetri hem simetri fatörer için L6 norm ie zamansa ortaama ede ediir. Ede edien bu değererin her onuģma periyotu için L2 norm ortaaması ie de asimetri ve simetri bozuu puanarı hesapanır. Asimetri ve simetri bozuu puanarı 4,5 sayısından çıarıara PESQ soru ede ediir. 72

85 2.5.2 PESQ tahminerinin abu ediebiiriği ITU-T Study Group 12 çaıģmaarında, PESQ in MOS sorarına göre abu ediebiiriğinin doğruaması geniģ bir ses veritabanı ie yapıan tester ie yapımıģtır. Bu testerden ede edien sonuçara göre PESQ, çizege 2.1 de yer aan test fatöreri, odeer ve uyguamaar için abu ediebiir doğruuta tahmineme yapabimetedir. PESQ in MOS a göre doğru tahmin yapamayacağı fatörer, odayıcıar ve uyguamaar çizege 2.2 de, tahmin doğruuğu henüz ıspatanmamıģ oanar ise çizege 2.3 te yer amatadır. Çizege 2.1 PESQ in abu ediebiir doğruuğunun gösteridiği fatörer, odayıcıar ve uyguamaar TEST FAKTÖRLERĠ Kodayıcı için onuģma sesi giriģ seviyesi HabereĢme anaı hataarı CELP odayıcıar ie Paet aybı ve paet aybı gizemesi Kodayıcı farı bit oranı iperini desteiyor ise bit oranarı Kodayıcı değiģimeri KonuĢan taraftai çevrese gürütü Dineme testerindei gecime değiģimi etieri Ses sinyaerinin uzun-dönem zaman ataması Ses sinyaerinin ısa-dönem zaman ataması KODLAMA TEKNOLOJĠLERĠ G.711, G.726, G.727 gibi dagabiçimi odayıcıarı G.728, G.729, G gibi CELP ve hibrid odayıcıar GSM-FR, GSM-HR, GSM-EFR, GSM-AMR, CDMA-EVRC, TDMA-ACELP, TDMA-VSELP, TETRA gibi diğer odeer UYGULAMALAR Kodayıcı seçimi veya değerendirmeeri Anaog veya sayısa ağ bağantıarının canı ağ testeri Prototip ve benzetim ağarın testi 73

86 Çizege 2.2 PESQ in tahmineme doğruuğuna güveniemiyece fatörer, odayıcıar ve uyguamaar TEST FAKTÖRLERĠ Dineme ses seviyeeri (PESQ seviyeeri 79 db SPL'e normaize etmetedir) KarĢııı onuģmadai gecime etieri KonuĢmacı eoarı KODLAMA TEKNOLOJĠLERĠ Atif onuģma seserinin %25'ten faza sürei ısımarının sessizi ie değiģtirimesi UYGULAMALAR Çift yönü onuģma performansı Çizege 2.3 PESQ in abu ediebiir doğruuğunun henüz gösterimediği fatörer, odayıcıar ve uyguamaar TEST FAKTÖRLERĠ PCM tipi odayıcıar ie paet aybı ve paet aybı gizemesi KonuĢma zamanarının ırpıması KonuĢma geniğinin ırpıması Ço sayıda anı onuģmacı Kodayıcıar için yapay onuģma sinyaeri Kodayıcıya girdi oara müzi verimesi Aıcı eosu Eo bastırıcıarın etieri Gürütü azatma agoritmaarının etieri KODLAMA TEKNOLOJĠLERĠ 4 Kbps'den daha düģü oranı CELP ve hibrid odeer MPEG4 HVXC UYGULAMALAR Austi termina/avize testi 74

87 3. MATERYAL VE YÖNTEM 3.1 TSM Agoritmaarıya Sesin SııĢtırıması Böüm 2 de iteratürde yer aan çeģiti zaman aanı zaman saası değiģimi agoritmaarı inceenmiģtir. Zaman saası değiģimi sesi sııģtırma amacıya uanıacağından zaman saası değiģimi ie hızandırıan sesin aynı oranda yavaģatıara orijina saasına geri dönüebiir oması önemidir. Zaman saası değiģiminin sesin sııģtırıması için uanımı daha önce Serinen vd. (1997) tarafından yarı çift yönü (haf dubex) bir HF anadan tam çift yönü (fu dubex) bir ietiģim için önerimiģtir. Serinen vd. bu çaıģmaarında zaman saası değiģim agoritması oara WSOLA, ode oara da MELP uanmıģtır. Bu tenite ietiģim anaının her ii ucundai notaara geen giriģ seseri β=0,5 uanara yarı zamana düģece Ģeide hızandırıdıtan sonra odanara anaa verimete, aıcı notada od çözümü yapıara ve β=2 uanıara orijina zaman saasına dönüģtürümetedir. Böyece birim zamanda 2x uzunuğunda veri ietiebien yarı çift yönü habereģme anaının her ii yöndei odanmıģ ses giriģeri x uzunuğuna düģürüere tam zamanı çift yönü oara da uanıabimetedir. ġei 3.1 Yarı zaman çift yönü habereģme anaından tam zaman çift yönü habereģme için WSOLA nın uanım Eroğu vd. (2001) Ģei 3.1 de yer aan yapıyı sesin daha az bit ie sııģtırıabimesi için uanmıģardır. HabereĢme anaının apasitesine göre ode sııģtırma oranının istenien oranda düģürüebidiği bu yöntemde WSOLA, DTW (dinami zaman atama) ve PSOLA dan daha iyi aitede ses sentezeyebidiğinden tercih edimiģtir. 75

88 3.1.1 TSM ie değiģen bit oranı ses sııģtırması ġei 3.1 de gösterien WSOLA nın ses sııģtırmasına yönei uanıdığı tenite sabit bit oranı odeerin değiģen bit oranı odeere aternatif oara uanıabimesi için Uyaranabiir WSOLA teniği geiģtirimiģtir (Ġ ve Güer 2006). Uyaranabiir WSOLA anadan adığı tıanıı bigisine göre anaın gönderen tarafında hızandırma oranarını hızı oara değiģtirebimete, anaın aıcı notasındai yavaģatma oranarını da adapte edere orijina zaman saasına gerçe zamanı oara dönüģtürebimetedir. Uyaranabiir WSOLA nın bu amaça uanımı Ģei 3.2 de de gösterimiģtir. ġei 3.2 Uyaranabiir WSOLA ie sabit bit oranı odeerin değiģen bit oranı odeere dönüģtürümesi ġei 3.2 dei yapının gerçe zamanı uyguaması için hızandırmaar sabit uzunuu pencereer ve orijina WSOLA sentez eģitiğine göre yapımatadır. Aıcı tarafta ise uanıan sabit uzunuu pencereer yerine uzunuğu değiģebien asimetri pencereer uanımatadır. Pencere uzunuarı değiģebidiği için WSOLA eģitiği (EĢiti 2.23) EĢiti 3.1 ie günceenmiģtir (Ġ ve Güer 2006). 2 1 n S. x n S w yn 2 w n S S (3.1) EĢiti 3.1 de yer aan anaiz sesinin. segmentinin baģangıç notası S ve sentez sesinin. segmentinin baģangıç notası 1 ( ) EĢiti 3.2 ie günceenmetedir. S 76

89 S L (3.2.a) m1 m 1 ( S ) L (3.2.b) Asimetri pencereerin yarı uzunuarı ise oacatır. ġei 3.3 de yavaģatma için anaiz sesi benzerieri ve asimetri pencereer görümetedir. L ġei 3.3 Uyaranabiir WSOLA da anaiz sesindei benzeri segmenteri ve asimetri pencereer TSM agoritmaarının sentezeme aitesinin arģıaģtırma modei ITU-T P.800 de tanımanan MOS (Mean Opinion Score, Ortaama Fiir Soru) ses sııģtırımasında en ço tercih edien subjetif aite değerendirme yöntemidir. MOS puanı ço sayıda insanın sentezenen sese orijina sesi baz aara verdieri özne 77

90 puanarının ortaaması oara aınır. AnaĢıabiiriğin öçüdüğü DRT (Dynamic Rhyme Test-Dinami uyum testi) ITU-T P.800 de tanımanan diğer bir özne değerendirmedir. Özne değerendirmeere göre yapıan puanama agoritma baģarısının yanında seçien deneerin iģitse yeteneerine de bağıdır. Sentezenen sesin MOS puanaması yapııren dene seçimi için riterer osa dahi özeie yeni ses odeeri ve benzer sentez seserinin değerendirmeerinde dene gruparının farı oması sorarın tartıģıabiir omasına neden omatadır. Sentezenen sesin aitesinin nesne değerendirmesi için SNR ve segmentse SNR gibi yöntemer de agısaıtan ziyade sinyain biçimine batığından MOS sorarına göre; özeie sesin aynağının ve younun modeenmesine göre çaıģan odeer için ötü puanama verebimetedir. ITU-T P.862 de tanımanan PESQ (Perceptua Evauation of Speech Quaity, Ses Kaitesinin Agısa Değerendirmesi) insanarın iģitse agısının modeemesine göre çaıģara objetif bir sor ouģturmatadır. GeçmiĢte yapıan çaıģmaarda; SOLA, WSOLA, PSOLA, faz vooder, sinüs modeeme gibi TSM agoritmaarının i aite değerendirmeeri genede özne oara gerçeeģtirimiģtir. Bu değerendirmeerde sesin beiri bögeerinde agıanan eo, meanieģme gibi probemer de nite oara tanımanmıģtır. Agoritmaarın sentezeme aite baģarısını vurguama için orijina ve sentezenen seserin zaman ve spetrum grafieri ie de desteenmiģtir. Kaite arģıaģtırımasına yönei sorsa değerendirmesine yönei çaıģmaar genede 1990 arın iinci yarısından sonra baģamıģtır. Sannec vd. (1996) ayıp paeteri sentezedieri sesin değerendirmesi için MOS uanmıģardır. Eroğu ve Karagöz (1998) WSOLA ve sinüs modeeme ie Seneff(1982) tarafından önerien TSM agoritmaarının aite değerendirmesi için MOS ve DRT testeri uanmıģtır. Dorran vd. (2006) zaman saası değiģimi tenierinin nesne aite değerendirmesi için benzeri aramada uanıan yöntemeri uanara topam sora uaģmıģardır. SOLA ve türeverinin ( AMDF i, NormaeĢtirimiĢ iintii ve basit iintii SOLA; EM- TSM; MEM-TSM; GLS-TSM) değerendiridiği bu çaıģmada orijina ses ie sentezenen ses segmenterinin arasındai benzeriere göre puanama yapımıģtır. 78

91 Değerendirme benzerierinde uanıan yöntem, örtüģmei eeme için benzeri aramasında uanıan yöntem ie aynı oması durumunda yanı oacağı için 4 ayrı benzeri yöntemi uanıara ortaaması aınmıģtır. Bu benzeri yöntemeri normaeģtirimiģ iinti, basiteģtirimiģ iinti, AMDF ve far are ortaamasıdır. WSOLA ve uyaranabiir WSOLA agoritmasının ses odeeri ie uanımının (Ģei 3.2 de gösterien yapı) aite değerendirmesinde DRT ve MOS sorarı uanımıģtır (Ġ ve Güer 2006). Bu çaıģmada orijina zaman saasına dönüdüğü için WSOLA agoritmasının hızandırma ve yavaģatma aite baģarımarı birite değerendiriebimiģtir (Ġ ve Güer 2006). TSM agoritmaarının ses sııģtırma amacıya uanımında orijina saaya dönüdüğü için orijinae göre sorsa oara ıyasama daha oay omaa birite MOS ve DRT gibi yöntemer ço faza dene tarafından değerendirme geretirmete, ço sayıda agoritmanın ço faza örne ie birbirerine arģı aite ıyasaması zoraģmatadır. Bu nedene bu çaıģma apsamında agoritmaarın aite değerendirme yöntemi oara aģağıdaier uanımatadır. Her agoritmanın hızandırma ve yavaģatma sentezemesi için sinya ve spetrum grafieri orjinae göre sunumatadır. Bu grafierde sentez baģarısı ve probemeri görümetedir. Hızandırma/yavaĢatma sentez döngüsü bir ere ve beģ ere terarandıtan sonra aite değerendirmeeri için ITU-T P.862 PESQ uanımatadır. BeĢ terarda sentezeme aitesi iyi oan yöntemer ie sentezenen seser dinenere PESQ sonuçarının özne değerendirmesi yapımatadır Agoritmaarın ses sııģtırıması için uyguanması TSM agoritmaarı oara OLA, SOLA, GLS-TSM, EM-TSM, WSOLA, PSOLA, AOLA, Suzii-Misai yöntemi, PICOLA, faz vooder, sinüs modeeme ve SMS uanımıģtır. Faz vooder, sinüs modeeme ve SMS agortimaarı, internet üzerinden hazır buunan MATLAB odarın agoritmaarı uyaranara, diğereri ise igii 79

92 aynaarda yer aan agoritmaara göre MATLAB da odanara uyguanmıģtır. Seserin zaman ve freans aanında görse inceemeeri MATLAB ın grafi gösterimeri ie bögese oara da gerçeeģtiriebimetedir. Bu agoritmaar genede iteratürdei çaıģmaara parae uyguanmıģtır. TD-PSOLA ve SMOLA için benzeri arama teniği değiģtirimiģtir TD-PSOLA ie ses sııģtırma PSOLA agoritmasında en büyü probem perdeerin beirenmesidir. Perdeer beirenditen sonra örtüģmei eemeer Böüm te anatıdığı gibi yapımatadır. Öziinti, AMDF veya freans aanı tenieri (FFT, Cepstra anaiz) perde iģareterini ço iyi bumaa birite ço faza iģem armaģıığı geretirmetedir. Bu nedene perde iģareteri tespit ediiren önceie yere segmenterin tepeerinden faydaanımıģtır. Hem ere hem de bayan seserinin perdeerinin buunabimesi için yaaģı 35 ms i segmentin en büyü tepe notası buundutan sonra, bu tepe notasınınn 3 ms ie 1,4 ms omģuuarında bu tepenin geniğinin en az %80 değerine sahip notaar aranmıģtır. Bu Ģeide ötümü bögeerin perdeeri büyü oranda buunabimee birite ötümsüz bögeerde probem yaģanmatadır. Mouines ve Charpentier (1988), ötümsüz bögeerin gürütü özeieri taģıdığından benzeri aranmadan eģit uzunua iģaretenebieceğini beirtmiģerdir. Bununa birite örtüģmei eemeden aynaanan sönümenmenin en aza indirimesi için perdeerin iģaretenmesinde sııntı yaģanan bögeer için öziintiden de faydaanımıģtır. Bu agoritma aģağıdai gibi uyguanmıģtır: Yere tepeerden perde iģareteme tahminemesi yapıdı. Buunan iģaretere göre perde peryodarından medyan notası buundu. Bu medyan perde uzunuğunun 1,3 atından daha büyü perde uzunuarı medyan perde uzunuğuna böünere aday iģareteme notaarı buundu. Bu aday iģareteme notaarının 10 örneem omģuuarına göre öziintiye baıara iģaretemeer tamamandı. 80

93 Suzii-Misai yöntemi ie ses sııģtırma Suzii Misai Yöntemi teniği uyguamasında segment büyüüğü Ts 12 ms benzeri arama araığı ise 10 ms ve 10 ms seçimiģtir. Hızandırma için istenen sııģtırma 0,5 aınmıģtır. YavaĢatma için ise istenen geniģetme 2 aınmıģtır. Suzii ve Misai benzeri aramada EĢiti 2,29 da yer aan öziinti eģitiğini uanmıģtır. Bununa birite örtüģmei eeme yapııren masimum öziinti hesapamasında uanıan tüm örneer örtüģtürümemiģtir. Farı değereri için öziinti örneem çarpım sayıarı da değiģmetedir. Bu nedene benzeri aramada sadece değerine göre örtüģece örneemer için öziinti hesapanmıģ, bu öziinti de normaeģtirimiģtir Diğer TSM tenieri ie ses sııģtırma OLA teniğinin uyguanmasında segment büyüüğü 30 ms aınmıģtır. Hızandırma için 0,5, anaiz araığı S a 15 ms, sentez araığı S s ise 7,5 ms aınmıģtır. YavaĢatma için ise 2, anaiz araığı S a 7,5 ms, sentez araığı S s ise 15 ms aınara ses orijina zaman saasına getirimiģtir. GLS-TSM ve EM-TSM; SOLA tabanı agoritmaar oup sadece benzeri arama teniğinde değiģii içermetedir. Bu nedene bu üç TSM agoritması için Wong vd. (2002) çaıģması baz aınara aynı parametreer uanımıģtır. Segment büyüüğü 30 ms aınmıģtır. Hızandırma için 0, 5, anaiz araığı S a 15 ms, sentez araığı S s ise 7,5 ms aınmıģtır. YavaĢatma için ise 2, anaiz araığı S a 7,5 ms, sentez araığı S s ise 15 ms aınara ses orijina zaman saasına getirimiģtir. Benzerier -7,5 ms ie 7,5 ms arasında aranmıģtır. Faat örtüģme uzunuğu omaması için sınırandırımıģtır. L 3,75 ms den (N/4) daha düģü WSOLA odamasında segment büyüüğü 20 ms seçimiģ, benzeri aramaarı 10 ms i ses parçaarıya yapımıģtır. Anaiz sesinde ardıģı segmenter arası uzaı 81

94 Sa S s./ oduğundan (S s =N/2=10 ms) hızandırma için 20 ms yavaģatma için ise 5 ms aınmıģtır. Benzerier ise -5 ms ie 5 ms sapma araığında aranmıģtır. AOLA agoritması benzeriği sinyain tepe notaarına baara bumatadır. Orijina TD-PSOLA agoritmasında da uanıan bu yöntem benzeriğin yanıģ buunabimesi nedeniye aite bozumasına neden oabimetedir. Bu nedene benzeri AMDF ie aranmıģtır. AOLA odamasında segment büyüüğü en düģü freanstan en az ii periyot içerece Ģeide 20 ms oara uanımıģtır. Hızandırma için istenen sııģtırma dc=0,5 yavaģatma için ise istenen geniģetme de=2 aınmıģtır. PICOLA odamasında P min ve P max standartta bahsedien değerere göre 8 KHz için sırasıya 32 ve 160 örneem, 16 KHz için de sırasıya 80 ve 160 örneem seçimiģtir. Faz vooder hesapamasında FFT ve pencere uzunuğu 512, ardıģı FFT segmenteri arası uzaı 128 örneem seçimiģtir. ArdıĢı anaiz segmenterin freans hazneerindei geni değereri sentezenen segmente yaınığı (saasa) oranda ağırıar ie çarpıara eenmiģtir. Tüm freans hazneeri için i segment hazneeri sıfır oara aınmıģ, daha sonra günceemeer EĢiti e göre gerçeeģtirimiģtir. Sinüs modeeme için McAuey ve Quatieri (1986) ie Smith ve Serra (1987) tarafından önerien her ii mode de uyguanmıģtır. Her ii yöntemde de anaiz aģamasında pencere uzunuğu ve FFT boyutu 512, ardıģı segmenter arası uzaı 128 örneem seçimiģtir. Sesin agıanmasında faz önemi omadığından, Smith ve Serra (1987) tarafından önerien yöntemin uyguanmasında sadece freans genieri uanımıģ, gerçe sinüs tepesi tahminemesi için paraboi enterpoasyon uanımıģtır. Sinüs yoarının baģangıç (doğum) fazarı sıfır aınmıģtır. McAuey ve Quatieri (1986) tarafından önerien yöntemde faz bigieri de uanıdığından sinüs tepeerinin ardıģı omģuarından enterpoasyonu uyguanmamıģtır. Sentez aģamasında ardıģı segmenter arasında geni ve freans enterpoasyonu yanında, faz için übi enterpoasyon da uyguanmıģtır. Sinüs yoarının baģangıç fazarı armaģı FFT değererinin tanjantı ie beirenmetedir. 82

95 Spetra Modeeme Sentezi için yapıan testerde MQ sinüs modeeme odarından faydaanımıģtır. Sinüs modeeme anaizinden çıan parametreer ie orijina saa ie sentezenen ses, orijina sesten çıarıara aan sinyain LPC parametreeri buunmuģtur. Daha sonra sesi yavaģatma için Sinüs modeeme anaiz parametreeri ve LPC parametreeri ie daha geniģ pencereer uanımıģtır. Testin iinci aģamasında yavaģatıan ses aynı yönteme hızandırıara orijina zaman saasına dönümüģtür. 3.2 Veri Kaybı Gizemesinde Gecimenin Azatıması Böüm 2.4 te TSM agoritmaarının uyaranabiir çama zamanaması ve paet aybı gizemesi için uanımına yönei iteratürdei çaıģmaar anatımıģtır. Literatürdei mevcut çaıģmaarda TSM agoritması oara genede WSOLA ve SOLA uanımatadır. Terarı STFT, faz vooderi vb. freans aanı TSM tenieri ie sinya modeeme TSM tenieri iģem armaģıığı yüzünden genede az tercih edimetedir. Uyaranabiir çama zamanaması ve paet aybı gizemesi için TSM agoritmaarı oara WSOLA, SOLA ve te paette uyarama yapabime için aternatif oara önerien yeni bir örtüģmei eeme yöntemi uanımıģtır. WSOLA ve SOLA nın uyguanmasında uçtan uca gecimenin düģürümesi için Böüm 2.4 te anatıan iteratürdei çaıģmaara göre farııar da buunmatadır. Tüm agoritmaar Böüm de beirtien imitere uygun oara uyguanmıģtır Paet aybı gizemesi için örtüģmei eeme imiteri Teme freansı f min ie f max arasında değiģebien hemen hemen periyodi bir ses sinyai osun. Herhangi bir t anında teme periyot, 1/ f min > P(t)>1/ f max oacatır. Zaman aanı TSM agoritmaarı ie bu sinya üzerinden aınan bir segmentin en benzer omģu segmenti öziinti veya diğer yöntemer ie aranaca oursa benzeri arama uzaığı EĢiti 3.3 tei araığı içeriyor ise en benzer segment buunabiecetir. [1/f max, 1/ f min ] (3.3) 83

96 Herhangi bir pozitif tamsayı K için; f max >K.f min ise arama aanı [1/(K. f min ), 1/ f min ] araığını apsayaca Ģeide daratıabiir. Bu durumda 1/(K. f min )>P(t)>1/f max eģitsiziğini sağayan yüse freansar için benzeri K periyot uzaıta buunabiecetir. Hemen hemen periyodi bir sinya için bu uzaı P(t)+P(t+P(t))+P(t+ P(t+P(t)))+. oacatır. Ġnsan sesinin perde periyodu ereer için Hz bayanar için Hz arasında değiģebimetedir (Gefer ve Mios 2005). Bu nedene bayan seseri için ii perde uzaıtai en benzer notasının da abu ediebiir oması durumunda arama uzaı araığının 5 ms ie 10 ms arasında oması yeteri oaca, Hz teme freansar için ii periyot uzaıta; diğereri için ise bir periyot uzaıta en benzer segment buunabiecetir. Yüse freansar için bir periyot uzaıtai segmentin benzeriğine de baıma istenirse arama uzaığı 4,5 ms ie 10 ms arasını apsaması yeteri oacatır. Benzeri aramada segment büyüüğü oara seçiirse te bir sinüs bieģeni içeren bir sinya için sıfıra yaınsaren arama araığının EĢiti 3.3 te yer aan araığı içermesi durumunda benzeri (eğim ve örneem iģaretinden) doğru oara buunabiecetir. Ayrı zaman sinüs sinyainde 2 adet örneem yeteri oabiecetir. Norma bir ses sinyainde birden faza sinüs bieģeni buunmata ve tam periyotu sağanamamatadır. Bu nedene benzeri aranaca segment büyüüğünün en az bir periyoda yaın oması buunaca benzeriği garanti edecetir. Yapıan deneyerde bir periyottan daha düģü segmenter ie de benzeriğin baģarıı oara buunabidiği görüse de buna yönei bir mode uruamadığından ve farı ses prototiperi ie desteenemediğinden at sınır beirenememiģtir. Uyaranabiir çama zamanaması ve paet aybı gizemesi için agoritmaarın uanımında arama araığı ve segment büyüüğü imiterine uyuması agoritmaarın baģarıı oara sentezemesini sağayabiecetir. Uyaranabiir çama zamanamasında ağ gecimesinin azaması nedeniye hızandırma yapma (uçtan uca gecimenin veya çama zamanaması gecimesinin düģürümesi) için sesin bir periyotu düģüģü ie bu sağanabiir. Bu nedene ağdai gecimesindei düģüģün bir periyottan üçü oması 84

97 durumunda uçtan uca gecime düģürüme istenir ve düģüģ eğer sesin ötümü bögesindei benzeri ie sağanır ise ieride terar geniģetme ihtiyacı doğabiecetir. Segmentin uçtan uca geniģetimesi veya paet aybının gizenmesi için yapıaca yavaģatmada da artıģ bu oranda oacatır. Diğer yandan özeie te paeti ses ie paet aybının gizenebimesi için yapıaca örtüģmei eemeerin paettei ses segmentinin boyutunu iiye ataması hedefenmetedir. TSM ie yavaģatmada aynı segmenterin örtüģmei eeme yapması veya terar etmesi eo yapma gibi etiere neden oabimetedir. Yiang vd. (2003) bu probemi aģma için WSOLA yı terarı oara uanmıģardır. Arama araığının minimum uzaığı 1/(K. f min ) veya 1/ f min oabieceğinden benzeri aramanın yapıdığı segmentten öncei seser çaınmıģ osa dahi geriye doğru yapıaca arama ie yavaģatma için i örtüģmei eeme segmenti gerçeeģtiriebiir. Bu durum te paette yapıaca örtüģmei eeme için ihtiyaç duyuaca geniģetmenin daha aģağıya düģmesini sağayacatır WSOLA ie paet aybının gizenmesinde gecimenin azatıması WSOLA uyaranabiir çama zamanaması ve paet aybının gizenmesi için iteratürde en yaygın uanıan tenitir. Sannec vd. (1996) tarafından paet aybının gizenmesi için önerien ayıptan öncei son üç paetin veya ayıptan sonrai i üç paetin geniģetimesi yöntemi gecimeyi en az 60ms daha faza artırdığı için tercih edimemiģtir. Bunun yerine Liang vd. (2003) tarafından önerien ve uyaranabiir çama zamanamasının da uanıdığı sadece bir paeti gecimeye ihtiyaç duyan yöntemin uanıması tercih edimiģtir. Bununa birite Liang vd. (2003) tarafından önerien modede paet geniģetme son paetin baģında ve bir öncei paet de uanıara terarı WSOLA ie gerçeeģtirimiģtir. Bu nedene sentezenen paet istenien geniģiğe uaģtıtan sonra çaınabimete bu da uçtan uca gecimeyi bir paettei ses süresine e oara agoritmanın çaıģma süresi adar uzatmatadır. GeniĢetme Böüm de anatıdığı gibi paet öncesini de uanara yapıırsa i örtüģmei eeme ie bir ısım ses çaınabiir hae geir ve gecime düģürüebiir. Ayrıca; terarı WSOLA nın her terarında örtüģmei eeme segment sayısı artırımatadır. Tüm 85

98 geniģeme sentezeri için hep aynı örneemer ie sentez yapıması oasıığı da düģürümetedir SOLA WSOLA, PSOLA, PICOLA vb. birço örtüģmei eeme tenieri, eeme notaarını anaiz aģamasında beiremete sentez aģamasında ise sadece ağırı notaarıya çarpıp sesi üretmetedir. SOLA ve EM-SOLA, GLS-TSM gibi SOLA türeverinin diğer OLA tenierinden (AOLA da sentez aģamasında) en teme farı eeme notaarını sentez aģamasında beiremesidir. Anaiz aģamasında ardıģı segmenterin birbirerinden sabit uzaı araıar ie beirenebimesi te bir paette zaman saası değiģimi için agoritma oayığı ve esneiği sağamatadır. SOLA nın uyguanmasında benzeri arama sentezde yapıdığından örtüģmei eeme yapıabiece tüm segmenter baģtan araıar ie beirenebimiģtir. Bu sayede özeie geniģemeer oayıa sağanabimiģtir. SOLA teniğinin uyguanmasında paetten seçien ardıģı segmenter arası uzaı geniģetme için 0,2 ms, daratma için ise 10 ms oara seçimiģtir. Segment büyüüeri de yine geniģetme için 12 ms daratma için ise 10 ms seçimiģtir. GeniĢetme için paetin öncesinde ve sonrasında paet aybı oup omadığına da diat edimiģtir. Paet aybından sonra ucuna eeme için yapıan geniģemede segmenterin benzeri araması ve örtüģmesi paetin baģından sonuna doğru ieremetedir. Diğer durumarda benzeri araması paetin sonundan baģına doğru yapımatadır Paet içerisinde örtüģmei eeme Agoritma Laroch yöntemindei gibi paetin endi içerisinde benzeri aramatadır. Bununa birite Laroch yönteminde örtüģen tüm örneemer benzeri öziintisinde uanımata ve öziintide uanıan örneem sayısı öziinti sapması τ değerine göre azamatadır. Bu agoritmada benzeri arama boyutu WSOLA dai gibi sabit tutumuģtur. Bununa birite WSOLA da sentez sesinin tamamı örtüģmei eemeerden 86

99 ouģmatadır. Bu agoritmada SOLA dai gibi örtüģmei eemesiz ısımar da buunabimetedir. Benzeri arama ve örtüģmei eeme boyutu oara 8 ms seçimetedir. Aramada uanıaca Ģabonar için 8 ms i 2 ayrı segment beirenmetedir. Aramanın i aģamasında; i segment paetin 4. ms sinde sabittir. Ġinci segment 8. ms den 12. ms ye adar hareetendiriere öziintiye baıır. Daha sonra ise 2. segment 12. ms de sabit tutuuren i segment paetin baģı ie 4. ms arasında hareet ettirimete ve öziintiye baımatadır. Benzeri aranmasında ii segmentin notaarı birbirerinden en az 4 ms en ço 12 ms uzatadır. Bu sayede Böüm de beirtien imitere de uyumatadır. Daha sonra öziintisi en büyü oan ayma sapmaarı için örtüģmei eeme yapımatadır. ÖrtüĢmei eemenin sağı ve sou SMOLA dai gibi doduruur. Bununa birite hem hızandırma hem de yavaģatma için i segmentin ağırığı hamming pencerenin monoton azaan ısmı seçiir. YavaĢatma ve hızandırma için hedef boyutun 2,5 ms (paet süresinin seizde biri) omģuuğunda bir değere uaģma yeteri oara ee aınmıģtır. Özeie paet aybının da gizenmesi istenen durumarda hedef boyut ses paeti boyutunun en az 2 atı omatadır. Bu durumda bir örtüģmei eeme yetmeyecetir. Bu nedene 2. benzeri araması için Böüm dei gibi öncei paetin son ısımarı uanıır. Daha öncei paetin son ısımarı ie de örtüģmei eeme ve sentez gerçeeģtiriditen sonra paet geniģetmenin yetersiz aması durumunda WSOLA dai gibi aynı adımar teraranır. 3.3 DCT ie Zaman Saası DeğiĢimi Sinüs modeemede ses sinyai basın sinüs bieģenerin topamı oara, faz voodererinde ise Fourier geni spetrumu ie modeenmetedir. Bu yöntemer ie zaman saası değiģiminde sentez sinyainin aitesi (yanı, meanieģme veya benzeri bozumaar) ardıģı çerçeveer arasında fazarın uyumandırımasının baģarısına bağıdır. 87

100 DCT dönüģümü, sinyai tamamen gerçe sayıar ie ifade ediebien bir spetra bögede ifade etmetedir. Bu sayede fazın uyumandırıması için übi spine enterpoasyonu ve faz atama atsayısının buunması gibi armaģı hesapamaara gere amamatadır. DCT dönüģümünün diğer bir avantajı ise enerji paeteme verimiiğidir. DCT ortogona bir dönüģüm oup özeie ses sinyaeri için spetrum baģangıç notasından uzaaģtıça azamatadır. Bu özeiği sayesinde DCT atsayıarının ırpıması ie çözünürüğünün azaması durumunda enerji aybı sinüs modeeme veya Fouirer dönüģümüne göre daha azdır DCT ve değiģtirimiģ ters DCT dönüģümü DCT dönüģümü EĢiti te ifade edimetedir. DCT nin ters dönüģümü ise n=0,1,2,,n-1 oma üzere EĢiti 3.6 da ifade edimetedir. S DCT N 1 2 (2n n Cos N n0 2 sn f s 1) N (3.4) f (3.5) 1 1,2,... N 1 s n IDCT N 1 Cos 0 2 S f S (2n 1) N ( 3.6) s[n] sinyai bant sınırı ve periyodi oması durumunda s[n]=s[0], s[n+1]=s[1], oacatır. EĢiti 3.5 ie bir periyottan daha uzun bir sinya sentezenme istenirse ve m herhangi bir tam sayı oma üzere n=m.n+ için osinüs terimi EĢiti 3.7 dei gibi oacatır. ( 2( mn ) 1) (2Nm (2 1) (2 1) Cos Cos Cos m 2N 2N 2N 2N (3.7) 88

101 Kosinüs iģemi π ye göre aynasa simetri oduğundan sentezenen örneer, m. nın aacağı te değererde n= nin osinüs değerinin negatifi, m nın aacağı çift değererde n= nin osinüs değerinin aynısı our. Örne bir osinüs sinyainin EĢiti 3.7 ye göre ters DCT dönüģümü ie birden faza periyot için sentezenmesi Ģei 3.4 te gösterimetedir. ġei 3.4 DCT atsayıarından ters dönüģüm ie sentezenen periyodi sinyain aynasa simetri özeiği (Ġ ve Güer 2011) Ters DCT dönüģümünün aynasa simetrisi periyodi sinya sentezemesini engeemetedir. Aynasa simetriden urtuma için EĢiti 3.8 aģağıdai gibi günceenir (Ġ 1997). s n (2n 1) N N 1 f u S Cos 0 2 (3.8) Birinci, üçüncü, beģinci vb. te perdeer için u=1; iinci, dördüncü, atıncı vb. perdeer için u=-1 oacatır. EĢiti 3.4 e göre DCT si aınan bir periyotu sinyaden EĢiti

102 ie IDCT aınara istenien adette aynı periyoda sahip periyodi sentez sinyai ede ediebiir. Örne sentezeme Ģei 3.5 te gösterimetedir. ġei 3.5 DeğiĢtirimiĢ Ters DCT ie periyodi sinya sentezeme Spetra genierin enterpoasyonu Birden faza perde periyotu anaiz sinyainin mevcut oduğu durumda EĢiti 3.8 de yer aan DCT atsayıarı yerine ardıģı perdeere ait DCT atsayıarının örtüģmei eemeeriye ouģturuan değerer onuabiir. Bu durum EĢiti 3.9 ie gösterimetedir (Ġ ve Güer 2011). s n N 1 0 f u S int (2n 1) Cos 2N (3.9) EĢiti 3.9 da yer aan S int, sinyain ii ayrı perdesine ait DCT atsayıarından ouģur ve EĢiti 3.10 a göre hesapanır. Bu eģitite uanıaca periyotarın uzunuğu eģit deği ise ısa oan periyotun uzunuğunu artırma için DCT atsayıarına sıfır eeme 90

103 veya uzun oan periyotun uzunuğunu ısatma için ırpma uanıır. Bu eģitite yer aan T ii ayrı periyot uanıara sentezenen ses sinyai parçasının uzunuğunu verir. S int n n eft right (3.10) T T S (1 ) S ( ) n 0,1,2,..., T 1 ġei 3.6 da aynı perde periyotarına sahip ii prototip uanıara EĢiti a göre DeğiĢtirimiĢ DCT ie yapıan sentezeme gösterimetedir. Ġ prototip mavi ve son prototip yeģi rene gösterimiģ oup sentezenen prototiper ırmızı rene gösterimiģtir. ġei 3.6 Aynı perde periyodu ve spetrumuna sahip ii anaiz segmenti ie enterpoasyon Perde dönüģümü ve enterpoasyonu Zaman saasına e oara perde saası değiģimi de birite gerçeeģtirime istenebiir. Norma bir ses sinyainde ardıģı ses periyotarının uzunuarı genede az da osa birbirerinden farıdır. Bu durumda perde periyodu N in zamana bağı değiģimi oara modeenebiir. Perde periyodu değiģtiği için bu perde periyodundai sesin sentezenmesinde uanıaca DCT atsayısı değiģiminin de modee eenmesi gereir. 91

104 Bu nedene DCT ie saa ve perde değiģimi için en gene sentez EĢiti 3.11 e göre gerçeeģtiriir. s n, N ( n) 1 0 f u S int, (2a n 1) Cos 2N( n) (3.11) EĢiti 3.11 de yer aan N (n) anı perde modei oup sentezde uanıan ii anaiz perdesi uzunuğuna ( N eft ve N right) göre bir eğri modei ie hesapanabiir. DeğiĢimin doğrusa oduğu durumarda N ( n) n doğrusa enterpoasyon eģitiği uanıabiir. EĢiti 3.11 dei osinüs terimi sinüs modeemede oduğu gibi her bir DCT atsayısı için freans ve o freansdai faz oma üzere bieģenerine ayrıırsa EĢiti 3.12 dei gibi oacatır.,, (2a n 1) a Cos Cos n Cos( ( n) ) 2N( n) N( n) 2N( n) (3.12) Periyotar arası geçiģte faz orunması için i periyodun sonu baz aınır ise EĢiti 3.12 de θ fazının paydasında yer aan N(n) yerine N eft yazıabiir. (n) =2 için d teme freans oduğundan anı freans ( 2 n) d( n) periyotu ' 2 N ( n) ie hesapanır. ( n) 2 eģitiğinden buunara anı perde 2 (0) 0 ve 2 ( T 1) 2c 0, ( c 0 tam sayı oma üzere) oduğundan teme freans ( ), n=0 için 2 n 2 P eft ve n=t-1 için 2 P right ' oacatır. Bu sınır oģuarına göre N ( n) paraboi enterpoasyon ie modeenere EĢiti 3.13 veya EĢiti 3.14 ie ifade ediebiir ' n ( 2) n N ( n) (3.13) 92

105 93 a n T a c T P n T c T a n N rigt ) ( ' (3.14) EĢiti 3.14 de yer aan ifadede T c P P a eft right 0 ve T c P a right 0 ' ie hesapanır. ġei 3.7 de 50 ve 120 Hz i ii sinüs sinya prototipinden EĢiti 3.11 e göre 400 örneemi değiģtirimiģ DCT sentezemesi gösterimetedir (Ġ ve Güer 2011). ġei 3.7 DeğiĢtirimiĢ DCT ie perde enterpoasyonu a. DeğiĢtirimiĢ DCT ie sentezenen sinya, b. Doğrusa omayan perde enterpoasyonu, c. Anı freans

106 4. BULGULAR VE TARTIġMA 4.1 Ses SııĢtırma Performansarının Değerendirimesi Agoritmaarın arģıaģtırmaarını yapma için 16 KHz örneeme freansına sahip TIMIT ses veritabanından aınan 12 adet She had your dar suit in greasy wash water a year. cümesinin seseri anaiz sesi oara uanımıģtır. Fonoti oara dengei oan bu cüme ie sentezeme agoritmaarının sesin farı bögeerinde yaratabieceği probemer hem iģitse hem de görse (grafier) oara değerendiriebimetedir. Örneer TIMIT veritabanında buunan tüm ehçeerden (topamda 8 adet) birer adet ere sesi ve en ço uanıan 4 ehçeden birer adet bayan sesi oara seçimiģ oup bu seserin CD dei dosya yoarı çizege 4.1 de yer amatadır. Çizege 4.1 TIMIT Veritabanından aınan seserin dizin ve dosya adarı SES DOSYALARI DR1\MDAB0\SA1.wav DR2\FDRD1\SA1.wav DR2\MTAS1\SA1.wav DR3\MBDG0\SA1.wav DR4\FEDW0\SA1.wav DR4\MDLS0\SA1.wav DR5\FHES0\SA1.wav DR5\MDAC2\SA1.wav DR6\MCMJ0\SA1.wav DR7\FISB0\SA1.wav DR7\MKJL0\SA1.wav DR8\MJTC0\SA1.wav TSM agoritmaarının bu anaiz seseri için nesne aite değerendirmeeri Böüm te yer amatadır. Nesne değerendirmeerden önce bu agoritmaar ie sentezenen örne bir sesin iģise değerendirmeeri Böüm ie arasında yer 94

107 amatadır. Sentezenen sinyaerin zaman ve spetrum gösterimeri de igii agoritmaarın değerendirimesinde ipucu verebimetedir. Bu nedene uanıan örne ses, bu sesin hızandırıması ie sentezenen ses ve hızandırıan sesin orijina saaya dönüģtürümesi ie sentezenen sesin zaman ve spetrum gösterimeri de iģise değerendirmeer ie birite at böümerde yer amatadır OLA ie ses sııģtırma özne değerendirmesi OLA agoritması benzeri araması yapmadan örtüģmei eeme yapmatadır. Bu nedene sentezenen seser dinendiğinde beirgin bir meanieģme buunmatadır. ġei 4.1 OLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi Örne çıtı grafieri Ģei de görümetedir. Sestei bozuma grafierden de bei omatadır. ġei 4.1 de en üsttei orijina ses sinyaindei tepe notaarı ayrı görünüyoren en attai OLA sentez sinyainde ise bu ayrııar bozumuģtur. ġei 4.2 de de sesi-sessiz veya sessiz-sesi geçiģerindei (özeie 0,6 sn doayarında oduça bei) ve sesi bögeerdei (0,2-0,3 sn araığında oduça) bozumaar bei omatadır. 95

108 ġei 4.2 OLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi SOLA ie ses sııģtırma özne değerendirmesi SOLA benzeri aramasını sentez sesinde yapmatadır. SOLA ie sentezenen ses dinendiğinde sesin aitesinin iyi oduğu görümüģtür. Bununa birite ses aitesinde zor far edien bir bozuma buunmatadır. SOLA için deney çıtı grafieri Ģei te görümetedir. Sestei bozuma grafierden ço bei omamatadır. ġeierde SOLA sentez sesinin anaiz sesinden daha ısa oması anaiz sesinin son segmentinin iģenmemiģ omasındandır. 96

109 ġei 4.3 SOLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.4 SOLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 97

110 4.1.3 GLS-TSM ie ses sııģtırma özne değerendirmesi GLS-TSM agoritmasında hızandırma ve yavaģatma için SOLA parametreerinin aynısı uanımıģtır. Buna rağmen benzeri aramada yaģadığı probemerden doayı SOLA agoritmasına göre oduça ötü sonuç vermiģtir. Yine de sestei meanieģme OLA dai adar ço değidir. Benzeriği bumadai probemi ve sentezeme sesindei bozuma Ģei dai grafierden de bei omatadır. ġei 4.5 GLS-TSM sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.6 GLS-TSM sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 98

111 4.1.4 EM-TSM ie ses sııģtırma özne değerendirmesi EM-TSM benzeri aramasını sinya örneerinin değereri yerine iģareterine göre yapmatadır. Bu genede doğru benzeriğin buunmasını sağasa da özeie de sinyain DC bieģen de içermesi durumunda yanıģ benzerier buunabimetedir. Hızandırıan ve yavaģatıan ses dinendiğinde sesin aitesinin SOLA dan biraz daha bozu oduğu görümüģtür. EM-TSM için örne grafier Ģei de görümetedir. Sesin son bögeerinde ve sesi ısımarında beirgineģen bozuma Ģei 4.7. dei orijina ve sentez grafierinde de beirgindir. ġei 4.7 EM-TSM sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 99

112 ġei 4.8 EM-TSM sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi TD-PSOLA ie ses sııģtırma özne değerendirmesi ArdıĢı perde periyotarı farı iģaretenebimiģ omasına rağmen sentez aitesi beenenin asine ço ötü gerçeeģmemiģ hemen hemen SOLA ya yaın ses aitesi ede edimiģtir. 1 Orjina Sinya x 10 4 PSOLA ie Hizandirimis Sinya x 10 4 PSOLA ie Hizandiriip Yavasatimis Sinya x 10 4 ġei 4.9 PSOLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 100

113 Frequency Frequency Frequency 8000 Orjina Sinya Spetrumu Time PSOLA ie Hizandirimis Sinya Spetrumu Time PSOLA ie Hizandiriip Yavasatimis Sinya Spetrumu Time ġei 4.10 PSOLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi WSOLA ie ses sııģtırma özne değerendirmesi WSOLA agoritmasında ço daha düģü segmenter ve benzeri arama araığı uanımasına rağmen hızandırııp yavaģatıan sesin özne değerendirmesinde diğererine göre genede daha aitei ses ede edimiģtir. WSOLA için deney çıtı grafieri Ģei de yer amatadır. ġei 4.11 WSOLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 101

114 ġei 4.12 WSOLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi Diğer agoritmaarın grafierinde de oduğu gibi 0,5 saniyesindei ses sinyaindei anı yüseip düģme sentez sesinde sinyain diğer yüse genii ısmıya iç içe girmiģtir AOLA ie ses sııģtırma özne değerendirmesi AOLA agoritmasında sentezenen ses dinendiğinde sesin aitesinin WSOLA ya ço yaın oduğu görümüģtür. Faat orijina AOLA agoritmasında segmentin aydırıması tepe notaarı örtüģece (pea aignment) Ģeide tarif edimetedir. Sadece yere tepe notaarına bama yanıģ tepeerin örtüģmesine neden oabiecetir. Bu nedene bunun yerine AMDF uanımıģtır. AOLA için deney çıtı grafieri Ģei te görümetedir. 102

115 ġei 4.13 AOLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.14 AOLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi Suzii-Misai yöntemi ie ses sııģtırma özne değerendirmesi Bu agoritma ie hızandırıan ve yavaģatıan ses dinendiğinde sesin aitesinin diğer yöntemere göre daha ötü oduğu görümüģtür. Benzeri arama yönteminin Böüm 103

116 de beirtidiği gibi düzetimesi ısmi iyieģtirme sağamıģtır. Bu yöntem için grafier Ģei da görümetedir. ġei 4.16 da yer aan spetrumar inceendiğinde orijina sesin ve hızandırımıģ sesin spetrumarı arasında çözünürüğün yarıya inmesinden aynaananar hariç önemi bir bozuma görümemetedir. Bununa birite hızandırımıģ sesin yavaģatımasından sonrai spetrumda sesi-sessiz ve sessiz-sesi geçiģerinde bozumaar (Ģei 4.16.c de 0,6 ve 0,7 saniye araığındai gibi) grafiten de bei omatadır. Bunun nedeni Böüm de yer aan Ģei 2.7 dei yavaģatma gösteriminden de açıça bei oduğu gibi anaizden aınan ardıģı 2 pencerenin atama ağırıarının ters omasıdır. Sentez aģamasındai atamada öncei anaiz segmentinin ağırı pencere atsayıarı sıfırdan bire doğru gidere artmata, sonrai anaiz segmentinin ağırı pencere atsayıarı ise gidere azamatadır. Bundan aynaı oara öncei segment sesi ardıģığı sessiz oduğunda sentez sesinin i ısımarının sessiz son ısımarının sesi ağırıı sentezenmesine neden omatadır. Bu anaiz sesindei sesi-sessiz geçiģerinin sentezenmesinin sesi- sessiz-sesi-sessiz oara gerçeeģmesine neden omatadır. 0.2 Orjina Sinya x 10 4 Suzii-Misai Yöntemi ie Hizandirimis Sinya x 10 4 Suzii-Misai Yöntemi ie Hizandiriip Yavasatimis Sinya x 10 4 ġei 4.15 Suzii-Misai yöntemi ie sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 104

117 Frequency Frequency Frequency 8000 Orjina Sinya Spetrumu Time Suzii-Misai Yöntemi ie Hizandirimis Sinya Spetrumu Time Suzii-Misai Yöntemi ie Hizandiriip Yavasatimis Sinya Spetrumu Time ġei 4.16 Suzii Misai yöntemi ie sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi PICOLA ie ses sııģtırma özne değerendirmesi PICOLA agoritması MPEG AAC de beirtidiği gibi uyguanmıģtır. PICOLA ie hızandırıan ve yavaģatıan ses dinendiğinde sesin aitesinin aģağı yuarı AOLA ve SOLA dai gibi oduğu görümüģtür. PICOLA için grafier Ģei de görümetedir. ġei 4.17 de WSOLA, SOLA, AOLA, PSOLA gibi sentezeme aitesi nispeten iyi oan sinyaerdeinin asine yaaģı 0,65 ms dei (yaaģı örneem doayarı) anı yüse geni ses parçası bozumamıģtır. PICOLA nın hızandırma için o bögede örtüģme yapmadığı hızandırma grafierinden beidir. Bununa birite diğer geçiģ bögeerinde de diğer agoritmaarın asine bozumaar görüebimetedir. 105

118 ġei 4.17 PICOLA sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.18 PICOLA sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 106

119 Faz vooderi ie ses sııģtırma özne değerendirmesi Faz vooder ie sentezenen sesin aite bozuması genede zaman aanı tenierinden daha fazadır. Ses sinyainin enerji aybı da Ģei 4.19 da da görüdüğü gibi zaman aanında çaıģan örtüģmei eeme tenierine göre daha fazadır. ġei 4.20 de yer aan sentez spetrumundai freans yayımaarı da beirgindir. 0.2 Orjina Sinya x 10 4 Faz Vooderi ie Hizandirimis Sinya x 10 4 Faz Vooderi ie Hizandiriip Yavasatimis Sinya x 10 4 ġei 4.19 Faz vooderi sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.20 Faz vooderi sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 107

120 Sinüs modeeme ie ses sııģtırma özne değerendirmesi Sinüs modeemede her ii yöntemde de tepeerin buunması için aynı parametreer uanımıģtır. ġei 4.21 de orijina sesin ve sinüs modeeme ie hızandırımıģ sentez (tepe enterpoasyonu) sesinin sinüs tepe yoarı mavi çizgier ie gösterimetedir. ġei 4.21 Sinüs tepeerinin yoarı a. Orijina sesin sinüs yoarı(mavi çizgier), b. HızandırımıĢ sesin sinüs yoarı Smith ve Serra (1987) tarafından önerien yönteme göre sentezenen seserde sadece freans genieri uanımıģ, gerçe sinüs tepesi tahminemesi için paraboi enterpoasyon uanımıģtır. ġei 4.22 de yer aan grafite de görüdüğü gibi sinüs tepe yoarının baģangıç fazarı hep sıfır aındığından, sentezenen segmenterin daga biçimeri igii anaiz sinyai segmenterinin daga biçimerinden farıdır. Freansarın yayvanaģması Ģei 4.23 de beirgin oara görümetedir. Zaman grafiğindei sinyaerin orjinaden ço farı omasına ve spetrum grafiğinin oduça bozu omasına rağmen igii ses dinendiğinde sentez sesi aitesi beenenin asine ço ötü değidir. Hemen hemen SOLA sentez sesi aitesindedir. 108

121 Frequency Frequency Frequency Orjina Sinya Sinüsse Modeeme (Geni interpoasyon) ie Hizandirimis Sinya x Sinüsse Modeeme (Geni interpoasyon) ie Hizandiriip Yavasatimis Sinya x 10 4 ġei 4.22 Sinüs modeeme sentez ses parçaarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 8000 Orjina Sinya Spetrumu Time Sinüsse Modeeme ie Hizandirimis Sinya Spetrumu Time Sinüsse Modeeme ie Hizandiriip Yavasatimis Sinya Spetrumu Time ġei 4.23 Sinüs modeeme sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi Ġinci yöntemde faz bigieri de uanıdığından sinüs tepeerinin ardıģı omģuarından enterpoasyonu uyguanmamıģtır. Sentez aģamasında ardıģı segmenter arasında geni ve freans enterpoasyonu yanında, faz için übi enterpoasyon da uyguanmıģtır. 109

122 Frequency Frequency Frequency MQ sinüs modeemede sinüs yoarının baģangıç fazarı armaģı FFT değererinin tanjantı ie beirenmetedir. ġei 4.24 te de görüdüğü gibi sentez sesi mode adığı orijina sese zaman aanı gösteriminde de benzemetedir. ġei 4.25 de yer aan spetrumarda da freansarın yayvanaģtığı görümetedir. MQ sinüs modeeme beenenin asine aite oara daha ötü sonuç vermiģtir. ġei 4.24 MQ sinüs modeeme sentez ses parçaarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 8000 Orjina Sinya Spetrumu Time Sinüsse Modeeme (MQ) ie Hizandirimis Sinya Spetrumu Time Sinüsse Modeeme (MQ) ie Hizandiriip Yavasatimis Sinya Spetrumu Time ġei 4.25 MQ sinüs modeeme sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi 110

123 SMS ie ses sııģtırma özne değerendirmesi Spetra Modeeme Sentezi için yapıan testerde yuarıda yer aan sinüs modeeme odarından faydaanımıģtır. Sinüs modeeme anaizinden çıan parametreer ie orijina saa ie MQ ie sentezenen ses orijina sesden çıarıara aan sinyain LPC parametreeri buunmuģtur. Daha sonra sesi hızandırma için Sinüs modeeme (SS) anaiz parametreeri ve LPC parametreeri ie daha geniģ pencereer uanımıģtır. Testin iinci aģamasında hızandırıan ses aynı yönteme yavaģatıara orijina zaman saasına dönümüģtür. 0.2 Orjina Sinya x 10 4 SMS ie Hizandirimis Sinya x 10 4 SMS ie Hizandiriip Yavasatimis Sinya x 10 4 ġei 4.26 Spetra modeeme sentezi seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi Her ne adar grafierdei bozuuar ço beirgin omasa da SMS ie sentezenen seser dinendiğinde ço faza bozuu oduğu görümüģtür. SMS in deterministi ısmı MQ uandığından MQ modeeme ie birite en ötü ses aitesi ede edimiģtir. 111

124 Frequency Frequency Frequency 8000 Orjina Sinya Spetrumu Time SMS ie Hizandirimis Sinya Spetrumu Time SMS ie Hizandiriip Yavasatimis Sinya Spetrumu Time ġei 4.27 Spetra modeeme sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi PESQ sorarına göre nesne aite değerendirmesi Anaiz ses örneerine göre agoritmaarın hızandırma-yavaģatma PESQ sor istatitieri çizege 4.2 de yer amatadır. Aynı anaiz seserine beģ ez hızandırmayavaģatma sentez çevrimi uyguandıtan sonra PESQ istatistieri ise çizege 4.3 te yer amatadır. Çizegeerde 8 adet ere ve 4 adet bayan anaiz sesinin sentezeme PESQ sonuçarının ortaaması ve standart sapması ayrı oara da yer amatadır. Çizegenin satırarı GENEL sütununun ORT. at-sütununda yer aan 12 adet anaiz sesi için PESQ sor ortamasına göre sıraanmıģtır. Çizege 4.2 de yer aan sonuçara göre WSOLA en aitei ses sentezemesi yapmatadır. Smith ve Serra(1997) tarafından önerien sinüs modeeme de PESQ sonuçarına göre WSOLA hariç diğer zaman aanı tenierini geçmiģtir. Bu seser dinendiğinde ise sinüs modeemenin bazı bögeerinde ço az da osa bazı meanieģmeer görüme görümetedir. WSOLA da ço ço az omaa birite zaman aanı tenieri ie sentezenen seserde de az da osa bazı geçiģerde pop seseri 112

125 duyumatadır. AMDF ie benzeri arayan AOLA, WSOLA hariç diğer tüm zaman aanı TSM tenierinden daha iyi sonuç vermetedir. Çizege 4.2 Agoritmaarın hızandırma ve yavaģatma sentezi PESQ sonuç istatistieri ERKEK SESĠ BAYAN SESĠ GENEL STD. STD. STD. TSM ALGORĠTMASI ORT. SAPMA ORT. SAPMA ORT. SAPMA WSOLA 3,26 0,28 3,30 0,10 3,28 0,23 Sinüs Modeeme(SS) 3,14 0,14 2,90 0,22 3,06 0,20 AOLA 3,10 0,24 2,93 0,14 3,04 0,22 SOLA 3,05 0,17 2,89 0,18 3,00 0,18 PSOLA 2,98 0,22 2,58 0,08 2,85 0,27 Faz Vooder 2,80 0,12 2,59 0,05 2,73 0,14 PICOLA 2,74 0,21 2,48 0,12 2,66 0,22 EM-TSM 2,65 0,21 2,44 0,07 2,58 0,20 GLS-TSM 2,54 0,06 2,43 0,12 2,50 0,09 Suzii Misai 2,38 0,31 2,18 0,14 2,31 0,28 OLA 2,28 0,22 2,11 0,10 2,23 0,20 Sinüs Modeeme(MQ) 2,01 0,23 1,78 0,09 1,93 0,22 Spetra Modeeme Sentezi 1,92 0,22 1,53 0,06 1,79 0,26 Çizege 4.3 te ise sinüs modeemenin PESQ sonuçarı en iyi çımıģtır. Bununa birite özne değirendirmede WSOLA iģitse oara daha aitei ses vermiģ omasına rağmen PESQ sonuçarı daha düģütür. Sinüs modeeme ie sentezenen seserde rahatsız edici bir cızırtı omamaa birite ses sani daha derinden çııyormuģ, eimeer yutuuyormuģ gibi agıanmatadır. SOLA ie sentezenen seste de ço az bir cızırtı buunmata faat onda da ses biraz derinden gemetedir. AOLA ve PICOLA da cızırtı SOLA ya göre biraz daha fazadır. PSOLA da ise cızırtıar AOLA dan daha faza omaa birite cızırtı omayan ısımar oduça net ve aiteidir. Bu cızırtıar da 113

126 muhtemeen perde iģaretemenin bazı notaarda yanıģ yapımasından aynaanmatadır. Çizege 4.3 BeĢ ez hızandırma-yavaģatma sentezinden sonrai PESQ sonuç istatistieri ERKEK SESĠ BAYAN SESĠ GENEL STD. STD. STD. TSM ALGORĠTMASI ORT. SAPMA ORT. SAPMA ORT. SAPMA Sinüs Modeeme(SS) 2,57 0,19 2,27 0,10 2,47 0,22 AOLA 2,50 0,17 2,20 0,14 2,40 0,22 SOLA 2,38 0,37 2,09 0,05 2,28 0,33 WSOLA 2,28 0,33 2,18 0,11 2,25 0,28 PSOLA 2,19 0,34 2,04 0,08 2,14 0,28 Faz Vooder 2,07 0,28 1,95 0,20 2,03 0,25 PICOLA 1,96 0,20 1,76 0,08 1,89 0,19 EM-TSM 1,87 0,19 1,82 0,10 1,85 0,16 GLS-TSM 1,95 0,35 1,63 0,23 1,84 0,34 Suzii Misai 1,69 0,15 1,51 0,06 1,63 0,15 OLA 1,58 0,12 1,52 0,05 1,56 0,10 Sinüs Modeeme(MQ) 1,27 0,20 0,98 0,13 1,17 0,22 Spetra Modeeme Sentezi 1,26 0,20 0,84 0,06 1,12 0,26 WSOLA nın 5 ez sentezeme PESQ sonuçarının diğererinden daha ötü çıması muhtemeen sesin son ısımarındai ırpımadır. WSOLA örtüģmei eeme yapma için benzeri aramasını anaiz sesi üzerinde gerçeeģtirmetedir. Bu arama esnasında aday oasyonun omģuuarına baımatadır. Her ne adar arama omģuuğu 5 ms gibi ısa tutumuģ osa da segment büyüüğü 10 ms aday segmenter arası uzaı hızandırma için 20 ms yavaģatma için ise 5 msdir. Sesin son ısımarına geindiğinde arama yapıaca aan amadığında sentez sonandırımata ve aan seser saası değiģtiriemeden sentezenen sesin sonuna eenmetedir. 5 ez yavaģatma hızandırma 114

127 çevrimi için topamda 10 ez sentez yapımatadır. Bu nedene sesin yaaģı son 15 ms den öncesindei yaaģı 200 ms i ısımda esime görümetedir. Hızandırma yavaģatma çevriminin birden faza uyguanması iģitse aite değerendirmesini oayaģtırmatadır. Diğer bir açıdan, ietiģimin notadan notaya bağantı ie deği de internet, GSM vb. ağardai farı ağ anaarından atığı durumda hızandırma yavaģatma da ağ notaarı arasında sadece tıanı anaarda uyguanabiir. Ses ietiģiminin yapıdığı ağ birden faza tıanı ana içeriyor ise her anaın gönderen notasında hızandırma yapııp, aıcı notasında yavaģatma ie orijina saaya dönüeceğinden hızandırma/yavaģatma çevrimi sayısı tıanı ana sayısı adar oacatır. Çizege 4.3 te yer aan PESQ sorarına göre tıanı ana sayısının 5 adet oması (ara sayıarda değerendirmeer yapımamıģtır) durumunda aite açısından abu ediebiir omayacatır. PESQ istatistierinden çıan bir baģa sonuç da WSOLA haricindei tüm agoritmaar yüse perde periyotu ere sesini daha iyi sentezemetedir. Zaman aanı tenieri benzeri araması ve örtüģmei eeme tenierini uyguamatadır. Benzeri aramasında uanıan segment ve buunan benzeriğe göre örtüģmei eeme yapıan segment büyüüerinin perde peryotarına oranı bayan sesi için daha büyütür. Bu oran bayan sesi için daha ço perdenin örtüģmesine neden omatadır. Freans aanı tenierinde (modeeme tenieri de dahi) FFT segmenti büyüüğü 512 seçimiģ oup anaiz segmenti büyüüğü yaaģı 30ms dir. Bayan sesi bu segmentte de daha faza perde periyotu içermetedir. WSOLA da ise arama segmenti büyüüğü ve örtüģmei eeme 10 ms oup daha az perde içermetedir. WSOLA da segment büyüüğü 10 ms den 5 ms ye düģürüdüğünde sentezenen seserin ortamaarı 1 çevrim için hemen hemen aynı çımıģtır. Faat 5 çevrim için bayan seseri için PESQ ortaaması artmıģ ere seseri için PESQ ortaaması düģmüģtür. Bu sonuçar çizege 4.4 te yer amatadır. 115

128 Çizege 4.4 5ms segment büyüüğüne göre WSOLA PESQ sonuç istatistieri HIZLANDIRMA / YAVAġLATMA SAYISI ERKEK SESĠ BAYAN SESĠ GENEL STD. STD. STD. ORT. SAPMA ORT. SAPMA ORT. SAPMA 1 Çevrim 3,26 0,21 3,31 0,12 3,28 0,18 5 Çevrim 2,24 0,28 2,27 0,31 2,25 0, Uyaranabiir Çama Zamanaması ve Paet Kaybı Gizemesi Değerendirmeeri Tester gerçe zamanı oara uyguanmadığından ağ gecimesi, uçtan uca gecime tahmineri ve paet ayıparı için veri modei ouģturumuģtur. Bu veri modei Ģei 4.28 dei grafite görümetedir. ġei 4.28 Simüasyonar için veri modei 116

129 ġei 4.28 de mavi çizgi ie gösterien uçtan uca gecime çizgisinin üstünde yer aan ırmızı notaı ağ gecimeeri paet ayıparına neden omatadır. Bu veri modei ouģturuuren uyaranabiir çama zamanaması agoritmaarının ani gecime artıģarında genede i paeti açırması ve ağ ayıparı da urguanmıģtır. Paet aybından sonra gecime tahmini artırımıģtır. Daha sonra ağ gecimeerine göre düģürümesi modeenmiģtir. Zaman saası değiģimi agoritmaarının arģıaģtırması için simüasyon modei aģağıdai gibi uyguanmıģtır. Ses dosyasından (TĠMĠT veritabanından) aınan ses 20 ms i paetere böünmüģtür. 20 msi paeteme internette en ço uanıan ses paet büyüüğüdür. Her paet için ağ gecimesi ve bir sonrai paetin uçtan uca gecime tahmini değereri girimiģtir. Bu değererin girimesinde gerçe verier uanımamıģ, Ģei 2.22.c örne aınmıģtır. Paet aybı için ço yüse ağ gecimesi verimiģtir. Tüm zaman saası agoritmaarında aynı gecime ve ayıp verieri uanımıģtır. Agoritmaar uyguanıren bu zamanama ve ayıp modeine göre her bir paetin uzatıma ve ısatıma süreeri buunmuģtur. Kayıp paeter için öncei ve sonrai paeterden (Liang vd. (2003) tarafından önerien modee göre ) sentezeme gerçeeģtirimiģtir WSOLA ie paet aybının gizenmesinde gecimenin azatıması Simüasyonda TIMIT veritabanından aınan bir bayan sesi uanımıģtır. 16 KHz ie örneenmiģ oan bu ses üzerinde örneem indirgeme yapımamıģ, orijinai aynen uanımıģtır. 117

130 ġei 4.29 WSOLA ie uyaranabiir çama zamanaması ve ağ ayıparının gizenmesi spetrumarı a. Orjina ses, b. UyaranmıĢ ses ġei 4.30 Gecimeye ve paet ayıparına göre WSOLA ie uyaranmıģ seser a. Orjina ses, b. UyaranmıĢ ses ġei 4.29 dai spetrumar inceendiğinde farar zor far edimetedir. Bununa birite spetrumarın x esenerine göre aymaar far edimetedir. ġei 4.30 da yer aan sesin zaman gösteriminde aymaar görümetedir. Veri modeine göre anaiz sesinin en baģında uçtan uca gecime yaaģı 155ms dir. Bununa birite 2000 ms de 118

131 gecime yaaģı 125 ms oup anaiz sesine göre 30 ms sııģtırma yapımıģtır. Daha sonra uçtan uca gecime i baģarda 130 ms ye daha sonra da 170 ms ye çımatadır. Paet ayıparının dıģında uçtan uca gecime süresinin de zaman saası değiģimi ie sentezenmesi yapımatadır. Bundan doayı Ģei 4.30 da görüen ses sinyaerinde orijina sinyain 2180ms ve 2280ms dei paeter geç uaģtığından doayı daha öncesi sentezenmiģtir. WSOLA agoritmasında ardıģı segmenter arasında benzeri aranıren aday segment oasyonarının beiri bir omģuu dâhiinde ayabimesi geremetedir. Ere ve adın sesinin perde periyotarı arasındai fartan doayı benzeri arama benzeri arama aanının en az 8 ms (ere ve adın perde periyodarı arasındai fartan doayı); aday segmenterin uzunuarı ve ardıģı segment adayarı arasındai far da diate aındığında 20 ms ço ısıtı bir aandır. Bu nedene faza geniģeme ve faza darama anca terarı oara gerçeeģtiriebimetedir. En yüse geniģeme 2,3 at, en düģü darama 0,3 at ie sınırandırımasına rağmen bu değererde bie genede aynı örneer örtüģmei eemede uanıabimetedir SOLA paet aybının gizenmesinde gecimenin azatıması SOLA ie sentezenen ses dinendiğinde WSOLA da oduğu gibi herhangi bir aite bozuuğu tespit ediememiģtir. Örne spetrum ve yaınsanmıģ zaman aanı geni grafieri Ģei 4.31 ve 4.32 de yer amatadır. 119

132 ġei 4.31 SOLA ie uyaranabiir çama zamanaması ve ağ ayıparına göre zaman saası değiģimi simüasyon spetrumarı a. Orjina ses, b. UyaranmıĢ ses ġei 4.32 Gecimeye ve paet ayıparına göre SOLA ie uyaranmıģ seser a. Orjina ses, b. UyaranmıĢ ses Paet içerisinde örtüģmei eeme Bu agoritmaya göre yapıan testerde de sesin agıanan aitesinde bozuu far ediememiģtir. Bu test ie sentezenen sesin spetrumu Ģei 4.33 te, zaman aanı örneği 120

133 oara 2,15 ms ie 2,35 ms araığında yaınsanmıģ geni değereri Ģei 4.34 te yer amatadır. ġei 4.33 Paet içerisinde örtüģmei eeme ie uyaranabiir çama zamanaması ve ağ ayıparına göre zaman saası değiģimi simüasyon spetrumarı a. Orjina ses, b. UyaranmıĢ ses ġei 4.34 Gecimeye ve paet ayıparına göre paet içerisinde örtüģmei eeme ie uyaranmıģ seser a. Orjina ses, b. UyaranmıĢ ses 121

134 4.2.4 Uyaranabiir çama zamanaması ve paet aybı PESQ değerendirmesi Özne değerendirmeerde orijina ses ie sentezenen seser arasındai aite fararı ayırt ediememiģtir. TIMIT veri tabanından aınan ve sııģtırma aite değerendirme testerinde de uanıan 12 adet örne anaiz sesi için bu üç agoritma da hazıranan gecime modeine göre test edimiģtir. Test sonuçarı çizege 4.5 te yer amatadır. Çizege 4.5 Uyaranabiir çama zamanaması ve paet aybı gizemesi agoritmaarının PESQ sonuç istatistieri ERKEK SESĠ BAYAN SESĠ GENEL TSM STD. STD. STD. ALGORĠTMASI ORT. SAPMA ORT. SAPMA ORT. SAPMA Önerien Yöntem 2,82 0,34 2,55 0,19 2,73 0,32 WSOLA 2,75 0,26 2,66 0,29 2,72 0,26 SOLA 2,61 0,23 2,51 0,27 2,58 0,23 PESQ sonuçarına göre önerien yöntem ere seserinde daha baģarıı ien WSOLA bayan seserinde daha baģarıı çımıģtır. 4.3 DCT Modeeme Buguarı DCT modeemenin sentezeme performansı hızandırma yavaģatma sentezi ve paet aybı gizemesi için gerçeeģtirimiģtir. Böüm 3.3 te yer aan örne gösterimer ve Ģeierde agoritmanın da açıanabimesi için sentez segmentinin boyutu genede yüse tutumuģtur. Bununa birite DCT modeeme sentezinin ses sııģtırma amacıya uanıabimesi için özeie hızandırma sentezini de baģarıı yapabimesi gereir. Bu nedene yapıan i testte örne ses diğer agoritmaarda da oduğu gibi önce 2 at hızandırımıģ daha sonra yavaģatımıģtır. Ġgii sentez sinyaeri ve spetrumarı sırasıya Ģei 4.35 ve 4.36 da verimetedir. 122

135 ġei 4.35 DCT modeeme sentez seseri a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.36 DCT modeeme sentez sinya spetrumarı a. Orijina ses, b. HızandırımıĢ sentez sesi, c. Hızandırıan sesin orijina saaya dönüģtürüdüğü sentez sesi ġei 4.35 te özeie 2,1 ve 2,2 saniye araığındai sessiz bögenin sentezenmesinde probem görümetedir. ġei 4.36 dai spetrum grafiğinden de bazı bozumaar görüebimetedir. Yine de sentezenen ses dinendiğinde meanieģmenin diğer freans aanı tenierinden daha az oduğu agıanmatadır. Agısa aite oara 123

136 PSOLA ya yaın aitede ses üretebimetedir. Sentezenen sesin PESQ test sonucu ise oara gerçeeģmiģtir. DCT modeemenin iinci test senaryosu oara aybedien perde prototiperinin DCT modeeme ie terar sentezenmesi gerçeeģtirimiģtir. Bu test senaryosu için örne grafier Ģei 4.37 de gösterimetedir. ġei 4.37 DCT modeeme ie ayıp paeterin sentezenmesi a. Orijina ses, b. Paet ayıpı ses, c. DCT modeeme ie ayıp paeterin sentezenmesi Agoritmanın prototip sentezeme baģarısı PSOLA ie arģıaģtırımıģtır. ġei 4.37.b de gösterien ayıpı ses sinyainin iyieģtirimesi için PSOLA PESQ sonucu oara vermete ien değiģtirimiģ DCT vermiģtir. KarĢıaĢtırma için Böüm 3.2 atında tanımanan ve Böüm 4.2 atında testeri gerçeeģtirien yöntemer yerine PSOLA seçimesinin nedeni PSOLA nın da hem zaman zaman hem perde saasını değiģtirebimesidir. Bu testte, ayboan prototiperin perde boyutarı omģu prototiperin perde boyutarından büyü ya da üçü oabidiğinden perde değiģimi de gerçeeģtirimetedir. Her ii yöntemde de perde iģaretemesi aynı yönteme gerçeeģtirimiģtir. 124

137 ġei 4.38 Orijina ve prototiperi terar sentezenen sinyaerin yaınsanmıģ parçaarı a. Orijina ses sinyai, b. Ötümsüz, ötümsüz-ötümü geçiģi ve ötümü bögede te prototiperin sentezenmesi, c. Ötümsüz-ötümü bögede 3 prototipi sesin sentezenmesi ġei 4.39 YaaĢı 40 ms i aybın oduğu sinya bögesine yaınsama 125