ÖRÜNTÜ TANIMA YÖNTEMLERİ KULLANARAK KONUŞMACI BAĞIMLI AYRIŞIK SÖZCÜK TANIMA. Betül KESKİN

Transkript

1

2 2 ÖRÜNTÜ TANIMA YÖNTEMLERİ KULLANARAK KONUŞMACI BAĞIMLI AYRIŞIK SÖZCÜK TANIMA Betül KESKİN YÜKSEK LİSANS TEZİ ELEKTRİK ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI GAZİ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ MART 2015

3 Betül KESKİN tarafından hazırlanan ÖRÜNTÜ TANIMA YÖNTEMLERİ KULLANARAK KONUŞMACI BAĞIMLI AYRIŞIK SÖZCÜK TANIMA adlı tez çalışması aşağıdaki jüri tarafından OY BİRLİĞİ ile Gazi Üniversitesi Elektrik Elektronik Mühendisliği Anabilim Dalında YÜKSEK LİSANS TEZİ olarak kabul edilmiştir. Danışman: Doç. Dr. Özgül SALOR DURNA Elektrik Elektronik Mühendisliği, Gazi Üniversitesi Bu tezin, kapsam ve kalite olarak Yüksek Lisans Tezi olduğunu Onaylıyorum... Başkan : Başkan (Prof. Dr. Müzeyyen SARITAŞ) Başkan Anabilim Dalı, Başkan Üniversite Bu tezin, kapsam ve kalite olarak Yüksek Lisans Tezi olduğunu Onaylıyorum... Üye : Jüri 1 (Doç. Dr. Umut ORGUNER) Jüri 1 Anabilim Dalı, Jüri 1 Üniversite Bu tezin, kapsam ve kalite olarak Yüksek Lisans Tezi olduğunu Onaylıyorum... Tez Savunma Tarihi: 13/03/2015 Jüri tarafından kabul edilen bu tezin Yüksek Lisans Tezi olması için gerekli şartları yerine getirdiğini onaylıyorum... Prof. Dr. Şeref SAĞIROĞLU Fen Bilimleri Enstitüsü

4 4 ETİK BEYAN Gazi Üniversitesi Fen Bilimleri Enstitüsü Tez Yazım Kurallarına uygun olarak hazırladığım bu tez çalışmasında; Tez içinde sunduğum verileri, bilgileri ve dokümanları akademik ve etik kurallar çerçevesinde elde ettiğimi, Tüm bilgi, belge, değerlendirme ve sonuçları bilimsel etik ve ahlak kurallarına uygun olarak sunduğumu, Tez çalışmasında yararlandığım eserlerin tümüne uygun atıfta bulunarak kaynak gösterdiğimi, Kullanılan verilerde herhangi bir değişiklik yapmadığımı, Bu tezde sunduğum çalışmanın özgün olduğunu, bildirir, aksi bir durumda aleyhime doğabilecek tüm hak kayıplarını kabullendiğimi beyan ederim... Betül KESKİN 13/03/2015

5

6 iv ÖRÜNTÜ TANIMA YÖNTEMLERİ KULLANARAK KONUŞMACI BAĞIMLI AYRIŞIK SÖZCÜK TANIMA (Yüksek Lisans Tezi) Betül KESKİN GAZİ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ Mart 2015 ÖZET Bu tez çalışması kapsamında, sesli komut uygulamalarına yönelik, örüntü tanıma tekniklerine dayalı bir ayrışık sözcük tanıma sistemi geliştirilmiştir. Mevcut konuşma tanıma algoritmalarından farklı olarak, geliştirilen yazılımın, kumanda gibi cihazların üzerinde çalışabilecek hızlı ve basit bir yapıda olması hedeflendiğinden dolayı, örüntü tanıma teknikleri kullanılarak konuşmacı bağımlı, metne dayalı, ayrışık sözcük tanıma için bir yazılım geliştirilmiş ve bu yazılımın başarıyla çalıştığı gösterilmiştir. Konuşma tanımadaki hız problemine çözüm aranan bu süreçte, öznitelik olarak Mel Frekans Kepstral Katsayıları (Mel Frequency Cepstral Coefficients - MFCC) kullanılmıştır. Bu öznitelikler, Ana Bileşen Çözümleme (Principle Component Analysis - PCA), Tekil Değer Ayrıştırma (Singular Value Decomposition SVD) ve Lineer Diskriminant Analizi (Linear Discriminant Analysis - LDA) yöntemleri ile dönüştürülmüş ve dönüştürülmüş öznitelikler Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleriyle değerlendirilerek, ayrışık sözcük tanıma gerçekleştirilmiştir. Konuşma tanımanın pek çok uygulaması için çok yaygın olarak ve başarıyla kullanılan bir yöntem olan Saklı Markov Modelleri (Hidden Markov Models - HMM) ile önerilen yöntemler ayrışık sözcük tanıma başarımı ve hız açısından karşılaştırılmıştır. Herhangi bir bilgisayar uygulaması için kullanılabilecek dokuz komut sözcük anahtar sözcükler olarak belirlenmiş ve bu sözcüklerin tanınması ile bu kümenin dışındaki sözcüklerin belirlenmesi, 13 ü kadın 7 si erkek 20 geniş yaş dağılımına sahip konuşmacı kullanılarak, yüksek bir başarı ile sağlanmıştır. LDA kullanılarak ve Öklid uzaklık belirleme yöntemi ile en yüksek tanıma başarımı elde edilmiş ve bu başarımın sadece dokuz sözcük ile %97,22 olduğu gösterilmiştir. Üç liste dışı sözcüğün tanınması dahil edildiğinde ise en yüksek başarım LDA ve Manhattan uzaklık ölçütü ile %90,00 olarak elde edilmiştir. Hız olarak karşılaştırıldığında HMM yöntemi ile sözcük tanıma yaklaşık 36 milisaniye sürerken, önerilen yöntemle bu süre 0,5-0,6 milisaniye olmuştur. Herhangi bir konuşmacının sisteme dahil edilebilmesi için bir ara yüz oluşturulmuş ve bu ara yüz ile üç kez okuma ile eğitim yapılabilmekte ve yeni konuşmacı için sistem çalışmaya başlamaktadır. Bilim Kodu : Anahtar Kelimeler : Ayrışık sözcük tanıma, örüntü tanıma Sayfa Adedi : 86 Danışman : Doç. Dr. Özgül SALOR DURNA

7 v SPEAKER DEPENDENT ISOLATED WORD RECOGNITION USING PATTERN RECOGNITION TECHNIQUES (M. Sc. Thesis) Betül KESKİN GAZİ UNIVERSITY GRADUATE SCHOOL OF NATURAL AND APPLIED SCIENCES March 2015 ABSTRACT In this thesis work, an isolated word recognition system based on pattern recognition techniques has been developed for speech-command applications. Different from the common speech recognition algorithms, a speaker-dependent and text-dependent isolated word recognition software based on pattern recognition techniques has been developed, since the target is to obtain a fast and simple software to work with simple devices such as remote controls. The developed isolated word recognition system has been shown to operate successfully. Mel Frequency Cepstral Coefficients (MFCC) are used as features, where the ultimate aim is to obtain a fast isolated word recognizer. These features have been transformed with Principle Component Analysis (PCA), Singular Value Decomposition (SVD) and Linear Discriminant Analysis (LDA) methods separately and the transformed features have been evaluated by Euclidean, Manhattan and Chebyshev distance measures to perform the isolated word recognition task. The proposed methods are compared with a baseline system using Hidden Markov Models (HMM), which are commonly and successfully used for many speech recognition applications, in terms of recognition performance and speed. Nine command words that can be used in any software application, have been defined as keywords and recognition these words and three other out-of-vocabulary words have been recognized with high performance based on a speaker set of 20, 13 women and 7 men, with a highly distributed age range. The highest recognition performance has been obtained using LDA and Euclidean distance measures and this success has been shown to be 97,22% with only the nine words. When the three out-of-vocabulary words are included, the highest performance has been obtained as 90.00% with the LDA and Manhattan distance measure. In terms of computational complexity, word recognition takes 36 miliseconds with HMM method, while it takes 0,5-0,6 miliseconds with the proposed algorithm. An interface to make the system operate for a new speaker has been developed, which requires three successive recordings of the vocabulary for training, and the system starts to work with the new speaker with the help of the developed interface. Science Code : Key Words : Isolated word recognition, pattern recognition Page Number : 86 Supervisor : Assoc. Prof. Dr. Özgül SALOR DURNA

8 vi TEŞEKKÜR Tez çalışmamın her aşamasında yardım ve katkılarıyla bana yol gösteren değerli hocam Doç. Dr. Özgül SALOR DURNA'ya, çalışmam boyunca manevi desteğini hiç esirgemeyen ve çalışmalarımda bana yardımcı olan eşim Faruk KESKİN'e ve kızım Azra KESKİN'e, beni bugünlere yetiştiren annem Leyla ŞAHİN'e, babam Talip ŞAHİN'e ve ağabeyim Harun ŞAHİN'e, tez çalışmamı destekleyen ASELSAN'a ve çalışma arkadaşlarıma, çalışmalarım sırasında beni maddi açıdan destekleyen TÜBİTAK'a en derin duygularla teşekkür ederim.

9 vii İÇİNDEKİLER Sayfa ÖZET... ABSTRACT... TEŞEKKÜR... İÇİNDEKİLER... ŞEKİLLERİN LİSTESİ... iv v vi vii xi SİMGELER VE KISALTMALAR... xiv 1. GİRİŞ KONUŞMA TANIMA SİSTEMLERİNE GENEL BAKIŞ Konuşma Tanıma Sistemlerinin Sınıflandırılması Konuşma tanıma sistemlerinin konuşmacıya bağımlılıklarına göre sınıflandırılması Konuşma tanıma sistemlerinin sesin sürekliliğine göre sınıflandırılması Konuşma tanıma sistemlerinin ses birimine göre sınıflandırılması Konuşma tanıma sistemlerinin metne göre sınıflandırılması Konuşma Tanımada Kullanılan Sınıflandırma Yöntemleri Saklı Markov modelleri (Hidden Markov Model - HMM) Yapay sinir ağları (YSA) Dinamik zaman sıkıştırması (Dinamik Time Warping - DTW) Örüntü tanıma Öznitelik (Özellik) Vektörleri Çıkarımı Yöntemleri Perde frekansı Formant frekansları Kısa zamanlı Fourier spektrumu Doğrusal öngörücü katsayıları (Linear Prediction Coefficients - LPC)... 15

10 viii Sayfa Mel frekansı kepstrum katsayıları (MFCC) Konuşma Tanımayı Etkileyen Faktörler AYRIŞIK SÖZCÜK TANIMA İÇİN ÖRÜNTÜ TANIMA YÖNTEMLERİNİN KULLANILMASI Geliştirilen Algoritma İçin Gerekli Donanım Ve Yazılım Birimleri Geliştirilen Yazılım Eğitim Aşaması Konuşma kaydının aşamaları Sessizlik algılamanın aşamaları Öznitelik matrisinin (yüzeyinin) çıkartılması Özdeğer dönüşüm yöntemleri Referans sözcükler için örüntülerin oluşturulması Test Aşaması Referans Sözcükler İle Hedef Sözcük Uzunluklarının Eşitlenmesi Uzaklık Ölçümü İle Tanıma Öklid uzaklık ölçümü ile tanıma Manhattan uzaklık ölçümü ile tanıma Chebyshev uzaklık ölçümü ile tanıma ÖNERİLEN YÖNTEMLERİN BAŞARIMLARININ DEĞERLENDİRİLMESİ Konuşmacı Bağımlı Değerlendirme Gürültülü Ortamda Konuşmacı Bağımlı Değerlendirme Sistemin Konuşmacıya Bağımlı Olmadığında Değerlendirilmesi SONUÇ VE ÖNERİLER KAYNAKLAR... 63

11 ix Sayfa EKLER EK-1. 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar ÖZGEÇMİŞ... 86

12 x ÇİZELGELERİN LİSTESİ Çizelge Sayfa Çizelge 2.1. Türkçe'deki ünlü harflerin F1, F2, F3 formant frekanslarının yetişkin erkekler için ortalama değerleri [20] Çizelge 4.1. Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiğinde elde edilen sıralı ortalama sonuçlar Çizelge 4.2. Hedef sözcük olarak belirlenen 9 sözcük ve liste dışı üç sözcük seslendirildiği zaman elde edilen sıralı ortalama sonuçlar Çizelge 4.3. Sistemin gürültülü ortamda LDA ve Öklid yöntemi için 5 konuşmacı ile yapılan test sonuçları Çizelge 4.4. Sistemin konuşmacı bağımsız olarak çalıştırıldığında "LDA" ve "Öklid" yöntemi için elde edilen sonuçlar... 59

13 xi ŞEKİLLERİN LİSTESİ Şekil Sayfa Şekil 2.1. Konuşma tanıma sistemlerinin sınıflandırılması... 5 Şekil 2.2. Üç durumlu HMM (a) Ergodik HMM (b) Soldan sağa HMM [16] Şekil 2.3. Örüntü tanıma işlemi Şekil 2.4. Konuşma sinyalinin oluşma aşamaları [20] Şekil 2.5. Ötümlü bir ses için örnek frekans spektrumu (Kırmızı) ve buna karşılık gelen LPC spektrumu (Mavi) [5] Şekil 3.1. Geliştirilen ayrışık sözcük tanıma yazılımının akış şeması Şekil 3.2. Konuşma kayıt sisteminin yapısı Şekil 3.3. Referans sözcüklerden ilk ikisinin kaydı sırasında oluşan MATLAB ekran görüntüsü Şekil 3.4. Eğitim aşamasının sonucunda oluşan bilgi amaçlı ekran görüntüsü Şekil 3.5. "Kopyala" sözcüğü için sessizlik algılama algoritması sonrası elde edilen sinyal (kırmızı), konuşma sinyalinden atılan sessizlik kısımları (gri). 25 Şekil 3.6. Öznitelik vektörlerinin (MFCC) çıkartılması [16] Şekil 3.7. Konuşma sinyalini çerçeveleme [21] Şekil 3.8. Örnek bir konuşma sinyalinin (a), Hamming pencere (b) ile pencerelenmesi (c) [11] Şekil 3.9. Konuşma çerçevesi (a), konuşma çerçevesinin genlik spektrumu (b) [11] Şekil Mel ölçekli süzgeç takımı [11] Şekil İki boyutlu veriye PCA yönteminin uygulanması (a) ve boyut küçültme (b) [17] Şekil İki boyutlu veri noktaları ve onlar için belirlenen en iyi bağlanım (regresyon) çizgisi (a) ve verilerin ikinci bağlanım çizgisi (b) [17] Şekil Verinin farklı eksenlerdeki dağılımı [17] Şekil Belirlenen dokuz referans sözcük ve tanınması istenen "kopyala" hedef sözcüğü için kaydedilen bir kadın konuşmacıya ait dalga şekilleri Şekil "Yapışır" kelimesi için bir kadın konuşmacıdan elde edilen MFCC yüzey Şekil Şekil 3.15'deki MFCC yüzeyin PCA yöntemi ile dönüştürüldükten sonra elde edilen yüzey... 37

14 xii Şekil Sayfa Şekil Şekil 3.15'deki MFCC yüzeyin SVD yöntemi ile dönüştürüldükten sonra elde edilen yüzey Şekil Şekil 3.15'deki MFCC yüzeyin LDA yöntemi ile dönüştürüldükten sonra elde edilen yüzey Şekil Hedef sözcüğün kayıt işleminde oluşan MATLAB komut penceresi Şekil Eğitim aşamasında üç kez seslendirilen referans sözcüklere ait örüntüler ve hedef sözcük olarak seslendirilen aç sözcüğüne ait örüntü Şekil 4.1. Kadın konuşmacı tarafından seslendirilen "yapıştır" sözcüğünün tanınması sonucunda elde edilen ekran görüntüsü, (a) Öklid mesafesi, (b) Manhattan mesafesi (c) Chebyshev mesafesi Şekil 4.2. "Aç" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.3. "Evet" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.4. "Hayır" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.5. "Kapat" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.6. "Kaydet" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.7. "Kes" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.8. "Kopyala" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.9. "Sil" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil "Yapıştır" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil "Değiştir" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil "Ekle" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları... 51

15 xiii Şekil Sayfa Şekil "Yardım sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Öklid uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Manhattan uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Chebyshev uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Öklid uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Manhattan uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Chebyshev uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar... 56

16 xiv SİMGELER VE KISALTMALAR Bu çalışmada kullanılmış bazı simgeler ve kısaltmalar, açıklamaları ile birlikte aşağıda sunulmuştur. Simgeler ms Hz khz Açıklama mili saniye Hertz kilo Hertz Kısaltmalar DFT DTW FFT HMM LDA LPC MFC MFCC PCA SVD YSA Açıklama Discrete Fourier Transform Dynamic Time Warping Fast Fourier Transformation Hidden Markov Model Linear Discriminant Analysis Linear Prediction Coefficients Mel Frequency Cepstrum Mel Frequency Cepstral Coefficients Principal Component Analysis Singular Value Decomposition Yapay Sinir Ağları

17 1 1. GİRİŞ Mühendisler, insan davranışlarını taklit edebilen makineler ile insan arasındaki iletişimi sağlayan teknolojik gelişmeler üzerinde uzun yıllardan beri çalışmaktadır. Konuşma tanıma sistemleri bu tür gelişmeleri sağlayan araştırma konularının başında gelir ve bu sistemler, bir mikrofon tarafından kaydedilen seslerin, bilgisayar programları ile tanınmasına yönelik yapılan çalışmaları içeren sistemlerdir. Konuşma tanıma problemi, geçmişten günümüze literatürde oldukça geniş bir yere sahip olmuştur ve çok çeşitli sistemler geliştirilmiştir. Konuşma işleme, çok çeşitli sinyal işleme tekniklerinin uygulanabileceği bir çalışma alanıdır. Konuşma tanıma ise, konuşma işleme alanının kendi içinde de sınırlı ya da sınırsız sözcükle sürekli konuşma tanıma, sözcük yakalama, ayrışık sözcük tanıma, gibi çok farklı alt alanları içeren bir koludur ve literatürde 1950 tarihlerinden itibaren bu alanların hepsi üzerine yapılmış çok sayıda çalışma bulunmaktadır. İnsanların günlük hayatta kolaylıkla gerçekleştirdiği konuşma tanıma işlemini, bilgisayar ortamında bir algoritma ile hızlı bir biçimde gerçekleştirmek oldukça karmaşık bir problemdir. Bu problemin çözülmesi halinde, insanlara ait olan bir yeteneğin makineler sayesinde yapılmasında önemli bir adım atılmış olacaktır. Ve bu sayede basit bir gömülü sistemde hızlı bir biçimde çalışabilecek, örneğin engelli kişiler tarafından kullanılabilecek, bir cihazın kontrolünde kullanım alanı olabilecek bir uygulama geliştirilebilecektir. Mevcut çalışmalarda, konuşma tanıma sistemlerinde tercih edilen yöntemler, genellikle Saklı Markov Modelleri (Hidden Markov Model - HMM) kullanmaktadır. Bu tez çalışması kapsamında herhangi bir gömülü sistemde, örneğin kumanda cihazı üzerinde, çalışabilecek ve HMM yöntemine göre daha hızlı ve aynı zamanda güvenilir bir algoritma geliştirilmesi hedeflenmiştir. Azam ve arkadaşları çalışmalarında, Yapay Sinir Ağları (YSA) ile, Urdu dilinde seslendirilen rakamların tanınmasını amaçlamışlardır [1]. Öznitelik çıkarımı için Mel Frekans Kepstrum (Mel Frequency Cepstrum - MFC) analizi kullanılmıştır. Her bir sözcük için 39'ar tane Mel Frekans Kepstral Katsayıları (Mel Frequency Cepstral Coefficients - MFCC) hesaplanmıştır. Başarı oranları %98 olarak belirtilmiştir. Ancak konuşmacıların her bir kelimeyi 100'er defa seslendirmesinin gerekli olduğu bir veri tabanı kullanmışlardır.

18 2 Ayrıca sözcüklerin kayıt süreleri, kayıt işleminde hataya sebep olabilecek şekilde 0.8 saniye gibi oldukça kısa seçilmiştir [1]. Saheli ve arkadaşları çalışmalarında, YSA'lar ile İngilizce "evet" ve "hayır" sözcüklerinin tanınmasını amaçlamışlardır [2]. Sözcüklere ait özniteliklerin çıkarımı için MFC analizi kullanılmıştır. Her bir sözcük için 13'er tane MFCC hesaplanmıştır. Uygulamalarının test sonuçları "evet" kelimesi için %75, "hayır" kelimesi için %90 olarak ifade edilmiştir. Ancak testlerin sadece iki adet bayan ile gerçekleştirildiği belirtilmiştir [2]. Shearme ve Leach çalışmalarında, herhangi bir konuşmacı tarafından seslendirilen ayrışık sözcüklerin tanınmasını sağlayan bir uygulama geliştirmişlerdir [3]. Deneylerinde, her bir kelimeyi normalize edilmiş spektrum zarfının belirli aralıkları ile elde edilen değer kümesi ile ifade etmişler ve bu sayede her bir kelime için değerleri karşılaştırmak sureti ile tanıma işlemini gerçekleştirmişlerdir. Çalışmalarında 32 sözcükten oluşan bir sözlük oluşturmuşlar ve 10 konuşmacı ile uygulamalarının testlerini gerçekleştirmişlerdir. Tanıma yüzdelerini %90 olarak belirtmişlerdir. Çalışmanın en önemli sınırlaması, aynı kelimelerin farklı konuşmacılar tarafından farklı şekilde seslendirilmesi sebebi ile spektrum eşleşmesinde karşılaşılan sorunlar olarak belirtilmiştir [3]. Purton çalışmasında özilinti tekniği ile bir sistem tasarlamıştır [4]. Her bir sözcüğe özilinti fonksiyonu uygulamış ve tanıma işlemi için örüntü tanıma yöntemi kullanmıştır. Sistem başarımını %98 - %99 olarak belirtmiştir [4]. Sajjan ve C çalışmalarında, sınırlı kelime için ayrışık sözcük tanıma gerçekleştirmişlerdir [5]. Öznitelik çıkarımı için Doğrusal Öngörücü Katsayıları (Linear Prediction Coefficients - LPC) ve MFCC kullanmışlardır. Sınıflandırma yöntemi olarak Dinamik Zaman Sıkıştırması (Dinamik Time Warping - DTW) ve HMM yöntemlerini incelemişler ve söz konusu bu iki yöntemi kıyaslamışlardır. HMM yönteminin DTW yöntemine göre daha başarılı olduğunu belirtmişlerdir. MFCC yöntemi insan kulağını modellerken, LPC ses yolunu modellediğinden, MFCC yönteminin daha başarılı bir öznitelik çıkarımı yöntemi olduğu belirtilmiştir [5]. Brown ve Rabiner çalışmalarında, ayrışık sözcük tanıma uygulaması konuşmacı bağımsız gerçekleştirmişlerdir [6]. Öznitelik çıkarımı için LPC yöntemi kullanmışlardır [6].

19 3 Wu ve Chan çalışmalarında, YSA kullanarak, konuşmacı bağımsız ayrışık sözcük tanıma gerçekleştirmişler ve HMM yöntemi ile kıyaslamışlardır [7]. Yaptıkları testler sonucu, YSA yöntemi ile %95,5, HMM yöntemi ile ise %91 oranında bir başarım elde etmişlerdir [7]. Polur ve Miller çalışmalarında, Hızlı Fourier Dönüşümü (Fast Fourier Transformation - FFT), LPC ve MFCC öznitelik çıkarım yöntemlerini kullanarak HHM sınıflandırma yöntemi ile ayrışık sözcük tanıma sistemi geliştirmişlerdir [8]. Yaptıkları denemeler sonucunda 15 ms'lik pencerelerle 10 durumlu ergodik modeli başarımı yüksek konfigürasyon olarak belirtmişlerdir. Ayrıca, 25 ayrışık sözcük tanıyan kendi uygulamaları için MFCC öznitelik çıkarımı yönteminin LPC ve FFT'ye göre başarım açısından daha ileride olduğu belirtilmiştir [8]. Artuner çalışmasında, ayrışık sözcük tanıma ve sözcük altı ses birimleri tanıma yaklaşımlarından, Türkçe için fonem tanıma tercihi yapmıştır [9]. Fonem kümeleme sayesinde sözcük tanıma ve tanınan sözcüğün yazıya geçirilmesi hedeflenmiştir [9]. Aydın çalışmasında, konuşmacı bağımlı, fonem tabanlı ve belirli sözcükleri tanıyan, YSA'yı kullanarak bir ses tanıma sistemi gerçekleştirmeye çalışmıştır [10]. Kısmen de olsa ses tanıma amacını gerçekleştirdiğini belirtmiştir. Fonem sınırlarının belirlenmesi üzerine çalışılması gerektiği ve bu sayede başarımın arttırılabileceği dile getirilmiştir [10]. Hanilçi çalışmasında, metinden bağımsız, konuşmacı tanıma konusunda sıkça kullanılan yöntemlerden HMM ve yüksek boyutlu verilerin sıkıştırılarak daha az sayıda elemanla ifade edilebilmesini sağlayan vektör nicemleme algoritmalarını incelemiştir [11]. Yapılan uygulama 40 kişilik bir konuşmacı grubu ile test edilmiş ve başarılı bir sonuç aldığı belirtilmiştir. Sistemde gürültü içermeyen bir veri tabanı kullanılmıştır. Ancak gerçek zamanlı uygulamalarda gürültünün olmaması mümkün değildir. Bu durumu sistemin geliştirilebilir yönü olarak belirtmiştir [11]. Dede, çalışmasında konuşmacı bağımlı, sözcük tabanlı ve ayrışık sözcük tanıma özelliklerini temel almıştır [12]. Çalışmasında YSA konularını detaylı bir biçimde incelemiş ve YSA uygulamalarında kullanılan söz konusu yapıları birbirleri ile kıyaslamıştır. Ses sinyallerine ait özniteliklerin çıkarımı için MFC analizi ile elde edilen

20 4 MFCC değerlerini kullanmıştır. Çalışması kapsamında gerçekleştirdiği uygulama ile %98,75 doğru sonuç elde etmiştir [12]. Karacı çalışmasında, örüntü tanıma sisteminin konuşmacı bağımlı bir uygulamasını gerçekleştirmiştir [13]. Seslendirilen kelimelerin başlangıç ve bitişini sesin enerjisini kullanarak belirledikten sonra, sırasıyla filtreleme, pencereleme, FFT ve özilinti fonksiyonu işlemlerini gerçekleştirir. Karacı çalışmasında yüksek bir başarı elde ettiğini belirtse de, uygulamasının pek çok sınırlılıkları olduğunu belirtmiştir [13]. Öcal çalışmasında, HMM tabanlı ayrışık kelime tanıma sistemi geliştirmiştir [14]. Sesin akustik parametrelerini farklı yöntemlerle konuşmacıdan bağımsız konuşma tanıma sistemleri için incelemiş ve bu yöntemlerin başarımlarını değerlendirmiştir. Seçtiği sözcükler sadece rakamlardan oluşmaktadır ve 20 adet konuşmacıya rakamların üçer kez tekrarlatılması ile eğitim verisini elde etmektedir [14]. Tunalı çalışmasında, Türkçe için konuşmacı bağımlı, geniş sözcük dağarcıklı, ayrışık sözcük tanıma sistemi üzerine çalışmıştır [15]. Ses sinyalinden özellik vektörü çıkarımı için MFCC tercih edilmiştir. Tanıma işlemi için HMM ile modellenmiş fonemler kullanılmıştır. Fonem tabanlı tanıma kullanılarak, sistemde eğitilmemiş sözcüklerin tanınması da sağlanmıştır [15]. Bu tez çalışmasında, ayrışık sözcük tanıma için, öznitelik olarak MFCC kullanılmıştır. Sınıflandırma aşamasında hız amaçlandığı için, çeşitli örüntü tanıma yöntemleri incelenmiş ve bulunan öznitelikler Ana Bileşen Çözümleme (Principal Component Analysis - PCA), Tekil Değer Ayrıştırma (Singular Value Decomposition - SVD) ve Lineer Diskriminant Analizi (Linear Discriminant Analysis - LDA) yöntemleri ile dönüştürülmüş ve dönüştürülen bu özniteliklerin kullanıldığı bir ayrışık sözcük tanıma algoritması geliştirilmiştir. Geliştirilen sistemin mümkün olduğunca basit olması, konuşma tanıma alanında en sık kullanılan yöntem olan HMM yöntemine göre hızlı çalışması ve sistem başarımı açısından güvenilir olması amaçlanmıştır. Ayrıca sisteme yeni kullanıcıların kolay bir şekilde dahil edilebilmesi hedeflenmiş ve üç tekrarlı okuma ile sistemi yeni bir konuşmacı ile çalışabilir hale getiren bir ara yüz geliştirilmiştir.

21 5 2. KONUŞMA TANIMA SİSTEMLERİNE GENEL BAKIŞ 2.1. Konuşma Tanıma Sistemlerinin Sınıflandırılması Konuşma tanıma sistemlerinin sınıflandırılması dört ayrı kritere göre yapılmaktadır [12]. Bu kriterler, konuşmacıya bağımlılığı, konuşmanın sürekliliği, ses birimlerinin yapısı ve metin yapısıdır. Alt bölümlerde bu sistemler genel olarak anlatılmıştır. Şekil 2.1'de konuşma tanıma sistemlerinin bu kriterlere göre sınıflandırılması görselleştirilmiştir. KONUŞMACIYA BAĞIMLILIKLARINA GÖRE: Konuşmacıya bağımlı konuşma tanıma Konuşmacıdan bağımsız konuşma tanıma SESİN SÜREKLİLİKLERİNE GÖRE: Ayrışık sözcük tanıma sistemleri Sözcük yakalama sistemleri Sürekli konuşma tanıma sistemleri KONUŞMA TANIMA SES BİRİMİNE GÖRE: Kelime tabanlı konuşma tanıma Fonem tabanlı konuşma tanıma METNE GÖRE: Metine dayalı konuşma tanıma Metinden bağımsız konuşma tanıma Şekil 2.1. Konuşma tanıma sistemlerinin sınıflandırılması Konuşma tanıma sistemlerinin konuşmacıya bağımlılıklarına göre sınıflandırılması Konuşma tanıma sistemleri, konuşmacıya bağımlılıklarına göre iki şekilde sınıflandırılabilir [12]: Konuşmacıya bağımlı konuşma tanıma Konuşmacıdan bağımsız konuşma tanıma

22 6 Konuşmacıya bağımlı konuşma tanıma Bu tür sistemler, genellikle sistemin bir konuşmacı için çalışmasının yeterli olduğu masaüstü uygulamaları için kullanılır [13]. Bu sistemler için tek bir kişi için referans şablonlarının oluşturulması gereklidir. Yeni kişilerin konuşmalarının tanınabilmesi için şablonların güncellenmesi gereklidir. Konuşmacıdan bağımsız konuşma tanıma Bu sistemler herhangi bir kişi tarafından seslendirilen bir konuşmayı tanıyan sistemlerdir. Konuşmacıdan bağımsız sistemler, konuşmacılardan daha önce alınan ses örnekleriyle gerçekleştirilen bir ön eğitim aşaması içerirler. Kullanıcıların bu tarz sistemleri hemen kullanmaya başlayabilmeleri, bu sistemlerin avantajıdır ancak konuşmacıya bağımlı sistemlere göre sistem başarımı daha düşüktür. Bununla birlikte, sistemin konuşmacıdan bağımsız olması, sistemin kullanım alanını arttırsa da, yeterli sistem başarımını sağlamak konuşmacıya bağımlı sistemlere göre daha zordur Konuşma tanıma sistemlerinin sesin sürekliliğine göre sınıflandırılması Konuşma tanıma sistemleri, sesin sürekliliğine göre üç şekilde incelenebilir [12]: Ayrışık sözcük tanıma Sözcük yakalama Sürekli konuşma tanıma Ayrışık sözcük tanıma Ayrışık sözcük tanıma sistemleri, diğer konuşma tanıma sistemlerinin temelini oluşturan en yalın konuşma tanıma tekniğidir [9]. Sözcükler arası durakların belirgin olma zorunluluğu olan bu sistemlerde, sözcüklerin başlangıç ve bitiş noktalarının belirlenmesi gerekebilir. Bu tanıma işleminde öncelikle konuşmanın ses içeren ve sessizlik içeren kısımlarının ayrılmasını sağlayan sessizlik tanıma işleminin yapılması gerekmektedir. Ayrışık sözcük tanımadaki hız sorunu bu işlemlerden kaynaklanmaktadır. Sözcük sınırlarının doğru ve güvenilir bir şekilde belirlenmesi ise sözcük tanıma sisteminin

23 başarımını ciddi anlamda etkiler. Bu tez çalışması kapsamında da ayrışık sözcük tanıma yapısı kullanılmıştır. 7 Sözcük yakalama Sürekli konuşma içinde aranan sözcüklerin yakalanmasını sağlayan sistemlerdir. Sözcük yakalama sistemi konuşmanın tümünü tanıyan bir sistem değildir. Aranan her sözcüğün bir şablon ile ifade edildiği bu sistemlerde tanıma işlemi, aranan şablonun konuşma içinde çakıştığı bir örüntü arama biçiminde gerçekleşmektedir [9]. En çok dinamik programlama teknikleri kullanılan bu sistemlerde, potansiyel başlangıç noktası olarak sisteme giren sürekli konuşma sinyalinin her örneği yeni bir süreç olarak kabul edilmelidir [13]. Sürekli konuşma tanıma Ayrışık sözcük tanıma ve sözcük yakalama sistemlerine göre yüksek başarım elde edilmesi daha zor olan bu sistemler, bağlı sözcük tanıma sistemleri ve karşılıklı konuşma tanıma sistemleri olmak üzere iki biçimde ele alınabilir [13]. Bunlardan ilki tanıma işlemini kelime bazında yaparken, diğeri cümlenin anlamının da anlaşılmasını hedeflemiştir. Bu sistemi diğerlerine göre daha zor kılan etkenler üç farklı sebepten kaynaklanmaktadır. Bunlar, sözcük sınırlarının belirgin olmayışı, seslerin birlikte seslendirilmesinden kaynaklanan sorunlar, yani tanınacak sözcüklerin ön ve arkasına gelen sözcüklerden etkilenmesi, sözcüklerin telaffuzu sırasında duraklama ve vurgulamadan kaynaklanan bazı harflerin ya da sözcüklerin kaybedilmesi olarak sıralanabilir [13] Konuşma tanıma sistemlerinin ses birimine göre sınıflandırılması Konuşma tanıma sistemleri, ses birimine göre iki kısımda incelenebilir [12]: Sözcük tabanlı konuşma tanıma Fonem tabanlı konuşma tanıma

24 8 Sözcük tabanlı konuşma tanıma Bu sistemlerde tanıma işlemi için gerekli olan en küçük unsur sözcüklerdir. Sözcük tabanlı sistemler, belirlenen sınırlı sözcükler için çalıştığından, cihazların kontrolünü sağlayan kumanda uygulamalarında kullanılır ve uygulamalarda yüksek doğruluk derecesini de beraberinde getirir. Bu tez çalışması kapsamında da sözcük tabanlı konuşma tanıma hedeflenmiştir. Fonem tabanlı konuşma tanıma Fon, kelimelerin seslendirişi sırasında ağızdan çıkan ses iken, fonem bu fonlardan herhangi birisinin değiştirilmesi ile anlamı değişen en küçük ses birimidir. Bu sistemlerde tanıma işlemi için gerekli olan en küçük unsur fonemlerdir. Sistem gereksinimleri sözcük tabanlı konuşma tanıma sistemlerine göre azalmıştır ancak beraberinde sistemlerin doğruluk dereceleri de azalma göstermiştir [12] Konuşma tanıma sistemlerinin metne göre sınıflandırılması Konuşma tanıma sistemleri, metne göre iki grupta incelenebilir [12]: Metne dayalı konuşma tanıma Metinden bağımsız konuşma tanıma Metne dayalı konuşma tanıma Bu tür sistemlerde tanınması hedeflenen metin bellidir ve metinde geçen sözcüklerin sırası değiştirilmez. Sistem eğitim aşamasında kullanılan sözcüklerin farklı seslendiriliş biçimleri ile test edilmiş olur. Bu tez çalışması kapsamında metne dayalı bir sistem geliştirilmiştir.

25 9 Metinden bağımsız konuşma tanıma Bu tür sistemlerde tanınması hedeflenen metin belli değildir, metindeki sözcüklerin farklı kombinasyonları kullanılabilir. Metinden bağımsız ve sözcük tabanlı bir sistem, örneğin, "kurtaran" ve "can" sözcüklerini eğitim aşamasında sisteme tanıtmışsa, test aşamasında "cankurtaran" sözcüğünün de tanınması hedeflenir Konuşma Tanımada Kullanılan Sınıflandırma Yöntemleri Literatürde konuşma tanımada kullanılan yöntemler dört ana başlık altında incelenebilir [13]: Saklı Markov modelleri (Hidden Markov Model - HMM) Yapay sinir ağları (YSA) Dinamik zaman sıkıştırması (Dinamik Time Warping - DTW) Örüntü tanıma (Pattern recognition) Saklı Markov modelleri (Hidden Markov Model - HMM) HMM, konuşma tanıma uygulamalarında yaygın olarak kullanılan istatistiksel yöntemlerden biridir. HMM in yapısının insanın konuşma sistemine uygunluğu ve sağladığı yüksek başarım nedeni ile konuşma tanıma sistemlerinin en çok tercih edilen yöntemleri arasındadır [16]. Bir HMM, N adet durumdan oluşur [16]. Modelin her bir adımında, modelin bir önceki adımda bulunduğu durum tarafından belirlenen bir geçiş olasılığına göre yeni bir duruma geçilir. Her bir adımın sonunda içinde bulunulan yeni duruma bağlı olarak bir gözlem sembolü üretilir. Bu geçiş olasılık dağılımı, duruma ne zaman ve nasıl geçildiğinden bağımsızdır. HMM, durum geçiş olasılık matrisine bağlı olarak ergodik ve soldan-sağa HMM olmak üzere iki gruba ayrılmaktadır [16]. Şekil 2.2 de üç durumlu ergodik ve soldan-sağa saklı Markov modelleri görülmektedir. Buradan da görüleceği gibi, ergodik HMM de bir durumdan diğer bütün durumlara geçiş varken, soldan sağa HMM için bu durum söz konusu değildir. Ergodik HMM ile soldan-sağa HMM arasındaki diğer bir fark da başlangıç durum olasılıklarında görülmektedir. Soldan sağa HMM de durum dizisi

26 10 birinci durumdan başlamak ve N. durumda sonlanmak zorundadır [16]. Konuşma tanıma sistemlerinde konuşma sinyalinin doğasına uygun olan soldan-sağa HMM yöntemi genellikle kullanılır. Şekil 2.2. Üç durumlu HMM (a) Ergodik HMM (b) Soldan sağa HMM [16] Yapay sinir ağları (YSA) Yapay sinir ağları (YSA) konuşma tanımada kullanılan yöntemler içinde önemli bir yer tutmaktadır. Bu yöntem diğer yöntemlerden daha yavaş olan bir örüntü tanıma sistemidir. Bu teknikteki en büyük problemlerden biri, konuşma tanıma gibi karmaşık sorunları çözmek için ya çok büyük ya da çok katmanlı ve çok nöron içeren sinir ağlarına ihtiyaç duyulmasıdır. YSA'lar büyüdükçe çalışmaları da üstel bir şekilde yavaşlamaktadır. YSA bir örüntü tanıma sistemi olup, geliştirilen sistem, bir örüntüyü verilen bir sonuçla ilişkilendirmeyi öğrenir. Örneğin, görüntü işleme uygulamaları için düşünüldüğünde, YSA ya a,b,c rakamlarının karakteristikleri öğretildiğinde artık aynı harfleri farklı büyüklükte ya da başka birine ait el yazısıyla yazıldığında dahi tanıyabilmektedir Dinamik zaman sıkıştırması (Dinamik Time Warping - DTW) Dinamik zaman sıkıştırması, dinamik programlamadan türemiş şablon karşılaştırma algoritmasıdır ve konuşma tanıma yöntemlerinde sıklıkla kullanılan bir diğer yöntemdir. Bu yöntem diğer yöntemlerle birlikte kullanılır ve konuşma tanıma işlemlerinin verimliliğini arttırmaya yöneliktir. Bu yöntemde, sesli ifadelerin seslendirme süreleri sıkıştırılarak ya da genişletilerek referanslarla karşılaştırılma ilkesi kullanılmaktadır.

27 11 Konuşma tanımada referans sözlükteki şablonlarla konuşulan kelime karşılaştırılmak zorundadır. Kullanıcıya bağımlı olarak değişen konuşma hızı bu işlemdeki ilk zorluktur. Dinamik zaman sıkıştırması esas olarak, iki konuşma örüntüsünün değişik konuşma hızlarını düzenleyen bir genel zaman ayarlama prosedürü olarak kullanılır Örüntü tanıma Amacı nesneleri belirli sayıda sınıfa ayırmak olan örüntü tanıma yöntemi, temel olarak üç aşamada gerçekleşir. İlk önce konuşma verisi elde edilir ve sonrasında konuşma verisi üzerinde ön işlemler (gürültü süzme, özniteliklerin çıkartılması gibi işlemler) uygulanır. Son olarak da sınıflandırma işlemi gerçekleştirilir. İlk aşama olan konuşma verisini elde etmek için, sesler mikrofon aracılığıyla bilgisayar ortamına aktarılır. Daha sonra konuşma verisi, hazırlanan algoritma sayesinde ön işlemlerden geçirilir ve özellik vektörleri çıkarılır. Son olarak elde edilen bu vektörler sınıflandırıcılar tarafından bazı istatiksel ölçütler kullanılarak sınıflandırılır. Bu aşamalar Sekil 2.3'de blok şema olarak gösterilmiştir[13]. Mikrofon aracılığıyla sesi yakala Ön işlemleri uygulayarak parametre çıkar Örüntü karşılaştırma Sonuç Şekil 2.3. Örüntü tanıma işlemi Örüntü tanımada öncelikli amaç örüntüleri sınıflandırmaktır. Örüntüye dayalı konuşma tanıma sistemlerinde doğrudan spektral vektörlerin zaman sıralamasına odaklanılır. Örneğin, konuşma çerçevesinin toplam sayısı i olmak üzere, tanınması hedeflenen sözcüğün oluşturduğu ses T = {t 1, t 2, t 3,, t i } olarak tanımlanır. Buna benzer olarak referans örneklerinin oluşturduğu ses R j = {r j 1, r j j 2, r 3,..., r j j } olarak ifade edilir. Her bir R i, bir frekans örüntüsünü hem de spektral çerçevelerin oluş sırasını simgeler. Örüntü karşılaştırma sisteminin amacı, T'nin her bir R j 'ye (1 j V), (V referans sözcük sayısı olmak üzere) olan uzaklığını belirlemektir. Burada amaç, minimum uzaklığa sahip olan referans örüntüsünü belirlemek ve bu örüntünün konuşma girdisiyle ilişkilendirilmesini sağlamaktır [13].

28 12 Örüntüleri sınıflandırmada genellikle kümeleme yöntemlerinin temelini oluşturan k- ortalama (k-means) tabanına dayalı kümeleme yöntemi kullanılır. PCA, SVD ve LDA özçözümleme (eigen-analysis) yöntemleri, bu sınıflandırma yönteminin verimliliklerini arttırmak için kullanılmaktadır. Bu sayede daha az küme sayısı ile aynı miktarda verinin doğru sınıflandırılması sağlanır. PCA, genelde bir veri kümesinin, gürültülü kısımlarını elemek için kullanılır. SVD, verinin tekil değerlerini hesaplamak için kullanılır ve bu değerler üzerinden sınıflandırmayı gerçekleştirmek daha verimlidir. LDA ise verileri doğrusal olarak sınıflara ayıracak optimum boyutu bulmayı sağlar [17, 18] Öznitelik (Özellik) Vektörleri Çıkarımı Yöntemleri Kişiyi temsil edecek olan öznitelik vektörlerinin elde edilmesi konuşma tanıma uygulamalarının oldukça önemli bir adımıdır. Bu öznitelik vektörleri zamanla değişen ve zamanla değişmeyen öznitelikler (özellikler) olarak iki gruba ayrılırlar [19]. Metinden bağımsız konuşmacı tanıma uygulamaları için uygun olan zamanla değişmeyen öznitelikler, zamanla değişiklik gösteren özniteliklerin ortalamalarının alınması ile ya da ses yolunun değişmez anatomik yapısının ölçülmesi ile elde edilir. Zamanla değişen özellikler ise, zamanın sürekli fonksiyonu olan parametrelere karşı seçici olarak tanımlanmış parametrelerin ayırt edilmesi sonucu elde edilir. Bu özniteliklerin elde edilmesi kolaydır ancak gereksiz pek çok sayıda bilgi içermektedir [11]. Konuşma tanımada sıklıkla kullanılan öznitelikler şöyle sıralanabilir [11]: Perde frekansı Formant frekansları Kısa zamanlı Fourier spektrumu Doğrusal öngörücü katsayıları (Linear Prediction Coefficients - LPC) Mel frekansı kepstrum katsayıları (MFCC) Perde frekansı Perde frekansı, ses tellerinin titreşimlerinin temel frekansıdır. Perde frekansı diğer ses özellikleri ile birlikte kullanıldığında konuşmacı tanıma uygulamalarında kullanılmakla birlikte, konuşma tanımada nadiren kullanılmaktadır. Perde frekansı, hem frekans

29 ekseninde spektral tepe değerlerinin hesaplanması ile hem de zaman ekseninde ses sinyalinin periyotlarının ölçülmesi ile elde edilebilir [11] Formant frekansları Temel olarak konuşma, akciğerdeki havanın ağızdan çıkana kadar uğradığı değişimler sonucunda oluşur [20]. Bu değişim sırasında üretilen sese ve sesi üreten kişiye bağlı olarak çeşitli frekanslarda enerji yoğunlaşması gerçekleşir. Bu frekanslara formant (biçimlendirici) frekansı adı verilmektedir. Ünlü harflerin formant frekans sayısı 4 ile 6 arasında değişirken, bir ünlü harfin anlaşılabilir olması için üç formant frekans yeterlidir [20]. Formant frekansları ses yolunun geometrisine göre bu frekansların gerek sayılarının gerekse değerlerinin değişiklik göstereceği açıktır. Türkçe'deki sesli harfler için ortalama F1, F2, F3 formant frekanslarının değerleri yetişkin erkekler için Çizelge 2.1'de verilmiştir [20]. Çizelge 2.1. Türkçe'deki ünlü harflerin F1, F2, F3 formant frekanslarının yetişkin erkekler için ortalama değerleri [20] Ünlü F1 (Hz) F2 (Hz) F3(Hz) A 628,9 1259,3 2706,2 E 485,6 1834,0 2614,1 I 537,4 1577,5 2722,0 İ 286,1 2177,9 2942,7 O 467,7 1064,5 2695,4 Ö 543,9 1516,7 2549,3 U 309,9 908,8 2400,9 Ü 372,1 1632,7 2369,3 Formant değişiminin ses tellerinden çıkan sinyal üzerindeki etkisi Şekil 2.4'te gösterilmiştir [20].

30 14 Şekil 2.4. Konuşma sinyalinin oluşma aşamaları [20] Şekil 2.4'te ilk sütunda ses telleri ve altında ses tellerinin çıkışındaki havanın oluşturduğu dürtü katarı (impulse train) sinyali görülmektedir [20]. İkinci sütunda konuşmacının ses yolu ve altında çıkan sese ait ses yolunun frekans tepkisi gösterilmiştir. Ses yolunun frekans tepkisinin tepeleri (F1, F2 ve F3) formant frekanslarına denk gelmektedir. Son sütunda ise, oluşan konuşma sinyali ve altında buna ait frekans tepkisi gösterilmiştir. Formant frekansların değeri yaşa, cinsiyete ve diğer fiziksel özelliklere bağlı olarak değişim gösterebilmektedir ki bu da formant frekanslarının konuşmacıya özel olduğunu gösterir. Ünlü harflerin ses olarak üretilmesi aşamasında dilin yukarıda veya aşağıda kalması, dudakların yuvarlanıp yuvarlanmaması gibi özellikler formant frekanslarının değerlerinden çıkarılabilmektedir [20]. Örneğin F1 frekansı ünlü harfin yüksekliğini (dilin yukarıda veya aşağıda olması) bulmakta kullanılabilir. F1 frekansı ile ünlünün yüksekliği arasında ters orantı vardır. F1 frekansının büyük değerlerinde yükseklik azalırken, düşük değerleri için ise artmaktadır [20]. F2 formant frekansı ise ünlü harfin üretilirken dilin öne veya arkaya geçme durumunu tespit etmede kullanılabilir. Büyük F2 değerleri için dil öne kayarken, düşük F2 değerlerinde arka tarafa kaymaktadır [20] Kısa zamanlı Fourier spektrumu Kısa zamanlı Fourier spektrumu konuşma sinyalinin, koordinatları zaman, frekans ve enerji olacak şekilde üç boyutlu olarak temsil edilmesine dayanmaktadır. Kısa zamanlı

31 15 Fourier spektrumu, ardışık pencereler için bulunan Fourier spektrumlarının genliklerinin üçüncü boyut olarak renklerle gösterilmesi ile oluşturulur. Pencere uzunlukları, konuşma sinyalinin durağan olduğu varsayılan ms olarak belirlenir [21]. Böylece konuşma sinyalinin zaman içinde değişen spektrum özellikleri ortaya çıkartılmış olur Doğrusal öngörücü katsayıları (Linear Prediction Coefficients - LPC) Doğrusal öngörü analizi, konuşma sinyallerinin spektral özelliklerini zaman ortamında incelemede önemli bir yere sahiptir. Bu yöntemde, konuşma sinyalinin her bir örneği, belli miktardaki geçmiş örneklerin doğrusal ağırlıklandırılmış toplamı şeklinde öngörülür. Öngörücü katsayıları, ortalama karesel öngörü hatasını minimum yapan ağırlık katsayıları olarak tanımlanır [11]. Genellikle 5kHz band sınırlı bir ses işareti için 12 adet katsayı kullanmak yeterlidir. Öngörücü katsayıları zamanın bir fonksiyonu olarak değişir. Genellikle 20 ms'lik periyotlarla hesaplanması uygundur. Doğrusal öngörücü tabanlı katsayılar (Linear Prediction Coefficient - LPC) ses yolunu modellemektedir. Şekil 2.5'te örnek bir ötümlü ses spektrumu gösterilmiştir [5]. Kırmızı ile gösterilen spektrumun tamamıdır ve perde periyodundan kaynaklanan tepeler açıkça görülmektedir. LPC'lerin temsil ettiği boğaz filtresi ise bütün spektrumun tepelerine denk gelmektedir ve LPC spektrumu mavi çizgi ile gösterilmiştir. LPC'ler konuşmacı tanımada sıklıkla kullanılmasına rağmen gürültüden oldukça etkilenmektedirler [11]. Şekil 2.5. Ötümlü bir ses için örnek frekans spektrumu (Kırmızı) ve buna karşılık gelen LPC spektrumu (Mavi) [5]

32 Mel frekansı kepstrum katsayıları (MFCC) Mel frekansı kepstrum katsayıları (Mel Frequency Cepstral Coefficient - MFCC), LPC'ye gerek kalmadan hesaplanabilirler. Çünkü LPC ses yolunu modellerken, MFCC özellikleri insan kulağını modellemektedir [11]. Süzgeç takımı kullanılarak elde edildiğinden dolayı, gürültülü seslerde öngörücü katsayılarına göre daha iyi başarım göstermektedir. MFCC, hem konuşma tanıma hem de konuşmacı tanıma uygulamalarında kullanılmakta ve başarılı sonuçlar vermektedir. Bu nedenle de günümüzde en çok kullanılan özellik vektörleridir Konuşma Tanımayı Etkileyen Faktörler Konuşma tanıma işlemini bilgisayar ortamında başarılı bir biçimde gerçekleştirmek için, karşılaşılan problemlerin önceden tanınması ve bu yönde önlemler alınması gereklidir. Tutarlı ve güvenilir bir şekilde çalışan konuşma tanıma sistemi elde etmek pek çok sebepten dolayı zordur. Bu faktörler genellikle konuşmanın kaydedildiği ortamla ve konuşmacıyla ilgili olup maddelendirilmiştir [9]. Kişinin bulunduğu ortamdaki gürültü ya da ortamda tanımayı zorlaştıran başka seslerin bulunması tanımayı güçleştiren etkenlerdendir. Konuşma tanıma sistemleri, filtreleme yöntemleri ile olabildiğince gürültüden arındırılmış ses örnekleri için gerçekleştirilmelidir. Konuşma sinyali, fonetik bilgiye sahip olmakla birlikte aynı zamanda konuşmacılara özgü nitelikleri de içermektedir. Sesli ifadelerde lokus olarak bilinen F1 / F2 ünlü formant sıklık oranları, her bir konuşmacı için değişiklik gösterir. Sözcüklerin seslendiriliş biçimlerinin kişiden kişiye farklılık göstermesi, sistemin konuşmacı bağımlılığı olduğunu gösterir ve bu özellik konuşma tanımayı güçleştirir [9, 22]. Konuşmacıların çoğu kez sözcükleri tane tane telaffuz etmemeleri, arka arkaya söylenen kelimelerin bazılarının yutulması, ya da gereksiz kullanılan kelimeler (um, ım, hmm gibi) konuşma tanımayı etkileyen bir diğer problemdir. Heceler arası durakların her zaman aynı nitelikte olmayışı, akıcı bir konuşmada kelimeler arasında boşlukların olmaması sistemin başarımını etkiler. Zaman içinde fonetik değişim sorunu olarak bilinen bir diğer etken de tek bir konuşmacıya ait ünlü formant sıklıkları, lokus ve formant geçiş süreleri zaman içinde değişiklik gösterebilmesidir [22].

33 17 Sesli ifadede dilbilgisi kurallarına tam olarak uyulmaması konuşma tanımayı olumsuz etkiler. Sözcüklerin seslendirilme süreleri ve sözcüğü oluşturan alt parçaların zamanlaması değişebilir ve bu sebeple konuşma tanıma süreci, zamana bağımlı değişkenleri ele alacak biçimde tasarlanmak zorundadır. Cinsiyet ve yaş farkından doğan farklılıklar sistemi etkiler. Konuşmacının sesi tam olarak anlaşılmasa bile insan gelen kelimeyi konuyu bilmesinden, kelimenin gelişinden dolayı anlayabilir. Böyle bir tanımayı bilgisayara uygulamak zordur.

34 18

35 19 3. AYRIŞIK SÖZCÜK TANIMA İÇİN ÖRÜNTÜ TANIMA YÖNTEMLERİNİN KULLANILMASI Bu tez çalışması kapsamında, sesli komut uygulamalarına yönelik, örüntü tanıma tekniklerine dayalı bir ayrışık sözcük tanıma sistemi geliştirilmiştir. Mevcut konuşma tanıma algoritmalarından farklı olarak, geliştirilen yazılımın, kumanda gibi cihazların üzerinde çalışabilecek hızlı ve basit bir yapıda olması hedeflendiğinden dolayı, örüntü tanıma teknikleri kullanılarak konuşmacı bağımlı, sözcük tabanlı, metne dayalı, ayrışık sözcük tanıma için bir yazılım geliştirilmiştir. Öznitelik olarak Mel Frekans Kepstral Katsayıları (Mel Frequency Cepstral Coefficients - MFCC) kullanılmıştır. Bu öznitelikler, Ana Bileşen Çözümleme (Principle Component Analysis - PCA), Tekil Değer Ayrıştırma (Singular Value Decomposition SVD) ve Lineer Diskriminant Analizi (Linear Discriminant Analysis - LDA) yöntemleri ile dönüştürülmüş ve dönüştürülmüş öznitelikler Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleriyle değerlendirilerek, ayrışık sözcük tanıma gerçekleştirilmiştir. Konuşma tanımanın pek çok uygulaması için çok yaygın olarak ve başarıyla kullanılan bir yöntem olan Saklı Markov Modelleri (Hidden Markov Models - HMMs) ile önerilen yöntemler ayrışık sözcük tanıma başarımı ve hız açısından karşılaştırılmıştır Geliştirilen Algoritma İçin Gerekli Donanım Ve Yazılım Birimleri Bu tez çalışması kapsamında, mikrofon tarafından alınan sözcüklerin bilgisayar programı algoritması ile tanınmasına yönelik bir çalışma sunulmuştur. Yazılım ortamı olarak MATLAB R2010b programı ve söz konusu programa ait Voicebox ve H2M araçları kullanılmıştır. Bu algoritma sayesinde herhangi bir bilgisayar yazılımında komut olarak kullanılabilecek şekilde belirlenen dokuz kelimeyi, konuşmacı bağımlı olarak tanıyan bir sistem oluşturulması hedeflenmiştir Geliştirilen Yazılım Geliştirilen algoritma temelde Eğitim ve Test olmak üzere iki kısımdan oluşmaktadır. Bunlardan ilki sisteme tanınması istenen referans sözcüklerin öğretileceği eğitim aşamasıdır ki bu işleme modelleme adı verilir. Diğeri ise tanınacak olan hedef sözcüğün,

36 20 oluşturulan referans sözcüklere ait her bir modelle karşılaştırılıp, benzerlik ölçütü kullanılarak hangisi ile aynı olduğunun tespitinin yapıldığı test aşamasıdır ki bu işleme de sınıflandırma adı verilir. Ayrışık sözcük tanıma sistemi için tasarlanan algoritmaya ait aşamalar şu şekilde maddelendirilmiştir. Yazılımda öncelikle kullanıcıdan tanınması istenen dokuz adet referans sözcüğün kaydı için üçer kez seslendirme yapması beklenir. Kaydı yapılan sözcüklerin sessizlik kısımları atılır. Oluşturulan referans sözcüklerin MFCC kullanılarak özellik vektörlerinin (öznitelik vektörlerinin) çıkarılması ve özellik vektörlerinin kaydedilmesi ile sistemin eğitilmesi sağlanır. Bu aşama programın başında üç kez tekrarlanarak her bir konuşmacı için 9x3 = 27 adet model oluşturulur. Ardından örüntü tanıma yöntemlerinden PCA, SVD ve LDA yöntemleri kullanılarak, oluşturulan modellerdeki öznitelikler dönüştürülerek kaydedilir. PCA, SVD ve LDA yöntemlerinin başarımı ayrı ayrı değerlendirileceği için üç ayrı dönüşümün sonuçları ayrı ayrı kaydedilerek modeller saklanır. Bu aşamadan sonra sistemin testi aşamasına geçilir. Algılanması istenen hedef sözcüğün aynı konuşmacı tarafından sisteme söylenerek kaydının yapılması sağlanır. Hedef sözcüğün MFCC kullanılarak özellik vektörleri (öznitelik vektörleri) çıkartılır. Ardından örüntü tanıma yöntemlerinden PCA, SVD ve LDA yöntemleri kullanılarak, hedef sinyalin öz çözümleme dönüşümü sağlanır. Son olarak yazılım, referans sözcüklere ait dönüşüm değerleri ile hedef sözcüğe ait dönüşüm değeri için uzaklık karşılaştırması yapar ve en uygun sözcüğü bulmaya çalışır. Tez çalışması kapsamında üç ayrı uzaklık belirleme yöntemi (Öklid, Manhattan, Chebyshev) kullanılarak karşılaştırılmıştır. Kayıtlı sözcüklerle ayrı ayrı uzaklıklar hesaplanır. Elde edilen en düşük iki uzaklıktan büyük olan küçük olana bölünerek bir oran hesaplanır. Bu oran kaydedilen konuşma referans sözcüklerden birine yakınsa büyük, değilse küçük çıkacaktır. Bu varsayıma dayanarak elde edilen oran testler sonucu belirlenen bir değerle karşılaştırılarak sözcüğün referans sözcüklerden biri olup olmadığına karar verilir. Referans sözcüklerden biri olmadığına karar verilmişse sözcüğün algılanamadığına dair bilgi ekrana basılır. Aksi durumda, sistem, uzaklığı en düşük olan

37 21 sözcüğü, bulunan sözcük olarak gösterir. Geliştirilen yazılımın en genel akış şeması Şekil 3.1'de gösterilmiştir. Algoritma aşamaları ilerleyen bölümlerde ayrıntılı bir biçimde anlatılacaktır. Şekil 3.1. Geliştirilen ayrışık sözcük tanıma yazılımının akış şeması

38 Eğitim Aşaması Şekil 3.1'de sol sütunda gösterilen eğitim aşamaları bu bölümde ayrıntılı olarak anlatılacaktır Konuşma kaydının aşamaları Bir sözcük tanıma uygulamasında, sözcüklere ait sinyallerinin tanınabilmesi için öncelikle bu sinyallerin içinde barındırdığı ve yalnızca tanınması hedeflenen sözcüğe ait unsurların belirlenmesi gerekmektedir. Daha sonra belirlenen bu unsurların bir öznitelik vektörü ile ifade edilmesi gerekir. Dolayısıyla ilk asama, ses sinyallerinin doğru bir şekilde sayısal olarak kaydedilmesidir. Ses kayıt sisteminin genel yapısı Şekil 3.2'de gösterilmiştir. Kayıt aşamasında kaydedilen her bir sözcük için ayrı bir "*.wav" dosyası oluşturulmuştur. Şekil 3.2. Konuşma kayıt sisteminin yapısı Herhangi bir bilgisayar uygulamasında komut olarak kullanılabilecek dokuz sözcük "aç", "evet", "hayır", "kapat", "kaydet", "kes", "kopyala", "sil" ve "yapıştır" olarak seçilmiştir. Konuşmacılardan bu sözcükleri üç tekrarla seslendirmeleri istenmiştir. Bu seslerin kaydı için MATLAB ortamında "audiorecorder" fonksiyonu kullanılmıştır. MATLAB Command Window kısmına "train_all_words" (Bütün sözcükler için eğitim) yazılıp Enter

39 tuşuna basıldığında söz konusu sözcüklerin kayıt işlemleri başlamaktadır. Şekil 3.3'te kayıt işlemi sırasında oluşan MATLAB komut penceresinin bir örneği gösterilmiştir. 23 Şekil 3.3. Referans sözcüklerden ilk ikisinin kaydı sırasında oluşan MATLAB ekran görüntüsü Sistemin eğitim aşaması tamamlandığında alınan tüm referans sözcükler Şekil 3.4'te görüldüğü gibi ekrana bilgi amaçlı yazdırılmaktadır. Şekil 3.4. Eğitim aşamasının sonucunda oluşan bilgi amaçlı ekran görüntüsü Örnekleme hızı, boyutu ve kanal sayısı Kaydedilecek sözcüklere ait elektriksel sinyaller bilgisayara mikrofon girişinden aktarıldıktan sonra belirli örnekleme frekansı ve bit sayısı ile analogdan sayısala çevrilerek kaydedilir.

40 24 Konuşma tanıma sisteminin başarısını doğrudan etkileyecek olan konuşma sinyalinin veri kalitesi için, örnekleme frekansı oldukça önemli bir faktördür. Her analog sinyalin farklı frekans, genlik ve fazda sinüzoidlerin toplamı olarak temsil edilebileceği düşünülürse, analog sinyal Eş.3.1'de olduğu gibi ifade edilebilir [23]. x(t) = (3.1) Eş.3.1'de N frekans bileşenlerinin sayısına karşılık gelir. x(t) analog sinyalinin bilgisayardaki algoritmalarda işlenebilmesi için öncelikle ayrık zamanlı x[n] sinyaline örneklenmesi gereklidir. Genel olarak, x[n] ayrık sinyali, bir sinyal dizisi veya bir vektör olarak kabul edilir. Örnekleme Teoremine göre (Nyquist Teoremi), sinyalin en yüksek frekans bileşeni f m olmak üzere, örnekler en az 2f m sıklığı ile alınırsa, yani örnekleme frekansı analog sinyal frekansının 2 katına eşit ya da daha büyük olması halinde, orjinal analog sinyalin aynısının tekrar oluşturulabileceği söylenebilir. Yüksek örnekleme frekansı, analiz işlemleri için iyi örneklenmiş sinyaller sağlar. Ancak bu durum sinyal işlemek için daha hızlı işlemci gerektirir. Haberleşmeyle ilgili olmayan uygulamalarda, örnekleme frekansı genellikle 16kHz olarak seçilir ki bu da 8kHz'e kadar olan sinyal bileşenlerinin doğru bir şekilde kullanılmasını sağlar. Bu örnekleme frekansları daha iyi bir zaman ve frekans çözünürlüğü verir. Tez kapsamında geliştirilen algoritmada ses kayıtları, örnekleme boyutu 16 bit, örnekleme hızı 16kHz ve tek kanallı olacak şekilde yapılmıştır. Kayıt süresi Literatürde sözcüklerin uzunluğuna bakılmaksızın ses kayıtlarının 0,8 saniyelik sürelerle alındığı çalışmalar mevcuttur [2]. Bu gibi kayıt süresini kısıtlayan tercihler seslerin kaydedilme sürecini büyük ölçüde kolaylaştırır ancak sistemin hatalı çalışmasına zemin oluşturabilir. Çünkü sözcüklerin seslendirilişi ile kayıt işlemi arasında tam bir senkronizasyon sağlanamamaktadır. Ayrıca zaman zaman tercih edilen sözcüklerin uzunluğu sebebi ile kayıt süresinin aşılması gibi durumlar söz konusu olabilmektedir. Bu nedenle tez çalışmasında kayıt süresi seçilen sözcükler de göz önünde tutularak 2 saniye olarak ayarlanmıştır. Diğer taraftan sürenin uzun tutulması ile birlikte, kısa sözcükler için gereğinden fazla uzun süre kayıt alınmış olması nedeniyle, işlenmesi gereken veri gereksiz yere artacak ve daha fazla işlem yükü getirecektir. Sistem başarımının olumsuz yönde

41 etkilenmesi önlemek için sessizlik algılama algoritması kullanılarak sistemin ses dosyasının yalnızca konuşma olan kısmını kullanması sağlanmıştır Sessizlik algılamanın aşamaları Konuşma tanıma uygulamalarında karşılaşılan en büyük sorunlardan birisi, konuşma sinyaline ait olmayan sessizlik kısmının konuşma sinyalinden ayrılması işlemidir. Bu işlem için pek çok hali hazırda yapılmış uygulama mevcuttur. Sinyalin süresi, sinyalin enerjisi gibi bir takım parametreler değerlendirilerek sinyalden sessizlik kısmının atılmasını sağlayan bir yazılım, yapılan algoritmaya dahil edilmiştir ve konuşmacıdan mikrofon aracılığı ile alınan dokuz adet referans kelimenin sessizlik kısımları sinyalden ayrılmıştır. Kullanılan sessizlik algılama algoritmasının temeli sinyalin bir penceresinin enerjisinin hesaplanarak referans bir değerle karşılaştırılıp söz konusu pencerenin gürültü olup olmadığının karar verilmesine dayanır [24]. Belirlenen bir değer kadar ardışık pencerenin konuşma olarak bulunmasından sonra konuşmanın başladığı kararına varılır. Ve dosyanın bundan önceki kısmı atılır. Konuşma dosyasının bitişi için de benzer şekilde sessizlik kısımları ayıklanır [24]. Şekil 3.5'de 2 saniye kayıt süresi içinde söylenen "kopyala" sözcüğü için konuşmaya ait olmayan kısımların atılmasını sağlayan sessizlik algılama algoritması ile elde edilen konuşma sinyali verilmiştir. Konuşma olarak bulunan bölümler kırmızı ile işaretlenmiştir. Şekil 3.5. "Kopyala" sözcüğü için sessizlik algılama algoritması sonrası elde edilen sinyal (kırmızı), konuşma sinyalinden atılan sessizlik kısımları (gri)

42 Öznitelik matrisinin (yüzeyinin) çıkartılması Ses sinyalindeki akustik özelliklerin çıkarılması işlemine öznitelik çıkarma denir. İdeal olan, söz konusu öznitelik vektörlerinin, birbirine benzeyen sesleri ayırt edebilecek bilgileri taşıması, çok fazla eğitim verisi olmadan da akustik modellerin oluşturulmasını sağlaması ve konuşmacıdan ve konuşulan ortamdan bağımsız olarak aynı konuşma sinyali için aynı sonuçları verebilmesidir. Özetle öznitelik çıkarmanın ana hedefi, ses örneğindeki konuşmacıyı tanımlayan akustik özellikleri kaybetmeden pek çok miktarda veriyi özetlemektir ve bu şekilde tanıma işlemi kolaylaşır ve verimi yüksek olur. Konuşma tanıma algoritmalarının ilk işlem bloğu olan konuşmaya ait öznitelik vektörlerinin çıkarılması ile ilgili literatürde mevcut pek çok uygulama vardır. LPC ve MFCC bu algoritmalara örnek olarak verilebilir. MFCC, konuşma tanıma uygulamalarında en çok kullanılan öznitelik çıkarma yöntemlerindendir. Mel frekans ölçeği kullanılarak her sesin öznitelikleri bulunur. Bu öznitelikler her filtre için kepstrum katsayılarını verir. Bu tez çalışmasında öznitelik matrisi çıkarımı için Şekil 3.6 da blok diyagramı verilen yöntem tercih edilmiştir [16]. Blokta yer alan aşamalar ilerleyen bölümlerde detaylı bir biçimde anlatılmıştır. Şekil 3.6. Öznitelik vektörlerinin (MFCC) çıkartılması [16] Geliştirilen algoritma içerisinde, tanınması beklenen her bir referans sözcük için MFCC'leri hesaplayan MATLAB'ın sağladığı hazır bir fonksiyon olan "melcepts" fonksiyonu kullanılmıştır. Melcepts fonksiyonuna giriş olarak 16 MFCC, 20 ms uzunluğunda pencere, 10 ms pencere üst üste binme oranı verilmiştir. Burada teorik

43 anlamda MFCC'lerin hangi aşamalarla elde edildiği adım adım açıklanacaktır. Öznitelik çıkarma işlemi için söz konusu adımlar şu şekilde verilebilir: 27 Çerçeveleme Pencereleme Fourier dönüşümü Mel spektrumunun bulunması Kepstrum Çerçeveleme Örneklenen ses bilgisi bir bütün olarak işlenmek yerine daha etkili işlemeye yardımcı olan çerçevelere bölümleme işlemine tabi tutulur. Geliştirilen uygulamada kullanılan Hamming penceresi uygulandığı çerçevenin orta noktalarını iyileştirirken uç noktalarında bilgi kaybına neden olmaktadır. Pencereleme yönteminin bu etkisi pencerelerin üst üste bindirilmesi ile çözülür. Konuşma sinyalinin karakteristikleri yeteri kadar küçük bir zaman aralığında kararlı kalmaktadır ve bu nedenle ses sinyalleri kısa zaman aralıklarında işlenmektedir. Çerçeveleme işlemi, ses sinyalinin belirli örnek sayılarına göre bölündüğü aşamadır. Birisi diğerinden küçük olacak şekilde belirlenen iki örnek sayısı uyarınca bölümlenen sinyal, bu bölümler üst üste bindirilerek yeni bir forma sokulur. Şekil 3.7 de görüldüğü gibi A uzunluğundaki çerçeveler B uzunluğu kadar kaydırılarak elde edilmektedir. Bu şekilde ilerideki aşamalarda ses sinyaline uygulanacak olan FFT için daha uygun bir zemin elde edilir. Sinyaller, genellikle 10 ve 30 ms arasında değişen uzunluklarda çerçevelere bölünürler [21]. Çoğu durumda konuşma sinyali için en etkili zaman aralığı ms arasındadır. Kısa zaman aralıklarına bölünen ses dalgasından elde edilen bir spektrum örneği şekilde görülmektedir. Her çerçeve kendisinden bir önceki çerçevenin belli bir kısmını örter. Çerçevelerin örtüşme oranı, çerçeve uzunluğunun %30 u ile %75 i arasında alınır [21]. Örtme yönteminin amacı bir çerçeveden diğerine geçişin yumuşak olmasını sağlamaktır [21].

44 28 Şekil 3.7. Konuşma sinyalini çerçeveleme [21] Pencereleme Çerçeveleme işleminden sonraki adım olan pencereleme işleminde amaç sinyalin başındaki ve sonundaki bir pencereden diğerine geçişteki süreksizlikleri azaltmak ve sinyalin spektral özelliklerini mümkün olduğunca korumaktır. Giriş işareti x(n), pencere fonksiyonu w(n) ve çıkış işareti ise y(n) olmak üzere, çıkış işareti Eş.3.2 deki gibi olacaktır [11]. y(n) = x(n)w(n) (3.2) Pencere kullanılmadığı zaman Şekil 3.8'de en üstte görülen sinyalin başlangıcı ve sonu sıfırdan sinyale ani bir geçiş içerecektir. Yumuşak geçişi olan bir pencere ile çarpıldığı zaman ise Şekil 3.8'de en altta görülen pencerelenmiş konuşma sinyali üzerinde işlem yapılacaktır. Pencerelemenin sonucunda frekans ekseninde pencerenin yan loblarına bağlı olarak gelen hatalar Şekil 3.8'dekine benzer bir pencere kullanılarak dikdörtgen pencerenin yan loblarından kaynaklanan hatalara göre azaltılmaktadır.

45 29 Şekil 3.8. Örnek bir konuşma sinyalinin (a), Hamming pencere (b) ile pencerelenmesi (c) [11] Bu aşamada en çok kullanılan pencereleme fonksiyonlarından birisi Hamming fonksiyonudur [11]. Hamming penceresinin matematiksel ifadesi Eş.3.3 te verilmiştir. Bu tez çalışması kapsamında da Hamming pencere fonksiyonu tercih edilmiştir. (3.3) Fourier dönüşümü Bir sonraki aşama her çerçevede FFT almaktır. Bu dönüşüm Ayrık Fourier Dönüşümünün (Discrete Fourier Transform - DFT) hızlı bir şeklidir ve tanım kümesini zaman uzayından frekans uzayına geçirir. Her pencere için Fourier dönüşümünün hesaplanması kısa zamanlı Fourier spektrumunun hesaplanması anlamına gelir (bknz.bölüm 2.3.3). Örnek bir kısa zamanlı Fourier spektrumu Şekil 3.9 da gösterilmiştir [11].

46 30 Şekil 3.9. Konuşma çerçevesi (a), konuşma çerçevesinin genlik spektrumu (b) [11] Mel spektrumunun bulunması Normal bir insan kulağı frekansları doğrusal olmayan bir şekilde algılar. Mel süzgeçleri insan kulağını taklit edecek şekilde tasarlanmıştır. Doğrusal bir eksene göre değil, insan kulağının frekans yanıtını karakterize eden bu ölçüye Mel Ölçüsü de denir. Yapılan araştırmalar göstermiştir ki, mel ölçüleri, 1000 Hz'ten daha düşük frekans değerleri için doğrusal, daha yüksek değerlerde ise logaritmik dağılım gösterir. Bir frekansı mel frekansına dönüştürmek için Eş.3.4 teki formül kullanılır [5]. (3.4) Sabit mel frekans aralıkları ile dizilmiş üçgen ve band geçiren özelliklere sahip mel ölçeğine göre dağılım gösterecek filtreler tasarlanarak bu algısal spektrum uygulanabilir. İnsan kulağının frekans hassasiyetini temsil eden Mel frekans süzgeçleri Şekil 3.10'da gösterilmiştir [11].

47 31 Şekil Mel ölçekli süzgeç takımı [11] Tasarlanan bu süzgeçlerle çarpılan kısa zamanlı Fourier spektrumları için bir sonraki adımda anlatılan Kepstrum parametreleri bulunur. Kepstrum Öznitelik çıkarmanın son aşaması olarak, her çerçeve ters fourier dönüşümüne uğratılır ve frekans uzayından tekrar zaman uzayına döndürülür. Bu işlemin sonucu olarak MFCC elde edilir. İlerleyen aşamalarda incelenecek ses sinyallerine ait öznitelik vektörleri bu katsayılar ile oluşturulur. Takiben, elde edilen öznitelik vektörleri ile sözcüklerin modellenmesi ve referans sözcüklerin bu modellere göre sınıflandırılması süreci gelir. Bu çalışmanın modelleme ve veri sınıflandırma kısmında, aynı zamanda çalışmanın ana konusunu teşkil eden PCA, SVD ve LDA yöntemleri tercih edilmiş ve hepsinin sonuçları ayrı ayrı HMM yöntemi ile kıyaslanmıştır.

48 Özdeğer dönüşüm yöntemleri Ana bileşen çözümleme (Principal Component Analysis - PCA) PCA, bir değişkenler setinin varyans yapısını, bu değişkenlerin doğrusal birleşimleri vasıtasıyla açıklayarak, boyut indirgenmesini sağlayan çok değişkenli bir istatistik yöntemidir. PCA, değişkenler arasındaki bağımlılık yapısının yok edilmesi ve/veya boyut indirgemek amacıyla kullanılır. Bu yöntemde karşılıklı bağımlılık yapısı gösteren, ölçüm sayısı (n) olan (p) adet değişken; doğrusal, ortogonal ve birbirinden bağımsız olma özelliklerini taşıyan (k) tane yeni değişkene dönüştürülmektedir. Bu esnada veri kümesinin gürültülü ve önemsiz özelliklerinin ortadan kaldırılması sağlanır. Şekilde x-y koordinat düzleminde gösterilmiş verilerin u-v koordinat düzleminde ifade edilmesi verinin düzleme eşit dağılımının sağlanması nedeniyle, düzlemin kullanımı açısından daha verimlidir. Bu nedenle PCA öz-çözümleme yöntemi iki boyutlu veriler için kullanılabilir [17, 18]. PCA ile elde edilen dönüşüm, veriye uygulandığında, verinin varyansının en geniş olduğu boyuta bir koordinat atanır ve ona dik olan diğer düzlem belirlenir. Şekil 3.11 deki örnekte, verinin varyansı u koordinat eksenine göre en büyüktür ve verinin bilgilerinin en çok bulunduğu eksen u eksenidir [17, 18]. Verinin boyutu verimli bir şekilde tek yapılmak istenirse, varyans değeri çok daha düşük olan v ekseni tamamen iptal edilebilir. Şekil İki boyutlu veriye PCA yönteminin uygulanması (a) ve boyut küçültme (b) [17] m gözlem sayısını ve n de her gözlemin boyutunu ifade etmek üzere mxn boyutuna sahip bir X veri matrisi için, PCA algoritması başlamadan önce, verinin sıfır ortalama (zero-

49 33 mean) değerlere sahip vektörler haline getirilmesi gerekir. Bu amaçla n tane örneğin ortalaması alınır ve verinin n örneğinden çıkarılarak sıfır ortalamalı X o veri matrisi elde edilir. Bütün verilerin ortak değişen matrisi S x = X o X T o şeklinde hesaplanır. Ortak varyans matrisi S x nxn boyutlu bir matristir ve bu matris için öz-değerler ve öz-vektörler bulunur. Boyut indirgenmek istendiğinde öz-değerlerin arasından yüksek değerlere sahip olanlar seçilerek taban vektörleri olarak kullanılır. Aksi durumda bütün öz-vektörler taban vektörü olarak düşünülmelidir. Sütun vektörleri olan taban vektörleri, N seçilen öz-vektör sayısı olmak üzere, nxn boyutlu T şeklinde ifade edilen dönüşüm matrisi oluşturulmak amacı ile bir araya getirilir. Eğer boyut indirgenmeyecekse, dönüşüm matrisi nxn olarak bırakılır. Veri seti matrisi X o, dönüşüm matrisi yardımı ile Y' ye dönüştürülür. Y = X 0 T. Y nin satırları dönüştürülmüş veridir [17]. Tekil değer ayrıştırma (Singular Value Decomposition - SVD) Veri indirgemede kullanılan bir diğer yöntem olan SVD, lineer cebirde, reel ya da karmaşık bir matrisin çarpanlarına ayrılmış halidir. Şekil 3.12 de iki boyutlu verinin noktalarını ele alırsak, Şekil 3.12 (a) daki çizgi regresyon çizgisidir ve bu çizgi verinin en yüksek değişiminin boyutunu yakalayan bir çizgidir. Bu çizgiye dik olan çizgi Şekil 3.12 (b) de gösterilmiştir ve bu çizgi de verinin ikinci boyutu boyunca mümkün olan en yüksek kovaryansını yakalar. [17] Şekil İki boyutlu veri noktaları ve onlar için belirlenen en iyi bağlanım (regresyon) çizgisi (a) ve verilerin ikinci bağlanım çizgisi (b) [17] SVD yönteminde temel amaç veriyi en yüksek kovaryans değerine sahip bir boyutta temsil edip, daha düşük kovaryans değerine sahip boyutu kullanmadan verinin boyutunu

50 34 indirgemektir. SVD yöntemi indirgeme yapmadan sadece bir dönüşüm olarak kullanılarak verinin daha verimli bir şekilde kümelenmesini de sağlayabilir. Bu tez çalışması kapsamında da bu şekilde kullanılmıştır. m verinin boyutunu, n ise arka arkaya gelen veri sayısını göstermek üzere, mxn boyutlu bir A veri matrisi SVD yöntemi ile U, S ve V T şeklinde Eş.3.5 teki gibi bileşenlerine ayrılır [17, 18]. A=USV T (3.5) U ve V sırasıyla boyutları m n ve n n olan iki matristir. n n boyutlu olan S, köşegen bir matristir ve köşegen elemanları negatif olmayan tekil değerler olarak adlandırılır. Dolayısıyla S, S = diag(s 1,...,s n ) şeklinde ifade edilebilir ve dizilim en büyük tekil değer en üstteki köşegenden başlayarak azalacak şekilde ayarlanır. Kare bir A veri matrisi için S, köşegen elemanları öz-değerler olan bir matristir. U nun sütunları, {u k }, sol tekil vektörler olarak adlandırılır ve dikgen ve normal (ortonormal) bir küme oluştururlar. Yani i = j için u i u j = 1 ve diğer durumlarda u i u j = 0 şeklinde ifade edilir. Benzer şekilde, V T nin satırları, {v k }, sağ tekil vektörler olarak adlandırılır ve onlar da dikgen ve normal bir küme oluştururlar. Yani i = j için v i v j =1 ve diğer durumlarda v i v j = 0 şeklinde ifade edilir. Dönüşüm için A x V işlemi yapılır. Eğer V nin yalnızca r adet sütunu kullanılarak dönüşüm yapılırsa, dönüştürülmüş verinin boyutu, n den r ye indirgenmiş olur [17, 18]. Lineer diskriminant analizi (Linear Discriminant Analysis- LDA) Genel olarak PCA yöntemine benzeyen Lineer diskriminant analizi, genellikle örüntü sınıflandırmanın ön adımında çözümleme için ya da boyut indirgeme yapmak için kullanılır. LDA yönteminde amaç, veriyi sınıflar arası ayrımı en büyük yaparak kümelemektir. LDA eksenleri veri kovaryansı maksimize etmek üzere seçerken; PCA yöntemine ek olarak sınıflar arası ayrımı da maksimize eder [17, 18]. Şekil 3.13 deki verilere yatay eksenden bakıldığında, iki adet Gauss fonksiyonu toplamı olarak görülürken; düşey eksenden bakıldığında bir adet Gauss fonksiyonu görülür [17]. Bu nedenle, sadece düşey eksen kullanılırsa, veri tek sınıfta toplanır ancak yatay eksenden bakıldığında görülen ayrıntı kaçırılmış olur. LDA yöntemi ise veriyi temsil eden en doğru eksenin seçilmesini sağlar ve bu örnek için yatay eksenin seçimi daha doğru olur.

51 35 Şekil Verinin farklı eksenlerdeki dağılımı [17] LDA yönteminde öncelikle her elemanın ortalama değeri hesaplanır ve ortalama vektörü elde edilir. Daha sonra, her bir veri vektörünün boyutu d olmak üzere, boyutu dxd olan verinin ortak kovaryans matrisi hesaplanır. Ortak kovaryans matrisi için özvektörleri ve bunlara karşılık gelen öz-değerleri hesaplanır. Boyutta bir indirgenme amaçlanmışsa, özdeğerler azalan şekilde sıralanır ve karşılık gelen öz-vektörlerden k tane büyük değerli özvektör seçilir ve d x k boyutlu bir W matrisi elde edilir. Boyutta indirgenme istenmemesi durumunda W matrisi sıralanmış ortak kovaryans matrisi olarak bırakılabilir. Veri vektörlerini LDA yöntemi ile yeni alt uzaya dönüştürmek için elde edilen bu W dönüşüm matrisi kullanılır ve y vektörü elde edilir. Eş.3.6 da x veri vektörünü y ise yeni alt uzaydaki dönüştürülmüş k boyutlu veri vektörünü ifade eder [17, 18]. y = Wx (3.6) Referans sözcükler için örüntülerin oluşturulması Konuşma tanıma için kullanılacak örüntüler, arka arkaya gelen analiz pencerelerinden elde edilen MFCC parametrelerinin oluşturduğu matrislerin örüntü tanıma yöntemleri ile (PCA, SVD ya da LDA) dönüştürülmüş halleridir. Seçilen dokuz sözcüğün bir kadın konuşmacı tarafından seslendirilmiş dalga şekilleri Şekil 3.14'de verilmiştir. Şekil 3.14'de aynı zamanda aynı kadın konuşmacının tanınması istenen "kopyala" hedef sözcüğünün dalga şekli de gösterilmiştir.

52 36 Şekil Belirlenen dokuz referans sözcük ve tanınması istenen "kopyala" hedef sözcüğü için kaydedilen bir kadın konuşmacıya ait dalga şekilleri Eğitim aşamasında her sözcük üçer kez kaydedilip toplamda 27 sözcük için birer örüntü matrisi oluşturulup, bunlar referans örüntüler olarak kullanılmaktadır. Şekil 3.15'teki "yapıştır" referans sözcüğü için elde edilen Mel kepstral yüzey ve bu yüzeyin PCA, SVD ve LDA ile dönüştürüldükten sonra elde edilen referans yüzeyler, sırasıyla Şekil 3.16'da, Şekil 3.17 de, Şekil 3.18'de gösterilmiştir. Analiz pencere uzunlukları 20 ms olup, örtüşme miktarı 10 ms'dir. PCA yöntemi ile elde edilen dönüşüm matrisi T PCA, MFCC yöntemi ile her bir sözcüğe ait yüzey C MFCC ve her bir sözcüğe ait yüzey matrisi C PCA olarak ifade edilirse, C PCA Eş.3.7'deki gibi hesaplanır. Benzer şekilde Eş.3.8 ve Eş.3.9'da görüldüğü gibi C SVD ve C LDA matrisleri hesaplanır. Bu yüzeylerin hepsi 16 MFCC parametresi için hesaplanır ve 16xN boyutunda C PCA, C SVD ve C LDA yüzeyleri elde edilir. Burada N ile ifade edilen boyut, her bir sözcük için sözcüğün uzunluğuna bağlı olarak değişen boyuttur. PCA ve SVD yöntemleri için en çok bilgi taşıyan 10xN boyutlu matrisi, LDA yöntemi için ise tümü hedef kelimenin tanınması için uzaklık hesaplanırken kullanılmıştır. Sözcük listesi üzerinde 20 konuşmacı ile yapılan tanıma çalışmalarında en başarılı sonuçların bu şekilde elde edildiği ortaya çıkmıştır. (3.7) (3.8)

53 37 (3.9) Şekil "Yapışır" kelimesi için bir kadın konuşmacıdan elde edilen MFCC yüzey Şekil Şekil 3.15'deki MFCC yüzeyin PCA yöntemi ile dönüştürüldükten sonra elde edilen yüzey

54 38 Şekil Şekil 3.15'deki MFCC yüzeyin SVD yöntemi ile dönüştürüldükten sonra elde edilen yüzey Şekil Şekil 3.15'deki MFCC yüzeyin LDA yöntemi ile dönüştürüldükten sonra elde edilen yüzey

55 Test Aşaması Bu aşamada, hedef sözcüğün kaydı yapılır ve eğitim aşamasında sisteme tanıtılan dokuz adet referans sözcük arasından hangisi ile eşleştiğinin tespitinin yapılması sağlanır. Eğitim aşamasında anlatıldığı gibi, belirlenmiş dokuz adet referans sözcüğün kaydı tamamladıktan sonra, Şekil 3.19 da görüldüğü gibi kullanıcıdan Command Window kısmına "test_et" yazması Enter tuşuna basması istenir. Böylece hedef sözcüğün kaydının yapılması sağlanır. Şekil Hedef sözcüğün kayıt işleminde oluşan MATLAB komut penceresi Ardından eğitim aşamasında referans sözcükler için takip edilen sessizlik algılama, öznitelik çıkarımı ile MFCC'lerin elde edilmesi, PCA, SVD ve LDA yöntemleri ile çözümleme dönüşümü adımları, test aşamasında hedef sözcük için tekrarlanır Referans Sözcükler İle Hedef Sözcük Uzunluklarının Eşitlenmesi Sözcük tanımada en önemli sorunlardan biri de, aynı sözcüğün aynı kişiler tarafından bile farklı zamanlarda farklı şekilde söylenmesidir. Sözcüğün uzunluğu doğrusal olmayan bir biçimde genişleme ve daralma gösterir. Uygulamada sözcüklerin mel kepstrum katsayı vektörlerinin uzunluklarının eşit olmaması durumunda, yapılan deneysel uygulamalar sonucu, kısa sözcüğe ait olan vektörün sonuna uzun olan vektöre eşitleninceye kadar sıfır eklenmesinin uygun olduğu görülmüştür. Bu aşamada genellikle kullanılan DTW işlemi ile eşitleme de denenmiş ancak sıfır ekleme ile elde edilen sonuçların daha iyi olduğu görülmüştür Uzaklık Ölçümü İle Tanıma Gerçekleştirilen program daha önce de bahsedildiği gibi iki alt programdan meydana gelmektedir. İlki referans sözcüklerin kaydının alındığı, karşılaştırma ve tanıma işlemleri

56 40 için gerekli olan parametrelerinin hesaplanıp kaydının tutulduğu aşama, diğeri ise tanınması istenen hedef sözcüğün kaydının alındığı ve ilgili parametrelerinin hesaplandığı aşamadır. Ardından, hedef sözcüğe ait örüntülerin verilerinin tutulduğu matris ile kaydedilmiş tüm referans sözcüklere ait örüntülerinin verilerinin tutulduğu matris ayrı ayrı karşılaştırılarak en fazla benzeyen sözcük bulunmaya çalışılmıştır. Karşılaştırma işlemi için, öznitelik vektörlerinin (MFCC'lerin) herhangi bir biçimde farklarının alınması gereklidir. Bu işlem fark alma işlemi olarak adlandırılır. Fark vektörleri sözcüklerin kısa süreli değişimlerinin açığa çıkmasını sağlayan öznitelik vektörleridir. Bu vektörler zaman boyutunda öznitelik vektörlerinin benzerliğini açığa çıkarır. Geliştirilen programda sonuçlar, Öklid, Manhattan ve Chebyshev uzaklık ölçüleri ile verilmiştir. Ve tanıma işleminde kullanılan bu uzaklık ölçülerinin başarımları 4. Bölüm'de ayrıntılı olarak anlatılmıştır.

57 41 41 Şekil Eğitim aşamasında üç kez seslendirilen referans sözcüklere ait örüntüler ve hedef sözcük olarak seslendirilen aç sözcüğüne ait örüntü

58 Öklid uzaklık ölçümü ile tanıma Tanıma işlemi için en çok kullanılan yöntemdir. Bu yöntem, dik koordinat sisteminde iki nokta arasındaki geometrik uzaklığın bulunması ilkesine dayanır. Öklid uzaklığı Eş.3.10'da olduğu gibi tanımlanmıştır [11]. Eş.3.10'da x i ve y i karşılaştırılacak vektörlerin elemanlarını göstermektedir. n ise vektörlerin boyutudur. (3.10) Manhattan uzaklık ölçümü ile tanıma Öklid uzaklık yöntemine göre çok daha az işlem yüküne sahip bu yöntem Eş.3.11'de gösterilmiştir ve doğrudan vektörlerin elemanlarının farklarının mutlak değerlerinin toplamı olarak hesaplanmaktadır [11]. (3.11) Chebyshev uzaklık ölçümü ile tanıma Öklid uzaklık belirleme yöntemini basitleştirerek ortaya çıkarılan bu yöntem,karşılaştırılan vektörlerin karşılıklı elemanları arasındaki farkların en büyüğü olarak Eş. 3.12'deki gibi tanımlanmaktadır [11]. (3.12)

59 43 4. ÖNERİLEN YÖNTEMLERİN BAŞARIMLARININ DEĞERLENDİRİLMESİ 4.1. Konuşmacı Bağımlı Değerlendirme Bu tezde ele alınan sözcük tanıma uygulamasında, örüntü tanıma yöntemlerinden PCA, SVD ve LDA ele alınmış, yöntemler hem birbirleri ile hem de HMM yöntemi ile kıyaslanmıştır. Bu amaçla tanınması hedeflenen 9 tane sözcük, 13'ü bayan 7'si erkek olmak üzere toplamda 20 kişi tarafından seslendirilmiş ve tüm örüntü tanıma yöntemleri ile test gerçekleştirilmiştir. Eğitim ve test aşamalarından önce konuşmacılara seslerinin kullanılması için izin verdiklerine dair bir form doldurturulup ve test aşamasından sonra tanıma sonuçları bu forma işlenmiştir. 20 konuşmacı için doldurulan formlar isimler ve konuşmacı bilgileri çıkartılarak Ekler bölümünde verilmiştir. Test sonucunda oluşan örnek bir ekran görüntüsü Şekil 4.1'de verilmiştir. "Yapıştır" sözcüğü için bir kadın konuşmacının bütün yöntemler kullanılarak elde edilen sonuçları Öklid, Manhattan ve Chebyshev uzaklık ölçütleri ile sırasıyla Şekil 4.1(a), (b) ve (c)'de gösterilmiştir. Test aşaması sırasında geçen süreler milisaniye olarak karşılaştırıldığında geliştirilen yöntemin HMM yöntemine göre çok hızlı çalıştığı görülmektedir. Bunun sebebi önerilen yöntemin, HMM yönteminde olduğu gibi, hesaplaması uzun süren istatiksel işlemleri içermemesidir. Şekil 4.1'de "oran" olarak ifade edilen hedef ve referans sözcükler arasında hesaplanan uzaklıkların en küçük son iki tanesinin birbirine bölümü ile bulunmaktadır. Elde edilen en küçük uzaklık ise "fark" olarak ifade edilmiştir. Oran ve fark bağıl başarım açısından bir değerlendirme sağlamaktadır. Farkın küçük olması hedef ile referans sözcüğün kullanılan öznitelikler açısından çok yakın olduğunu gösterirken, oranın büyük olması ise hedef sözcüğün tanınan referans sözcüğe yakın, aynı zamanda diğer sözcüklerden uzak olduğunu gösterir. Oranın sözcüğün doğru tanındığı durumlarda bütün konuşmacılar için, LDA yöntemi ile en yüksek olduğu görülürken, diğer yöntemlerde daha düşük olduğu gözlenmiştir. Ancak her durumda önerilen yöntemle elde edilen oranlar HMM ile elde edilen oranlardan daha büyüktür. "Fark", HMM yöntemi ile önerilen yöntemden farklı olarak hesaplandığı için bağıl başarımın değerlendirilmesi için oranı kullanmak daha doğru olacaktır.

60 44 (a) (b) (c) Şekil 4.1. Kadın konuşmacı tarafından seslendirilen "yapıştır" sözcüğünün tanınması sonucunda elde edilen ekran görüntüsü, (a) Öklid mesafesi, (b) Manhattan mesafesi (c) Chebyshev mesafesi Tanınması hedeflenen 9 sözcük için yöntemlerin başarımlarını özetleyen grafikler Şekil Şekil 4.10'da verilmiştir. Şekil 4.2'de görüldüğü gibi aç sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde tüm yöntemlerde başarımın %100 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde LDA yönteminin başarımının %95 olduğu, diğer tüm yöntemlerde başarımın %100 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde MFCC ve LDA yönteminin başarımının %95 olduğu görülüyorken, diğer yöntemlerin başarımının %100 olduğu görülmüştür.

61 45 Şekil 4.2. "Aç" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.3'te görüldüğü gibi evet sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %95 olduğu ve diğer yöntemlerde başarımın %100 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %95, LDA yönteminin başarımının %90 olduğu, diğer yöntemlerin başarımının ise %100 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM, PCA ve SVD yöntemlerinin başarımının %95 olduğu görülüyorken, MFCC yönteminin başarımının %100 ve LDA yönteminin başarımının %75 olduğu görülmüştür. Şekil 4.3. "Evet" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.4'te görüldüğü gibi hayır sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM ve LDA yönteminin %85; MFCC, PCA ve SVD yönteminin %90 başarıma ulaştığı görülmüştür. Manhattan uzaklık ölçümü ile tanıma

62 46 gerçekleştirildiğinde HMM ve MFCC yönteminin %85, PCA ve SVD yönteminin %90 ve LDA yönteminin %80 başarıma ulaştığı görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM ve PCA yöntemlerinin başarımının %85 olduğu görülüyorken, MFCC yönteminin %75, SVD yönteminin %80 ve LDA yönteminin %60 başarıma ulaştığı görülmüştür. Şekil 4.4. "Hayır" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.5'te görüldüğü gibi kapat sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM ve LDA yönteminin %100; MFCC, PCA ve SVD yönteminin %85 başarıma ulaştığı görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %100 olduğu görülüyorken, MFCC, PCA ve SVD yöntemlerinin başarımının %85; LDA yönteminin başarımının %95 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %100 olduğu görülüyorken, MFCC, PCA ve SVD yöntemlerinin başarımının %80; LDA yönteminin başarımının %85 olduğu görülmüştür.

63 47 Şekil 4.5. "Kapat" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.6'da görüldüğü gibi kaydet sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, tüm yöntemlerin %100 başarı oranına sahip olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde LDA yönteminin başarımının %85 olduğu görülüyorken, diğer yöntemlerin başarımının %100 olduğu; Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin %100 ve LDA yönteminin başarımının %80 olduğu görülüyorken, diğer yöntemlerin başarımının %95 olduğu görülmüştür. Şekil 4.6. "Kaydet" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.7'de görüldüğü gibi kes sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, tüm yöntemlerin %100 başarı oranına sahip olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde LDA yönteminin başarımının %95 olduğu görülüyorken, diğer yöntemlerin başarımının %100 olduğu; Chebyshev

64 48 uzaklık ölçümü ile tanıma gerçekleştirildiğinde LDA yönteminin başarımının %80 olduğu görülüyorken, diğer yöntemlerin başarımının %100 olduğu görülmüştür. Şekil 4.7. "Kes" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.8'de görüldüğü gibi kopyala sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %85, MFCC, PCA ve SVD yöntemlerinin başarımının %80 ve LDA yönteminin başarımının %100 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %85, MFCC yönteminin başarımının %70, PCA ve SVD yöntemlerinin başarımının %75 ve LDA yönteminin başarımının %90 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %85, MFCC yönteminin başarımının %80, PCA ve SVD yönteminin başarımının %75 ve LDA yöntemlerinin başarımının %70 olduğu görülmüştür. Şekil 4.8. "Kopyala" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları

65 49 Şekil 4.9'da görüldüğü gibi Sil sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %100, MFCC, PCA ve SVD yöntemlerinin başarımının %95 ve LDA yönteminin başarımının %90 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM, PCA ve SVD yöntemlerinin başarımının %100, MFCC yönteminin başarımının %95 ve LDA yönteminin başarımının %85 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %100, LDA yönteminin başarımının %65 ve diğer yöntemlerin başarımının %95 olduğu görülmüştür. Şekil 4.9. "Sil" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.10'da görüldüğü gibi yapıştır sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %56, MFCC yönteminin başarımının %70, PCA ve SVD yöntemlerinin başarımının %65 ve LDA yönteminin başarımının %100 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %50, MFCC yönteminin başarımının %30, PCA ve SVD yöntemlerinin başarımının %60 ve LDA yönteminin başarımının %95 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %50, MFCC yönteminin başarımının %40, PCA yöntemlerinin başarımının %45, SVD yönteminin başarımının %50 ve LDA yönteminin başarımının %85 olduğu görülmüştür.

66 50 Şekil "Yapıştır" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Tanınması hedeflenen 9 sözcük dışındaki liste dışı sözcükler için yöntemlerin başarımlarını özetleyen grafikler Şekil Şekil 4.13'te verilmiştir. Liste dışı sözcükler komut sözcükleri olabilecek şekilde "değiştir", "ekle" ve "yardım" olarak seçilmiştir. Bu sözcükler söylendiği zaman sistemden beklenen "tanımlanmamış sözcük" olarak tanımlaması ve dokuz sözcükle karıştırmamasıdır. Şekil 4.11'de görüldüğü gibi değiştir sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %95, PCA ve SVD yöntemlerinin başarımının %90, MFCC yönteminin başarımının %75 ve LDA yönteminin başarımının %55 olduğu görülmüştür. Burada başarı olarak tanımlanan kavram bu sözcüklerden herhangi biri söylendiğinde sistemin "tanımlanmamış sözcük" olarak yanıt vermesidir. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde MFCC yönteminin başarımının %100 olduğu, HMM ve LDA yöntemlerinin başarımının %95 olduğu ve PCA ve SVD yöntemlerinin başarımlarının ise %90 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %95, MFCC yönteminin başarımının %90 ve diğer yöntemlerin başarımının %100 olduğu görülmüştür.

67 51 Şekil "Değiştir" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.12'de görüldüğü gibi ekle sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %45, MFCC, PCA ve SVD yöntemlerinin başarımının %50 ve LDA yönteminin başarımının %40 olduğu görülmüştür. Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %45, MFCC yönteminin başarımının %70, PCA yönteminin başarımının %35, SVD yönteminin başarımının %40 ve LDA yönteminin başarımının %75 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %45, MFCC yönteminin başarımının %65, PCA ve SVD yöntemlerinin başarımının %70, LDA yönteminin başarımının %80 olduğu görülmüştür. Şekil "Ekle" sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Şekil 4.13'te görüldüğü gibi yardım sözcüğü için Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde, HMM yönteminin başarımının %35, MFCC, PCA ve SVD yöntemlerinin başarımının %65 ve LDA yönteminin başarımının %95 olduğu görülmüştür.

68 52 Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %35, MFCC yönteminin başarımının %85, PCA yönteminin başarımının %60, SVD yöntemlerinin başarımının %65 ve LDA yönteminin başarımının %100 olduğu görülmüştür. Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde HMM yönteminin başarımının %35, MFCC yönteminin başarımının %80, PCA ve SVD yöntemlerinin başarımının %75, LDA yönteminin başarımının %100 olduğu görülmüştür. Şekil "Yardım sözcüğü için Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleri ile elde edilen tanıma sonuçları Belirlenen 9 komut sözcüğüne ait sonuçlar göz önünde bulundurularak Öklid, Manhattan ve Chebyshev uzaklık ölçümü ile tanıma için, HMM, MFCC, PCA, SVD ve LDA yöntemlerinin başarımlarını özetleyen (9 sözcük için ortalama başarımlar) grafikler ise Şekil Şekil 4.16' de gösterildiği gibidir. Şekil 4.14'te görülebildiği gibi, Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde başarımı en yüksek yöntem %97.22 oranla LDA yöntemi olmuştur. Bu yöntemi %91.11 oranla MFCC, %90.56 oranla PCA ve SVD yöntemi ve %80.06 oranla HMM yöntemi takip etmektedir.

69 53 Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Öklid uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar Şekil 4.15'de görülebildiği gibi, Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde de başarımı en yüksek yöntem % 90,56 oran ile HMM yöntemi olmuştur. Bu yöntemi %90,00 oranla LDA, PCA ve SVD yöntemi ve %85,00 oranla MFCC yöntemi takip etmektedir. Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Manhattan uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar

70 54 Şekil 4.16'da görülebildiği gibi, Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde ise, en başarılı yöntem %90,56 oranla HMM iken, %85,56 oranla PCA ve SVD yöntemleri bu yöntemi takip etmektedir. Ardından %84,44 oranla MFCC yöntemi ve %77,22 oran ile LDA yöntemi takip etmektedir. Şekil Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiği zaman Chebyshev uzaklık ölçütü için elde edilen 9 sözcük için ortalama sonuçlar Belirtilen bu 9 kelime haricinde değiştir, ekle ve yardım kelimelerine ait sonuçların da liste dışı sözcük olarak tanınması beklendiğinde 9 sözcükle birlikte elde edilen toplam sonuçlar Şekil 4.17 Şekil 4.18'de verilmiştir. Şekil 4.17'de görülebildiği gibi, Öklid uzaklık ölçümü ile tanıma gerçekleştirildiğinde başarımı en yüksek yöntem %88,75 oranla LDA yöntemi olmuştur. Bu yöntemi %85,00 oranla PCA yöntemi, %84,17 oranla MFCC yöntemi, %79,58 oranla SVD yöntemi ve %74,63 oranla HMM yöntemi takip etmektedir. Sadece 9 tane sözcük için grafikler incelendiğinde başarı oranlarının çok daha iyi olduğu; ancak 9 sözcük harici sözcükleri tanıma işleminde de yine LDA yönteminin en başarılı yöntem olduğu görülmektedir.

71 55 Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Öklid uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar Şekil 4.18'de görülebildiği gibi, Manhattan uzaklık ölçümü ile tanıma gerçekleştirildiğinde de başarımı en yüksek yöntem %90,00 oran ile LDA ve SVD yöntemleri olmuştur. Bu yöntemi %85,00 oranla MFCC yöntemi, %82,92 oranla PCA yöntemi ve %82,50 oranla HMM yöntemi takip etmektedir. Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Manhattan uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar

72 56 Şekil 4.19'da görülebildiği gibi, Chebyshev uzaklık ölçümü ile tanıma gerçekleştirildiğinde ise, başarımı en yüksek yöntem %84,58 oranla PCA ve SVD yöntemleri iken, %82,92 oranla MFCC bu yöntemi takip etmektedir. Ardından %82,50 oranla HMM yöntemi, ve %81,25 oran ile LDA yöntemi takip etmektedir. Şekil Hedef sözcük olarak belirlenen 9 sözcük harici üç sözcük seslendirildiği zaman Chebyshev uzaklık ölçütü için elde edilen tüm sözcükler için ortalama sonuçlar Belirlenen 9 komut sözcüğüne ait sonuçlar göz önünde bulundurularak Öklid, Manhattan ve Chebyshev uzaklık ölçümü ile tanıma için, HMM, MFCC, PCA, SVD ve LDA yöntemlerinin başarımlarını özetleyen (9 sözcük için ortalama başarımlar) Çizelge 4.1 de başarı sırasına göre verilmiştir. Çizelge 4.1. Hedef sözcük olarak belirlenen 9 sözcükten biri seslendirildiğinde elde edilen sıralı ortalama sonuçlar Öklid Manhattan Chebyshev LDA 97,22 HMM 90,56 HMM 90,56 MFCC 91,11 LDA 90,00 PCA 85,56 PCA 90,56 PCA 90,00 SVD 85,56 SVD 90,56 SVD 90,00 MFCC 84,44 HMM 80,06 MFCC 90,00 LDA 77,22

73 57 Belirtilen 9 kelime haricinde değiştir, ekle ve yardım kelimelerine ait sonuçların da liste dışı sözcük olarak tanınması beklendiğinde 9 sözcükle birlikte elde edilen toplam sonuçlar tablo halinde Çizelge 4.2 de başarı sırasına göre verilmiştir. Çizelge 4.2. Hedef sözcük olarak belirlenen 9 sözcük ve liste dışı üç sözcük seslendirildiği zaman elde edilen sıralı ortalama sonuçlar Öklid Manhattan Chebyshev LDA 88,75 LDA 90,00 PCA 84,58 PCA 85,00 SVD 90,00 SVD 84,58 MFCC 84,17 MFCC 85,00 MFCC 82,92 SVD 79,58 PCA 82,92 HMM 82,50 HMM 74,63 HMM 82,50 LDA 81, Gürültülü Ortamda Konuşmacı Bağımlı Değerlendirme Gerçekleştirilen sistemin gürültülü ortamdaki başarımını değerlendirebilmek için, 2'si erkek 3'ü kadın toplamda 5 kişi ile gürültülü bir ortamda eğitim ve test aşaması gerçekleştirilmiştir. Bu kişilere ait sonuçlar Çizelge 4.3'te verilmiştir. Bu sonuçlardan anlaşılmaktadır ki geliştirilen sistemin gürültülü ortamda başarılı olarak çalışabilmesi için, gürültüye dayanıklı hale getirilmesi gerekmektedir. Bu konuda yapılabilecekler, 5. Bölüm de kısaca açıklanmıştır.

74 58 Çizelge 4.3. Sistemin gürültülü ortamda LDA ve Öklid yöntemi için 5 konuşmacı ile yapılan test sonuçları AÇ EVET HAYIR Katılımcı Başarım (%) Katılımcı Başarım (%) Katılımcı Başarım (%) K1 100 K1 0 K1 100 K2 0 K2 0 K2 0 K3 100 K3 100 K3 100 K4 100 K4 0 K4 0 K5 0 K5 0 K5 100 Başarım (%) 60 Başarım (%) 20 Başarım (%) 60 KAPAT KAYDET KES Katılımcı Başarım (%) Katılımcı Başarım (%) Katılımcı Başarım (%) K1 100 K1 100 K1 100 K2 0 K2 0 K2 100 K3 100 K3 100 K3 100 K4 0 K4 0 K4 0 K5 0 K5 0 K5 0 Başarım (%) 40 Başarım (%) 40 Başarım (%) 60 KOPYALA SİL YAPIŞTIR Katılımcı Başarım (%) Katılımcı Başarım (%) Katılımcı Başarım (%) K1 0 K1 0 K1 100 K2 0 K2 0 K2 100 K3 100 K3 100 K3 0 K4 0 K4 0 K4 0 K5 0 K5 0 K5 100 Başarım (%) 20 Başarım (%) 20 Başarım (%) Sistemin Konuşmacıya Bağımlı Olmadığında Değerlendirilmesi Bu tez çalışması kapsamında tasarlanan sistem konuşmacı bağımlı ayrışık sözcük tanıma sistemidir. Ancak gerçekleştirilen sistemin konuşmacıdan bağımsız çalıştığındaki başarımını gözlemleyebilmek için 2'si erkek 3'ü kadın toplamda 5 kişi ile test gerçekleştirilmiş, sonuçları Çizelge 4.4'te verilmiştir. Her konuşmacının test aşamasında seslendirdiği sözcükler, tüm konuşmacıların eğitim aşamasında seslendirdiği sözcüklerle test edilmiştir. Beklenen sonuç, testi yapan konuşmacının sesinin diğer konuşmacılardan ayırt edilerek sadece testi yapan konuşmacı için başarılı olmasıdır. Çizelge 4.4'te sözcüklerin eşleştiği durumlar yeşil renk ile eşleşmediği durumlar ise kırmızı renk ile belirtilmiştir. 225 eşleştirme gerçekleştirilen bu çalışmada 14 eşleştirme beklenenin dışında gerçekleşmiştir. Bu durumda çalışmanın başarımı %93,78 olarak elde edilmiştir. Buradan geliştirilen algoritmanın kişiye özel olarak çalıştığı anlaşılmaktadır. Bu da böyle bir sistem için hedeflenen özelliğe uygundur. Örneğin eğitim yapılan kişinin dışında bir başka kişinin sesiyle çalışabilen bir kumanda sistemi, güvenlik açısından tercih edilmemektedir.

75 TEST TEST TEST K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 TEST TEST TEST K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 TEST TEST TEST K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 K-1 K-2 K-3 K-4 K-5 59 Çizelge 4.4. Sistemin konuşmacı bağımsız olarak çalıştırıldığında "LDA" ve "Öklid" yöntemi için elde edilen sonuçlar AÇ EĞİTİM EVET EĞİTİM HAYIR EĞİTİM K-1 K-1 K-1 K-2 K-2 K-2 K-3 K-3 K-3 K-4 K-4 K-4 K-5 K-5 K-5 KAPAT EĞİTİM KAYDET EĞİTİM KES EĞİTİM K-1 K-1 K-1 K-2 K-2 K-2 K-3 K-3 K-3 K-4 K-4 K-4 K-5 K-5 K-5 KOPYALA EĞİTİM SİL EĞİTİM YAPIŞTIR EĞİTİM K-1 K-1 K-1 K-2 K-2 K-2 K-3 K-3 K-3 K-4 K-4 K-4 K-5 K-5 K-5

76 60

77 61 5. SONUÇ VE ÖNERİLER Bu tez çalışması kapsamında, sesli komut uygulamalarına yönelik, örüntü tanıma tekniklerine dayalı bir ayrışık sözcük tanıma sistemi geliştirilmiştir. Mevcut konuşma tanıma algoritmalarından farklı olarak, geliştirilen yazılımın, kumanda gibi cihazların üzerinde çalışabilecek hızlı ve basit bir yapıda olması hedeflendiğinden dolayı, örüntü tanıma teknikleri kullanılarak konuşmacı bağımlı, metne dayalı, ayrışık sözcük tanıma için bir yazılım geliştirilmiş ve bu yazılımın başarıyla çalıştığı gösterilmiştir. Öznitelik olarak Mel Frekans Kepstral Katsayıları (Mel Frequency Cepstral Coefficients - MFCC) kullanılmıştır. Bu öznitelikler, Ana Bileşen Çözümleme (Principle Component Analysis - PCA), Tekil Değer Ayrıştırma (Singular Value Decomposition SVD) ve Lineer Diskriminant Analizi (Linear Discriminant Analysis - LDA) yöntemleri ile dönüştürülmüş ve dönüştürülmüş öznitelikler Öklid, Manhattan ve Chebyshev uzaklık belirleme yöntemleriyle değerlendirilerek, ayrışık sözcük tanıma gerçekleştirilmiştir. Konuşma tanımanın pek çok uygulaması için çok yaygın olarak ve başarıyla kullanılan bir yöntem olan Saklı Markov Modelleri (Hidden Markov Models - HMM) ile önerilen yöntemler ayrışık sözcük tanıma başarımı ve hız açısından karşılaştırılmıştır. Herhangi bir bilgisayar uygulaması için kullanılabilecek dokuz komut sözcük, anahtar sözcükler olarak belirlenmiş ve bu sözcüklerin tanınması ile bu kümenin dışındaki sözcüklerin belirlenmesi, 13 kadın 7 erkek 20 geniş yaş dağılımına sahip konuşmacı kullanılarak, yüksek bir başarı ile sağlanmıştır. LDA kullanılarak ve Öklid uzaklık belirleme yöntemi ile en yüksek tanıma başarımı elde edilmiş ve bu başarımın sadece dokuz sözcük ile %97,22 olduğu gösterilmiştir. Üç liste dışı sözcüğün tanınması dahil edildiğinde ise en yüksek başarım LDA ve Manhattan uzaklık ölçütü ile %90,00 olarak elde edilmiştir. Hız olarak karşılaştırıldığında HMM yöntemi ile sözcük tanıma yaklaşık 36 milisaniye sürerken, önerilen yöntemle bu süre 0,5-0,6 milisaniye olmuştur. Herhangi bir konuşmacının sisteme dahil edilebilmesi için bir ara yüz oluşturulmuş ve bu ara yüz ile üç kez okuma ile eğitim yapılabilmekte ve yeni konuşmacı için sistem çalışmaya başlamaktadır. Sözcük tanımayı olumsuz etkileyen bazı durumların olduğu yapılan testler sonucunda ortaya konulmuştur. Sözcüklerin aynı şekilde söylenememesi ve mikrofona olan uzaklık gibi faktörler sistemin başarımını etkilediği görülmüştür. Farklı telaffuzlardan kaynaklanan hataları en aza indirmek için, eğitim aşamasında sözcükler konuşmacılardan üç ayrı döngü içinde alınmıştır. Sistemin başarımının arttırılması için bu tekrarların arttırılması ve

78 62 konuşmacılardan farklı günlerde alınması da bir çözüm olarak önerilebilir. Böylece kişinin günden güne değişebilen sesi de eğitim kümesine dahil edilmiş olur. Sözcük tanımayı olumsuz etkileyen faktörlerden bir tanesi de kayıt ortamındaki gürültüdür. Bu tez çalışması kapsamında, iç mekanlarda kullanılabilecek, hızlı ve güvenilir çalışan bir konuşma tanıma yapısı hedeflendiğinden dolayı gürültü üzerine çalışma yapılmamıştır. Ancak ileriki çalışma olarak, gürültülü ortamlarda aynı algoritmaların çalışabilmesi için iyileştirmeler yapılabilir. Kumanda türü cihazlarda kullanılmak üzere aktif gürültü giderimi yapısının kullanılması hız açısından düşünülebilir. Kumanda üzerine konuşmacının sesini kaydeden mikrofonun tam tersi yönünde ikinci bir mikrofon eklenerek gürültünün konuşmacının gürültülü sesinden çıkartılarak işlenmesi ilk olarak akla gelen çözümdür.

79 63 KAYNAKLAR 1. Azam, S. M., Mansoor, Z. A., Shahzad Mughal, M. ve Mohsin, S. (2007). Urdu Spoken Digits Recognition Using Classified MFCC and Backpropgation Neural Network. Computer Graphics, Imaging and Visualisation, -(-), Saheli, A. A., Gholam, A. A.ve Suratgar, A. A. (2009). Speech Recognition from PSD using Neural Network. Proceedings of the International MultiConference of Engineers and Computer Scientists, 1(-), Shearme, J. N. ve Leach,P. F. (1968). Some Experiments with a Simple Word Recognition System. IEEE Transactions on Audio and Electroacoustics, 2(-), Purton, R. F. (1968). Speech Recognition Using Autocorrelation Analysis. IEEE Transactions on Audio and Electroacoustics, 2(-), Sharada, C. S. ve Vijaya, C. (2012). Comparison of DTW and HMM for Isolated Word Recognition. Proceedings of the International Conference on Pattern Recognition, Informatics and Medical Engineering, -(-), Brown, M. K. and Rabiner L. R. (1982). On the Use of Energy in LPC-Based Recognition of Isolated Words. American Telephone And Telegraph Company The Bell System Technıcal Journal, 61(10), Jianxiong, W. and Chorkin, C. (1993). Isolated Word Recognition by Neural Network Models with Cross-Correlation Coefficients for Speech Dynamics. IEEE Transactions On Patern Analysis And Machine Intelligence, 15(11), Prasad, D. P. and Gerald E. M. (2005). Experiments With Fast Fourier Transform, Linear Predictive and Cepstral Coefficients in Dysarthric Speech Recognition Algorithms Using Hidden Markov Model. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 13(4), Artuner, H. (1994). Bir Türkçe Fonem Kümeleme Sistemi Tasarımı ve Gerçekleştirimi, Doktora Tezi, Hacettepe Üniversitesi Fen Bilimleri Enstitüsü, Ankara, Aydın, Ö. (2005). Bir Kelime Anlamı Belirginleştirme Modülü Geliştirilmesi, Yüksek Lisans Tezi, Trakya Üniversitesi Fen Bilimleri Enstitüsü, Edirne, Hanilçi, C. (2007). Konuşmacı Tanıma Yöntemlerinin Karşılaştırmalı Analizi, Yüksek Lisans Tezi, Uludağ Üniversitesi Fen Bilimleri Enstitüsü, Bursa, Dede, G. (2008). Yapay Sinir A ları İle Konuşma Tanıma, Yüksek Lisans Tezi, Ankara Üniversitesi Fen Bilimleri Enstitüsü, Ankara, Karacı, A. (2006). Bilgisayar Ortamında Sesli İfadeleri Tanıma, Yüksek Lisans Tezi, Gazi Üniversitesi Fen Bilimleri Enstitüsü, Ankara, Öcal, K. (2005). Otomatik Konuşma Tanıma Algoritmalarının Uygulamaları, Yüksek Lisans Tezi, Ankara Üniversitesi Fen Bilimleri Enstitüsü, Ankara,

80 Tunalı, V. (2005). A Speaker Dependent, Large Vocabulary, Isolated Word Speech Recognition System For Turkish, Yüksek Lisans Tezi, Marmara Üniversitesi Institute For Graduate Studies in Pure and Applied Sciences, İstanbul, Gelegin, İ., Bolat, B. (2011, - ). Ayrık Kelime Tabanlı Bir Konuşma Tanıma Sistemiyle Bilgisayar Kontrolü. Elektrik-Elektronik ve Bilgisayar Sempozyumu, Elazığ. 17. Balouji, E. (2014). Akıllı Şebeke Uygulamaları İçin Güç Kalitesi Olaylarının Örüntü Tanıma Yöntemleri İle Otomatik Kümelendirilmesi, Yüksek Lisans Tezi, Gazi Üniversitesi Fen Bilimleri Enstitüsü, Ankara, Balouji, E. ve Salor, Ö. (2014). Eigen-Analysis Based Power Quality Event Data Clustering and Classification. 5th IEEE PES Innovative Smart Grid Technologies Europe, -(-), Atal, S. B. (1976). Automatic Recognition of Speaker from Their Voices. Proc. of IEEE, 64(4), İnternet: Özbek, D. Y., Demirekler, M. (Ocak, 2011). Learning Vowels via Speech Analysis and Spreadsheet Software. -, Vol. -. URL: Son Erişim Tarihi: Eekidere, Ö., Ertaş, F. (2009). Mel Frekansı Kepstrum Katsayılarındaki Değişimlerin Konuşmacı Tanımaya Etkisi. Uluda Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 14(2), Akdemir, E., Özbek, İ. Y. ve Çiloğlu T. (2012). Türkçe deki Patlamalı Seslerin Locus Denklemleri. IEEE, -(-), McAulay R. J. and Quatieri T. F. (1985). Mid-Rate Coding Based on A Sinusoidal Representation of Speech. IEEE, 25(3), İnternet: Giannakopoulos, T. (Eylül, 2010). Silence removal in speech signals. Matlab Central, Vol. -. URL: silence-removal-in-speech-signals/content/detectvoiced.m, Son Erişim Tarihi:

81 EKLER 65

82 66 66 EK-1. 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 1. Konuşmacı Yaşı : 35 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.1. Konuşmacı-1'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

83 67 67 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 2. Konuşmacı Yaşı : 45 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.2. Konuşmacı-2'ye ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

84 68 68 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 3. Konuşmacı Yaşı : 11 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.3. Konuşmacı-3'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

85 69 69 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 4. Konuşmacı Yaşı : 53 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.4. Konuşmacı-4'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

86 70 70 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 5. Konuşmacı Yaşı : 55 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.5. Konuşmacı-5'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

87 71 71 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 6. Konuşmacı Yaşı : 60 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.6. Konuşmacı-6'ya ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

88 72 72 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 7. Konuşmacı Yaşı : 50 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.7. Konuşmacı-7'ye ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

89 73 73 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 8. Konuşmacı Yaşı : 31 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.8. Konuşmacı-8'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

90 74 74 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 9. Konuşmacı Yaşı : 30 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge 1.9. Konuşmacı-9'a ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

91 75 75 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 10. Konuşmacı Yaşı : 33 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-10'a ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

92 76 76 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 11. Konuşmacı Yaşı : 13 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-11'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

93 77 77 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 12. Konuşmacı Yaşı : 24 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-12'ye ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

94 78 78 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 13. Konuşmacı Yaşı : 25 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-13'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

95 79 79 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 14. Konuşmacı Yaşı : 32 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-14'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

96 80 80 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 15. Konuşmacı Yaşı : 11 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-15'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

97 81 81 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 16. Konuşmacı Yaşı : 8 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-16'ya ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

98 82 82 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 17. Konuşmacı Yaşı : 25 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-17'ye ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

99 83 83 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 18. Konuşmacı Yaşı : 21 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-18'e ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

100 84 84 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 19. Konuşmacı Yaşı : 47 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-19'a ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

101 85 85 EK-1. (devam) 13'ü kadın 7'si erkek 20 konuşmacıyla yapılan test aşamasından sonra tanıma sonuçlarının işlendiği formlar Betül KESKİN' in tez çalışması kapsamında gerçekleştirdiği test çalışmaları ile ilgili gerekli bilgilendirme tarafıma yapılmıştır. Aşağıda sonuçları verilen test çalışmasında, seslendirme tarafımca gerçekleştirilmiştir. Adı Soyadı : 20. Konuşmacı Yaşı : 26 Cinsiyeti : Bay Bayan İletişim Bilgisi :... İmza : Çizelge Konuşmacı-20'ye ait test sonuçları (Doğru tanıma yeşil renk, hatalı tanıma kırmızı renk) HMM MFCC PCA SVD LDA Aç Evet Hayır Kapat Kaydet Kes Kopyala Sil Yapıştır Değiştir Ekle Yardım Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev Öklid Manhattan Chebyshev

102 86 ÖZGEÇMİŞ Kişisel Bilgiler Soyadı, adı : Betül, KESKİN Uyruğu : T.C. Doğum tarihi ve yeri : , Ankara Medeni hali : Evli Telefon : 0 (507) Faks : E-Posta : betulkeskin1988@gmail.com Eğitim Derece Yüksek Lisans Okul/Program Gazi Üniversitesi/Elektrik - Elektronik Mezuniyet tarihi 2015 Lisans Gazi Üniversitesi/Elektrik - Elektronik 2011 Lise Antalya Karatay Lisesi 2006 İş Deneyimi Yıl Çalıştığı Yer ASELSAN A.Ş. Görev Test Mühendisi Yabancı Dil İngilizce Yayınlar - Hobiler Keçe İşleri, Fotoğrafçılık, Gezi, Org Çalmak

103 GAZİ GELECEKTİR... 87