Bilgisayar ve Bilişim Bilimleri Fakültesi Sakarya Üniversitesi



Benzer belgeler
T.C. ERCİYES ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ EĞİTİM ÖĞRETİM YILI DERS KATALOĞU

Doğan Can, Murat Saraçlar. Bebek, İstanbul. 9 Mart, 2009

YAPAY ZEKA (Artificial Intelligence)

SİNYAL TEMELLERİ İÇİN BİR YAZILIMSAL EĞİTİM ARACI TASARIMI A SOFTWARE EDUCATIONAL MATERIAL ON SIGNAL FUNDAMENTALS

Ö Z G E Ç M İ Ş. 1. Adı Soyadı: Mustafa GÖÇKEN. 2. Doğum Tarihi: 12 Haziran Unvanı: Yrd. Doç. Dr. 4. Öğrenim Durumu: Ph.D.

Elena Battini SÖNMEZ Önder ÖZBEK N. Özge ÖZBEK. 2 Şubat 2007

Şifrebilimde Yapay Sinir Ağları

ÖZGEÇMİŞ. 1. Adı Soyadı : Olcay Taner Yıldız. 2. Doğum Tarihi : Unvanı : Doç. Dr. 4. Öğrenim Durumu :

ENGELLİLER İÇİN BİLGİSAYAR UYGULAMALARI VE İŞARET DİLİ EĞİTİMİ

Kelime Gösterimleri (Word Representation Word Embeddings)

Yard. Doç. Dr. İrfan DELİ. Matematik

Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı. Mehmet Ali Çavuşlu

İRİSTEN KİMLİK TANIMA SİSTEMİ

TÜRK İŞARET DİLİ TANIMA SİSTEMİ ( TURKISH SIGN LANGUAGE RECOGNITION SYSTEM )

İNSAN BİLGİSAYAR ETKİLEŞİMİ

SÜREKLİ SAKLI MARKOV MODELLERİ İLE METİNDEN BAĞIMSIZ KONUŞMACI TANIMA PARAMETRELERİNİN İNCELENMESİ

ANKARA ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ

SAYISAL GÖRÜNTÜ İŞLEME (Digital Image Processing)

GÜR EMRE GÜRAKSIN AFYON KOCATEPE ÜNİVERSİTESİ MÜHENDİSLİK FAKÜLTESİ / BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ / AFYONKARAHİSAR

ANKARA ÜNİVERSİTESİ A ÖĞRENCİ İŞLERİ DAİRE BAŞKANLIĞI

Doküman dili tanıma için ikili örüntüler tabanlı yeni bir yaklaşım

Kablosuz Sensör Ağlar ve Eniyileme. Tahir Emre KALAYCI. 21 Mart 2008

Doç.Dr. M. Mengüç Öner Işık Üniversitesi Elektrik-Elektronik Mühendisliği Bölümü

VERİ KAYNAKLARI. Bilgi sisteminin öğelerinden biride veri

Ders Adı Kodu Yarıyılı T+U Saati Ulusal Kredisi AKTS

MÜHENDİSLİK FAKÜLTESİ / ENSTİTÜSÜ / YÜKSEKOKULU BİLİŞİM SİSTEMLERİ MÜHENDİSLİĞİ BÖLÜMÜ /ABD LİSANS PROGRAMI - 2 ( yılı öncesinde birinci

BCA605 Bilgisayar Oyunlarında Yapay Zeka

Bilgisayarla Görme (EE 430) Ders Detayları

VERİ TABANI UYGULAMALARI

YÖNETİM BİLİŞİM SİSTEMLERİ BÖLÜMÜ YENİ DERS MÜFREDATI (1) FAKÜLTESİ: İŞLETME FAKÜLTESİ / BUSINESS SCHOOL

BİLECİK ŞEYH EDEBALİ ÜNİVERSİTESİ AKADEMİK ÖZGEÇMİŞ FORMU

SAYISAL GÖRÜNTÜİŞLEME (Digital Image Processing)

Türkçe Dokümanlar Ġçin Yazar Tanıma

POWERPOINT KULLANIMI

Hidden Markov Model. Forward Algoritması Viterbi Algoritması. Doç.Dr.Banu Diri. Rasgele Olmayan /Gerekirci Model

Yrd.Doç. Dr. Tülin ÇETİN

Bilgisayar ve Bilgi Sistemleri (COMPE 107) Ders Detayları

POWERPOINT 2010 KULLANIMI

Türkçe için Konuşma Tanıma ve Derin Öğrenmeyle Dil Modelleme

MONTE CARLO BENZETİMİ

Güz Dönemi Zorunlu Dersleri

Bilgisayar Grafiği. Volkan KAVADARLI

ÖZGEÇMİŞ. 1. Adı Soyadı : Birim BALCI 2. Doğum Tarihi : Unvanı : Yrd. Doç. Dr. 4. Öğrenim Durumu: Derece Alan Üniversite Yıl Lisans

Yazılım Mühendisliği 1

Başlıca Ürün-Bilgi Sistemleri

Türkçe de Ünlülerin Formant Analizi

TC MEB ve TÜBİTAK-BİDEB YİBO ÖĞRETMENLERİ ( FEN ve TEKNOLOJİ FİZİK, KİMYA, BİYOLOJİ ve MATEMATİK ) PROJE DANIŞMANLIĞI EĞİTİMİ ÇALIŞTAYLARI

Sarıyer Belediyesi ile Her çocuk İngilizce konuşsun

Uzaktan Eğitim Uygulama ve Araştırma Merkezi

Örüntü Tanıma (EE 448) Ders Detayları

BÝLDÝRÝ KÝTABI EJER CONGRESS 2014 EJER CONGRESS 2014 CONFERENCE PROCEEDINGS NISAN 2014 Istanbul Üniversitesi Kongre Merkezi

Add your company slogan UZAKTAN EĞİTİM LOGO

Yrd. Doç. Dr. Mustafa NİL

Sahne Geçişlerinin Geometrik Tabanlı olarak Saptanması

Fatih Kölmek. ICCI Uluslararası Enerji ve Çevre Fuarı ve Konferansı 25 Nisan 2012, İstanbul, Türkiye

Uzaktan Eğitim ve E-Öğrenme

1. YARIYIL / SEMESTER 1

Mekatronik Mühendisliği Yüksek Lisans Programı İlkeleri

MESLEKİ TERMİNOLOJİ I 1. HAFTA YAZILIM MÜH. TEMEL KAVRAMLAR

ANKARA ÜNİVERSİTESİ A ÖĞRENCİ İŞLERİ DAİRE BAŞKANLIĞI

K U L L A N I M B İLGİLERİ

4.4. Hazır bir veritabanı kullanılarak amacına yönelik sorgulama yapar ve yorumlar.

Bilgisayara ve Bilgi Sistemlerine Giriş (CMPE105) Ders Detayları

FTR 331 Ergonomi. yrd. doç. dr. emin ulaş erdem

Powered by

Sözlük Kullanarak Türkçe El yazısı Tanıma

MÜFREDAT DERS LİSTESİ

4. Bölüm Programlamaya Giriş

İş Zekası için Dört-Katmanlı Veri Modellemesi Gerçekleştirimi. Harun Gökçe EG Yazılım, TOBB ETÜ

BENİM DÜNYAM ÇOCUK OYUNU: BİR MOBİL UYGULAMA

Veri Tabanı-I 1.Hafta

Algoritma Geliştirme ve Veri Yapıları 2 Veri Modelleri. Mustafa Kemal Üniversitesi

İş Zekası Sistemi Veriyi Stratejik Bilgiye Dönüştürür

1. Hafta MS SQL Server 2008 Kurulum ve Tanıtımı BPR255 Veritabanı. Bu Derste Öğrenecekleriniz: Kurulum:

Data Structures Lab Güz

Ders Adı Kodu Yarıyılı T+U Saati Ulusal Kredisi AKTS

Lale AKARUN, Boğaziçi Üniversitesi.

Adana Toplu Taşıma Eğilimleri

Yönetim Bilişim Sistemleri (Karma) - 1. yarıyıl Hukukun Temelleri Fundamentals of Law TR

Sözlük Kullanarak Türkçe için Kavram Madenciliği Metotları Geliştirme

ÖZGEÇMİŞ. Derece Alan Üniversite Yıl

TEMEL BİLGİTEKNOLOJİLERİ

Üniversitesi. {g.karatas, Library, Science Direct ve Wiley veri içerisinde

BİLECİK ÇEVRESİNDE DEPREM TEHLİKESİNİN SAKLI MARKOV MODELİ İLE TAHMİNİ

ANKARA ÜNİVERSİTESİ A ÖĞRENCİ İŞLERİ DAİRE BAŞKANLIĞI

Otomatik Doküman Sınıflandırma

Sistem Modelleme ve Simülasyon (SE 360) Ders Detayları

BİTİRME ÇALIŞMASI ARA RAPOR YAZIM KILAVUZU

Bilgisayara ve Bilişim Sistemlerine Giriş (COMPE 105) Ders Detayları

1. GİRİŞ Kılavuzun amacı. Bu bölümde;

TEMEL SUNUM İŞLEMLERİ SUNUMA SES, VIDEO EKLEME SUNUM TASARIMI ANİMASYONLAR SLAYT GEÇİŞİ KÖPRÜ KAYDETME SUNUM TASARIM TEKNİKLERİ ETKİNLİKLER

BLM 4811 MESLEKİ TERMİNOLOJİ II Salı , D-109 Dr. Göksel Biricik

Veritabanı Yönetim Sistemleri (Veritabanı Kavramı) Veri Modelleri

MÜHENDİSLİK FAKÜLTESİ / ENSTİTÜSÜ / YÜKSEKOKULU BİLİŞİM SİSTEMLERİ MÜHENDİSLİĞİ BÖLÜMÜ /ABD LİSANS PROGRAMI - 1 ( yılı ve sonrasında birinci

Algoritma ve Akış Diyagramları

Bulanık Mantık Tabanlı Uçak Modeli Tespiti

Bilişim Sistemleri. Modelleme, Analiz ve Tasarım. Yrd. Doç. Dr. Alper GÖKSU

VERİ TABANI YÖNETİM SİSTEMLERİ

BOĞAZİÇİ ÜNİVERSİTESİ MEKATRONİK UYGULAMA VE ARAŞTIRMA MERKEZİ FAALİYET RAPORU

Transkript:

SAKLI MARKOV MODEL KULLANARAK TÜRKÇE KONUŞMAYI VE YAZIYI İŞARET DİLİNE ÇEVİRME Cemil Öz 1, Beyza Eken 2, Büşra Şahin 3, Esra Akbulut 4, Fatma Akbulut 5 1,2,3,4,5 Bilgisayar Mühendisliği Bölümü Bilgisayar ve Bilişim Bilimleri Fakültesi Sakarya Üniversitesi 1 e-posta: coz@sakarya.edu.tr 2 e-posta: ekenbeyza@gmail.com.tr 3 e-posta: bbusrasahin@gmail.com.tr 4 e-posta: eakbulut494@gmail.com.tr 5 e-posta: fatmakbulut60@gmail.com.tr ÖZET Bu çalışmada, Türkçe konuşmalar ve metinler, işitme engellilerin konuştuğu Türk İşaret Diline dönüştürülmektedir. Ses dosyaları Saklı Markov Modeli kullanan bir yazılım aracı ile gerçekleştirilen bir sınıflama sistemi ile yazıya dönüştürülmektedir. Sanal bir insan modeli kullanılarak yapılan işaret dili kelime ve harf animasyonları, aktif kelime ile veritabanında eşleşmesi durumunda geliştirilen arayüzde oynatılmaktadır. Sistem televizyon, konferans, okuldaki ders vb. durumlarda kullanılarak işitme engellilerin yaşam kalitesini artıracaktır. Sistem 40 kelime için denenmiştir. Yeni kelimeler ve animasyonlar eklenerek sistem kolaylıkla genişletilebilmektedir. Anahtar Kelimeler: Saklı Markov Model, Türk İşaret Dili, konuşma tanıma, görüntü işleme 1. GİRİŞ Türk İşaret Dili işitme engellilerin kullandığı, hayli görsel-uzaysal, dilsel yapıda ve doğal bir dildir. Bununla birlikte işitme engelliler, Türk İşaret Dili (TID) hiç bilmeyen duyabilen insanlarla iletişimde hala ciddi problemlere sahiptirler. Bu iletişim problemleri işitme engellilerin hayatını ve ilişkilerini olumsuz yönde etkiler. İşitme engelliler duyabilen insanlarla genellikle yazarak veya bir tercüman kullanarak iletişim kurabilir. Tercümanların duyabilen insanlarla işitme engelliler arasında iletişimi sağlamalarına rağmen, genellikle pahalıdırlar ve işitme engellilerin bağımlı kalmalarına ve özel hayatlarının yok olmasına sebep olmaktadır. Yazma şeklinde haberleşme birçok işitme engelli kişi tarafından kullanılır fakat yürüme esnasında uzak mesafeden konuşma gerektiğinde veya birden fazla kişi ile aynı anda konuşma gibi durumlarda uygun değildir. İşaret dili evrensel bir dil değildir. Hemen hemen her ülkenin kendine özgü bir işaret dili vardır. Örneğin Amerikan İşaret Dili, Alman İşaret Dili farklı alfabe ve kelimelere sahiptirler. İşaret dilleri arasındaki benzerlik insan vücudunun karmaşık hareketleri ile oluşturulmasıdır. Yani sağ el, sol el her iki el hareketleri gibi. Konuşmacı yapmış olduğu işaretleri yüz ifadeleri ve gözleri ile de destekler. Bazı araştırmacılar, çeşitli işaret dillerini, insan hareketlerini ve el şekillerini tanımak için araştırma yapmaktadırlar, fakat işaret dilinin yapısından kaynaklanan karmaşık vücut hareketlerinden dolayı önemli problemler, zorluklar vardır. İşaret dili tanıma araştırmaları üç ana sınıfta incelenebilir: (i) Bilgisayar görmesi tabanlı, (ii) veri 237 eldivenleri ve hız-konum algılayıcıları tabanlı, (iii) her iki metodun birlikte veya karma olarak kullanılması iledir. Bilgisayar görmesi tabanlı bir işaret dili tanıma sisteminde işitme engelli tarafından konuşulan işaret dilinin işaretleri kameralar ile algılanır, özellik vektörleri çıkarma ve görüntü işleme algoritmaları kullanılarak gerçekleştirilir. Diğer taraftan, veri eldivenleri ve hız-konum algılayıcıların tabanlı işaret dili tanıma sisteminde, el şeklini ve kol hareketlerini algılamada özel veri eldivenleri ve hız-konum algılayıcılar kullanılır. Üçüncü sistemde bahsedilen her iki sistemdeki teknikler ve algılayıcılar birlikte kullanılır [1]. İşaret dilinin yapısı hakkında yapılan ilk çalışmalarda, Amerikalı Wilbur işaretin oluşumunu analiz etmede dilin yapısını kullandı [2]. Amacı her bir el şekillerini, ellerin konumlarını ve hareketlerini içeren sembolleri kullanarak bir ulusal işaret dili yazma sistemi geliştirmekti. Daha sonra Stokeo işaret dilini analiz etmede üç önemli özelliğin, el şekilleri, el konumu ve hareketinin gerektiğini önermiştir. Battison ve arkadaşları da ilave olarak avuç içinin yönelmesini, dilin yapısını anlamada önermişlerdir [3]. Bu ve benzer işaret dili çalışmaları sonraki işaret dili araştırmacılarına yardımcı olmuştur. İşaret dili çalışmaları iki farklı ama birbirlerini destekleyici yönde yürütülmüştür. Birincisi, işitme engellilerin vücut hareketleri ile konuştukları dili işitme problemi olmayanlar için sese ve yazıya dönüştürme yönündedir. İkincisi ise sesi ve yazıyı işitme engellilerin anlayabilmeleri için animasyon şeklinde işaret diline dönüştürmedir. Algılayıcılar ve bilgisayar teknolojilerindeki gelişmelere paralel olarak bazı başarılı bilgisayar görmesi tabanlı işaret dili araştırmaları yapılmıştır. İlk işaret dili tanıma aştırmaları 1990 lı yıllarda görülmeye başlanmıştır. Charahpayan ve Marble Amerikan İşaret Dilinin işaretlerinin oluşturulmasında elin hızını kullanarak bilgisayar görmesi tabanlı bir sistem geliştirmesi üzerinde çalışmışlardır [4]. 1991 de Takahashi ve Kishimo VPL veri eldiveni ve range sınıflandırması kullanarak 46 Japon İşaret Dili alfabesini tanıma üzerinde çalışmışlardır [5]. Bu çalışmalar basit olarak eklem açıları ve el yönelmesini kodlanması şeklindedir. 1990 da, Kramer ve Leifer veri eldiveni kullanarak Amerikan İşaret Dili heceleme sistemi geliştirmişlerdir [6,7]. Murakami ve Taguchi 110 farklı Japon İşaret Dili işaretini tanımayı gerçekleştirmişlerdir [8]. 1995 de Waldron ve Kim yapay sinir ağları metodunu kullanarak, el şekli, el konumu ve oryantasyonunu kullanarak 14 Amerikan İşaret Dili kelimesi tanıma gerçekleştirmişlerdir [9]. Wysoski, ve arkadaşları 2002 de görmeye dayalı bir Amerikan İşaret Dili tanıma sistemi gerçekleştirmişlerdir [10]. Yapay sinir ağı kullanarak 26 sabit el şekli tanıması gerçekleştirmişlerdir.

Allen ve arkadaşları Amerikan işaret dili için heceleme sistemi gerçekleştirmişlerdir. Bu sistem 26 el şeklinden 24 ünü tanıyabilmekte idi [11]. 2004 de Wang, ÖZ ve arkadaşları, Amerikan İşaret Dili el şekilleri tanıma sistemi gerçekleştirdiler. Sistem veri eldivenleri ve motion traker kullanmakta sınıflandırmada ise yapay sinir ağları ve markov modeli kullanılmıştır [12]. Şüpheli stokastik sistemlerde kullanılan ve iyi bir matematik temeli olan Saklı Markov Modeli ses tanıma, yazı tanıma ve diğer mühendislik problemlerinde yaygın bir şekilde kullanılmıştır. Birçok işaret dili araştırmacısı SMM kullanarak başarılı sonuçlar elde etmişlerdir [13, 14]. Vogler ve Metaxas, 1997 ve 1999 da bilgisayar görmesi yöntemi ile sürekli Amerikan İşaret Dili işaretlerini tanımada SMM kullanmışlardır [15,16]. 1997 de 53 işaret dili işareti tanımakta idiler ve sürekli cümle yapılarını kullanmışlardır. 1999 da 22 işaret dili kelimesini kullanarak cümle tanıma gerçekleştirdiler. Grobel ve Assan SMM kullanarak bilgisayar görmesi teknikleri ile sabit el şekillerini tanıma gerçekleştirmişlerdir. Sistemlerinde kullanılan renkli eldivenlerdi. Sistemlerinin doğruluğu 262 işaret için %91,3 tü [17]. İnsan bilgisayar etkileşiminde el şekilleri ve hareketlerini kullanan birçok çalışma vardır. Lee ve Xu İnsan robot etkileşiminde Amerikan İşaret Dilinin alfabesini kullanmışlardır [18]. Lee ve arkadaşları bilgisayar insan etkileşiminde el şekillerini kullanmıştır [19]. Konuşma dilinin işaret diline dönüştürülmesi çalışmaları, modelleme programlarının ve ses tanıma sistemlerinin gelişimine bağlı olarak literatürde 1990 lı yıllarda görülmeye başlamıştır. Önce basit iki boyutlu figürlerle yapılırken günümüzde 3B insan modelleri ile gerçekleştirilmektedir. Bu çalışmalar genellikle hava durumu sunularının, hava yollarındaki uyarıların çevirisi vb. konulardadır [20,21]. Bu çalışmada Türkçe konuşma dili, Saklı Markov Modeli ile yazıya ve Türk İşaret Diline dönüştürülmektedir. Çalışmada sırası ile Türk İşaret Dili ve genel özellikleri, Saklı Markov Model aracı, insan modelleme ve sesi animasyona çevireme verilmiştir. Çalışmada temel 40 kelime üzerinde çalışılmıştır. Yeni kelimeleri ekleyerek sistemin geliştirilmesi mümkündür. kavramlar, hayvanlar, meslekler, yer isimleri, zamirler, anlatımlar olarak gösterilebilir [22]. Bu kavram kategorilerindeki bazı kavramlarda birden fazla işaret olabilmektedir. Bu yöresel değişikliklerden ve konuşmadaki ağız ifadelerine benzetilebilir. İşaret dili kelimelerle konuşulur. Bu kelimelerle konuşmak hızlıdır. Ancak kelimelerin yeterli olmadığı, özel isimlerin söylemesi gerektiği vb. durumlarda harf işaretleri ile heceleme yapılmaktadır. Kelime (Word signing): İşaret dilinin konuşma dilindeki kelimelere karşılık düşen işaretleri belirlemiştir. Bunlara işaret dilinin kelimeleri denir. Bu kelimeler kısıtlıdır. Amerikan işaret dilinde 6000 tane, Türk işaret dilinde 750 civarında toparlanmış kelime vardır. İşitme engelliler genellikle bu kelimelerle konuşurlar. Ancak bu kelime hazinesinde yer almayan kelimeler ve isimler ise hecelenir. Heceleme: Heceleme finger spelling olarak adlandırılır ve konuşma dilinin kelimelerinin ve isimlerin konuşma dilinin harflerine karşılık gelen el şekilleri ile tek tek yapılmaktadır. 29 harf iki elin çeşitli şekilleri ile oluşturulmaktadır. Ancak tek el ile de alternatif bir Alfabe ifadesi söz konusudur. Alfabe kategorisindeki işaretler Şekil 1 deki gibidir. 2. TÜRK İŞARET DİLİ Türk İşaret Dili (TİD) Türkiye ve Kuzey Kıbrıs Türk Cumhuriyet'indeki işitme engelliler tarafından kullanılan dildir. İşaret dilleri birbirinden farklıdır. Genelde her dil için bir de işaret dili geliştirilmiştir. İşaret dili aynı zamanda yörelere göre kendi içerisinde farklı kelimelere de sahip olabilmektedir. İşaret dilleri farklı olmakla birlikte türetildikleri işaret dili ile benzerlikler göstermektedir. Türk İşaret Dili İngiliz İşaret Dilinden etkilenmiştir. Bu yüzden de İngiliz işaret dili ile benzerlikler göstermektir. Amerikan İşaret Dili ise Fransız öğretmenler tarafından geliştirildiği için Fransız İşaret Diline benzemektedir. Diğer işaret dilleri gibi Türk İşaret Dili de Türkçenin gramer yapısından farklı olarak kendine özgü bir gramer yapısına sahiptir. Türk İşaret Dili kelime listesinde toplam yaklaşık 750 işaret bulunmaktadır. Bu kelime listesi, çoğunlukla İstanbul da kullanılan işaretlerden oluşmaktadır. Bunun nedeni işaret dili bilen kişilerin çoğunun İstanbul da doğmuş ve okula gitmiş kişiler olmalarıdır. Kelime listesi kategorileri; alfabe, sayılar, zamanla ilgili kavramlar, görsel Şekil 1: Alfabe işaretleri (Hazırlayan: İşitme Engelliler ve Dostları Kulübü) 238

3. SMM İLE KONUŞMA TANIMA Saklı Markov Modeli, markov zincirlerinin oluşturulmasında gözlemlenemeyen durumlarında modellenmesini sağlayan istatistiksel bir markov zinciridir. İşaret işleme, ses tanıma ve sınıflandırma çalışmalarında kullanılmaktadır. Bu çalışmada sessin tanınması ve sınıflandırılması için HTK (Hidden Markov Model ToolKit) kullanılmıştır [23]. HTK Saklı Markov Modelleri (Hidden Markov Models HMM) oluşturmak ve işlemek için kullanılan portatif bir araçtır. HTK ses sentezi, karakter tanıma ve DNA sıralaması vb. araştırmalar içeren çok sayıda uygulamalarda kullanılmasına rağmen öncelikli olarak konuşma tanıma (speech recognition) araştırmalarında kullanılmaktadır. Dolayısıyla HTK altyapı desteği daha çok konuşma tanıma alnında yoğunlaşmıştır. HTK ilk olarak Cambridge Üniversitesi Mühendislik Bölümü (CUED) Makine Zekası Laboratuarında (Machine Intelligence Laboratory) Speech Vision and Robotics Group tarafından geliştirilmiştir. 1993 yılında Entropic Research Laboratory Inc. Şirketi tarafından HTK in tüm hakları satın alınmış ve 1995 yılında da Entropic Cambridge Research Laboratory Ltd. olarak yeni bir şirket kurulmuştur. HTK Entropic tarafından, Microsoft un HTK i satın aldığı, 1999 yılına kadar satılmıştır. Microsoft HTK i lisansını alarak CUED e geri vermiş ve halen HTK CUED tarafından dağıtılmaktadır. Şekil 2 de HTK Yapısı verilmiştir. sözlük dosyası tanımlanmıştır, ayrıca Türkçeye uygun olarak gramer dosyası tanımlanmıştır. Konuşma tanıma temel olarak seslerin eğitim ve tanıma aşamalarından meydana gelmektedir. Eğitim aşamasında önceden belirlenmiş kelimelerin her biri için oluşturulmuş yirmi adet ses örneğini kullanılır. Ses dosyaları direk işlenemeyeceği için akustik özellikleri çıkarılır. Her bir akustik öğe için tanımlanmış SMM ler belirli sayıda iterasyonlarla eğitilir. En son iteresyon sonucu oluşan HMM konuşmanın tanınması aşamasında kullanılmaktadır [13]. 4. SANAL İŞARET DİLİ KONUŞMACI DİZAYNI Türkçe ses tanıma işleminden sonra bu seslere karşılık düşen yazının ve Türk işaret diline ait kelime ve harflerin sunulması için sanal bir kadın modeli oluşturulmuştur. Oluşturulan model ile işaret dilinin kelimeleri, rakamları ve alfabedeki tüm harflere ait animasyonlar oluşturulmuştur. Sanal kadın modeli ve animasyonu için 3B insan modelleme programları kullanılmıştır. Günümüzde 3B modeller oluşturmak için çok sayıda program mevcuttur. Bu programlar, film ve oyun sektörü için hızlı model oluşturmayı sağlayan birçok bileşenle gelirler. DI-Guy, DAZ 3D, Poser vb programların yanında MAYA, 3DStudio MAX, Creator programlarıyla 3B modeller üretilmektedir. Ancak birçok program oldukça pahalıdır. Bu çalışmada demo versiyonlar kullanılmıştır. Poser ve Daz 3d programları birlikte kullanılmıştır. Poser üç boyutlu insan figürü modellerini tasvir için optimize edilmiş, daha çok poz ve animasyon yapmak için kullanılan 3D CGI render ve animasyon yazılım programıdır. Poser hayvan, robot, insan ve çizgi film kahramanlarının temel bir kütüphanesi ile birlikte gelir. Paket ayrıca pozlar, saç parçaları, sahne, dokular, el hareketleri ve yüz ifadeleri içerir. Birçok Poser figürü Daz 3D de kullanılabilir. Daz 3D, Poser dosya formatlarıyla uyumlu olacak şekilde tasarlanmıştır. Bu projede Daz 3D ile uyumlu olan Poser programının kütüphanesinde yer alan Business Woman modeli kullanılarak Daz 3D de animasyonlar oluşturulmuştur. 5. GERÇEKLEŞTİRİLEN ÇALIŞMA Şekil 2: HTK genel yapısı ve işlevi Yukarıdaki şekilde gösterildiği gibi, konuşma tanımada iki ana aşama vardır. İlk önce HTK eğitim araçları birtakım SMM lerin parametrelerini tahmin etmek için kullanılır, bu tahmin işleminde eğitim için hazırlanmış ses verileri ve bunlarla ilgili uyarlama tanımlama (transcription) dosyaları kullanılır. İkinci olarak HTK tanıma araçları aracılığıyla bilinmeyen sesli ifadelerin tanınması gerçekleştirilir. Çalışmada kullanılacak kelimeler belirlenmiş ve kelimelere ait ses örnekleri oluşturulmuş, bu kelimeleri içeren Kullanıcı ara yüzü programını oluşturmak için Microsoft Visual Studio 2010 kullanılmıştır. Kullanıcı isterse canlı olarak ses girişi yaparak, isterse önceden oluşturulmuş ses dosyalarını kullanarak, isterse kelimeleri klavyeden yazarak kelimelere ait animasyonları oynatabilmektedir. Harflere, rakamlara ve belirlenmiş kelimelere ait animasyonların bilgisayardaki lokasyonu ilgili öğe ile eşleştirilmiş bir şekilde veritabanında tutulmaktadır. Bu animasyonların bilgisayar üzerindeki lokasyonlarının bulunması aşamasında Microsoft SQL Server 2008 ve T-SQL dili kullanılmıştır. Kullanıcı tarafından girilen ses verisinin HTK kullanılarak akustik özellikleri çıkarılır ve daha önceden eğitilmiş saklı markov modeller sayesinde tanınır ve ilgili metne dönüştürülür. Yazılı metin işaret diline çevrilirken metin içerisinde bulunan her bir kelime sırayla tek tek ele alınır. İlk olarak kelimenin animasyon karşılığının veritabanında olup olmadığına bakılır, var ise uygun animasyon oynatılır. Eğer veritabanında kelimenin işaret dilindeki karşılığının animasyonu bulunamazsa ise şu yol izlenir; Türkçe sondan 239

eklemeli bir dil olduğundan bu kelimenin bir kökünün olabileceği ve bunun işaret dilindeki karşılığının veritabanında bulunabileceği düşüncesinden hareketle, kelimenin sonundan bir karakter atılarak tekrar veritabanında aranır. Sondan karakter atma işlemi kelimenin ilk üç karakteri kalana kadar devam ettirilir. Eğer bu işlemler sonunda da kelimenin işaret dilindeki karşılığı bulunamazsa işaret dilinde bu kelimenin karşılığı bulunmadığı kanısına varılır. Kelimenin hiçbir şekilde işaret dili karşılığı bulunmadığında ise kelimeyi oluşturan her bir harfin işaret dili karşılıkları ekrana basılır yani heceleme yapılır. Şekil 3 de örnek harf işaretleri verilmiştir. Şekil 4 de ise geliştirilen kullanıcı arayüzü programı verilmiştir. Şekil 3: Türk İşaret Dili harfleri (A,U,M) Şekil 4: Kullanıcı Arayüzü 6. SONUÇ VE ÖNERİLER Günümüz Türkiye sinde engellilerin toplumla bütünleşmesi yönünde birçok sorun yaşadıkları bilinmektedir. Sorunu adlandırmadan başlayan ve yaşamın pek çok alanına yayılan bu sorunlar, engelli bireylerin içinde yaşadıkları toplumla işlevsel bir bütünlük içinde yaşamalarını güçleştirmektedir. Bu çalışmada, Türkçe konuşmalar ve metinler, işitme engellilerin konuştuğu Türk İşaret Diline dönüştürülmektedir. Ses dosyaları Saklı Markov Modeli kullanan bir yazılım aracı ile gerçekleştirilen bir sınıflama sistemi ile yazıya dönüştürülmektedir. Eğitim aşamasında kaydedilen sesler işlenerek veri tabanı ve kural yapısı oluşturulmaktadır. Sanal insan modeli kullanılarak eğitim setinde yer alan kelimelere karşılık TİD kelimeleri animasyonları oluşturulmaktadır. Uygulamada geliştirilen arayüz programı ile gerek doğrudan mikrofondan alınan ses ile gerekse kayıtlı dosyadaki sesler Türkçe yazı diline ve karşılığında TİD animasyonuna dönüştürülmektedir. Sistem televizyon, konferans, okuldaki ders, bilgisayarda okuma vb. durumlarda kullanılarak işitme engellilerin yaşam kalitesini artıracaktır. Sistem 40 kelime için denenmiştir. Yeni kelimeler ve animasyonlar eklemeyerek sistem kolaylıkla genişletilebilmektedir. 7. KAYNAKLAR [1] C. Oz, N. N. Sarawate, and M. C. Leu, American Sign Language Word Recognition with a Sensory Glove Using Artificial Neural Networks 2004, ASME Press, Intelligent Engineering Systems through Artificial Neural Networks, vol. 14, ISBN 0-7918-0228-0, pp. 633-638. [2] R. B. Wilbur, American Sign Language Linguistic and Applied Dimensions, College-Hill Press, 1987, Second Edition, ISBN 0-316-94013-5. [3] R. Battison, Lexical Borrowing in American Sign Language, Silver Spring, MD: Linstok Pr. 1978, ISBN: 0-932130-02-X [4] C. Charayaphan and A. Marble, Image Processing System for Interpreting Motion in American Sign Language, 1992, J. Biomed. Engineering, vol. 14, pp. 419-425. [5] T. Takahashi and F. Kishino, Gesture Coding Based in Experiments with a Hand Gesture Interface Device, 1991, SIGCHI Bulletin, vol. 23, no. 2, pp. 67-73. [6] J. Kramer and L. J. Leifer, A Talking Glove for Nonverbal Deaf Individual, 1990, Technical Report CDR TR 1990 0312, Center for Design Research, Stanford University. [7] J. Kramer, The Talking-Glove: Hand-Gesture-to- Speech Using an Instrumented Glove and a Tree- Structured Neural Classifying Vector Quantizer, 1996, Stanford University, Ph.D. Thesis. [8] K. Murakami and H. Taguchi, Gesture Recognition Using Recurrent Neural Networks, 1991, in CHI 91 Conference Proceedings, Human Interface Laboratory, Fujitsu Laboratories, ACM, pp. 237-242. [9] M.B. Waldron and S. Kim, Isolated ASL Recognition System for Deaf Persons, 1995, IEEE Transactions on Rehabilitation Engineering, vol. 3 no. 3, pp. 261-271. [10] S. G. Wysoski, M. V. Lamar, S. Kuroyanagi, and A. Iwata, A Rotation Invariant Approach on Static Gesture Recognition Using Boundary Histograms and Neural Networks, 2002, Proceeding of the 9th International Conference on Neural Information (ICONIP 02), vol. 4, pp. 2137-2141. [11] M, J. Allen, P. K. Asselin, and R. Foulds, American Sign Language Finger Spelling Recognition System, 2003, 29th Bioengineering Conference Proceeding, IEEE, pp. 22-23. [12] H. G. Wang, N. N. Sarawate, and M. C. Leu, Recognition of American Sign Language Gestures with a Sensory Glove, 2004, Japan-USA Symposium on Flexible Automation, Denver, CO. [13] L. R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, 1989, Proceeding of IEEE, vol. 77, no. 2, pp. 257-286. [14] T. Takiguchi, S. Nakamura, and K. Shikano, HMM- Separation-Based Speech Recognition for a Distant Moving Speaker, 2001, Speech and Audio Processing, 240

IEEE Transactions on, Volume: 9, Issue: 2, pg. 127-140 [15] C. Vogler and D. Metaxas, Adapting Hidden Markov Models for ASL Recognition by using Three- Dimensional Computer Vision Methods, 1997, Proceeding of the IEEE International Conference on Systems, Man and Cybernetics, Orlando, pp.12-15. [16] C. Vogler and D. Metaxas, Parallel Hidden Markov Models for American Sign Language Recognition, 1999, IEEE proceeding of International Computer Vision Conference, September, pp. 116-122. [17] K. Grobel and M. Assan, Isolated Sign Language Recognition using Hidden Markov Models, 1996, Proc. Int. Conference System, Man and Cybernetics, pp. 162-167. [18] C. Lee and Y. Xu, Online, Interactive Learning of Gestures for Human/Robot Interface, 1996, IEEE International Conference on Robotics and automation, Minneapolis, MN, vol. 4, pp. 2982-2987. [19] L. K. Lee, S. Kim, Y. K. Choi, and M. H. Lee, Recognition of Hand Gesture to Human-Computer Interaction, 2000, IEEE, pp. 2177-2122. [20] R.San-Segundo, R. Barra, R. Cordoba, L. F. D Haro, F. Fernandez, J. Ferreiros, J.M. Lucas, J. Macias-Guarasa, H.M. Montero, J. M. Pardo. Speech to sign language translation system for Spanish, 2008. Speech Communication vol. 50,pp. 1010-1020. [21] J. E. Reyers, Indicating the body: Expression of body part terminology in American Sign Language, Language Sciences vol.2006. 28(2-3) pp. 280-303. [22] http://www.turkdeaf.org/01turkisaretdili/01anasayfa/in ind01.asp [23] http://htk.eng.cam.ac.uk 241