SÖZLÜKSÜZ KÖKE ULAŞMA YÖNTEMİ

Transkript

1 SÖZÜSÜZ Ö UŞ YÖNTİ ülşen ebiroğlu ve şref dalı ilgisayar ühendisliği ölümü İstanbul Teknik Üniversitesi, İstanbul {adali, Özetçe oğal il İşleme alanında çalışanlar, Türkçe nin özel bir durumunun olduğunu bilirler. Türkçe, bitişken bir dildir, kural tabanlıdır, sağlam ve bozulmamış bir yapısı vardır. ir sözcük kök ve kökün sonuna eklenmiş eklerden oluşur. k sayısı ortalama - arasıdır. ir Türkçe sözcüğün kökünün bilinmesi, sözcüğün temel anlamını verir. er ek, sözcüğe yeni ancak herkesin anlayacağı bir anlam kazandırır. u nedenle, bir sözcüğün kökünün elde edilmesi ve eklerinin belirlenmesi önemlidir. ir sözcüğün kökünü bulmak için veritabanına yerleştirilmiş bir sözlükten yararlanılabilir. ncak Türkçe nin kural tabanlı bir dil olması nedeniyle sözlük kullanmadan, sözcük köküne ulaşılabileceği iddia edilebilir. u çalışmada, sözlük kullanmadan, köke ulaşılabileceği kanıtlanmış ve bu yönde yeni algoritmalar geliştirilmiştir. u çalışmanın sonuçları anlam verme süreci için kaynak oluşturacaktır. iriş Türkçe, köken olarak Ural-ltay diller grubuna girmektedir. Türkçe kendiliğinden gelişmiş bir dilden çok, akademik bir kurulun oluşturduğu bir dile benzer. ural tabanlıdır ve kurallarını bozmadan yaşayagelmiştir. Türkçe bitişken bir dildir; her sözcük bir kök ve bu kökün sonuna eklenmiş olan eklerden oluşur. enzer durum int-vrupa dillerinde de görülmektedir. ncak Türkçede sık kullanılan eklerin sayısı dolayındadır. yrıca bir köke peşpeşe kadar ek eklenebilir, bu eklerin ekleniş sırası değişebilir, aynı ek birden fazla kullanılabilir. ir ekin sözcüğe kazandırdığı anlam, kendisi eklenmeden önce oluşan sözcüğün anlamına bağlı olur. Türkçe nin bu özelliği aşağıda bir örnek ile açıklanmıştır. öz öz cü özlemek İşini Yapan öz cü lük özcünün işi öz öz lem İncelemek öz lem ci özlem Yapan imse öz lem ci lik özlemcinin İşi u örnekteki ekler: -lük, -lik, -cü, -ci, -lem dir. Türkçe nin en temel kuralları arasında sesli ve sessiz uyumu yer alır.[] Türkçe de 8 adet sesli harf a, e, ı, i, o, ö, u, ü ve 2 adet sessiz harf b, c, ç, d, f, g, ğ, h, j, k, l, m, n, p, r, s, ş, t, v, y, z bulunur.[9] Sesli uyumu Şekil- de, sessiz uyumu Şekil-2 de durum diyagramları ile gösterilmektedir. a ı o u e i ö ü Şekil-: Sesli Uyumu SS S S Şekil-2: Sessiz Uyumu SS: ç f h k p s ş t S: l m n r y S: b c d g ğ j v z Türkçe de seslerin uyum kuralları, bu dilin anlaşılma oranını arttırmaktadır. yrıca kulağa hoş gelmesini sağlamaktadır. Yukarıdaki örnekte bazı eklerde sesli harflerin değişime uğradığı görülmektedir. cü ci, lük lik olmaktadır. klerdeki bu değişim ses uyumu kuralı gereği oluşmaktadır. Sessiz harfler için de bu tür uyum değişiklikleri görülebilir. u çalışma temelde şu üç hedefe yönelik hazırlanmıştır:. Türkçe bir sözcüğün köküne ve eklerine ayrışması ile, sözcüğün anlamı net olarak ortaya çıkar. 2. klerin yalın halleri bellidir. u haller ses uyumuna göre değişim gösterebilir.. klerin diziliş biçimleri bellidir. Yukarıdaki üç temel özelliğe bakarak, bir sözcüğün kök ve eklerine ayrıştırılmasının kurallaştırılabileceği iddia edilebilir. aşka bir deyişle, sözlük kullanmadan bir sözcüğün kökü ve ekleri bulunabilir. u çalışmada, bu sav kanıtlanmış ve bu amaçla gerçeklenen bir yazılımla sağlaması yapılmıştır. eliştirilen yöntemde ekler, sözcükten, sonlu durum makineleri (S) yardımıyla, sondan başlanıp başa doğru gidilerek teker teker çıkarılır. Sözcükten, eklerin çıkarılması ile geriye kalan bölüm olası kök olarak kabul edilir. u özellik aşağıda arabalarım sözcüğü üzerinde açıklanmıştır. arabalarım arabalar araba (sözcük kökü) Sözcük yrıştırma İlk aşamada, tüm ekler kümeye ayrılır: Yapım ekleri İsim çekim ekleri k-eylem ekleri ylem zaman ekleri ylem çekim ekleri ve bu kümeler farklı tablolar halinde veri tabanına yerleştirilirler. klerin sayısı yaklaşık adettir.[][] Veri tabanında hızlı arama yapabilmek için, eklerin ses uyumuna göre alacakları farklı yapılar türetilmiştir. klerde kullanılan kısaltmalar şöyledir: U: ı,i,u,ü : a,e : d,t : c,ç I : ı,i (): zorunlu olmayan harfler Örnek: -cu eki -ci, -cı, -cu, -cü hallerini alabilir. orfolojik kurallar S ler ile tanımlanabilir. Sözcük köküne ulaşmak için bu kurallar tersten yorumlanarak (sağdan sola, sondan başa doğru) sonlu durum

2 makineleri yeniden oluşturulur. u bağlamda oluşturulan kümelerin herbiri için bir ana modül tarafından yönetilen farklı modüller geliştirilmiştir. u modüller, her kümeye özgü oluşturulmuş sonlu durum makinelerinden ve modüller arası geçişlerin kontrolüne ait fonksiyonlardan oluşur. ümelere özgü sonlu durum makinelerinin oluşturulması şu evrelerden geçerek gerçekleştirilir: Soldan sağa sonlu durum makinesinin oluşturulması klerin numaralandırılması ve veritabanına eklenmesi Soldan sağa sonlu durum makinesinde geçişlerin ters yönde gösterimi oş geçişlerin elenmesi ve yeni durumların oluşturulması Sağdan sola sonlu durum makinelerinin oluşturulması. u evreler k-eylem kümesi için aşağıda açıklanmıştır. iğer ek kümeleri için, yapılan işlemler [] sonucunda oluşturulan sağdan sola S ler gösterilmiştir. k-eylem ümesi k-eylem ekleri, isim soylu bir sözcüğe getirilen zaman ve kişi eklerini içermektedirler.. vre: Soldan Sağa Sonlu urum akinesinin Oluşturulması: u aşamada üzerinde çalışılan ek kümesi için, köke eklenirken uygulanması zorunlu olan sıralanış kuralları bir sonlu durum makinesinde toplanır. -(y)u, -(y)s k iil 2 -m, -n, ε -k, -nuz, -lr -(y)muş k iil 2 -Um, -sun,ε -Uz, -sunuz, -lr k iil 2 kişi -Ur, ε -csin 4 -(y)um, -sun, ε -yuz, sunuz lr -Ur k iil 4 -lr, ε Şekil-: k-eylem ümesi Soldan Sağa S -(y)ken Şekil- de k-eylem ekleri kümesi için oluşturulmuş soldan sağa S [2] görülmektedir. Sağdan sola sonlu durum makinesinin oluşum evrelerinde kullanılmak üzere, bu makinede durumlar numaralandırılmıştır. Oluşturulacak sistemde sözcükler sondan başa doğru, eklerin ekleniş sıralarının aksi yönünde incelenecekleri için, bu makinedeki sonlanma durumları ( numaralı durumlar), yeni oluşturulacak makinenin başlangıç durumu olacaktır. çalışkan mış sınız sözcüğü bu makine ile incelendiğinde, -(y)muş eki ile numaralı giriş durumundan numaralı duruma, -sunuz eki ile de bu durumdan 4 numaralı duruma geçilir. 4 numaralı durum ile çıkış durumu arasında boş geçiş (ε) bulunduğundan, çıkışa ulaşılır. 2. vre: klerin Numaralandırılması: u aşamada üzerinde çalışılan kümedeki ekler numaralandırılarak ek tablosu oluşturulur. u tablo eklerin veritabanına yerleştirilmesi sırasında kullanılır. Oluşturulan sistemde ekler numaraları ile çağırılırlar. Tablo- de ek-eylem kümesi için oluşturulmuş ek tablosu görülmektedir. Tablo-: k-eylem ümesi k Tablosu (y)um 6 m csin 2 sun n 2 (y)u (y)uz 8 k (y)s 4 sunuz 9 nuz 4 (y)muş lr Ur (y)ken. vre: irinci evrede oluşturulan soldan sağa S, ekleri sözzcük sonundan başına doğru incelemek üzere ters çevrilir. Şekil-4 de ek-eylem kümesi için geçişler ters yönde gösterilmektedir. Şekil- de olarak numaralandırılmış çıkış durumları birleştirilip, başlangıç durumu haline getirilmiştir. u makinede sonlanma durumu Şekil- deki numaralı başlangıç durumudur. eçişler üzerindeki numaralar, eklerin veri tabanındaki (Tablo ) indisleridir. ε, 6,,8,9, ε,, ε,,2,,4,, 2 4 ε, ε,,2,,4, 4 2, Şekil-4: k-eylem. Sağdan Sola S İlk şama 4. vre: oş eçişlerin lenmesi, Yeni urumlar: eçişlerin ters yönde gösterimi ile, sağdan sola analiz yapan ancak belirgin olmayan bir S elde edilmiştir. akinedeki boş geçişlerin elenmesi ve belirgin hale dönüştürülmesi ile ilgili işlemler aşağıda gösterilmektedir. İşlemlerde içinde bulunan rakamlar ek numaralarını, {} içinde bulunan rakamlar eski durum numaralarını, harfler ise oluşan yeni durumları belirtmektedirler. İşlemler sırasında ε-geçiş(t) fonksiyonu kullanılmıştır. u fonksiyon, bir T durumundan ε boş geçişi ile ulaşılabilen tüm durumları ve T durumunun kendisini de içeren bir durumlar kümesi oluşturur. kümesi içerisindeki durumlardan, 2,, 4 numaralı ekler ile geçilebilecek durumlar kümesi T={, } dür. T kümesi ε-geçiş fonksiyonuna [2] sokulduğunda {, } kümesi elde edilir ve bu duruma yeni bir harf verilerek durumu oluşturulur. İşlemler sonucunda içeren yeni durumlar sonlanma durumları olarak kabul edilir. = {,, 2,, 4, } için, 2,, 4 : T={, } {, } : T={2,,, } {, 2,,} 6,, 8, 9 : T={2} {2} : T={4, } {,, 4} : T={4} {, 4} 2,, 4, : T={} {} = {, } için 4 : T={} = {, 2,,} için, 2,, 4 : T={} = {2} için 2, : T={} = {,, 4} için, 2,, 4, : T={} {} 4 : T={}

3 = {} için 4 : T={} = {, 4} için, 2,, 4, : T={} {} 4 : T={} Oluşan urumlar 9, 6 2,, 4,, 6 8,, 9 2,, 4, 2,, 4,, 6 = {,, 2,, 4, } = {, } = {, 2,,} = {2} = {,, 4} = {} = {} = {, 4} aşlangıç urumu: Sonlanma urumları:,,,, 2, 4 6, 8 2,, 4,, 6 6 2,, 4, 8 8.vre: Sağdan Sola Sonlu urum akinesi: Oluşan yeni durumlar kullanılarak sağdan sola sonlu durum makinesinin son hali oluşturulur ,2,,4 2,,4, 6,,8,9,2,,4 2, ,2,,4,,2,,4, Şekil-: k-eylem. Sağdan Sola S Son şama çalışkan mış sınız sözcüğü bu makine ile incelendiğinde, -sunuz 4 numaralı ek ile giriş durumundan durumuna, -(y)muş 4 numaralı ek ile den ye geçilir. ökün son harfi olan n numaralı ek işlenmeye çalışıldığında durumundan bu ek ile herhangi bir duruma geçiş olmadığından işlem durdurulur. bir sonlanma durumu olduğundan olası kök çalışkan olarak kabul edilir. İsim Çekim kleri ümesi İsim çekim ekleri kümesi için oluşturulmuş ek tablosu Tablo-2 de ve sağdan sola S Şekil-6 da görülmektedir. Tablo-2: İsim Çekim kleri ümesi k Tablosu lr (y) 2 (U)m 2 n (U)mUz 4 (U)n 4 n (U)nUz n 6 (s)u 6 nn lri (y)l 8 (y)u 8 ki 9 nu 9 (n)c (n)un yrıştırma sonucunda ulaşılan son durumun sonlanma durumu olup olmadığı kontrol edilir, eğer değilse kendinden önce ziyaret edilmiş sonlanma durumu son durum olarak kabul edilip ayrıştırma yapılır. Şekil-6: İsim Çekim kleri. Sağdan Sola S Örnek: etki-ler-den ek numarası: 8 u örnekte numaralı ek başlangıç durumundan ye, numaralı ek den ye, 8 numaralı ek ( -ki eki) den ye geçişi sağlar. bir sonlanma durumu olmadığından kendisinden bir önceki sonlanma durumu olan son durum kabul edilir ve etki sözcük köküne ulaşılır. Yapım kleri ümesi Tablo-: Yapım kleri ümesi k Tablosu luk 6 ln 2 U Uk 8 lu 4 lş 9 suz l Türkçe de köke eklenen yapım eklerinin sıralanışı ile ilgili kuralların henüz kesinlik kazanmamıştır. Yapım eklerindeki bu tanımsızlık, bu ek kümesi için bir S tasarlanmasını imkansız kılar. u nedenle sadece bu kümeye özgü olarak, eklerin numaralandırılması ve veritabanına eklenmesi yeterli görülmüştür. Tablo- de yapılan çalışmada kullanılan yapım ekleri görülmektedir. ylem Zaman kleri ümesi ylem soylu sözcüklere getirilebilecek zaman ve kiş ekleri eylem zaman ekleri kümesi altında toplanmıştır. Tablo-4 de bu kümede yer alan ekler görülmektedir. Şekil- de görülen sağdan sola S de olumlu ve olumsuz eylemler için iki farklı tip sonlanma durumu vardır., O ve Q durumları sadece olumsuz eylemler için sonlanma durumu kabul edilirler. Tablo-4: ylem Zaman kleri ümesi k Tablosu (y)um mkt 2 (y)unuz 2 sun 2 mli 22 (y)un (y)uz m 2 sunlr 4 sunuz 4 n 24 Ur lr k 2 (y)u 6 muş 6 nuz 26 (y)s (y)ck U 2 (y)muş 8 (U)r 8 s 28 csin 9 r 9 lim 29 (y)ken (U)yor 2 (y)

4 O 2,4,4,,6 9 I 6,,8,9,,,2,,8,2,2,22,2 24 6,,8,9,,, ,,8,9,,,2,2 2,26,2,8 6,,8,9,,,2,2 6,,8,9,,,2,8,2 28 6,,8,9,,,2,8,2 6,,8,9,,,2 6,,8,9,,,2,,8,2 6,,8,9,,, ,26 2,26,2 6,,8,9,,,2 6,,8,9,,,2 6,,8,9,,,2 N O 2,2,,4, Şekil-: ylem Zaman kleri. Sağdan Sola S Örnek: oku-yor-muş-um ek numarası: 6,2 u örnekte muş eki iki farklı ek olabilir: miş li geçmiş zaman veya rivayet eki. angisinin doğru olduğuna S yardımı ile karar verilir. Örnekte numaralı ek durumundan ye geçişi sağlar. durumundan 6 numaralı ekle başka bir duruma geçiş olmadığından 2 numaralı ek ile O durumuna geçilir. uradan numaralı ek ile durumuna geçilir ve ayrıştırma sonlanır. ulunan oku köküne getirilen zaman şimdiki zamanın rivayeti olarak bulunur. ylem Çekim kleri ümesi işi ve zaman ekleri dışında eylem soylu sözcüklere eklenen çekim ekleri eylem çekim ekleri kümesi altında toplanır. u küme karmaşık eylem, tasvir eylem ve çatı eklerini de içerir (Tablo-). ylem çekim ekleri kümesine farklı kümelerden giriş yapılabilir, bu sebeple bu küme birden çok başlangıç durumu içermektedir (Şekil-8). Tablo-: ylem Çekim kleri ümesi k Tablosu m 6 (y)koy mzlik 2 zsin mk 2 m z 8 (y)ucu (y)uş 4 yiz 9 (y)up 4 an zsiniz 2 (y)li 6 zlr 2 Ukç 6 (y)l m 22 (y)rk (y) 8 (y)m 2 (y)unc 8 mksizin 9 (y)dur 24 n 9 mdn (y)uver 2 y 4 (U)n (y)gel 26 (y)n 4 (U)ş 2 (y)gör 2 (y)ck (U)l (y)bil 28 (y)si ur 4 (y)yaz 29 Uk -(U)t (y)kal muş aşlangıç urumları: ve R normal giriş P isim modülünden giriş eylem zaman modülünden giriş O eylem zaman olumsuz giriş Q ek-eylem modülünden giriş Q P,2,,4,,6,8 8,9 4,4 4,4 N J ,2,2,22, ,8,4,,6 4 8 I 4 4,4 9,,,2,,4,,6 9,,, ,2,28,29,,,2, 8 R P 4,,6, Şekil-8: ylem Çekim kleri. Sağdan Sola S Örnek: u kümedeki O durumu, sadece kendisinden önceki durum eylem zaman ekleri kümesinin, O veya Q olumsuzluk sonlanma durumlarından biri ise başlangıç durumu olarak kabul edilebilir. Oku-yama-z-mış-ım ek numarası: 8 u örnekte ım ve mış ekleri eylem zaman ekleri modülü tarafından incelenir ve O olumsuz sonlanma durumu ile sonlanır. u nedenle eylem çekim ekleri kümesinde O olumsuz giriş kapısından başlanarak inceleme yapılır ve oku köküne ulaşılır. yrık S lerin ir na akinede irleştirilmesi Türkçe bir sözcük, isimden eyleme yada eylemden isime dönüşebilir. önüşüm sırasında farklı kümelerden ekler alır. u nedenle, oluşturulmuş ayrık makinelerin bir ana sonlu durum makinesinde birleştirilmesi gerekir. Yapım. Örnek: İsim Çekim ylem Çekim k-eylem ylem Zaman Şekil-9: na Sonlu urum akinesi Çağır-ma-dık-lar-ımız-dan-mış-sınız -ma olumsuzluk eki eylem çekim e.k. -dık sıfat fiil eki eylem çekim e.k. -lar çoğul eki isim çekim e.k. -ımız.ç.k.iyelik isim çekim e.k. -dan den hali isim çekim e.k. -mış miş li geçmiş ek-eylem e.k -sınız 2.ç.k ek-eylem e.k Q

5 u örnekte olduğu gibi, bir sözcüğün ayrıştırılabilmesi için oluşturulmuş durum makineleri arasında kurallara bağlı geçişler yapılması gerekmektedir. Şekil-9 daki ana makinede, çağırılan her modül ilk olarak sözcüğün bozulmamış hali üzerinde işlem yapar. aha sonra, kendisinden önce çalışmış modüllerin sonuçları üzerinde kontroller yaparak işlemlerine devam eder. inamik Yapının erçeklenmesi Türkçe bir sözcüğün ayrıştırılmasında birden fazla sonuç elde edilebilir. u durum dilin yapısının bir özelliğidir. Örnek: oyuncakları Oyuncakları sepete koydum. Oyuncak-lar-ı kök + çoğul eki + i hali yşe nin oyuncakları çok güzel. Oyuncak-lar-ı kök + çoğul eki +.tekil kişi iyelik hmet ile mine nin oyuncakları kırıldı. Oyuncak-lar-ı kök +.çoğul kişi iyelik eliştirilen uygulamada bu durum uygun veri yapıları tasarlanarak gerçeklenmiştir yrıştırma sırasında bulunan her ek için S numarasının, ek numarasının, ekin sözcük içerisindeki başlangıç adresinin ve ek açıklamasının tutulduğu bir düğüm oluşturulmuştur. Oluşan farklı ayrıştırma sonuçları dinamik bir liste kullanılarak gerçeklenmiştir. Sonuçlar ve Öneriler iriş bölümünde, Türkçe nin kural tabanlı bir dil olması nedeniyle sözlük kullanmadan, sözcük köküne ulaşılabileceği savı öne sürülmüştür. u tezde, geliştirilen sistem ayrıntılı olarak anlatıp, örneklendirilerek bu sav kanıtlanmıştır. Sistem, bir sözcüğün sözlük kullanmadan, biçimbirimsel analizini yapmayı hedeflemektedir. u hedefe ulaşmak için, bir sözcük köküne getirilebilecek tüm ekler beş küme altında toplanmış ve veritabanına yerleştirilmişlerdir. er küme için, eklerin sondan başa doğru sözcüğe ekleniş sıralarını belirleyen sonlu durum makineleri geliştirilmiş ve bu makinelerin ortak çalışmasını sağlamak üzere bir ana sonlu durum makinesi tasarlanmıştır. içimbirimsel analizi yapılacak sözcükler bu ana makineye sokulmuş ve üzerilerindeki eklerden ayıklanarak, sözcük köküne ulaşıldığı görülmüştür. erçeklenen ( yazılım, bir çok metin üzerinde denenmiş ve %98 başarı elde edilmiştir. Oluşan kural dışı durumlar, giderilmeye çalışılmıştır. Şekil- da örnek program çıktısı gösterilmiştir. eliştirilen yapıya yeni bir ek eklenmek istendiğinde, veri tabanındaki ilgili kümeye bu ekin eklenmesi ve bu kümeye ait sonlu durum makinesinin güncellenmesi yeterlidir. u tezde yapılan çalışmalardan yola çıkılarak, gelecekte öğrenen bir makine tasarlanması hedeflenebilir. u makine yazılı bir metni alıp, metin içerisindeki sözcüklerin biçimbirimsel analizini yaparak köklere ulaşacaktır. ulduğu sözcük kökü kendi veritabanında kayıtlı değil ise, kullanıcıdan kök anlamını isteyerek, bu kökü öğrenecektir. etin içerisindeki sözcük köklerinin anlamlarını öğrendikten sonra, köklere getirilen ekleri yorumlayarak sözcüklerin anlamlarına, buradan yola çıkarak da metnin anlamına ulaşacaktır. u makine, kendisine anlamsal incelemesi yapılmak üzere verilen her metinde, yeni kökler öğrenecek ve kendi kök sözlüğünü oluşturacaktır. Şekil-: Örnek Program Çıktısı aynakça [] llen, J., 99. Natural language understanding, enjamin/ummings Pub. o., Redwood ity, alifornia. [2] Offlazer,., 994. Two-level escription of Turkish orphology, iterary and inguistic omputing, Vol. 9, Number 2. [] eçeci,., 996. ir robot koluna kumanda eden doğal dil anlama sistemi, Yüksek isans Tezi, İ.T.Ü. en ilimleri nstitüsü, İstanbul. [4] üngördü, Z. and Oflazer,., 99. Parsing Turkish using the exical-unctional rammar ormalism, achine Translation Vol., Number 4. [6] Oflazer,. and uruöz, I., 994. Tagging and orphological isambiguation of Turkish Text, Proceedings of the 4th onference on pplied Natural anguage Processing, Stuttgart, ermany October. [] ebiroğlu,., 22. Sözlüksüz öke Ulaşma Yöntemi, Yüksek isans Tezi, İ.T.Ü. en ilimleri nstitüsü, İstanbul. [8] öksal,., 9. utomatic orphological nalysis of Turkish, Ph Thesis, acettepe University, nkara. [9] enny, J., 2. Türk ili ramerinin Temel uralları, tatürk ültür, il ve Tarih Yüksek urumu Türk il urumu Yayınları 62, nkara. [] anguoğlu, T., 2. Türkçenin rameri, tatürk ültür, il ve Tarih Yüksek urumu Türk il urumu Yayınları 28, nkara. [] Zülfikar,., 99. Terim Sorunları ve Terim Yapma Yolları, tatürk ültür, il ve Tarih Yüksek urumu Türk il urumu Yayınları 69, nkara. [2] opcroft, J., otwani, R., Ullman, J., 2. Introduction to utomata Theory, anguages, and omputation, ddison Wesley Pub., oston,.