BİÇİMBİRİM AÇIMLAMA VE BELİRGİNLEŞTİRME. Ümit MERSİNLİ, Mustafa AKSAN Mersin Üniversitesi

Transkript

1 BİÇİMBİRİM AÇIMLAMA VE BELİRGİNLEŞTİRME Ümit MERSİNLİ, Mustafa AKSAN Mersin Üniversitesi 1. GİRİŞ Doğal Dil İşleme alanlarından Sözcük Türü İşaretleme (Part-of-Speech Tagging) çalışmaları özellikle İngilizce için çeşitli ölçünlemelere gidilecek kadar gelişmiştir. EAGLES (Expert Advisory Group on Language Engineering Standards) da Avrupa Birliği tarafından desteklenen, konuyla ilgili ölçünleme projelerinden birisidir. EAGLES (1996) tarafından önerilen açımlama yöntemi (1) de örneklenmektedir. (1) walked V (A 3rd person, singular, finite, indicative, past tense, active, main verb, non-phrasal, non-reflexive, verb.) (EAGLES, 1996: 15) Görüldüğü üzere, söz konusu açımlama, dile-özel bir yönelimle, gerekli dilbilimsel bilgiyi sayılarla kodlama yoluna gitmektedir. Türkçe içinse, genel yaklaşım kısaltmalar ya da açıklamalar kullanmak yönündedir. (2) ve (3) te güncel biçimbirim açımlama/ayrıştırma araçlarından ikisine ait örnekler sunulmaktadır. (2) geldi [Kok:gel, Tip:FIIL Ekler:FIIL_KOK, FIIL_GECMISZAMAN_DI] Zemberek (Akın, 2007) (3) geldi gel<v><t_past><3s> TR_Morph (Çöltekin, 2010) Bu çalışmada sunulacak olan açımlama yaklaşımında, (3) te de benimsendiği gibi, Türkçe için daha kullanışlı olduğunu düşündüğümüz, biçimbirimlerin kısaltmalarla adlandırılması yöntemi benimsenecektir. Yine çalışmamızda, Sözcük Türü İşaretleme yerine, Türkçe için daha açıklayıcı olduğunu düşündüğümüz, Biçimbirim Açımlama (Morpheme Annotation) terimi yeğlenecektir. 2. Bölümde, geliştirilen eklentinin son sürümündeki (v1) yenilikler örneklenecektir. 3. Bölümde, NooJ v3 ün (Silberztein, 2003) sağladığı çeşitli belirginleştirme araçlarının Türkçe için kullanımlarına değinilecektir. Sonuç bölümünde ise öneriler ve geliştirme planları yer alacaktır. 2. BİÇİMBİRİM AÇIMLAMA (Mersinli & Aksan, 2010) da da tanıtıldığı gibi, NooJ_TR, sözlükler ve çizelgeler yardımıyla Türkçe Ulusal Dil Derlemi ni oluşturan metinlerdeki sözcüklerin türlerini gösterimlemek, ses değişimlerini belirlemek ve, kök/gövde ve ekleri ayrıştırıp açımlamak amacıyla oluşturulmuş bir eklentidir. Bu amaçla, güncel sürümde, içerik sözcükleri ve diğer başsözcüklerden oluşan iki sözlük derlenmiş ve ses değişimleri tanımlandıktan sonra ilgili ek dizilimi ile ilişkilenmesi sağlanmıştır. Şekil 1 de Türkçe nin eylem çekim dizgesini betimleyen sonlu-durum çevirici düzeneği görülebilir. 213

2 Şekil 1. Türkçe nin Eylem Çekimi için Sonlu-Durum Çevirici Düzeneği NooJ_TR v0.1 (Mersinli & Aksan, 2010) NooJ v0.1 kullanılarak yapılan örnek biçimbirim açımlaması Şekil 2 de gösterilmiştir. Söz konusu sürümde kullanılan işaret setinin ekin alanyazındaki adı ve/veya işlevini içerek şekilde tasarlandığı görülmektedir. Şekil 2. Biçimbirimleri açımlanmış örnek metin (NooJ_TR v0.1) (Mersinli & Aksan, 2010) Eklentinin güncel sürümü için oluşturulan sözlükler, Türkçe Ulusal Dil Derlemi Oluşturma Projesi (TUDD) ile eşgüdümlü olarak güncellenmektedir. Sözcük türü işaretleri ve güncel girdi sayıları Tablo 1 de özetlenmiştir ve belirtilen girdi sayıları türetilmiş başsözcükleri de kapsamaktadır. 214

3 Tablo 1. NooJ_TR v1 sözlük girdileri Gösterim Sözcük Türü Girdi Sayısı V Eylem 7,527 N Ad 51,924 A Sıfat 16,887 Q Soru eki 4 DT Belirleyici 42 PN Adıl 76 NP Özel Ad 78,080 AB Kısaltma 4,785 AV Belirteç 1,454 PP İlgeç 19 NU Sayı 251 ON Yansıma 698 CL Ayrışık 5 CJ Bağlaç 99 IJ Ünlem, Deyiş 429 FR Yabancı Sözcük 5,331 ER Belirlenemeyen Sözcük 18,269 SD Yanlış Yazım 2,371 Toplam 188,251 (4-7) de güncellenmiş sözlükler ve yenilenmiş işaret setinin kullanıldığı NooJ_TR v1 ile açımlanmış sözcükler verilmiştir. (4) geldi <gel,v+past> (5) yapabilecekler <yap,v+bfa+va1+futr+pl> (6) evdekilerdenmiş <ev,n+loc+kia+pl+abl+perf> (7) gidiyorlardı <git,v+bfi+imprf+pl+past Yukarıdaki örneklerde de görüldüğü üzere, güncel sürümde, eklerin adlandırılması için Türkçe alanyazındaki ortak gösterimler (+lar gibi) yerine, ekin işleviyle ilintili kısaltmaların (pl-plural gibi) kullanılması yolu seçilmiştir. Şekil 3 te adı geçen değişiklerin uygulandığı örnek bir metin görülebilir. 215

4 Şekil 3. Biçimbirimleri açımlanmış örnek metin (NooJ v1) Yukarıda değinilen ve (Demirhan & Aksan, 2011) de ayrıntılandırılmış olan işaret setinin kullanımıyla (8) deki gibi bağlam içi sözcük arama örüntüleri Şekil 4 teki gibi bağlamları dizinlemek için daha kolay kullanılabilir bir biçime dönüştürülmüştür. (8) <V+neg+aor> <V+neg+aor> Şekil 4. Örnek bağlam içi anahtar sözcük arama sonucu (NooJ_TR v1) 3. BELİRGİNLEŞTİRME Doğal Dil İşleme ve Biçimbirim Açımlamada, Türkçe deki belirsiz yapıların yoğunluğu pek çok çalışmada dile getirilmiştir. (Yüret & Türe, 2006) da da belirtildiği gibi açımlanmış sözcüklerin neredeyse yarısının, sözcük düzeyinde, çoklu açımlamaya izin verdiği söylenebilir. Aksan vd. (2011) Türkçe deki belirsizliklerin bir dökümünü yapmaktadır. Çalışmanın bu bölümünde, TUDD kapsamında, hesaplamalı yöntemler içermeyen, sözlükler, çizelgeler ya da bağlam belirlenimli kural yazımı yoluyla giderilen bazı belirsizlikler örneklenecektir. Adı geçen belirsizliklerden, eşyazımlı başsözcüklerin belirginleştirilmesinde, Türkçe nin sözvarlığına ilişkin oluşturulan nicel/sayısal dizinlerden yararlanılmaktadır. Bu türden, gözlenen sıklık değerleri arasında çok büyük farklar olan eşyazımlılıklarda (ben,pn Adıl / ben,n Ad 216

5 gibi), az rastlanan seçeneklerin (ben,n) ayrı bir sözlükte toplanarak ikincil olarak işlenmesi yoluna gidilecektir ve bu konudaki çalışmalar sürmektedir. Eşyazımlı ekler konusunda biçimbirim diziliminin modellendiği çizelgelerden yararlanılmıştır. Örneğin ki ekinin Belirteç, Kalma Durumu eki ya da İyelik eki ile öncelenmesi, belirginleştirici bağlam olarak kullanılmıştır. Yine (Aksan vd., 2011) deki dizinlemede eşyazımlı eklerin, lafın gelişi, sözün kısası gibi iyelik öbeklerinde yoğunlaştığı gösterilmiştir. Şekil 5 te ilgili belirsizliklerden bir örnek görülebilir. <p2s> ikinci tekil iyelik, <p3s> üçüncü tekil iyelik, <gen> iyelik durumu, <acc> belirtme durumu için kullanılan açımlamalardır. Şekil 5. Eşyazımlı eklerden kaynaklı belirsizlik örneği Yukarıdaki belirsizliğin giderilmesi için kullanılan (9) daki gibi bir belirginleştirme kuralı örneğinde <WF> herhangi bir sözcük, <DIC> herhangi bir sözcük türü < / > ise yer değiştirme işleci olarak kullanılmıştır. Yazılan kural çoklu açımlanan sözcük, eğer herhangi bir sözcük türünde iyelik durumu ile öncelenmişse, aradaki sözcük sayısına bakmaksızın, belirtme durumunu 3. tekil iyelikle yer değiştir şeklinde açıklanabilir. (9) KURAL1 = <DIC+gen> <WF>* <DIC+acc>/<DIC+p3s> ; (9) ve benzeri bir dizi bağlam içi kuralın ardıl işleme konulması sonucu, verilen iyelik öbekleri için (10), (11), (12) ve (13) deki gibi açımlama sonuçları elde edilmiştir. (10) hüznün kuşları <hüzün,n+gen> <kuş,n+pl+p3s> (11) günün en güzel saatleri <gün,n+gen> <en,n-av> <güzel,aj> <saat,n+pl+p3s> (12) kitabın kapağının rengi <kitap,n+gen> <kapak,n+p3s+bfn+gen> <renk,n+p3s> (13) Türk dilinin zenginlikleri <Türk,NP> <dil,n+p3s+bfn+gen> <zenginlik,n+pl+gen> 217

6 4. SONUÇ Bu çalışmada Türkçe için dilbilimcilerin kullanıp geliştirebileceği, programlama bilgisi gerektirmeyen, çizelgelerle sonlu-durum çeviriciler tasarlanabilecek, çeşitli belirginleştirme araçları barındıran, dilbilim/biçimbilim öğretiminde yararlanılabilecek NooJ_TR eklentisinin güncel sürümü tanıtılmış ve kural-tabanlı belirginleştirme konusunda yapılabilecekler örneklenmeye çalışılmıştır. Adı geçen eklentinin, hesaplamalı belirginleştirme çalışmaları için eğitici-derlem oluşturmada, derlem dilbilim öğretiminde, özel derlemler oluşturma ve açımlamada, veri çıkarımlamada, dilbilgisel örüntü dizinlemede, bağlam-içi biçimbirim arama konularında yararlı olacağına inanıyoruz. Notlar Bu bildiri TÜBİTAK 108K242; BAP-FEF (SYA) A ve BAP-FEF İDE (MŞA) A no lu projeler kapsamında hazılanmıştır. Katkılarından dolayı TÜBİTAK a ve Mersin Üniversitesi Bilimsel Araştırma Projeleri Birimine teşekkür ederiz. Kaynakça Akın, M. D., & Akın, A. A. (2007). Türk Dilleri için Açık Kaynaklı Doğal Dil İşleme Kütüphanesi: ZEMBEREK. Elektrik Mühendisliği, 431, 38. < Erişim tarihi: Aksan, Y., Mersinli, Ü., Yaldır, Y. & Demirhan, U. U. (2011). Türkçe Ulusal Dil Derlemi Projesi Biçimbirim Açımlama Çalışmalarında Belirsizliklerin Sınıflandırılması ve Dağılımı. 25. Ulusal Dilbilim Kurultayı. Adana: Çukurova Üniversitesi Demirhan, U.U., Aksan, M. (2011). Tagset for NooJ Turkish module. NooJ Conference 2011, Haziran 2011, Dubrovnik, Hırvatistan. EAGLES. (1996). Recommendations for the Morphosyntactic Annotation of Corpora. Erişim tarihi: Çöltekin, Ç. (2010). A Freely Available Morphological Analyzer for Turkish. Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC2010), Valletta, Malta, May Erişim tarihi: Mersinli, Ü. ve Aksan, M. (2010). Türkçenin Biçimbirim ve Sözcük Türü İşaretlemesi. Ç. Sağın-Şimşek ve Ç. Hatipoğlu. (Haz.) 24. Ulusal Dilbilim Kurultayı Bildiri Kitabı Mayıs (s ). Ankara: ODTÜ Silberztein, M. (2003). NooJ Manual. Erişim Tarihi: Yuret. D. & Türe, F. (2006). Learning Morphological Disambiguation Rules for Turkish. Proceedings of HLT- NAACL 2006 Türkçe Ulusal Derlemi Oluşturma Projesi