TÜRKÇENİN BİÇİMBİRİM VE SÖZCÜK TÜRÜ İŞARETLEMESİ 1. Ümit MERSİNLİ ve Mustafa AKSAN Mersin Üniversitesi

Transkript

1 TÜRKÇENİN BİÇİMBİRİM VE SÖZCÜK TÜRÜ İŞARETLEMESİ 1 Ümit MERSİNLİ ve Mustafa AKSAN Mersin Üniversitesi umit@mersinli.org, mustafa@aksan.org 1. GİRİŞ Türkçe bilgisayarlı dil işleme ve derlem dilbilim alanlarında sözcük türü ve biçimbirim işaretleme pek çok çalışmanın konusu olmuştur. Kullanılan işaretler biçimbirim sıralamasına dönük olsa da, alanda ilk çalışma olarak Hankamer (1989) u gösterebiliriz. Oflazer (1994a, 1994b) ve Çiçekli ve Temizsoy (1997) iki-düzeyli biçimbilim yöntemleri kullanılarak yapılan ilk çalışmalardır. Biçimbirim ayrıştırma konusunda ise ekten-köke yönelimli çalışmalar arasında Sever (2003), Adalı (2002, 2004) ve Çilden (2006) yı sayabiliriz. Akın ve Akın (2007) ise biçimbirim işaretleme de yapabilen açık kaynak kodlu bir yazım denetçisi olarak güncel çalışmalar arasındadır. Çizelgelerle Türkçe nin biçimbirim ayrıştırma ve işaretlemesi konulu çalışmalar arasında ise Bisazza (2009) u gösterebiliriz. Ancak anılan çalışma da kullanılan sözlükler, kapsadığı biçimbirimler ve tasarım yönünden bu alanda bir deneme ve uyarlama niteliği taşımaktadır. Anılan çalışmaların dışında; erişim, kullanım ve sınamaya açık, Türkçe nin biçimbirim sıralaması konusunda başka bilgisayarlı dil işleme çalışmalarına katkı sunacak, geliştirilebilir, derlem temelli biçimbirim ayrıştırıcı ve işaretleyici uygulamalara gereksinim vardır. Bu çalışmada kural-tabanlı, çizelge gösterimli, kökten-eke yönelimli ve sözcük türü/biçimbirim ayrıştırma ve işaretleme amaçlı bir sonlu-durum çeviricinin tasarımı ve sonuçları özetlenecektir. Çalışma, veri kaynağı olarak geliştirilmekte olan Türkçe Ulusal Dil Derlemi Projesinin veritabanlarından yararlanmıştır. Elde edilen sonuçların diğer çalışmalarla karşılaştırılması çalışmanın kapsamı dışındadır. Yine bu çalışma, günümüz Türkçe sindeki kök-sözcük türü ve türetim/çekim eklerinin işaretlenmesiyle sınırlıdır. Artsüremli ayrıştırmalar, bağlama göre belirginleştirme ve çok sözcüklü birimlerin işaretlenmesi çalışmanın kapsamı dışında bırakılmıştır. 2. YAZILIM Kullanılan yazılım Silberztein (2003) te ayrıntılandırılan NooJ adlı derlem işleyicidir. Yazılım değerlendirme sırasında göz önüne alınan ölçütlerden en önemlileri erişime açıklık, çizelgelerle sonlu-durum çevirici tasarımı olanakları, sözlük oluşturma ve derlem yönetimi araçlarını barındırması olmuştur. Ayrıca yazılım, her dil için özelleştirilmiş eklentilerle çalıştığından çoğunlukla dile özel olmayan, tümce sonu belirleme, teksözcük dizinleme gibi araçları da içermektedir. Yazılım, oluşturulan Türkçe eklentinin kullanıcılarca da sınanmasına olanak sağlayan bağlam içinde sözcük arama araçları barındırmaktadır. İşaretleme, sözlükler ve kural dosyalarından oluşan dil eklentileri aracılığıyla yapılmaktadır. Bu çalışmanın konusu NooJ Türkçe eklentisinin v1b sürümüdür 3. Eklentinin tasarımı sırasında, ilgili bölümlerde ayrıntılandırılacak olan, 4 sözlük ve biri sözlük derlemede kullanılmak üzere 2 kural dosyası oluşturulmuştur. 367

2 3. VERİ Veri kaynağı olarak Türkçe Ulusal Dil Derlemi (TUDD) kapsamında oluşturulan yaklaşık 3,300,000 sözcük (token) büyüklüğünde bir alt-derlem kullanılmıştır. Seçilen 100 metin TUDD içindeki çeşitli konu alanlarını temsil etmektedir. 4. DİZİNLER Alt-derlem metinlerindeki tekrarlayan sözcükler NooJ yardımıyla dizinlendiğinde yaklaşık 280,000 teksözcük (type) elde edilmiştir. Teksözcükler öncelikle kök ve eklerine ayrılarak bir başsözcük (lemma) dizini oluşturulmuştur. Biçimbirim işaretlemesi içinse yine bir ek dizini oluşturulmuştur. 5. SÖZLÜKLER Sözlüklerin derlenmesi sırasında, oluşturulan başsözcük dizini ve bu sözcüklerin kök-içi ses değişimlerini içeren bir kural dosyası kullanılmıştır. Öncelikle, başsözcükler Tablo 1 deki sözcük türü işaretleri kullanılarak (1) deki gibi sözlük girdilerine dönüştürülmüşlerdir. Tablo 1 Sözcük türü işaretleri İşaret Sözcük Türü Örnek <VB> Eylem git, gel, dur, bak, kal, sus, gör, dök <NN> Ad gece, hava, renk, fark, dost, oyun <PN> Adıl bu, kendi, hepsi, herkes, kim, öteki <NB> Sayı iki,üç, beş, sekiz <AJ> Sıfat mavi, yeni, düz, dürüst, zeki <AV> Belirteç acaba, asla, bazen <PP> İlgeç gibi, göre, için, kadar, karşı, rağmen <ITJ> Ünlem aferin, sağol, haydi, hoşçakal, lütfen <CJ> Bağlaç ama, çünkü, meğer, üstelik <ON> Yansıma takır, vızıl, gürül <NP> Özel Ad Atatürk, Mersin, Ümit <AB> Kısaltma TBMM, TDK <MI> Soru eki mi, mı, mu, mü (1) akıl, NN yüz,nb yüz,vb yüz,nn git,vb güzel,aj Sözcük türü belirlemede çoğunlukla biçimbilimsel özellikler dikkate alınmış, zorunlu durumlarda anlamsal belirlemelere gidilmiştir. Bazı köklerin sözcük türü belirlemesinde 368

3 sıfat/ad, bağlaç/ilgeç gibi güçlüklerle karşılaşılmış, bu gibi durumlarda bağlam içi kullanımlara göre sözcük türü belirlenmiştir. Ardından, oluşturulan ham sözlük, Tablo 2 deki kök-içi ses değişimlerini içeren kural dosyası çalıştırılarak derlenmiş ve yine Tablo 2 nin örnekler bölümündeki gerçekleşmelerin ilgili kök sözcüklerle eşlenmesini sağlayacak sözlükler elde edilmiştir. Ses değişimlerinin belirlenmesinde olası tüm ses değişimlerinin kapsanması amaçlanmış, çok az sayıda karşılaşılan tıp > tıbbın gibi ses değişimleri de kural olarak eklenmiş ve ilgili kök sözcüklerde gerekli sözlüksel işaretleme yapılmıştır. Tablo 2 Kök-içi ses değişimleri Ad Kural Örnek double <D> af > affı drop <L><R > zam > zamma akıl > aklını fikir > fikrimin vakit > vaktinde dropsoften1 <B2>b kayıp > kaybına kutup > kutbuna dropsoften2 <B2>d kayıt > kaydına nakit > nakde dropsoften3 <B2>c avuç > avcuna kutup > kutbuna compound1 anaokulu > anaokulları compound2 <B2> elyazısı > elyazıları başağrısı > başağrıları compound3 <B2>ç ipucu > ipuçları compound4 <B2>k ayçiçeği > ayçiçekleri compound5 <B2>ul sultanoğlu > sultanoğulları compound6 <B2>p elkitabı > elkitapları compound7 <B2>t kesekağıdı > kesekağıtları soften_ch c ağaç > ağacı süreç > süreci soften_k ğ emek > emeği diyalog > diyaloğu soften_g g renk > rengi soften_p b kitap > kitabı mektup > mektubu soften_t d cilt > cilde dört > dördünü softenpdouble b<D> tıp > tıbbın muhip > muhibbi softentdouble d<D> zıt > zıddı change_an <B2>an ben > bana sen > sana change_m m saklan > saklambaç dolan > dolambaç 369

4 Kural yazımında Tablo 3 de açıklanan işleçler kullanılmıştır. Tablo 3 Metinsel kural yazımında kullanılan işleçler son yazımbirimi sil <L> bir yazımbirim sola git <B2> son iki yazımbirimi sil <R> bir yazımbirim sağa git <D> son yazımbirimi tekrarla m son yazımbirimi sil ve m ekle Yazılım, oluşturulan sözlüklere işlemlemede öncelik sırası vermeye olanak tanımaktadır. Böylelikle (2) deki gibi çoklu işaretlemelerde işlev sözcüklerine öncelik verilebilmektedir. (2) için <iç,vb+in(iz)[imp]> <iç,nn+i+n> <için,pp> Kullanıcı tarafından atanabilecek sözkonusu önceliklere olanak tanımak için, alt-derlemden elde edilen sözvarlığı; içerik sözcükleri, işlev sözcükleri ve özel ad/kısaltmaları içerecek şekilde gruplanmış ve çok sözcüklü yapılar da eklendiğinde, Tablo 4 te içerik ve büyüklükleri belirtilen 4 sözlük derlenmiştir. Tablo 4 Derlenen sözlükler ve kapsamları Dosya Adı Kapsam Girdi Sayısı content_tr.nom içerik sözcükleri 20,618 function_tr.nom işlev sözcükleri 76 multiword_tr.nom çok sözcüklü birimler 18,837 proper_tr.nom özel ad ve kısaltmalar 35, ÇİZELGELER Sonlu-durum çevirici düzeneklerinin tasarımında metinsel ya da çizgisel gösterimlerden yararlanılabilmektedir. Yazılım, Şekil 1 ve Şekil 2 de örneklendiği üzere, her iki kural gösterimine de olanak tanımaktadır. 370

5 Şekil 1. Metinsel kural yazımı örneği. Şekil 2. Çizgisel kural yazımı örneği. Bu çalışmada kök-içi ses değişimi kuralları için metinsel, türetim ve çekim süreçlerinin modellenmesi içinse çizgisel gösterim tercih edilmiştir. Türetim ve çekim eklerinin belirlenmesinde Bölüm 4 te belirtilen ve (3) te örneklenen ek bütünü dizini kullanılmıştır. (3) VB+yabiliyorsunuzdur VB+amayacağındandı NN+larındasınızdır NN+larındandırlar Eşsesli biçimbirimlerin çokluğu ve pek çok ekin çok işlevli olması nedeniyle, ekler için kullanılan işaretler, dilbilim alanyazınındaki yaygın biçeme uygun olarak (4) teki gibi hazırlanmış, çoğunlukla işlev bildiren işaretler/kısaltmalar kullanılmamıştır. Yalnızca, biçimbirim sıralamasının işlev farkını belirgin olarak ortaya koyduğu (5) teki gibi örneklerde, işlev bildiren kısaltmalar ek işaretine eklenmiştir. 371

6 (4) +lar = +ler, +lar +DI = +di, +dı, +du, +dü, +ti, +tı, +tu, +tü (5) ki[pn] = NN+Genitive+ki[PN] Çalışmanın bu aşamasında kapsanan ek sayıları Tablo 6 da görülebilir. Tablo 6 Ayrıştırılan ve işaretlenen ek sayıları Türetim Çekim (AD) Çekim (EYLEM) TOPLAM Eklentinin güncel sürümü yukarıda belirtilen sayıda biçimbirimi ayrıştırmakta ve işaretlemektedir. Sonraki sürümlerde özellikle ayrıştırılan ve işaretlenen türetim eklerinin saysının arttırılması hedeflenmektedir. Sözkonusu eklerin sıralama kuralları için üretilen çizelgeler; türetim ve çekim olmak üzere 2 alt başlık altında özetlenecektir Türetim Türkçe nin türetim ekleri için kullanılan işaretler, Tablo 7 de örneklendiği üzere, taban sözcük türünü değil, türetilen sözcük türünü belirtecek biçimde tasarlanmıştır. Tablo 7 Örnek türetim eki işaretleri İşaret Türetim (A)nAk_NN Eylemden Ad CI_NN Addan Ad lik_nn Addan Ad Türetim eklerinin sıralamasını ve kullanımını belirleyen kısıtlamalar konusunda, Uzun (1992, 1993, 2008) te tartışılan kısıtlılıklar, sözlüklere hece sayısı ve benzeri başsözcük özellikleri olarak eklenmiş ve çizelgelerde ilgili başsözcük ve türetim eklerinin bağlantıları kurulmuştur. Türetim çizelgeleri Şekil 3 te örneklendiği üzere üç düzeyli olarak tasarlanmış, 1. Düzeyde sözcük türü, 2. Düzeyde diğer kısıtlamalar ve 3. Düzeyde ise türetimler arası geçişler düzenlenmiştir. 372

7 Şekil 3. Örnek Türetim Çizelgesi / Sonlu-Durum Düzeneği 6.2. Çekim Çekim eki dizilimlerinin modellenmesinde Ad ve Eylem çekimi olmak üzere 2 alt-çizelge kullanılmıştır. Ad çekimi düzeneğinde, ara-ses ve eşyazımlı biçimbirim ya da biçimbirim birleşimlerinin çokluğu nedeniyle oluşan yapay belirsizlikleri gidermek amacıyla, iki alt çizelgeye gerek duyulmuştur. Bunlardan birisi ünsüzle biten tabanlara, diğeri ise ünlüyle biten tabanlara uygulandığında çoğunlukla ara-seslerden kaynaklı ayrıştırma güçlükleri giderilmiştir. Ek sıralaması konusunda Oflazer (1994a), Külekçi ve Özkan (2001), Adalı ve Eryiğit (2004) ve Makedonski (2005) teki düzeneklerden de yararlanılmıştır. Eylem çekimi düzeneğinde ise Sebüktekin (1974) teki dizimsel görünümler ve Sezer (2001) deki kuramsal belirlemelerden yararlanılarak Şekil 4 teki düzenek elde edilmiştir. Şekil 4. Türkçe nin Eylem Çekimi için Sonlu-Durum Düzeneği 373

8 7. KULLANIM Bu çalışma sonucunda oluşturulan NooJ_Türkçe, kullanıcılara kişisel derlem oluşturma, yönetme, işaretleme, belirginleştirme ve bağlam içinde sözcük ya da ek aratma gibi olanakları sağlamaktadır. Diğer kullanım olanakları Silberztein (2003) te ayrıntılandırılmıştır. Şekil 5 örnek bir işaretleme yapısını göstermektedir. Şekil 5. İşaretlenmiş metin örneği Bağlam içinde sözcük ya da ek aratma olanakları ise çeşitli arama metinlerinin ve sonuçlarının verildiği Şekil 6 ve 7 de görülebilir. <akıl> Şekil 6. Örnek arama sonucu 1 - Sözcük 374

9 <VB+r[Aor]> <VB+mA+z[Aor]> Şekil 7. Örnek arama sonuçları 2 Ek 8. SONUÇ Bu çalışmada Türkçe nin sözcük türü ve biçimbirim işaretlemesi amaçlı, derlem temelli, kökten-eke yönelimli, çizelge gösterimli bir sonlu-durum çevirici uygulamanın tasarım ve kullanımını özetledik. Sınamaya, güncellenmeye açık olan sözkonusu çalışma, Türkçe nin biçimbiliminin sonlu-durum düzenekleriyle gösterimi konulu çalışmalara katkı sağlayacaktır. Ayrıca kullanıma ve geliştirilmeye açık bir uygulama olması nedeniyle öncelikle biçimbilim araştırmalarında kişisel derlemler üzerinden bağlam içinde anahtar sözcük ya da ek araması yapma olanağı sağlamaktadır. Sonraki sürümlerde çok-sözcüklü birimlerin işaretlenmesi, bağlam temelli belirginleştirme ve tüm türetim eklerinin ayrıştırılabilmesi hedeflenmektedir. Notlar: 1. Bu çalışma Mersin Üniversitesi Bilimsel Araştırma Projeleri Fonu tarafından desteklenmiştir. (Proje numaraları: BAP-FEF-İDEB (SYA) ve BAP-FEF-İDEB (MA) ). 2. NooJ Türkçe eklentisi için: ve 9. KAYNAKÇA Adalı, E., & Cebiroğlu, G. (2002). Sözlüksüz köke ulaşma yöntemi. 19. TBD Bilişim Kurultayı Bildiri Kitabı. İstanbul. Adalı, E., & Eryiğit, G. (2004). An affix stripping morphological analyzer for Turkish. Proceedings of the IASTED International Conference ARTIFICIAL INTELLIGENCE AND APPLICATIONS. Innsbruck. 375

10 Akın, M. D., & Akın, A. A. (2007). Türk dilleri için açık kaynaklı doğal dil işleme kütüphanesi: ZEMBEREK. Elektrik Mühendisliği, 431, 38. Bisazza, A. (2009). Designing a Nooj module for Turkish. Proceedings of Nooj Conference Çiçekli, İ., & Temizsoy, M. (1997). Automatic creation of a morphological processor in logic programming environment. Proceedings of the 5th International Conference on the Practical Application of Prolog (PAP'97). London, UK. Çilden, E. K. (2006). Stemming Turkish words using Snowball. Erişim Tarihi: Hankamer, J. (1989). Morphological parsing and the lexicon. In W. Marslen-Wilson (Ed.), Lexical Representation and Process (pp ): Cambridge: MIT Press. Külekçi, M. O., & Özkan, M. (2001). Turkish word segmentation using morphological analyzer. Proceedings of EuroSpeech. Aalborg, Denmark. Makedonski, P. (2005). Finite state morphology: the Turkish nominal paradigm. Universitat Tübingen, Tübingen. Oflazer, K., Göçmen, E., & Bozşahin, C. (1994a). An Outline of Turkish Morphology: Technical Report, Middle East Technical University. Oflazer, K. (1994b). Two-level description of Turkish morphology. Literary and Linguistic Computing, 9 (2), Sebüktekin, H. I. (1974). Morphotactics of Turkish verb suffixation. Boğaziçi Üniversitesi Dergisi, 2, Sever, H., & Bitirim, Y. (2003). FindStem: Analysis and evaluation of a turkish stemming algorithm. 10th International Symposium on string processing and ınformation retrieval (SPIRE 03), Manaus, Brazil, October 8-10, Lecture Notes in Computer Science (LNCS) (pp ). Springer. Sezer, E. (2001). Finite inflection in Turkish. In E. E. Taylan (Ed.), The Verb in Turkish (pp. 1-47). Amsterdam: John Benjamins Publishing. Silberztein, M. (2003). Nooj Manual. Erişim Tarihi: Türkçe Ulusal Dil Derlemi Proje Sayfası. Uzun, E., Uzun, L., Aksan, M., & Aksan, Y. (1992). Türkiye Türkçesinin Türetim Ekleri: Bir Döküm Denemesi Ankara: Şirin. Uzun, E. (1993). Türkiye Türkçesinde Sözlüksel Yapı: Bir Eleştirel Çözümleme. Ankara Üniversitesi, Ankara. Uzun, E. (2008). Türetim eklerinin türetkenliğini ölçme önerileri üzerine. Y. Çotuksöken & N. Yalçın (Haz.), XX. Dilbilim Kurultayı Bildirileri Mayıs (pp ) İstanbul: Maltepe Üniversitesi. 376