T.C. TRAKYA ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ

Transkript

1 T.C. TRAKYA ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ TÜRKÇE ĐÇĐN DERLEM TABANLI BĐR ANAFOR ÇÖZÜMLEME ÇALIŞMASI Edip Serdar GÜNER Yüksek Lisans Tezi Bilgisayar Mühendisliği Anabilim Dalı Danışman: Yrd. Doç. Dr. Yılmaz KILIÇASLAN 2008 EDĐRNE

2 T.C. TRAKYA ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ TÜRKÇE ĐÇĐN DERLEM TABANLI BĐR ANAFOR ÇÖZÜMLEME ÇALIŞMASI Edip Serdar GÜNER YÜKSEK LĐSANS TEZĐ BĐLGĐSAYAR MÜHENDĐSLĐĞĐ ANABĐLĐM DALI Bu tez / / 2008 tarihinde aşağıdaki jüri tarafından kabul edilmiştir. Yrd. Doç. Dr. Yılmaz KILIÇASLAN Tez Danışmanı Yrd. Doç. Dr. Özlem UÇAR Üye Yrd. Doç. Dr. Tahir ALTINBALIK Üye

3 i Yüksek Lisans Tezi Trakya Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Bölümü ÖZET Bu tez çalışmasının temelde iki amacı vardır. Bunlardan ilki, Türkçe gibi artgönderim çözümlemesi bakış açısıyla üzerinde çok çalışılmamış ve makine öğrenmesi deneylerine fazlaca konu olmamış bir dilde, çeşitli makine öğrenmesi modelleri kullanarak artgönderim çözümlemesinin modellenmeye çalışılmasıdır. Çalışmanın bir diğer amacı da, elimizdeki bir iş için kullanılacak modelin seçimine ilişkin, öğrenme modellerinin sınıflandırma performansları açısından değerlendirmesini yaparak, bu konuda yol gösterici olmaktır. Beklenen bir gözlem olan ve deneyler sonucunda elde edilen, her bir modelin aşırı ve yetersiz uyumdan kaçınarak optimum düzeyinin belirlenmesi gerekliliğinin yanında, elde edilen sonuçlara göre doğrusal olmayan modeller aşırı uyumdan kaçınacak şekilde düzgün olarak eniyileştirildiklerinde doğrusal olan modelleri de geride bırakmıştır. Anahtar Kelimeler: Makine öğrenmesi, adıl çözümlemesi, doğrusal-doğrusal olmayan sınıflandırıcılar, ifade gücü, yetersiz uyum, aşırı uyum

4 ii Masters Thesis Trakya University Graduate School of Natural and Applied Sciences Department of Computer Engineering ABSTRACT The aim of this thesis is two-fold. On the one hand, it attempts to explore several machine learning models for pronoun resolution in Turkish, a language not sufficiently studied with respect to anaphora resolution and rarely being subjected to machine learning experiments. On the other hand, the thesis offers an evaluation of the classification performances of the learning models in order to gain insight into the question of how to match a model to the task at hand. In addition to the expected observation that each model should be tuned to an optimum level of expressive power so as to avoid underfitting and overfitting, the results also suggest that non-linear models properly tuned to avoid overfitting outperform linear ones when applied to the data used in the experiments. Keywords: Machine learning, pronoun resolution, linear versus non-linear classifiers, expressive power, underfitting, overfitting

5 iii TEŞEKKÜR Bu çalışmanın hazırlanması sürecinde bana yol gösteren, bu alanda çalışmam için beni teşvik eden ve desteğini esirgemeyen değerli danışman hocam Yrd. Doç. Dr. Yılmaz KILIÇASLAN a ve beraber çalışmalar yürüttüğümüz Savaş YILDIRIM a çok teşekkür ederim. Sadece öğrenim hayatım boyunca değil, her zaman ve her koşulda bana destek olan aileme, özellikle de en zor günlerde hep yanımda olan babam Serhat GÜNER e, sonsuz teşekkürlerimi sunarım. Ayrıca, Yüksek lisans öğrenimim boyunca burs vererek maddi destek sağlayan TÜBĐTAK a teşekkür etmeyi bir borç bilirim. Son olarak, çalışma hayatımda yardımlarını esirgemeyen Bilgisayar Mühendisliği bölüm hocalarım ile çalışma arkadaşlarıma da teşekkür ederim. Edip Serdar GÜNER Edirne, Temmuz 2008

6 iv ĐÇĐNDEKĐLER ÖZET... i ABSTRACT... ii TEŞEKKÜR... iii ĐÇĐNDEKĐLER... iv ŞEKĐL LĐSTESĐ... vii TABLO LĐSTESĐ... viii BÖLÜM GĐRĐŞ... 1 BÖLÜM GENEL ARKAPLAN BĐLGĐLERĐ Artgönderim Çözümlemesi Gönderimlerin Sınıflandırılması Artgönderim Çözümlemede Kullanılan Etkenler Kısıtlayıcı Etkenler Kişi/Sayı ve Cinsiyet Uyumu Kısıtları Sözdizimsel Bağlama Kuramı (Binding Theory) Kısıtları Anlamsal Kısıtlar Ayrıcalık Tanıyan Etkenler Sözdizimsel Paralellik Anlamsal Paralellik Merkezleme Yaklaşımı Bilgisayarlı Artgönderim Çözümleme Çalışmaları Genel Bir Bakış Bilgi Tabanlı Yaklaşımlar Hobbs (1977) Lappin ve Leass (1994) Kennedy ve Boguraev (1996) Baldwin (1996) Öğrenme Tabanlı Yaklaşımlar... 16

7 v McCarthy ve Lehnert (1995) Aone ve Bennet (1996) Soon, Ng ve Lim (2001) Melez Yaklaşımlar Mitkov, Evans ve Orasan (2002) Preiss (2002) BÖLÜM TÜRKÇE DE ARTGÖNDERĐM ÇÖZÜMLEMESĐ Türkçe de Adıllar ve Artgönderim Türkçe Artgönderim Çözümlemesi ile Đlgili Dilbilim Çalışmaları Erguvanlı-Taylan (1986) Enç (1986) Turan (1996) Kılıçaslan (2004) Türkçe Artgönderim Çözümlemesi ile Đlgili Bilgisayarlı Çalışmalar BÖLÜM SĐSTEM TASARIMI VE GERÇEKLEME Derlem Đşaretlenecek Özelliklerin Seçimi Derlemin Đşaretlenmesi ve Eğitim Verisinin Oluşturulması Deneylerde Kullanılan Sınıflandırma Algoritmaları Naive Bayes Sınıflandırması K-En Yakın Komşu Sınıflandırması Karar Ağacı Sınıflandırması Destek Vektör Makinesi Sınıflandırması Seçimli Algılayıcı BÖLÜM SINIFLANDIRMA DENEYLERĐ VE DEĞERLENDĐRME Performans Değerlendirme Ölçütleri Deney Sonuçları Sınıflandırma Performansını Etkileyen Faktörler Algoritmalardaki Eksiklikler... 40

8 vi Veriye Özgü Zorluklar Sınıflandırıcı ve Sınıf Sınırları Arasında Uyumsuzluk Yetersiz Uyum (underfitting) ve Aşırı Uyum (overfitting) Dengesi Eniyileme (optimization) Đşlemi BÖLÜM ARTGÖNDERĐM ÇÖZÜMLEMESĐ BAŞARIMININ DEĞERLENDĐRĐLMESĐ Artgönderim Çözümlemesi Açısından Performans Sonuçları Son Açıklamalar BÖLÜM SONUÇ KAYNAKLAR ÖZGEÇMĐŞ EK

9 vii ŞEKĐL LĐSTESĐ 2.1 Bağlama kuramı içinde isim öbeklerinin sınıflandırılması RBF deneylerinde gözlenen veri büyüklüğü ve f-ölçütü değerleri arasındaki karşılıklı ilişki Üç farklı model kullanılarak oluşturulmuş bir ikili sınıflandırma örneği knn deneyleri için performans k değeri ilişkileri Adayların uzaklığa bağlı dağılımları Açık ve gizli adılların uzaklığa bağlı dağılımları 53

10 viii TABLO LĐSTESĐ 3.1 Türkçe de açık adıllar Türkçe de durum ekleri Karışıklık matrisi Sabit değerli parametreler Deneylerden elde edilen sınıflandırma sonuçları Onlu çapraz-doğrulama deneylerinde kullanılan özelliklerin katkı yüzdeleri Her özellik için bilgi kazançları Artgönderim çözümlemesi başarım oranları Özelliklerin olası durumları üzerinden gizli ve açık adılların dağılımları Özelliklerin olası değerleri üzerinden dört tip adılın dağılımı 56

11 1 BÖLÜM - 1 GĐRĐŞ Bilim insanları, cansız bir nesnenin insanı konuşma, düşünme, hareket gibi yetiler açısından taklit edebilmesi konusu üzerinde uzun yıllardır çalışmalar yapmaktadır. Bu konuyla özellikle bilişsel ve hesaplamalı bilimler alanları ilgilenmektedir. Günümüzde bu çalışmaların geldiği nokta, insanların inceleyip yorumlamakta zorlandıkları doğal dille oluşturulmuş artan bilgi yığını içerisinde, akıllı bir şekilde çıkarımda bulunabilecek, sahip olduğu bilgiyi yeni çıkarımlar doğrultusunda geliştirebilecek ve bildiklerini insanlara sunabilecek ajan (agent) adı verilen zeki bilgisayar yazılımlarının geliştirilmesi aşamasıdır. Doğal dil verisini bilgiye dönüştüren ajan yazılımları, bu dönüşümü sağlamak için doğal dilin zorluklarıyla başa çıkabilmelidir. Doğal dil insanlar için çözümlenmesi ve öğrenilmesi kolay bir olgu olsa da, bu konunun bilgisayarlar tarafından öğrenilmesi için bir çok sistem bilgisayar ortamında modellenmelidir. Bu modeller, kural veya öğrenme tabanlı olabileceği gibi melez (hybrid) de olabilmektedir. Bu tez çalışmasında, hem saf dilbilim (pure linguistics) hem de bilgisayarlı dilbilim (computational linguistics) alanlarını 20 yıldan fazladır oldukça meşgul eden ve zorlu bir konu olan, Türkçe bilimsel yazında artgönderim çözümlemesi olarak karşılık bulmuş, anaphora resolution işleminin makine öğrenmesi (machine learning) yöntemleriyle gerçekleştirilmesi konusu ele alınacaktır. En basit tanımıyla artgönderim çözümlemesi, artgönderimsel (anaphoric) bir ifadenin neye gönderimde bulunduğunun belirlenmesi işlemidir. Örneğin, 1 Ormanlar i dünyanın akciğerleridir. Onları i korumalıyız. şeklinde verilen ardışık iki cümleden, ikincisinde yer alan onları adılı, ilk cümledeki ormanlar isim öbeğine gönderimde bulunmaktadır. Burada, onları artgönderimsel ifade, 1 Bu tez çalışması kapsamında verilecek örneklerdeki artgönderimsel ilişkiler, artgönderim ile öncülünün aynı alt indis ile gösterilmesi yoluyla belirtilecektir.

12 2 ormanlar ise gönderim yapılan ifadedir. Ormanlar kelimesi ikinci cümlede tekrarlanmamış, yerine aynı varlığı gösteren başka bir ifade kullanılmıştır. Đnsanların çoğu zaman farkında bile olmadan yaptıkları ve düzgün bir iletişimin temelini oluşturan artgönderim çözümlemesi, günümüzde pratik amaçlı olarak doğal dil işleyen çeşitli hesaplamalı sistemlerde önemli yer tutmaktadır (Mitkov 2002). Artgönderim çözümlemesinin pratik amaçlarla kullanılabileceği sistemlere örnek olarak makine çevirisi (machine translation), metin özetleme (text summarization), bilgi çıkarımı (information extraction) ve soru cevaplama (question answering) sistemleri verilebilir. Bu sistemlerde elde edilecek başarı, büyük oranda, işlenen söylem (discourse) yapısı içinde geçen ifadeler arası gönderimlerin doğru çözümlenmesine bağlıdır. Konu üzerine sürdürülmekte olan çalışmalar, sözdizimsel (syntactic), anlambilimsel (semantic) ve gerçek dünya bilgisi 2 kullanımının ağırlıklı olduğu bilgi yoğunluklu tekniklerden, ön bilgiye dayanmayıp metin içinde saklı olan bilgiyi kullanan bilgi-yoksun (knowledge-poor) yaklaşımlara kadar geniş bir yelpazede artgönderim çözümlemesi yöntemlerinin ortaya çıkmasını sağlamıştır. 3 Mitkov un (1998, 1999) da belirttiği gibi, artgönderim çözümlemesine yönelik yaklaşımların büyük ve hızlı artışıyla birlikte, 4 bu alanda kullanılan yöntem veya modellerin karşılaştırmalı bir değerlendirilmesinin yapılması gerekliliği büyük önem kazanmıştır. Bunun yanında, makine öğrenmesi alanında yapılan kuramsal çalışmalar da, hiçbir öğrenme algoritmasının evrensel olarak bir diğerinden daha üstün olmadığını göstermektedir (Wolpert ve Macready, 1995). Bu nedenle, Hoste un (2005a, 2005b) da vurguladığı gibi, hangi öğrenme yönteminin hangi öğrenme işine uygun olduğunun belirlenebilmesi için, makine öğrenmesi yöntemlerinin belirli dil işleme görevlerindeki davranışlarının deneysel olarak karşılaştırılması gereklidir. 2 Bkz. Hobbs (1978), Carbonell ve Brown (1988), Lappin ve Leass (1994), Tın ve Akman (1994), Kehler (2000, 2002). 3 Bkz. Kennedy ve Boguraev (1996), Mitkov (1996b, 1998, 2002), Baldwin (1997), Küçük ve Turhan-Yöndem (2007). 4 Artgönderim üzerine yapılan ilk kuramsal ve bilgisayarlı çalışmalara ilişkin kapsamlı bir araştırma için bkz. Hirst (1981), alanda yapılan daha yeni çalışmalara yönelik bir araştırma için bkz. Mitkov (1999, 2002).

13 3 Bu tez çalışması ile, Yıldırım ve Kılıçaslan (2007) tarafından önerilen yöntemlerin genişletilmesi ve detaylandırılması amaçlanmıştır. Bahsedilen çalışmada, işaretlenmiş (annotated) Türkçe bir metin üzerine bir karar ağacı (decision tree) algoritması uygulanmasıyla gerçekleştirilen bazı deneylerin sonuçları sunulmuştur. Burada sunulacak çalışma ise metnin genişletilmesini ve öncülü olan çalışmaya 4 tane yeni algoritmanın (naïve Bayes, destek vektör, yapay sinir ağı, ve k-en yakın komşu algoritmaları) eklenmesini konu edinmektedir. Bu çalışmanın esas amacı, bahsedilen algoritmaları kullanarak karşılaştırmalı bir değerlendirme yapmaktır. Đlerleyen bölümlerde, deney sonuçlarına dayanarak her algoritmanın iki ayrı modu arasındaki farklılıklar üzerinden karşılaştırma yapılacaktır. Bu karşılaştırma yapılırken de Türkçe de artgönderim çözümlemesi için gerekebilecek karmaşıklık düzeyinin alt sınırı belirlenmeye çalışılacaktır. Çalışmanın bir diğer katkısı ise dil seçimi konusunda olacaktır. Türkçe için artgönderim çözümlemeyi, üzerinde çalışılmaya değer kılan en az iki önemli sebep vardır. Bunlardan ilki, Đngilizce için yapılan çalışmaların sayısal olarak çokluğuna bakıldığında, Türkçe de bilgisayarlı veya saf dilbilimsel bir bakış açısıyla artgönderim çözümlenmesine yönelik yapılmış çalışmaların, hem sayı hem de çeşitlilik açısından tatmin edicilikten uzak olmasıdır. Bunun yanında, gizli adılların (null - covert pronoun) sıklıkla kullanımı ve açık adılların (overt pronoun) da bilgi içeriğinin az olması, Türkçe yi artgönderim çözümlemesi araştırmacıları için Đngilizce gibi dillerden daha zorlu hale getirmektedir. Bu tez çalışmasında, ilk olarak, artgönderimin ne olduğuna, türlerine ve çözümleme amacıyla ortaya konan yaklaşımlara değinilecektir (Bölüm 2). Ardından Türkçe de artgönderimlerin nasıl gerçeklendiği ve bu dil için geliştirilmiş çözümleme yöntemleri incelenerek, konunun karmaşıklığı ortaya konulmaya çalışılacaktır (Bölüm 3). Verilen bu ön bilgilerin ardından, çalışmanın esas konusu olan, öğrenme algoritmalarıyla derlem (corpus) üzerinde artgönderim çözümlemesi yapabilen bir sistemin, bileşenleri incelenecektir (Bölüm 4). Oluşturulan derlem üzerinde, sistemin işletilmesi ile elde edilen sonuçlar, ilk olarak sınıflandırma (Bölüm 5), ardından da artgönderim çözümleme sonuçları (Bölüm 6) üzerinden değerlendirilecek, elde edilen sonuçların kısaca sunulmasıyla da (Bölüm 7) çalışma sonlandırılacaktır.

14 4 BÖLÜM - 2 GENEL ARKAPLAN BĐLGĐLERĐ Bu bölümde artgönderim çözümlemesi, öncelikle kuramsal bir bakış açısıyla incelenecek, ardından da bu alanda yapılmış önemli dilbilimsel ve bilgisayarlı çalışmalara değinilecektir Artgönderim Çözümlemesi Artgönderimin Đngilizce karşılığı olan anaphora kelimesinin kökeni eski Yunanca ya kadar uzanmakta olup, bu kelime gerçekte iki ayrık kelime olan ana (geriye doğru, akıntıya karşı) ve phora (taşıma) kelimelerinin birleşmesiyle oluşmuştur. En basit tanımıyla anaphora, önceden bahsedilen bir şeyi göstermek demektir. Grosz (1995), artgönderimin formel bir tanımını, doğal dil ile kurulan cümlelerde bir adıl veya bir isim öbeğinin, kendinden önce bahsi geçen bir nesne veya olaya tekrar yoluyla referansta bulunması olarak yapmıştır. Artgönderim için ortaya konulan bir diğer tanım da, Halliday ve Hasan (1976) tarafından ifade edildiği şekliyle, önceki bir şeyi gösterme yoluyla bağlaşıklığın (cohesion) sağlanmasıdır. Valin ve LaPolla da (1997) bir metne bağlaşıklığını veren şeylerin göndergeler, mekan, zaman veya eylemlerin aynılığı olduğunu söylemiştir. Đnsanların bir metni veya konuşmayı ayrık kelimeler, tümcecikler veya cümleler kümesi olarak değil de bütünleşik şekilde algılamalarını sağlayan şey bağlaşıklıktır. Bağlaşıklığın sağlanması ile söylem içindeki artgönderimlerin referansta bulunduğu öğeler belirlenmiş, insanlar ve diğer öğrenebilen sistemler, önceden karşılaştıkları bir şeye ait yeni bilgiler edinebilmiş olur. Böylece, bilgi akışında devamlılık sağlanarak aktarılan veri de arttırılır. Örneğin, Ali, Ahmet i i ziyaret edecekti. Çünkü ona i yardım etmeliydi. (2.1)

15 5 söylem parçasında geçen ona adılının referans amaçlı olarak kullanıldığı ve Ahmet e gönderimde bulunduğu bir insan tarafından çok çabuk ve kolay bir şekilde algılanabilmekte, içinde bulunulan ortama ait yeni bilgiler eskileriyle birleştirilebilmektedir. Artgönderimin ne olduğundan bahsettikten sonra, söylem içerisinde gönderimde bulunulan ifadelerden de bahsetmek gerekir. Az önce sözünü ettiğimiz bağlaşıklığın sağlanması için söylem içerisinde geriye doğru gönderimde bulunulan ifadelere ise öncül (antecedent) adı verilir. Öncüller gerçek dünyada veya doğal dil cümlesini kuran kişinin zihninde var olan olay veya nesnelerdir. Genelde, hem öncüller hem de artgönderimler, gerçek dünyadaki aynı varlığa gönderimde bulunan gönderimsel ifadeler (referential expressions) olup, eşgönderimli (coreferential) olarak adlandırılırlar. Aynı varlığa referansta bulunan isim öbeklerinin de eşgönderim zinciri (coreferential chain) oluşturduğu söylenir. Ancak her ne kadar artgönderim ile eşgönderim olguları birbirleriyle örtüşüyor gibi görünse de, eşgönderimin artgönderimden farklı olduğunu belirtmemiz gerekir. Artgönderim, eşgönderimden farklı olarak tek ve bütünleşik bir metin içinde gerçekleşir. Örneğin, Atatürk, Türkiye Cumhuriyeti nin ilk cumhurbaşkanıdır. (2.2) Ulu Önder, onbeş yıl süreyle cumhurbaşkanlığı görevini sürdürmüştür. cümlelerinde Atatürk ve Ulu Önder, her ne kadar gerçek dünyada aynı varlığa referansta bulunsa da, biri diğerine referansta bulunmamaktadır. Bu durumda artgönderim değil, eşgönderim yapılmıştır. Bir söylem içinde bir artgönderim ve öncülü arasında bağlantının kurulması işlemine artgönderim çözümlemesi ya da Đngilizce karşılığıyla anaphora resolution adı verilirken, bütün doğru öncülleri veya eşgönderim zincirlerini bulmaya çalışılması işlemine eşgönderim çözümlemesi denilmektedir. Bu tez kapsamında eşgönderimler daha fazla ele alınmayacak olup, bu ön bilgiyle aradaki fark konusunda bir fikir verilmesi amaçlanmıştır.

16 Gönderimlerin Sınıflandırılması Artgönderimler, çeşitli çalışmalarda çok farklı biçimlerde sınıflandırılmaktadır. Bu sınıflandırmalar genelde gönderimde kullanılan ifadenin hangi dilbilgisel kategoriye ait olduğu, gönderimin yönü ve gönderimde bulunan ifadenin sese dönüşüp dönüşmediği üzerinden yapılır. Dilbilgisel kategori üzerinden yapılan sınıflandırmaya göre gönderimler adıl, isim, yüklem veya belirteç ile yapılmaları yönünden ayrılabilirler. Bunlardan adıl kullanarak yapılana örnek vermek gerekirse, Ahmet, Oya i ya onu i sevdiğini söyledi. (2.3) cümlesinde onu adılı Oya ya gönderimde bulunarak adılsıl (pronominal) bir artgönderim oluşturmuştur. Đsim, yüklem ve belirteç kullanımları yoluyla oluşturulan artgönderimler genelde bilgisayarlı artgönderim çözümleme çalışmaları tarafından gözardı edilmektedir. Bunun sebebi, bunların çeşitli sözdizimsel kurallar yoluyla kolaylıkla çözülebilir olmalarıdır. Bu çalışma kapsamında da sadece adılsıl artgönderimler dikkate alınacak ve çözümlenmeye çalışılacaktır. Gönderimler, yön üzerinden yapılan sınıflandırmaya göre ise iki ayrı gruba ayrılabilir. Bunlar artgönderimler ve öngönderimlerdir (cataphora). Artgönderimin ne olduğundan hali hazırda bahsetmiş olduğumuzdan, bu sınıflandırma şeklinde sadece öngönderimden bahsedeceğiz. Öngönderimler, doğrusal olarak işlenen söylem yapısı içerisinde henüz söyleme dahil olmayan, ancak ileride dahil olacak öğelere yapılan gönderimlerdir. Bu tip bir gönderime örnek olarak, Sabahtan beri onu i bekliyoruz. Fakat [Ahmet Beyler] i ancak gelebildiler. (2.4) şeklindeki söylem parçasında, ilk cümlede onu adılıyla ikinci cümledeki Ahmet Beyler isim öbeğine yapılan gönderim verilebilir. Çalışmamız kapsamında öngönderimlere de yer verilmeyecektir. Ses içeriği bakımından artgönderimlerin sınıflandırması ise, artgönderimsel bir ifadenin cümlenin yüzeysel yapısı içinde sese dönüşüp dönüşmemesi üzerinden

17 7 yapılmaktadır. Sese dönüşmüş artgönderimler açık artgönderim, dönüşmemişler ise gizli artgönderim olarak adlandırılır. Örneğin, Öğretmen i, Oya j ya bir kitap k verdi. Ø i Ø j Onu k bir hafta içinde okumasını söyledi. (2.5) söylem parçasında, onu adılı ses içeriğine kavuşmuşken, Ø i ve Ø j ile gösterilen adıllar ses içeriği kazanamamıştır. 5 Bazı dilbilimciler ise artgönderimleri, öncülleriyle aynı cümlede olup olmamasına göre sınıflandırmaktadır. Bu sınıflandırmaya göre artgönderim ve öncülü aynı cümlede değilse, bu tip artgönderimlere cümleler arası (intersentential), aynı cümledeyse, cümle içi (intrasentential) artgönderim denmektedir Artgönderim Çözümlemede Kullanılan Etkenler Artgönderim çözümleme algoritmalarının çoğunluğu, öncülü isim öbeği olan artgönderimlerle ilgilenir. Bunun sebebi yüklem öbekleri, cümleler veya paragrafları öncül olarak kabul eden artgönderimlerin çözümlenmesinin oldukça karmaşık olmasıdır. Söylem parçası içinde herhangi bir artgönderimin öncesinde yer alan isim öbeklerinin tamamı, o artgönderim için aday öncül olarak kabul edilir. Genelde ise, artgönderimin öncülünün aranacağı bir kapsama alanı belirlenir. Bu kapsama alanı çoğunlukla artgönderimin bulunduğu cümle ve hemen öncesindeki cümleler olur. Fakat ideal bir artgönderim çözümleme algoritması için bu kapsamın geniş tutulması gerekebilir. Belirlenen kapsama alanındaki aday öncüller içinde çeşitli kısıt ve/veya kurallar kullanılarak arama yapılır ve gerçek öncül belirlenmeye çalışılır. Gerçek öncülü belirlemede kullanılan kısıt veya kurallara, artgönderim çözümleme etkenleri denmektedir (Mitkov 1999). Bunlar kendi içlerinde kısıtlayıcı ve ayrıcalık tanıyan etkenler olmak üzere ikiye ayrılırlar. Genelde bilgi-yoksun 5 Bu çalışmada, bilimsel yazındaki genel eğilime uyarak gizli artgönderimler için Ø sembolünü kullanacağız.

18 8 artgönderim çözümleme algoritmalarında kullanılan bu etkenleri daha ayrıntılı olarak inceleyerek, olayın dilbilimsel boyutunu yakından görme fırsatı bulabileceğiz. Ayrıca bu kısımda vereceğimiz bilgiler, çalışmada kullandığımız bazı özellikler açısından ön bilgi niteliği taşımakla birlikte, çalışmanın sonuçlarını değerlendirirken bahsedeceklerimizi anlamada faydalı olacaklardır Kısıtlayıcı Etkenler Aday öncüller kümesi içerisinden belirli kurallara dayalı olarak eleme yapmaya yararlar Kişi/Sayı ve Cinsiyet Uyumu Kısıtları Bir artgönderim ve öncülü kişi/sayı ve cinsiyet rolleri açısından uyum içinde olmalıdır. Oya i evden çıkarken [Ayşe ve Hasan] j onu i uğurladılar. Ø j Kapıyı kapadıktan sonra ağlamaya başladılar. (2.6) ilk cümledeki o adılının yalnız Oya ya, ikinci cümledeki gizli adılın ise yalnız Ayşe ve Hasan a gönderimde bulunabilmesi durumu sayı uyumunun bir sonucudur. Đngilizce gibi adılları cinsiyet bilgisi taşıyan dillerde, cinsiyet kısıtı da, ilişkiyi belirlemede önemli rol oynar Sözdizimsel Bağlama Kuramı (Binding Theory) Kısıtları Chomsky (1981), Government & Binding Kuramı olarak adlandırdığı yaklaşımında isim öbeklerini iki temel özelliğin varlığına göre 4 gruba ayırmış, bağlama kuramı prensipleri ile de gönderim bağlantılarının nasıl olması gerektiğini ortaya koymuştur. Đsim öbeklerinin artgönderimsel ve adılsıl özellikler taşıyan öğeler

19 9 olduğunu ve öğelerin bu özelliklerden bir kısmı veya hepsini taşıyabileceği gibi hiçbirini de taşımayabileceğini söylemiştir. Bu konuda çıkardığı model aşağıdaki gibidir: Şekil 2.1. Bağlama kuramı içinde isim öbeklerinin sınıflandırılması. Şekil 2.1 de özetlenen gönderimsel ifadeler, Chomsky nin dilbilgisi yaklaşımı içerisinde olan bağlama kuramına uymak zorundadırlar. Bağlama kuramı temelde şu 3 ilkeden oluşur: Yalnız artgönderimsel özellik taşıyan (yani [+a-p] olan) dönüşlü artgönderimler, kendilerine en yakın konumdaki öğe ile bağlanabilirler. Örneğin, John i likes himself i. John i kendini i sever. (2.7) cümlesindeki himself dönüşlü adılı John ile artgönderimsel ilişki kurmak zorundadır. Yalnız adılsıl özellik taşıyan (yani [-a+p] olan) adıllar, kendilerine en yakın olan hariç diğer özne görevindeki öğelerle bağlanabilirler. Örneğin, John i asked Mary to wash him i. John i, Mary den onu i yıkamasını istedi. (2.8) cümlesindeki him adılı yalnız John ile artgönderimsel ilişkiye girebilmektedir.

20 10 John gibi doğrudan gerçek dünyada referansını bulan öğeler başka bir ifadeyle bağlanamaz. Bu tip öğeler, artgönderimsel veya adılsıl özelliklerden herhangi birini taşımadıkları için (yani [-a-p] olduklarından), hiçbir gönderimsel ilişkiye giremezler. Belirtilen bu üç ilkenin haricinde Şekil 2.1 de gösterilen bir diğer gönderimsel ifade de, hem artgönderimsel hem de adılsıl özellik taşıyan (yani [+a+p] olan) ve PRO ile ifade edilen öğelerdir. Bunlar cümle içinde ses içeriği kazanamazlar. Örneğin, [PRO Okumak] gereklidir. (2.9) cümlesinde okumak eyleminden önce gizli ve kişi-dışı bir öğe vardır Anlamsal Kısıtlar Bir öncülün uymak zorunda olduğu anlamsal bir model varsa buna gönderimde bulunan ifade de aynı anlamsal kısıtlara uymak zorundadır. Örneğin, Kedi i çıktığı ağaçtan j inmek istemiyordu. Ø i aşağıdakilere yalvarır gibi bakıyordu. (2.10) söylem parçasında, ilk cümle ile söylem modeli içerisine iki varlık (kedi ve ağaç) girmektedir. Đkinci cümlede, ilk cümledeki bir nesneye gönderimde bulunulmakta ve gönderim yapılabilecek iki aday bulunmaktadır. Burada anlamsal kısıtlar devreye girer ve ikinci cümledeki gizli adılın ancak kediye gönderimde bulunabileceği söylenir Ayrıcalık Tanıyan Etkenler Ayrıcalık tanıyan etkenler, aday öncüller kümesi içinde bazı öncüllere öncelik tanıyarak onları öne çıkarırlar. Kısıtlayıcı etkenler gibi her zaman kullanılmaları gerekmez. Bu etkenler bilgi-yoksun sistemlerde sırayla kullanılarak aday öncüllere değerlilik ataması

21 11 yapılır. Gereken etkenler uygulandıktan sonra aday öncüller arasında en yüksek değere sahip öncül, gönderimde bulunulan öncül olarak kabul edilir Sözdizimsel Paralellik Sözdizimsel paralellik, kısıtlar ve diğer ayrıcalık tanıyan etkenler kullanılarak bir öncülün belirsizliği durumu ortadan kaldırılamadığında kullanılır. Artgönderim ile aynı sözdizimsel role sahip isim öbeklerine öncelik tanınmasını sağlar. Aşağıdaki söylem parçasına bakalım. Oya i kitabı j çantaya koymuştu. Ø i Akşam eve geldiğinde ise Ø j bulamadı. (2.11) Đlk cümlede kitabı nesne görevinde olduğundan, sözdizimsel paralellik ayrıcalığı kullanıldığında, ikinci cümlede nesne görevindeki gizli adılın öncülü olmaktadır Anlamsal Paralellik Anlamsal rolleri otomatik olarak tanıyabilen sistemler için önemli bir seçim unsuru olmaktadır. Artgönderim ile aynı anlamsal role sahip isim öbeğine öncelik tanınmasını sağlar. Oya Ali i ye bir kitap vermişti. Hasan da ona i kalem vermişti. (2.12) Yukarıdaki örnekte, Ali ve ona bulundukları cümlelerde de olaydan etkilenen (patient) rolündeki öğelerdir, yani anlamsal rolleri aynıdır. Bu sebeple, ona adılı Ali ye gönderimde bulunmaktadır.

22 Merkezleme Yaklaşımı Sözdizimsel ve anlamsal ölçütler her ne kadar kuvvetli olsalar da muhtemel aday öncüller arasında tam bir ayrım yapamayabilirler. Böyle belirsizlikler oluştuğunda söylem içerisinde en dikkat çekici (salient) öğenin öncül olarak seçilmesi yoluna gidilir. Bu en dikkat çekici öğeye hesaplamalı dilbilimde, odak (focus) veya merkez (center) denir (Grosz ve Sidner 1986, Grosz 1995). Aşağıdaki cümleyi inceleyelim. Oya, bardağı tabağın içine koydu ve o kırıldı. (2.13) Sadece bu cümleyi duyan bir insan veya bilgisayarın, o adılının öncülünün bardak mı yoksa tabak mı olduğunu bulması imkansızdır. Fakat aşağıdaki gibi bir söylem parçası verildiğinde, artık artgönderimin çözümlenmesi için söylemin bağlaşıklığından faydalanılabilir. Oya önceki gün markete alışverişe gitti ve orada bir bardak gördü. Onu almak istedi ancak yeterli parası yoktu. Dün tekrar markete gittiğinde bardağı alacak parası vardı. Bardağı alıp evine döndü. Mutfağa giden Oya, bardağı tabağın içine koydu ve o kırıldı... (2.14) Bu söylem parçası içinde geçen aynı artgönderim ilişkisi, bardak en dikkat çekici söylem varlığına dönüştüğü için rahatlıkla çözülebilmektedir. Đfadeler, Grosz ve Sidner in (1986) merkezleme kuramı kapsamında iki tip merkez ile ilişkilidir: ileriye ve geriye dönük merkezler. Đleriye dönük (forward-looking) merkezler, söylemin ileri kısımlarındaki göndergeler için potansiyel öncüllerden oluşan bir kümedir. Bunlar kendi içlerinde, önemlerine göre sıralanırlar. En önemli merkez, yani tercih edilen merkez, takip eden ifadede geriye dönük (backward-looking) merkez olacağı tahmin edilen varlıktır. Tek olan geriye dönük merkez, dikkat merkezindeki varlık olarak kabul edilir ve önceki en yakın ifadeye artgönderimsel bağlantıyı sağlar.

23 Bilgisayarlı Artgönderim Çözümleme Çalışmaları Genel Bir Bakış Artgönderim çözümlemesine yönelik bilgisayarlı dilbilim çalışmalarında geliştirilen algoritmalar, her ne kadar insanlar kadar başarılı olamasalar da, temel stratejileri açısından benzerdirler. Bu algoritmaların önemli bir kısmı dilbilim alanında ortaya konan bulguların bilgisayarlı ortamda gerçeklenmesine yöneliktir. Amaç, söylem içinde olası öncülleri belirleyip, bunlar içinden en uygun olanını mümkün olan en yüksek başarıyla seçmektir. Algoritmalar uygulandıkları dil, hedefe ulaşmadaki yol, yöntemler ve kullandıkları özellikler bakımından farklılıklar göstermektedirler. Bu farklılıklardan son ikisini ele aldığımızda son yıllarda kural tabanlı yaklaşımlardan öğrenme tabanlı yaklaşımlara, bilgi-zengin yaklaşımlardan ise bilgi-yoksun yaklaşımlara doğru bir geçiş olduğu görülebilmektedir. Bunun yanında, teorik yaklaşımlardan, pratikte kullanıma sahip yaklaşımlara doğru da bir kayma vardır. Bilgisayarlı dilbilim alanında yapılan artgönderim çözümleme çalışmaları kendi aralarında bilgi tabanlı, öğrenme tabanlı ve melez yaklaşımlar olarak üç temel sınıfa ayrılabilir. Bilgi tabanlı (knowledge-based) yaklaşımlar: Biçimsel, sözdizimsel, anlamsal, sözlüksel ve söylem kaynaklı bilgiye dayanan yaklaşımlardır. Kendi içlerinde kullandıkları bilgi yoğunluğuna göre, bilgi-yoksun ve bilgizengin olarak da sınıflandırılırlar. Öğrenme tabanlı (learning based) yaklaşımlar: Makine öğrenmesi teknikleri kullanılarak, artgönderimsel ilişkilerin çözülmesine yönelik yaklaşımlardır. Kendi içlerinde denetimli (supervised) ve denetimsiz (unsupervised) yöntemlerin kullanımına bağlı olarak ikiye ayrılırlar. Melez yaklaşımlar: Bilgi tabanlı yaklaşımlarla öğrenme tabanlı yaklaşımların birlikte kullanılmasıyla ortaya çıkmışlardır.

24 14 Bu tez çalışması için öğrenme tabanlı bir yaklaşımın seçilmesinin çeşitli sebepleri vardır. Bunlardan ilki, bilgi-tabanlı bir yaklaşımda gerek duyulan ayrıntılı sözdizimsel çözümlemeyi Türkçe için yapabilen bir ayrıştırıcıdan yoksun olmamızdır. Đkinci sebep, yine bilgi tabanlı yaklaşımlarda kullanılan kural ve kısıtların Türkçe için tam olarak tanımlanamamış olmasıdır. Yeterli büyüklükte veri ve parametreler sağlandığında, makine öğrenmesi yöntemleriyle, insanlar tarafından görülemeyen kural ve kısıtlar otomatik olarak çıkarılabileceği için, bu önemli bir avantaj sağlamaktadır. En son olarak da, makine öğrenmesi yönteminin Türkçe ye uygulanmamış olması nedeniyle bu alandaki bir açık kapatılmak istenmiştir. Şimdi, artgönderim çözümlemesine ilişkin bilimsel yazında önemli yere sahip çalışmalardan, yukarıda verdiğimiz sınıflandırma kapsamında kısaca bahsedilecektir Bilgi Tabanlı Yaklaşımlar Hobbs (1977) Hobbs (1977) çalışmasında, Đngilizce de artgönderim çözümlemesi için iki yaklaşım sunmaktadır. Bunlardan ilki, metin içindeki cümlelerin ayrıştırma ağaçları üzerinde çalışan basit ve etkin bir yöntemdir. Ayrıştırma ağaçları, cümle içindeki kelimelerin yerlerini değiştirmeden oluşturulmakta ve cümlenin dilbilgisel yapısını göstermektedir. Algoritma derinlik öncelikli ve soldan-sağa bir yöntemle ağacı dolaşmakta, uyumlu sayı ve cinsiyet özelliklerine sahip bir isim öbeği aramaktadır. Hobbs, Arthur Hailey nin bir romanı ve Newsweek dergisinin bir sayısını kullanarak hazırladığı bir derlem üzerinde, %88.3 başarı oranı elde etmiştir. Aynı çalışmada kullandığı ikinci yaklaşım ise, ilkine ek olarak anlamsal çözümlemeyi de işin içine katmaktadır. Bu yaklaşımı kullanarak %91.7 gibi yüksek bir başarım değerine ulaşmıştır. Hobbs algoritması halen bu alanda yapılan çalışmaların çoğunda klasik bir dayanak yöntemi olarak kullanılmaktadır.

25 Lappin ve Leass (1994) Lappin ve Leass (1994) tarafından ortaya konulan algoritmanın ismi RAP tır (Resolution of Anaphora Procedure). Bu algoritma, sözdizimsel yapı ve basit bir dinamik ilgi durumu (attentional state) modeli üzerinden çıkarılan dikkat çekicilik ölçütlerini kullanır. Çözümleme işlemi sırasında, biçimsel ve sözdizimsel filtrelerle aday isim öbeklerinden bir kısmı ayıklanır ve kalan adaylara önceden tanımlanmış dikkat çekicilik etkenleri üzerinden belirli değerler atanır. Bu algoritmada kullanılan dikkat çekicilik etkenleri şunlardır: yakınlık, özne önceliği, varoluş önceliği, nesne öncelikleri ve isim öbeği öncelikleri. Bilgisayar kullanım kılavuzları ile oluşturdukları derlem üzerinde yapılan testlerde, cümleler arası artgönderimler için %72, cümle içi artgönderimler için ise %89 başarım oranları elde edilmiştir Kennedy ve Boguraev (1996) Kennedy ve Boguraev in (1996) artgönderim çözümleme algoritması, RAP algoritmasının değiştirilmiş bir şeklidir. Tamamen ayrıştırılmış yapılara gerek duymadan sadece isim öbeklerinin belirlenmesi ile çalışabilmektedir. Aday öncüllerin sıralaması dilbilgisel rol yerine, sadece sözdizimsel bilgi kullanılarak yapılır. Basında yer alan çeşitli makaleler, ürün tanıtımları ve web üzerinden topladıkları metinlerden oluşan derlemleriyle yaptıkları deneylerde, üçüncü kişi adılları üzerinden %75 başarım oranı elde etmişlerdir Baldwin (1996) Baldwin (1996) çalışmasında, CogNIAC adını verdiği artgönderim çözümleme algoritmasıyla, gerçek dünya bilgisine gerek duymadan, öncülleri belirsiz olmayan adılların çözümlenmesini sağlamıştır. CogNIAC, teklik, dönüşlülük ve sahiplik gibi kurallar kullanmaktadır. Bu kurallar belirli bir sırada baştan sona işlenmekte ve öncül bulunduysa sonraki kurallar kullanılmamaktadır. Başarım oranı, uygulandığı metinde %77.9 olmuştur.

26 Öğrenme Tabanlı Yaklaşımlar McCarthy ve Lehnert (1995) McCarthy ve Lehnert (1995), RESOLVE adını verdikleri sistemleriyle, MUC-5 ticari metinler içeren derlemi üzerinde makine öğrenmesi yöntemi kullanarak eşgönderim çözümlemesi yapmaya çalışmışlardır. McCarthy ve Lehnert, aynı metni elle girilmiş kurallarla da çözümlemeye çalışarak, sonuçlarını karar ağacı algoritması kullandıkları yöntemleriyle karşılaştırmışlardır. 8 özellik kullandıkları bu yöntemde, karar ağacı budanmadığında %87.6 duyarlılık sonucu elde ederlerken, budama yaparak sonuçlarını %92.4 e çıkarmışlardır. Öğrenmede kullandıkları özelliklerin tamamı anlamsal özellikler olup, sözdizimsel özelliklerle ilgilenmemişlerdir Aone ve Bennet (1996) Aone ve Bennet ın (1996) çalışmasında otomatik olarak eğitilebilen bir artgönderim çözümleme sistemi geliştirilmiştir. Japonca gazetelerden oluşturdukları bir derlemde, artgönderimsel ilişkilerin işaretlenmesi ve bunlardan oluşturulan eğitim verileri üzerinde bir makine öğrenmesi yönteminin uygulanması yoluyla çözümleme işlemleri yapılmıştır. C4.5 karar ağacı algoritması (Quinlan 1993) kullanılmıştır. Karar ağaçlarının, artgönderim ve olası öncül çiftleri üzerinden eğitilmesi için 66 özellik kullanılmıştır. Bu özellikler, sözlüksel, sözdizimsel, anlamsal ve konum bilgisi içeren özelliklerdir. Bunların bir kısmı sadece artgönderim veya öncüle ait ayrık özellikler olmakla birlikte, bir kısmı ikisi arasındaki ilişkiyi belirten özelliklerdir. Üretilen karar ağaçları sonucunda %90 a varan başarılara ulaşılmıştır Soon, Ng ve Lim (2001) Soon vd. (2001) çalışmalarında, C4.5 karar ağacı algoritması kullanarak artgönderim çözümlemesi yapmaya çalışmışlardır. Sözlüksel, dilbilgisel, anlamsal ve konum özelliklerinden oluşan 12 adet özellik kullanarak, MUC-6 ve MUC-7 derlemleri

27 17 üzerinde deneyler yapmışlardır. Ayrıca kullandıkları her özelliğin sınıflandırmaya yaptığı katkıyı ölçmüş ve bu özelliklerden sadece üçünü kullanarak da %68 gibi bir duyarlılık değerinin yakalanabileceğini göstermişlerdir Melez Yaklaşımlar Mitkov, Evans ve Orasan (2002) Mitkov vd. (2002) tarafından ortaya konulan MARS (Mitkov s Anaphora Resolution System) adlı bu sistem tam otomatik olarak çalışmaktadır. Đşaretlenmemiş metinleri alıp ayrıştırma ve artgönderim çözümlemesi işlemlerini yapar. Öncelikle sözdizimsel ayrıştırma yaparak isim öbeklerini belirler. Ardından makine öğrenmesi yöntemleri ile artgönderimsel öğeleri belirler. Bu artgönderimsel öğelerin her biri için iki cümle öncesine kadar olan aday öncülleri toplayarak, bunlar üzerinde kişi/sayı ve cinsiyet uyumu filtrelerini uygular. Ayıklanmış aday öncüller kendi aralarında çeşitli etkenler kullanılarak sıralanır ve bir artgönderimin gerçek öncülü belirlenmiş olur. Bu tam otomatik sistem, gerçek uygulamalarda kullanılmış olup, teknik kullanım kılavuzlarından oluşan bir derlemde %61.6 gibi bir başarıya ulaşmıştır Preiss (2002) Preiss (2002) çalışmasında, Kennedy ve Boguraev in (1996) çalışmalarında kullandığı algoritmayı, makine öğrenmesi yöntemiyle gerçeklemiştir. Bu şekilde bellek-tabanlı (memory-based) bir yaklaşımın etkinliğini ölçmüştür. Preiss, artgönderim çözümlemesini, bir ikili sınıflandırma problemi olarak ele aldığı yaklaşımıyla, en az özgün kural-tabanlı yaklaşım kadar iyi bir başarım elde etmiştir.

28 18 BÖLÜM - 3 TÜRKÇE DE ARTGÖNDERĐM ÇÖZÜMLEMESĐ 3.1. Türkçe de Adıllar ve Artgönderim Tablo 3.1, çalışmamızda kullanılan Türkçe adılların açık hallerini göstermektedir: Kişi Adılları Konum Adılları Dönüşlü Adıllar Đşteş Adıllar Ben Bura Kendim sen Ora Kendin o Şura Kendi biz Kendimiz Birbirimiz siz Kendiniz Birbiriniz onlar Kendileri Birbirleri Tablo 3.1. Türkçe de açık adıllar Bu adıllar, tam isim öbekleri gibi, ana tümcenin öznesi konumundayken kapalı bir yalın durum ekine sahip olmakla birlikte nesne ve belirtecimsi (adjunct) konumlarında belirtme (accusative), yönelme (dative), çıkma (ablative), kalma (locative) ve araç (instrumental) durum eklerini de taşıyabilmektedirler. Türkçe deki durum ekleri Tablo 3.2 de verilmiştir: 6 Belirtme Durumu Đyelik Durumu Yönelme Durumu Çıkma Durumu Kalma Durumu Araç Durumu -(y)i -(n)in -(y)e -DEn -DE -(y)le Tablo 3.2. Türkçe de durum ekleri Türkçe, adıl düşüren (pro drop) bir dil olmasının yanında, gizli adılların hem özne hem de özne olmayan konumlarda kullanımına izin verir. Türkçe deki gizli ve açık 6 Türkçe ekler, çeşitli işlemler sonucunda ses ve şekil değişikliğine uğrar. Bu işlemlerden biri sesli uyumudur. Burada kullanılan büyük harfler biçimbirimlerin (morpheme) değişen halleri için kısaltma olarak kullanılmıştır. I, E ve D harfleri sırasıyla i/ı/ü/u, e/a ve d/t ile gerçeklenirler. Bir başka değişiklik de, kelime sonunda bir sesli veya sessiz harf bulunmasına göre eklerden önce tampon görevi gören bir sessizin getirilmesidir. Bunun için kullanılan sessiz harf de y harfidir.

29 19 öznelerin her biri, fiil ile sayı ve kişi ekleri üzerinden (üçüncü tekil kişi uyum eki saklı veya özne gizli olmadığında üçüncü tekil kişi ekinin kullanımı seçmeli olacak şekilde) uyum (agreement) sağlayabilir. Nesneleri belirleyebilmek için ise aşağıda örneklendiği gibi bir uyum stratejisi yoktur: 7 Öğrenci-ler problem-i çöz-dü-(ler) / Onlar o-nu çöz-dü-(ler) / Ø Ø Çöz-dü-ler (3.1) Kornfilt (1997), Türkçe de, mümkün olan her durumda, adılların silinmesinin tercih edildiğine dikkat çekmektedir. Ayrıca, Türkçe de en çok kullanılan artgönderimsel ilişkilerin gizli adıllar üzerinden olduğunu ve bu dilde açık adılların Đngilizce gibi dillerde olduğu kadar yaygın kullanılmadığını da eklemektedir. 8 Kılıçaslan vd. (2007), Türkçe nin bu özelliğini (yani Đngilizce gibi dillerle karşılaştırıldığında daha fazla sayıda gizli adıl kullanılmasını), bu dil için alt-ulamlama çerçevelerinin (subcategorization frames) otomatik olarak elde edilmesindeki zorluğun ana sebebi olduğunu ileri sürmektedir. Ayrıca bu özellik artgönderimsel ilişkilerin çözümlenmesinde de önemli bir sorun olmaktadır. McLuhan ın (1964) kitle iletişim araçları için ortaya attığı soğuk ve sıcak karşıtlığını dilbilime uyarlayan Bickel (2003), gizli adılların sıkça kullanıldığı dilleri, dinleyicinin öncülleri bulabilmek için daha fazla çıkarım yapması gerektiği gerçeğine dayanarak soğuk diller olarak nitelemiştir. Sıcak diller ise bu açıdan daha açık olup dinleyicinin işini kolaylaştırmaktadır. Türkçe gibi bir dilde bir metin işlenirken, gizli adılların ortaya çıkarılmasının, artgönderim çözümleme sistemleri 9 için ek yük getiren ve hataya yatkın bir iş olacağı ortadadır. Ayrıca, açık olarak kullanıldığında dahi Türkçe üçüncü kişi adılı, Đngilizce deki üçüncü kişi adılına göre öncülünü işaret etmede daha az bilgilendirici olmaktadır. Türkçe de bu tip bir adıl, cinsiyet bilgisi taşımadığı için (3.2) örneğindeki gibi bir 7 Türkçe adılların kullanımı ve şekilsel özellikleri hakkında daha ayrıntılı bilgi için bkz. Kornfilt (1997). 8 Küçük and Turhan-Yöndem (2007), Türkçe için bilgi-yoksun adıl çözümlemesi deneylerinde kullandıkları metinde gizli adılların bütün adıllara oranının %74.7 olduğunu belirtmektedir. Bu çalışmada aynı oran %62.4 tür. 9 Mitkov (2000), artgönderim çözümleme sistemi kavramını, artgönderim çözümleme algoritmasına gönderebilmek için metni biçimbilimsel (morphologic), sözdizimsel, anlambilimsel ve söylem gibi çeşitli düzeylerde işleyerek çözümleme yapan tam sistemler olarak tanımlamaktadır (s. 255). Mitkov ayrıca, artgönderim çözümleme algoritmaları ve sistemleri arasında bir ayrım yapılmasını da önermektedir. Bu tezde sunulan çalışmanın, artgönderim çözümleme sisteminin ön-işleme aşamalarında oluşabilecek olası hata ve karışıklıkları dikkate almadan tamamen, öğrenme algoritmasının uygulandığı artgönderim çözümleme aşamasına odaklandığını belirtmeliyiz.

30 20 durumda erkek, dişi veya cansız bir varlığa işaret etme açısından belirsizliğe (ambiguity) yol açacaktır: Adam i kadına j bir kitap k verdi. The man gave the woman a book. (3.2) Ø i Çocuğun onu i/j/k görmesini istemiyordu. He did not want the child to see him / her / it. Yukarıdaki örnek için, ikinci cümledeki açık adıl, adama, kadına veya kitaba gönderimde bulunabilecek şekillerde yorumlanabilir. Bu anlam belirsizliği, söylem Đngilizce ifade edildiğinde, adılın taşıdığı cinsiyet bilgisine bağlı olarak çözümlenebilmektedir Türkçe Artgönderim Çözümlemesi ile Đlgili Dilbilim Çalışmaları Türkçe de gizli adılların mümkün olan her durumda kullanılması ve açık adılların da bilgi içeriğinin fazla olmaması nedenleriyle, bu dilde açık adılların ne zaman kullanılıp kullanılmayacağı sorusu doğal olarak akla gelmektedir. Çeşitli dilbilimciler Türkçe de açık ve gizli adılların dağılımlarına ilişkin açıklama getirmeye çalışmışlardır Erguvanlı-Taylan (1986) Erguvanlı-Taylan (1986) çalışmasında, cümle-sınırlı (sentence-bounded) durumlarda açık veya gizli adıl kullanımının nasıl olacağı ve cümle içinde bu adılların nerede kullanılacağıyla ilgili açıklama getirmeye çalışmıştır. Ayrıca, Türkçe de artgönderimsel ilişkilerin, zorunlu gizli adıl kullanımı, zorunlu açık adıl kullanımı, ve açık veya gizli adılların seçimli kullanımı

31 21 şeklinde gerçeklenebileceğini belirtmiştir. Açıklamasında, bu üç durumun belirli şartlar altında geçerli olduğunu ortaya koymuştur. Ana tümcenin öznesiyle eşgöstergeli (coindexed) yan tümce (subordinate clause) öznesi gizli olmak zorundadır. Buna örnek olarak aşağıdaki cümle verilebilir. Erol i bana [Ø i / *onun i toplantıya gelmeyeceğini] söyledi. (3.3) Yan tümcenin özne hariç bir rolünde olup ana tümcedeki bir argümanla eşgöstergeli olan bir adıl açık olmak zorunda olduğunu vurgulayan Erguvanlı-Taylan, artgönderimsel ifadenin ikinci cümlenin öznesi olmadığı birleşik tümcelerde, adılsıl veya gizli artgönderimin kullanılabileceğini söylemiştir. Bu çalışmada ayrıca, artgönderim ilişkileri cümle sınırlarını aştığı durumlarda, artgönderimsel ifadelerin yorumlanmasının söyleme bağlı olduğu üzerinde durulmuştur Enç (1986) Enç (1986), açık ve gizli özneler arası seçimin, söylem konusunun (topic) yeni mi kurulduğu yoksa eskisinin devam mı ettirildiği ölçütüyle belirlendiğini ileri sürmüştür. Eğer konu söylem modeline yeni girmişse açık adıl kullanılır. Hali hazırda söylem modeli içinde varolan bir şeye gönderimde bulunulacaksa gizli adıl kullanılır. Örneğin; Neden ceketini giydin? (3.4) soru cümlesinin cevabı olarak sadece, Ø çarşıya gidiyorum. (3.5) şeklinde gizli adıl kullanımıyla dilbilgisine uygun bir cümle kurulabilir. Bunun yanında Enç açık adıl kullanımının, Kimse sınava çalışmadı. Ben çalıştım. (3.6) söylem parçasında olduğu gibi karşıtlık yaratmak amacıyla kullanıldığını da söylemiştir.

32 22 Bunun yanında, Kerslake (1987) de, gizli özneler ve öncesinde bulunan söylem arası artgönderimsel ilişkiler üzerinde durmuştur. Türkçe bir öznenin gizli olabilmesi için, gönderiminin ya bir önceki cümlenin öznesi olması ya da söyleme yeni girmiş olması gerektiğini savunmuştur Turan (1996) Turan (1996) çalışmasında, Türkçe de söylem düzeyi artgönderimsel ilişkilerin çözümlenmesine yönelik en geniş analizi sunmuştur. Analizini, Merkezleme Kuramı (Centering Theory) (Grosz vd. 1983, 1986,s 1995) tarafından ortaya konulan çerçeve içinde geliştirmektedir. Bu çalışmada Merkezleme Kuramı bakış açısıyla üç önemli konu üzerinde durulmuştur. Đlk olarak, gönderimsel olmayan ifadelerin de gönderimsel ifadeler kadar adılların öncülleri olabileceği gösterilerek, ileriye dönük merkezler listesine katkı yapan isim öbekleri oldukları ortaya konmuştur. Üzerinde durulan ikinci konu, ileriye dönük merkezler kümesindeki elemanların sıralanması mevzusudur. Turan, Đngilizce den farklı olarak, Türkçe deki sıralamanın dilbilgisel roller üzerinden değil de tematik roller üzerinden yapılması gerektiğini söylemiştir. Bu çalışmada ayrıca, açık ve gizli adıllar ile tam isim öbeklerinin söylemdeki görevleri üzerine bir tartışmaya gidilmiştir Kılıçaslan (2004) Kılıçaslan (2004), Türkçe deki artgönderimsel ilişkilerin, cümle sınırları içinde tanımlı doğrusal öncelik (linear precedence) veya baskınlık (dominance) kısıtlarıyla tam olarak ifade edilemeyeceği varsayımına dayanan bir kanıt sunmaktadır. Bununla birlikte, bu tip kısıtların etkinlikten yoksun olduğu bir cümle alanı da bularak bir adım öteye gitmiştir. Kılıçaslan, Banfield ı (1982) takip ederek, cümlenin çekirdek ve perifer i (periphery) arasında bir ayrım yapmaktadır. Bu açıklamaya göre, cümle odağı uygun bir soruya cevap oluşturabilecek cümle kısmı olarak kabul edildiğinde, perifer alan solda cümle odağı, sağda ise yüklem ile sınırlanmıştır. Kılıçaslan, bir artgönderim

33 23 ve öncülünün cümle periferinde iken, normalde bağlı oldukları kısıtlardan kurtulduğunu belirtmektedir. Artık, cümle yapısal olarak söylemden bütünüyle yalıtılmış bir birim olarak algılanamayacağından, Türkçe de artgönderim çözümlemesini zorlaştıran bir diğer etken de bu olmaktadır Türkçe Artgönderim Çözümlemesi ile Đlgili Bilgisayarlı Çalışmalar Türkçe de artgönderim çözümlemesi için bağlamsal (contextual) etkenlere en çok Tın ve Akman (1992, 1994) tarafından önem verilmiştir. Durum kuramının (situation theory) 10 bilgi-odaklı özelliklerinin, adılsıl artgönderim çözümlenmesinde kullanılması için bilgisayımsal bir sistem önermişlerdirler. Tın ve Akman ın (1994) BABY-SIT adını verdikleri sistemleri, artgönderimsel bir anlam belirsizliğini çözebilmek için geri ve ileri bağlama (chaining) kısıtlarıyla 11 ortaya çıkardığı ilişkili bağlam bilgisini kullanmaktadır. Teorik çerçevede oluşturulan bu modele ilişkin bir başarım oranı verilmemiştir. Turhan-Yöndem ve Şehitoğlu (1997), bu çalışmada HPSG (Head Driven Phrase Structure Grammar) tabanlı bir ayrıştırıcı kullanarak Türkçe deki düşürülmüş adılların cümleler arası gönderimlerini çözümlemeye çalışmışlardır. Düşürülmüş adılların çözümlenmesinde kullanılan şemanın öğe sırasına bağlı olduğunu ifade etmişlerdir. Bunun yanında, belirsizlikleri gidermede gerçek dünyadan elde edilen anlamsal ipuçlarının yüzeydeki sıralama kadar önemli olduğunu da belirtmişlerdir. Yüksel ve Bozşahin (2002), Türkçe için bağlama uygun artgönderim oluşturma amaçlı bir gönderim planlama sistemi önermiştir. Sistemleri, Bağlama (Chomsky 1981) ve Merkezleme kuramlarına (Grosz et al 1995) dayanmaktadır. Yerel gönderimler için bağlama kurallarını kullanan sistem, yerel olmayan gönderimlerde bağlama ve merkezleme kurallarının etkileşiminden faydalanmaktadır. Geliştirilen model, hem 10 Durum kuramının özgün hali için bkz. Barwise ve Perry (1983), kuramda günümüze kadar yapılan değişiklik ve gelişmeler için bkz. Devlin (2004). 11 Durum kuramında tanımlandığı şekliyle kısıtlar, bir tipteki bir durumun başka tipteki bir durum hakkında bilgi taşıyabildiği, durum tipleri arasındaki ilişkilerdir.

34 24 ayrık hem de bir makine çevirisi sistemi içinde denenmiştir. Sistemin başarı oranı %70 olarak bulunmuştur. Yıldırım vd. (2004), Grosz vd. nin (1995) Merkezleme Kuramına dayalı bir model tanımlamışlardır. Tüfekçi ve Kılıçaslan (2005, 2007), Hobbs naïve algoritmasının (1978) Türkçe ye uyarlanmış bir halini sunmuştur. Oluşturulan Türkçe derlem, ayrıştırılmış ağaç yapıları şeklinde modellenmiş, yapılan deney sonucunda %84 başarı elde edilmiştir. Küçük (2005) ile Küçük ve Turhan-Yöndem (2007) çalışmalarında, Türkçe deki üçüncü kişi adıllarını ve özel isimlere gönderimde bulunan dönüşlü adılları çözümlemek için ön bilgi kullanmayıp, sınırlı sözdizimsel bilgiye dayanan bir sistem önermiştir. Bu çalışmalarda %85.3 ve % 88 başarım elde edilmiştir. Yıldırım ve Kılıçaslan (2007), Türkçe artgönderim çözümlemesi için, bu çalışmanın bir parçası ve öncülü olan öğrenme tabanlı bir yaklaşım önermiştir. Bu çalışmada, Türkçe bir metin üzerinde bir karar ağacı sınıflandırması uygulanarak yapılan bazı deneylerin ilk sonuçlarını sunmuşlardır. Türkçe için yapılan artgönderim çözümlemesi amaçlı bu bilgisayarlı yaklaşımların ayrıntılarına daha fazla girilmeyeceğini belirtmekle birlikte, bahsedilen yaklaşımların tamamının, artgönderimsel ilişkilerin cümle sınırları ötesindeki kısımlarını tanımalarının ve bu ilişkileri söylem düzeyinde modellemeye çalışmalarının dikkate değer olduğunu söylememiz gerekir.

35 25 BÖLÜM - 4 SĐSTEM TASARIMI VE GERÇEKLEME Bu tez çalışması, her ne kadar yeni bir yöntem ileri sürülmese de, mevcut bazı öğrenme yöntemlerinin Türkçe verisine uygulanarak performanslarının ölçülmesine yönelik yapılan ilk çalışma olması yönüyle önemlidir. Artgönderimsel ilişkilerin söylem düzeyi karmaşıklığı ve Türkçe nin özelliklerinden kaynaklanan zorluklar bilindiğinde, Türkçe bir veri kümesinde bu ilişkilerin çözümlenmesine yönelik derlem tabanlı öğrenme yaklaşımları umut verici görünmektedir. Đlerleyen bölümlerde, aşağıdaki iki aşamadan oluşan bir yaklaşımın sonuçları değerlendirilecektir: farklı makine öğrenmesi yöntemleriyle, işaretlenmiş bir metindeki adılların aday öncüllerinin sınıflandırılması en yakın pozitif olarak sınıflandırılmış adayın seçilerek, artgönderimsel ilişkilerin çözümlenmesi Bu tip bir yaklaşım, Türkçe'de adılların çözümlenmesinin özünde ne kadar zor olduğu ve bu işin yapılabilmesi için ne tür bir öğrenme yönteminin uyarlanması gerektiği konularında önemli ipuçları verebilecektir. Bu bölümde anlatılanlar, metinlerden oluşan derlemin hazırlanması, metni işaretlemede kullanılan özellikler, işaretleme süreci ve deneylerde kullanılan sınıflandırma algoritmaları olacaktır Derlem Derlem, istatistiksel veya dilbilimsel çalışmalarda kullanılmak üzere oluşturulmuş, elektronik ortamda saklanan, büyük ve yapısal metin kümesidir. Derlemler, çeşitli ortamlardan toplanmış, aynı veya farklı yazın türlerinden metinler içerirler. Türkçe olarak hazırlanmış ve çeşitli çalışmalarda kullanılan en önemli derlem METU Türkçe derlemidir (Say vd. 2002). Bu derlem, çeşitli yazın türlerinde yaklaşık 2 milyon kadar

36 26 kelimeden oluşmaktadır. Bunun dışında çeşitli hesaplamalı dilbilim çalışmalarında kullanılmak üzere daha küçük derlemler de oluşturulmuştur. Hesaplamalı dilbilim alanında yapılan artgönderim çalışmaları, genelde gerekli özellikleri işaretlenmiş derlemler üzerinden yapılmaktadır. Türkçe için oluşturulan derlemler arasında artgönderim çözümlemesine yönelik işaretleme yapılmış ve herkesin kullanımına açık bir derlem bulunmadığı için bu çalışma kapsamında öncelikle bir derlem oluşturulması gerekti. Bu nedenle 20 farklı çocuk hikayesi kullanılarak 1114 ü adıl olan kelime kapasiteli bir derlem hazırlandı. Bu adılların 419 u açık, 695 i gizli adıldır. Derlemdeki adıl tipleri ve oranları şu şekildedir: Kişi adılı (%82.3) Konum belirten adıl (%6.6) Dönüşlü adıl (%10.7) Đşteş adıl (%0.4) 4.2. Đşaretlenecek Özelliklerin Seçimi Diğer birçok öğrenme tabanlı yaklaşım gibi, bu çalışmadaki öğrenme deneyleri için de, veri özellik-değer (feature-value) çiftlerinin vektörleri şeklinde ifade edilmelidir. Bu sebeple, kullanacağımız derlemin ilgili özelliklerle işaretlenmesi gerekir. Artgönderim çözümlemesi için makine öğrenmesi teknikleri kullanan tüm sistemler, sözlüksel (lexical), sözdizimsel, anlambilimsel ve konum belirten (positional) özelliklerin bir birleşimini kullanmaktadır. Aşağıda, ham metnin işaretlenmesi için kullanılan özellikler kısaca açıklanmaktadır. Durum eki: Bir adılın veya aday öncülün sahip olduğu dilbilgisel (grammatical) durum (yalın, belirtme, yönelme, bulunma, sahiplik (genitive), ayrılma veya araç durumlarından biri) Dilbilgisel görev: Bir adıl veya aday öncülün özne veya nesne durumlarından hangisinde olduğu. Açıklık (overtness): Bir adılın sesbilgisel (phonetic) olarak açık veya gizli durumlardan hangisinde olduğu.

37 27 Adıl Tipi: Bir adılın tipinin kişi, konum belirten, dönüşlü veya işteş tiplerinden hangisi olduğu. Anlamsal Tip: Bir aday öncülün referansının hayvan, insan, yer, soyut nesne veya fiziksel nesne tiplerinden hangisi olduğu. Kişi ve Sayı: Bir adılın veya aday öncülün kişi ve sayı bilgisi. Konum: Uzaklık bilgisini hesaplamaya yardımcı olan, bir kelimenin söylem parçası içindeki konumu. Öncül konumu: Bir adılın gerçek öncülünün konumu. Gönderimsel (Referential) Durum: Bir ad kökenlinin (nominal), öncül olarak kullanılabilmesi için adılsıl-olmayan (non-pronominal) bir ifade olup olmadığı. Öğrenme tabanlı artgönderim çözümleme sistemlerinde kullanılan özellik sayıları, 8 den (McCarthy ve Lehnert 1995), 66 ya (Aone ve Bennett 1995) kadar değişkenlik göstermektedir. Bu çalışmadaki deneylerde kullanılarak öğrenim modellerine bilgi sağlayan bütün özellikler, daha önce yapılmış bir veya daha fazla artgönderim çözümleme çalışmasında kullanılmıştır. Durum ve dilbilgisel rol, artgönderim üzerine yapılan çalışmalarda çok geniş kullanım alanı bulmuş iki sözdizimsel özelliktir (Fisher vd. 1995, McCarthy 1996, Cardie ve Wagstaff 1999, Ng ve Cardie 2002, Trouilleux 2002). Bu sözdizimsel özellikler, Türkçe ile ilgili çalışmalarda da kullanılmıştır. Tüfekçi ve Kılıçaslan ın (2007) sözdizim tabanlı adıl çözümleme sisteminde, adıla paralel dilbilgisel role sahip isim öbeklerine, diğerlerine oranla öncelik tanınmıştır. Küçük ve Turhan-Yöndem (2007), sistemlerinin bilgi-yoksun doğasını koruyabilmek amacıyla özneye verilen önceliği tam anlamıyla kullanmayıp, bunun yerine daha özel bir durum olan yalın durum önceliğini kullanmıştır. Diğer yandan, Yıldırım ve Kılıçaslan (2007) durum ve dilbilgisel rol bilgisini tam olarak kullanmıştır. Bağlama Kuramı açık ve gizli adıllar arasında belirgin bir ayrım yapar. Türkçe de adıl düşüren bir dil olarak bu açıdan özel bir ilgiyi hakeder. Önceki bölümde bahsedildiği gibi, adılların açık olması, bu dilde artgönderimsel gönderge üzerine yapılan ilk çalışmalardan (Erguvanlı-Taylan 1986, Enç 1986, Kerslake 1987, Turan 1996) beri dikkate alınan bir özellik olmuştur. Ayrıca bazı artgönderim çözümleme sistemlerinin de ilgi alanına girmiştir. Yüksel ve Bozşahin in (2002) gönderge planlama

38 28 sisteminin görevlerinden biri de söylemin doğal yorumunu koruyarak gizli artgönderimleri oluşturmaktır. Küçük ve Turhan-Yöndem in (2007) sistemi, gizli bir adılı dikkate alması gerektiğinde, önceliği önceki cümlelerde gizli adılların öncülü olan adaylara vermektedir. Adılın açık olması, Yıldırım ve Kılıçaslan ın (2007) karar ağacı öğrenme modelinde de sınıflandırma için kullanılan özelliklerden biridir. Đfadelerin sözlüksel tipi, Bağlama Kuramında önemli rol oynayan diğer bir özelliktir. Bu kuramda, artgönderimsel ilişkiler üzerindeki sözdizimsel kısıtlar formüle edilirken, gerçek adıllar ve gerçek artgönderimler (dönüşlü ve işteşler) arasında bir ayrım yapılır. Beklenebileceği gibi, bu ayrım yukarıda bahsedilen sistemlerdeki çözümleme işleminde bir şekilde yer almıştır. Anlamsal özellikler, göndergelere ilişkin canlılık, cinsiyet veya konum gibi birçok açıdan bilgi sağlar. Birçok araştırmacı öğrenme modellerini tasarlarken bu gibi özellikleri dikkate almıştır (Fisher vd. 1995, McCarthy 1996, Cardie ve Wagstaff 1999, Soon vd. 2001, Strube et al 2002, Ng ve Cardie 2002). Tın ve Akman ın (1994) BABY- SIT çalışması, Türkçe söylem parçalarında artgönderimsel belirsizliği çözebilmek için bağlamdan elde edilen bireylerin cinsiyetleri, durumların zaman sıralaması gibi çeşitli anlamsal bilgileri kullanmaktadır. Tüfekçi ve Kılıçaslan ın (2007) sistemi uygun bir öncül belirlemek için, bir ifadenin yer mi yoksa zaman mı belirttiğini de dikkate almaktadır. Yıldırım ve Kılıçaslan ın (2007) öğrenme modeli, anlamsal bilgi olarak bir varlığın insan, hayvan veya cansız nesne olma durumlarını kullanmaktadır. Küçük ve Turhan-Yöndem (2007), bilgi-yoksun doğasına uygun olması için, benzer anlamsal bilgilerden sistemlerini uzak tutmaktadırlar. Artgönderim çözümleme sistemleri oluşturulurken kullanılan bir başka sözlüksel bilgi ise kişi, cinsiyet ve sayı gibi uyum bilgileridir (Cardie ve Wagstaff 1999, Soon vd. 2001, Ng ve Cardie 2002, Strube vd. 2002, Yang vd. 2003). Türkçe de artgönderim çözümlemesi için tasarlanan ve yukarıda bahsedilen sistemlerin tamamı sayıyı dikkate alan uyum bilgisinden yararlanmaktadır. Konum bilgisi kullanılarak hesaplanan uzaklık özelliği, aday öncülün artgönderimden ne kadar uzakta olduğu bilgisini taşır. Bu özellik bilimsel yazında geniş bir kullanım alanı bulmuştur (McCarthy ve Lehnert 1995, Fisher vd. 1995, McCarthy

39 , Cardie ve Wagstaff 1999, Soon vd. 2001, Ng ve Cardie 2002, Strube vd. 2002, Yang vd. 2003). Hem Küçük ve Turhan-Yöndem in (2007) hem de Tüfekçi ve Kılıçaslan ın (2007) sistemlerinde, öncelik adıllara daha yakın olan adaylara tanınmıştır. Yıldırım ve Kılıçaslan ın (2007) modelinde uzaklık, öğrenme boyutlarından biri olarak kullanılmıştır. Öncülün konumu ve göndergesel durum özellikleri, deneylerin veri hazırlama aşamasında adıl-aday öncül çiftlerini otomatik olarak üretmek amacıyla kullanılmıştır. Deneyler için seçilen özelliklerin, bilimsel yazında geniş bir kullanım alanı bulduğunu görmekteyiz. Değerlilik ölçümü yapıldığında bunların birçoğunun, deneylerde artgönderimsel ilişkilerin sınıflandırılmasına büyük katkı sağladığı da görülebilmektedir (bkz. Bölüm 5.5) Derlemin Đşaretlenmesi ve Eğitim Verisinin Oluşturulması Bu çalışmada, işaretleme işlemini yarı-otomatik olarak gerçekleştirebilmek için, ham metni işaretlemek ve özellik vektörlerini üretmek amacıyla kullanılan bir araç geliştirilmiştir. Bu araç, bir söylem parçasına aşağıdaki sırayla uygulanan 4 temel bileşenden oluşmaktadır: 1. Belirtke (token) ayırıcı, verilen bir söylem parçasını analiz ederek, cümle sınırları belirli kelime listeleri oluşturur. 2. Biçimsel çözümleyici, Zemberek kütüphanesini 12 kullanarak, kategori, durum ve kişi-sayı bilgilerini her kelime için çıkarmanın yanında, adıl tiplerini de belirlemektedir. 3. Kullanıcı arayüzü, işaretleyici kişinin, biçimsel çözümleyicinin yapmış olabileceği hataları düzeltmesine, gizli adılları açık hale getirmesine, dilbilgisel rolü belirlemesine, isim ve adılların göndergesel durumlarını belirleyerek her adılın öncülünü işaretlemesine izin verir. 12 Zemberek, Türkçe için kök ve ek belirleme, yazım denetimi, heceleme gibi basit sözlüksel işlemleri gerçekleştirme amaçlı bir açık kaynak kütüphanesidir (

40 30 4. Çift oluşturucu, bir adıl ve onun aday öncülleri arasında eşleme yaparak pozitif veya negatif durumları etiketlemenin yanında, oluşturduğu bu çiftler arası uzaklıkları da belirleyerek sistemin eğitiminde kullanılacak özellik-değer vektörlerini üretir. Pozitif etiketli durumlar adıl ve öncül arasında artgönderimsel ilişki olduğunu gösterirken, negatif durumlar böyle bir ilişkinin olmadığını ifade etmektedir. Araca girdi olarak verilen her söylem parçası, içindeki her adıla karşılık bu adılların gerçek öncüllerini de kapsayacak şekilde ayrılmıştır. Đşaretli veri içindeki en büyük söylem parçası 26 cümleden oluşmaktadır. Çift oluşturucu bir adılın aday öncüllerini toplamak için, adılı içeren cümle ve 10 cümle gerisindeki cümlelere kadar arama yapmaktadır. Elimizdeki derlemin incelenmesi sonucunda bütün adılların öncüllerinin bu kapsamda olduğu görülmüştür. Derlem işaretlemesi karmaşık bir işlem olduğundan, işaretleyici kişilerin hata yapma potansiyeli vardır. Bu çalışmada kullanılan derlem de bir çok kişi tarafından parçalar halinde oluşturulduğu için bu hata potansiyeli göz önüne alınmıştır. Hatayı en düşük seviyeye indirebilmek için işaretlemede kullanılan araç öncelikle arka planda biçimsel düzeyde işlemler yapmakta, ardından işaretleyici kişilere düzeltme şansı vermektedir. Đşaretleyici kişilerin aracı etkin bir biçimde kullanabilmesi amacıyla da bu kişilere ön bir eğitim verilmiş, ardından hazırlanan bir kullanım kılavuzu ile yardımcı olunmaya çalışılmıştır (bkz. Ek - 1). Bunun yanında işaretlenen tüm söylem parçaları, en son olarak tek bir kişi tarafından incelenmiş ve gereken durumlarda düzeltmeler yapılmıştır. Adıl-öncül çiftlerini oluşturduktan sonra, aday öncül ve adıl arasında kişi ve sayı açısından uyum olmayan negatif örnekler veri kümesinden ayıklanarak atılmıştır. Bu ayıklama işleminin en önemli nedeni, negatif örneklerin pozitif örneklere sayıca üstünlüğünü bir miktar da olsa ortadan kaldırmaktır. Veri kümesi içinde yapılan bu ayıklama ile birinci ve ikinci kişi adıllarının oluşturduğu örnekler de veri kümesi içinden atılmıştır. Bunun nedeni bahsedilen adılların oluşturduğu artgönderimlerin söylem yapısı içinde yalnız konuşma ve alıntı metinleri yüzünden oluşup, söylem düzeyinde bir değişime neden olmamalarıdır. Pozitif örneklerin negatiflere oranı çift üretiminin ilk aşamasında %29 olmakla birlikte, bunun makine öğrenmesi teknikleri

41 31 için uygun bir dağılım olmadığı görülmüştür. Ayıklama işlemi bu oranı %48 seviyesine getirmiştir Deneylerde Kullanılan Sınıflandırma Algoritmaları Bu çalışmada makine öğrenmesi tekniklerinin kullanılmasını teşvik eden etkenlerden ve makine öğrenmesi ile yapılan artgönderim çözümleme çalışmalarından önceki bölümlerde bahsedilmiştir. Yalnız burada üzerinde durulması gereken başka bir konu vardır. Makine öğrenmesi yöntemleri denetimsiz ve denetimli olarak ikiye ayrılmaktadır. Denetimsiz öğrenmede, öğrenme sırasında algoritmaya örneklerin sınıfları hakkında bir bilgi verilmez. Denetimli öğrenmede ise örneklerle birlikte sınıfları da öğrenme algoritmasına verilir. Böylece, sınıflandırma işlemi sonucunda örneklere ait sınıflar tahmin edilerek yakalanan başarım oranı üzerinde fikir yürütülebilmektedir. Deneyler için hazırladığımız özellik-değer vektörlerine artgönderimsel ilişki varlığını gösteren sınıf etiketleri eklendiğinden de bahsetmiştik. Böylece elimizdeki veri denetimli öğrenme yöntemleri için uygun bir hale gelmiştir. Bütün deneyler Weka yazılımı (version 3.5.6) üzerinde onlu çapraz doğrulama (tenfold cross-validation) stratejisi kullanılarak gerçekleştirilmiştir (Witten ve Frank, 2005). Bu yazılım üzerinde gerçeklenmiş olan beş farklı denetimli makine öğrenme algoritması veri kümesine uygulanmıştır: naïve Bayes algoritması, örnek tabanlı (instance based) bir algoritma (k-en yakın komşu), bir karar ağacı algoritması, bir destek vektör (support vector) algoritması ve bir sinir ağı (neural network) algoritması (seçimli algılayıcı voted perceptron). Şimdi deneylerde kullanılan her algoritmayı kısaca açıklayalım Naïve Bayes Sınıflandırması Naïve Bayes sınıflandırması, sınıfları belirli örneklerin özelliklerinin birbirlerinden şartlı bağımsız oldukları varsayımı üzerine dayanır. Bu varsayım,

42 32 özelliklerin birbirleriyle güçlü bir şekilde bağımlı olduğu gerçek dünya problemleri için uygun olmasa da, problemi basitleştirerek çok boyutluluğun etkisini azaltmaya yardımcı olmaktadır. Özellik vektörü (x 1,,x n ) olan bir X örneği verildiğinde, Naïve bayes sınıflandırıcısı, P( X C) P( x,..., x C ) (4.1) = 1 n denklemini kullanarak benzerliği en yüksek yapan bir C sınıf etiketi arar: K-En Yakın Komşu Sınıflandırması K-en yakın komşu (k-nearest neigbour - knn) algoritması ve diğer örnek-tabanlı yöntemler, benzerlik yoluyla öğrenme teknikleridir. K-en yakın komşu sınıflandırması, istekli (eager) olarak da adlandırılan diğer sınıflandırma yöntemlerinden, bütün eğitim örneklerini n-boyutlu bir uzayda noktalar halinde tutması ve etiketsiz bir örnek sınıflandırılmak isteninceye kadar bir sınıflandırıcı oluşturmaması yönleriyle ayrılır. Bu yöntem, sınama öncesinde bir kural veya fonksiyonlar kümesi oluşturmadığı için eğitim zamanı açısından istekli yöntemlerden daha etkin olmaktadır. Ancak sınama aşamasında her örnek için yeniden hesaplama gerektirdiğinden daha yavaş olmaktadır. Bu yöntemin bir diğer dezavantajı da her özelliğe eşit ağırlık verdiği için ilgisiz özellikleri de sınıflandırmada kullanmak zorunda kalmasıdır. Yeni bir örnek sınanırken, k adet en yakın komşusu arasında en sık geçen sınıf etiketi bu örneğe atanır. n-boyutlu bir uzayda X = (x 1,...,x n ) ve Y = (y 1,...,y n ) gibi iki veri noktası knn algoritmasına verildiğinde, bunlar arasındaki Öklid uzaklığı şu şekilde hesaplanır: = n n n i i i= 1 ( x y ) ( x y )... ( x y ) ( x y ) (4.2) Weka da gerçeklenmiş knn algoritmasına IBk adı verilmiştir.

43 Karar Ağacı Sınıflandırması Karar ağacı öğrenmesinde, ağaçlar karar düğümleri ve sonlandırıcı yapraklardan oluşmaktadır. Sınıflandırılacak yeni bir örnek verildiğinde, bir yaprak düğüme ulaşıp da örneğe bir değer ataması yapılana kadar, test fonksiyonları düğümlerde özyinelemeli bir şekilde uygulanmaktadır. Dallanma için, her düğümde örneğin bir özelliği test edilmektedir. Ağacı oluşturmak için, seçilen özellikten meydana gelecek bilgi kazancı hesaplanmalı ve ağacın derinliğini azaltmak için önceden belirlenmiş sayıda, en çok bilgi sağlayan özellikler seçilmelidir. Aşağıdaki denklemler, bir karar ağacı oluşturulurken A özelliğinin kullanılması durumunda elde edilen bilgi kazancını vermektedir: ( ) I P( v ),..., P( v ) = P( v )log P( v ) n 1 n i 2 i i= 1 v p n pi + n i pi n i Kazanç( A) = I, I, p + n p + n p + n p + n p + n i= 1 i i i i (4.3) (4.4) Burada I bilgi içeriği, v i özelliğin alabileceği sonlu sayıdaki olası değer sayısı, p ve n de sırasıyla eğitim kümesindeki pozitif ve negatif örnek sayılarıdır. Eğitim kümesinden birden fazla hipotez çıkarılan durumlarda, birleştirilmiş (ensemble) öğrenme yöntemleri hipotez uzayı içindeki bir grup hipotezi seçip birleştirerek sınıflandırıcının etkinliğini yükseltirler (Dietterich, 2000). Bu hipotezler, bileşenlerini derecelendirerek tahmin yürüten tek bir sınıflandırıcı altında toplanırlar. En çok kullanılan birleştirilmiş öğrenme yöntemi güçlendirmedir (boosting). Güçlendirme modeli, her tekrarda ağırlıkları düzenlenen eğitim örneklerinden sıralı olarak çıkarılır. Weka yazılımı J48 sınıfında C4.5 karar ağacının (Quinlan, 1993) bir gerçeklemesini içerir.

44 Destek Vektör Makinesi Sınıflandırması Destek vektör sınıflandırmasının arkasındaki temel düşünce, eğitim verisini bir eşleme fonksiyonuyla daha yüksek boyutlu bir uzaya taşımak ve burada maksimum genişlikte ayırıcı bir hiperdüzlem (hyperplane) oluşturmaktır. Destek vektör makinesi (SVM), sınıfları ayıran sonsuz sayıdaki hiperdüzlem arasında her sınıftan en uzak noktada bulunan düzlemi arar. Sınır hiperdüzlemleri üzerinde bulunan vektörler destek vektörleri olarak adlandırılmaktadır. Destek vektörleri, hiperdüzlemleri yeniden inşa etmek için gerekli tüm bilgiyi taşırlar. Özgün olarak Vapnik (1963) tarafından önerilen optimal hiperdüzlem algoritması doğrusal bir sınıflandırıcıyken, daha sonra SVM lerin, her nokta çarpımının doğrusal olmayan bir K(x i,x j ) çekirdek fonksiyonuyla yer değiştirilmesi sonucu doğrusal olmayan sınıflandırma problemlerini de çözebilecekleri gösterilmiştir (Boser, Guyon ve Vapnik, 1992). Bu çalışmadaki SVM deneylerinde, doğrusal ve radyal tabanlı çekirdek fonksiyonları kullanılmıştır. Deneylerde kullanılan destek vektör sınıflandırıcısı C-SVC, LIBSVM kütüphanesi (Chang ve Lin, 2001) içindeki 5 farklı SVM tipinden biridir. Weka bu kütüphaneye bir arayüz sağlar Seçimli Algılayıcı Seçimli Algılayıcı (Voted Perceptron), özgün algılayıcı algoritmasının ağırlıklandırma işlemi değiştirilmesi ve çekirdek hilesi kullanılması yoluyla uyarlanmış hali olan bir sinir ağı algoritmasıdır (Freund ve Schapire, 1999). Algılayıcı öğrenmesinde sınıflandırıcının çıktısı, w ağırlık vektörü, x giriş vektörü ve b de eğilim olmak üzere, w.x + b > 0 olduğu durumlarda 1 olur. Özgün algılayıcı algoritmasında, sınıflandırıcıyı eğitebilmek için, özellik vektörleri ardışık olarak işlenir ve ağın çıkışında oluşan her hatada ağırlıklar güncellenir. Fakat, özgün algoritma sadece veri doğrusal olarak ayrılabilir olduğu durumda, iyi sonuçlara ulaşabilmektedir.

45 35 Doğrusal bir şekilde ayrılamayan veride seçmeli algılayıcı algoritması, tahminlerden biri üzerinde seçim yapabilmek için öğrenme işlemi sırasında karşılaşılan bütün ağırlık vektörlerini kullanır. Bu ise her ağırlık vektörü ile kaç tane eğitim vektörünün doğru sınıflandırıldığının hatırlanması yoluyla mümkün hale getirilmiştir.

46 36 BÖLÜM - 5 SINIFLANDIRMA DENEYLERĐ VE DEĞERLENDĐRME 5.1. Performans Değerlendirme Ölçütleri Doğal Dil Çözümleme çalışmalarının hepsinde olduğu gibi, sonuçların değerlendirilmesi artgönderim çözümlemesi alanı için de önemlidir. Fakat, bu alanda geliştirilen sistemlerin performanslarının değerlendirilmesine yeterince önem verilmemiştir. MUC (Message Understanding Conference) toplantılarında bu soruna çözüm olarak, artgönderim çözümlemesi çalışmalarında genel olarak geriçağırım ve duyarlılık ölçütlerinin kullanılması tavsiye edilmiştir. Kullanımı uygun görülen bu ölçütler başarım oranını göstermede ne kadar yararlı olsa da, bir artgönderim çözümleme sisteminin gerçek başarısı ancak daha önceki çalışmaların sonuçlarıyla veya dayanaklarla karşılaştırma yoluyla gösterilebilir. MUC tarafından da kullanımı tavsiye edilen ölçütler, ilk olarak istatistiksel başarımın hesaplanması amacıyla kullanılmışlardır. Đki sınıfa ayrılmış bir veri kümesi içerisinde yapılan veri ayrıştırma işlemi sonucunda ortaya bir karışıklık matrisi (confusion matrix) çıkmaktadır. Bu matris içerisinde dört durum oluşmaktadır. Bu durumları gösteren tablo aşağıda verilmiştir: Gerçek sınıf Tahmin edilen sınıf Pozitif Negatif Pozitif TP FP Negatif FN TN Tablo 5.1. Karışıklık matrisi Tabloda TP (True Positive) ve TN (True Negative) ile gösterilen sayılar sınıfları doğru tahmin edilen, FP (False Positive) ve FN (False Negative) ile gösterilen sayılar ise sınıfı yanlış tahmin edilen örneklerin sayılarını göstermektedir. Ayrıca, FP ye 1. Tip hata (type I error), FN ye de 2. tip hata (type II error) denilir.

47 37 Karışıklık matrisinden elde edilen bu sayılarla çeşitli ölçütler hesaplanır. Bunlardan doğruluk (accuracy) ölçütü, tüm veri içinde doğru tahmin edilenlerin oranını ölçmeye imkan tanır. Bütün hata tiplerini dikkate alarak, pozitif ve negatif örnekleri aynı derecede önemsemeyi sağlar. Sınıflandırıcının toplam performansını değerlendirmeye yardımcı olur. Fakat doğruluk ölçütü, veri kümesinde dengesiz dağılım var ise yeterli olmamaktadır. Bu durumda kullanılan geriçağırım (recall) ve duyarlılık (precision) ölçütleri, sırasıyla, pozitif örneklerin negatif olarak sınıflandırılmasından oluşan hatalar ile negatif örneklerin pozitif olarak sınıflandırılmasından oluşan hataları belirtirler. F-ölçütü (f-measure) geri çağırım ve duyarlılık ölçütlerini, her ikisinin armonik ortalamasını alarak birleştirir. Artgönderim çözümlemesi açısından karmaşıklık matrisini yeniden yorumlarsak, TP değeri doğru tahmin edilen, FP değeri ise yanlış tahmin edilen artgönderimsel ilişkilerin sayısını betimleyecektir. Bu değerlerin kullandığımız algoritmaların sonuçlarını değerlendirmek için kullanılan ölçütlere uyarlanmış halleri şunlardır: TP + TN sistem tarafından yapılan doğru sınıflandırma sayısı Doğruluk = = TP + TN + FN + FP sınamada kullanılan toplam örnek sayısı (5.1) Duyarlılık TP = = TP + FP sistem tarafından doğru olarak belirlenen artgönderimsel ilişki sayısı sistem tarafından bulunan toplam artgönderimsel ilişki sayısı (5.2) TP sistem tarafından doğru olarak bulunan artgönderimsel ilişki sayısı Geriçağırım = = TP+FN verideki toplam artgönderimsel ilişki sayısı (5.3) 2 duyarlılık geriçağırım (5.4) F - ölçütü = duyarlılık + geriçağırım Deneylerde kullanılan sınıflandırıcıların etkinliklerinin ölçülmesi için de üç adet dayanak (baseline) kullanılmıştır: çogunluk tabanlı rastgele tahmin edici sınıf dağılımı tabanlı rastgele tahmin edici en yakın adayla eşleme yapan tahmin edici

48 38 Çoğunluk tabanlı tahmin, yoğunluğu en fazla olan sınıf etiketinin (yani elimizdeki veri kümesi dikkate alındığında negatif etiketin), sınıflandırma sırasında her örneğe atanması ile yapılmaktadır. Sınıf dağılımı tabanlı tahminde örneklere sınıf dağılımına bağlı kalınarak rastgele sınıf ataması yapılır. Üçüncü dayanak ise, doğrudan örnek metin üzerinde uygulanarak, adılların kendilerinden hemen önce gelen aday öncüllerle eşlenmesi yoluyla hesaplanır. Rastgele tahminde bulunan dayanak algoritmalarından elde edilen sonuçlarla, öğrenme algoritmalarından elde edilen sonuçları istatistiksel yollarla da karşılaştırmak gerekir. Bu sebeple Kappa istatistiği uygun bir istatistiki ölçüt olarak görülebilir. Kappa istatistiği, sınıflandırıcıların değerlendirilmesi için, doğruluk ölçütüne sunulmuş bir alternatiftir. Đlk olarak, iki gözlemci arasındaki uyumun derecesini ölçmek için kullanılan bir ölçüt olarak ortaya atılmış (Cohen, 1960) ve o zamandan beri çeşitli disiplinlerde kullanılmıştır. Makine öğrenmesi alanında bu ölçüt, bir sınıflandırıcının doğruluğunun, şans eseri tahminde bulunan rastgele bir sınıflandırıcının doğruluğuyla karşılaştırılması amacıyla kullanılmaktadır. Bu ölçüt şu şekilde tanımlanmaktadır: P P 0 c κ = (5.5) 1 P c P 0 sınıflandırıcının doğruluğu, P c ise aynı veri kümesi üzerinde rastgele tahminle elde edilen doğruluktur. Kappa istatistiği -1 ve 1 aralığında değerler alabilir. -1 tam uyumsuzluğu (tamamen yanlış sınıflandırma), 1 ise tam uyumu gösterir (tamamen doğru sınıflandırma). Kappa, herhangi bir sınıflandırıcının, sıfır kappa ölçümü veren rastgele sınıflandırıcılardan ne kadar iyi olduğunun değerlendirilmesinde kullanılır. Landis ve Koch (1977), 0.4 değeri üzerindeki kappa ölçümünün şansın ötesinde makul bir uyumu gösterdiğini söylemiştir. Sınıflandırma algoritmalarından elde edilen sonuçları değerlendirmede kullanılacak ölçütleri inceledikten sonra kısaca deney sonuçlarımıza bakalım.

49 Deney Sonuçları Deneyler aynı sınıflandırıcının farklı ifade gücüne sahip iki hali ile uygulanacak şekilde tasarlanmıştır. Algoritmaların ifade gücünü değiştirmeyen parametrelerin değerleri Tablo 5.2 de verilmiştir. Algoritma Parametre Değeri Ibk No distance weighting Use Euclidean distance Naïve Bayes No supervised discretization J48 Confidence factor: 0.25 No reduced error pruning Use subtree raising on pruning No Laplace based smoothing Don t force for binary splits on nominal attributes Voted Perceptron Maximum number of alterations: C-SVC Cost: 1.0 Gamma: 1/max_index No normalization Tablo 5.2. Sabit değerli parametreler Tablo 5.3 de, dayanaklarla (baseline) birlikte deneylerden elde edilen performans sonuçları verilmektedir. Deney No. Sınıflandırıcı Parametrik Değişimler Sınıflandırma Sonuçları Doğruluk Duyarlılık Geriçağırım F-ölçütü Kappa - Dayanak-1 Çoğunluk tabanlı Dayanak-2 Sınıf dağılımı tabanlı Dayanak-3 En yakın aday Ibk k = C-SVC Doğrusal çekirdek Naïve Bayes Normal dağılım J48 Güçlendirilmiş ve Budanmamış 5 Voted Perceptron üs = Naïve Bayes Çekirdek kestirici Ibk k = J48 Budanmış Voted Perceptron üs = C-SVC Radyal tabanlı çekirdek Tablo 5.3. Deneylerden elde edilen sınıflandırma sonuçları

50 40 Đlk bakışta, sonuçların belirli bir aralıkta toplandığı görülebilmektedir. Bu sebeple, diğerlerinden keskin bir biçimde ayrılması yönüyle özel bir ilgi gerektiren bir deney sonucu bulunmamıştır. Ancak sonuçlar, öğrenme algoritmalarının dayanak algoritmalara göre çok daha iyi çalıştığını açıkça göstermektedir. Bunu ayrıca kappa değerlerinden de anlayabilmekteyiz. Tablo 5.3 de görülebileceği gibi, deneyler sonucunda ortaya çıkan kappa ölçümleri, elimizdeki sınıflandırıcıların rastgele sınıflandırıcılardan önemli biçimde daha başarılı olduğunu göstermektedir Sınıflandırma Performansını Etkileyen Faktörler Öğrenme algoritmalarımız her ne kadar rastgele sınıflandırıcılardan daha iyi sonuçlar vermiş olsa da pozitif tahmin edilen örnekleri dikkate alan performans ölçümleri (yani duyarlılık, geri çağırım ve f-ölçütü) incelendiğinde, bunların tatmin edicilikten uzak olduğu görülebilmektedir. Ho vd. (2006) yaygın kullanılan sınıflandırıcıların mükemmel doğruluk değerlerine ulaşamamasını şu üç etkene bağlamaktadır: 1) algoritmalardaki eksiklikler 2) veriye özgü zorluklar 3) yöntem ve problemler arasındaki uyumsuzluklar Algoritmalardaki Eksiklikler Öğrenme algoritmalarının geliştirilmesinin belirli bir düzlüğe ulaşarak durağanlaştığı ve üzerinde araştırma yapılan algoritmaların diğer birçok görevde başarılı olduğu görüldüğünden, deneylerimizdeki doğruluk ölçütünün tam olmaması durumunu algoritmalardaki eksikliklere bağlamak çok zor olacaktır. Bunun yanında, sonuçlar detaylı olarak incelendiğinde, bunlar arasındaki farkların algoritma seçimine bağlanamayacağını görülebilmektedir. Beş algoritmanın her birinin deneylerde eşit derecede iyi ve kötü sonuçlar verdiği de görülebilmektedir. Seçilen parametrelere farklı değerler atanmasıyla, her algoritma için f-ölçütü 0.70 in altında, eşit veya üstünde değerler almaktadır (doğruluk değeri de 0.80 altı, eşit veya

51 41 üstündedir). En kötü ve en iyi f-ölçütü değerlerinin (sırasıyla 0.64 ve 0.74) de aynı algoritma (C-SVC) ile alındığı ilginç bir şekilde gözlemlenebilmektedir. Sonuçta, evrensel olarak en iyi kabul edilebilecek bir öğrenim algoritmasının olmadığı bilinmekle beraber, Türkçe de adıl çözümlemesi işini en iyi yapan bir algoritmanın da olmadığı görülmüştür Veriye Özgü Zorluklar Ho vd. (2006) sınıflandırmadaki zorlukların üç kaynağa bağlanabileceğini söylemektedir: 1) sınıf belirsizliği, 2) örnek seyrekliği (sparsity) 3) sınır karmaşıklığı. Sınıf belirsizliği, sınıflandırma problemi içinde verilen özelliklerle, her hangi bir sınıflandırma algoritması kullanılarak ayrım yapılamadığı durumları belirtir (s. 4). Sınıf belirsizliğinin yanlış bir sınıflandırma olasılığı ortaya çıkardığı problemler, Bayes hatası sıfır olmayan problemler olarak adlandırılır. Bu hata tipi, erişilebilen en az hata oranı için bir sınır belirler. Bu durumu artgönderim ilişkileri açısından betimleyen Đngilizce bir örnek aşağıda verilmiştir. John i hid Bill j s keys. He i(?)/j(?) was drunk. John i, Bill j in anahtarlarını sakladı. O i(?)/j(?) sarhoştu. (5.6) Böyle bir söylem parçasını ansızın duyan bir kişi he adılının öncülünün John veya Bill den herhangi biri olabileceğini düşünebilir. Bu belirsizlik sözlüksel olarak kodlanmış bilgiye dayanarak çözülemez: adıl gönderimde bulunduğu varlığın erkek olduğunu belirtse de bu gereklilik her iki aday öncül tarafından da sağlanmaktadır. Bu tip bir belirsizliği sözdizimsel bilgi ile de çözmek mümkün olmamaktadır. Lappin in (2005) de belirttiği gibi, John bu örnekte her ne kadar en yüksek dikkat çekicilik derecesine sahip olsa da, belirsizlik gerçek dünya bilgisi ve bazı çıkarım kurallarına dayandırılarak Bill lehine de yorumlanabilmektedir. Burada önemli olan nokta, 13 Bu tip değerlendirmeler yapılmadan önce dikkat edilmesi gereken noktalar, sonuçların belirli bir veriden gelmediği ve tüm algoritmaların denenmediğidir.

52 42 belirsizliğin bir şekilde çözülebiliyor olması değil, derin anlamsal bilgi veya gerçek dünya bilgisine başvurmadan çözülemiyor olmasıdır. 14 Đkinci bölümden hatırlayabileceğimiz gibi, Türkçe deki üçüncü tekil kişi adılının, tek başına alındığında, erkek mi, bayan mı yoksa cansız bir nesneye mi gönderimde bulunduğu tamamen belirsizdir. Ayrıca, aday öncülün adılla sayı (veya kişi) açısından uyuşmadığı örneklerin deneyler öncesinde ayıklandığını hatırlayalım. Kalan veri kümesi içinde sadece tek bir aday öncüle sahip örneklerin % 3.1 gibi bir oranla önemsenmeyecek ölçüde az olduğunu da dikkate almalıyız. Böylece, veri kümemizdeki her adılın sıfır olmayan bir Bayes hatasıyla (yani öncülünü yanlış belirleme olasılığıyla) geldiğini görebiliriz. Bu sebeple, sözdizimsel, anlamsal veya pragmatik bilgiden yoksun olunduğu sürece, hiçbir öğrenme algoritmasının bu veri kümesi üzerinde mükemmel bir şekilde çalışmasının beklenemeyeceği açıktır. Sınıflandırma zorluğunu arttıran bir diğer etken de verinin seyrek olmasıdır. Sınıflandırıcının genelleme mekanizmasını sınırlayacak kadar örnek ile örneklenmemiş durumların sınıflandırması büyük oranda rastgele olacaktır. Veri seyrekliğinin sınıflandırıcı performansını nasıl etkilediğini anlamak için veri kümesinden, oransal olarak giderek büyüyen alt veri kümeleri seçerek birçok RBF deneyi yapılmıştır. Şekil 5.1 deneylerdeki veri büyüklüğü ve f-ölçütü değerleri arasındaki karşılıklı ilişkiyi göstermektedir. Şekil 5.1. RBF deneylerinde gözlenen veri büyüklüğü ve f-ölçütü değerleri arasındaki karşılıklı ilişki. 14 Üzerinde durulan örnekteki belirsizliğin çıkarım tabanlı bir çözümü için bkz. Kehler (2000).

53 örneğe kadar performansın giderek arttığını, sonrasında ise yavaşça asimptot f- ölçümü olan 0.73 e erişildiğini görebilmekteyiz. Buradan, eksik veya seyrek örnekleme sınıflandırma performansını kötüleştiren açık bir etken olsa da, deneylerde kullanılan verimizin örnekleme yoğunluğunun doygunluk seviyesine ulaşmış olduğu sonucu çıkarılabilir Sınıflandırıcı ve Sınıf Sınırları Arasında Uyumsuzluk Sınıflandırma zorluğunun üçüncü yönü, sınıfları ayıran sınırların karmaşıklık seviyesidir. Sınıf sınırlarının karmaşıklığı, iki yoğun sınıfın doğrusal olarak geniş aralıklarla ayrılabildiği bir durum ile sınıfların yoğun biçimde içiçe geçmiş olduğu veya hiçbir belirgin düzen olmadan aynı sınıfa ait örneklerin uzayda dağılım gösterdiği durumlar arasında çeşitlilik gösterebilir. Deneylerde kullanılan sınıflandırıcıların performanslarını değerlendirerek verimizin içsel karmaşıklığı konusunda fikir edinebiliriz. Denetimli ikili sınıflandırma için kullanılan bir algoritmanın görevi, girdi uzayını her sınıf için ayrı olmak üzere iki kümeye ayırabilme amacıyla öğrenme örneklerinden oluşan bir kümede karar sınırı çıkarımı yapmaktır. Bu çıkarımı yaparken kullanılan fonksiyonun tipi karar sınırının şeklini belirler. Temel deneylerimize (bkz. Tablo 5.3) dönersek, performans sonuçlarının değerlendirilmesinde belirleyici olan etkenin açık bir şekilde seçilen parametrelerin değerlerinin değiştirilmesi olduğunu görürüz. Üç algoritma için (C-SVC, Seçimli Algılayıcı ve Naïve Bayes), bu parametrik ayarlamalar doğrusal ve doğrusal olmayan sınıflandırıcılar arasında değişime neden olmaktadır. Aşağıdaki gibi doğrusal bir fonksiyonu öğrenmeye mecbur bırakılan C-SVC algoritması en kötü f-ölçütü değerini vermektedir: 15 T f(x) = (w x) + b (5.7) 15 Birinci dereceden çok terimli bir fonksiyon, iki boyutlu uzayda bir doğru, üç boyutlu uzayda ise bir düzlem ortaya çıkaracaktır.

54 44 Sadece f-ölçütü değil de doğruluk değeri açısından bakıldığında, en iyi sonuç da radyal tabanlı bir fonksiyonu çekirdek olarak kullanan C-SVC ile edilmiştir: k( x, x ) = exp x x 2 2σ 2 (5.8) Seçimli Algılayıcı nın Weka gerçeklemesinde aşağıdaki çokterimli (polynomial) çekirdek fonksiyonu kullanılmaktadır: d k(x, x') = (x.x' + 1) (5.9) Eğer herhangi bir üs belirlenmemişse, d = 1 olduğu varsayılarak, doğrusal bir çekirdek elde edilir. Doğrusal olmayan (üs değeri 2 olan) bir sınıflandırıcı da doğrusal olanı hem f-ölçütü değeri hem de doğruluk değeri açısından geride bırakmıştır. Doğrusal olmayan sınıflandırıcıların üstünlüğünü, Naïve Bayes algoritmasıyla yapılan deneylerde de gözlemleyebilmekteyiz. Naïve Bayes, normal dağılım varsayımına (Manning et al 2008) sahip doğrusal bir sınıflandırıcı olup, çekirdek yoğunluk kestiricisi (kernel density estimator) kullanıldığında doğrusal olmayan bir sınıflandırıcıya dönüşebilmektedir (John ve Langley, 1995). Naïve Bayes deneylerinde normal dağılım varsayımını çekirdek kestirimi ile değiştirmemiz f-ölçütü ve doğruluk değerlerinde az da olsa bir yükselişi beraberinde getirmiştir. Yukarıdaki gözlemler, veri kümemizdeki pozitif ve negatif örneklerin doğrusal olarak ayrılabilir olmadığını göstermektedir. Bu nedenle, veri kümesine uygulanan doğrusal olmayan sınıflandırıcıların doğrusal olanlara oranla daha iyi tahmin gücüne sahip olması doğaldır. Fakat, doğrusal olmayan sınıflandırıcıların yeteneklerini mutlak olarak en iyi kabul etmemek gerekir. Hem k-en yakın komşu hem de karar ağacı sınıflandırıcıları, veri üzerinde doğrusal olmayan karar sınırları koymaktadır: belirledikleri karar sınırları, her ne kadar yerel olarak doğrusal bölümlemelerden oluşsa da, iki boyutta bir doğru veya daha yüksek boyutta bir hiperdüzleme eş olamayan çok yüksek ifade gücüne sahip şekiller oluştururlar. Yine de 1-en yakın komşu sınıflandırıcısı ve güçlendirilmiş (ve budanmamış) karar ağacı deneylerimizde kullanılan doğrusal sınıflandırıcılara karşı üstün gelememiştir: bunlar sırasıyla en kötü

55 45 ve ikinci en kötü doğruluk değerlerini vermelerinin yanında, en kötü f-ölçütü değerlerini de paylaşmışlardır Yetersiz Uyum (underfitting) ve Aşırı Uyum (overfitting) Dengesi Eğilim-varyans (bias-variance) (veya aşırı uyum yetersiz uyum) ikiliğine bakarak, sınıflandırma işlemlerine ilişkin akla yatkın bir bakış çıkarabiliriz. Şekil 5.2 de, üç farklı karar sınırı kullanarak çözülmüş olan bir ikili sınıflandırma örneği görülmektedir. Şekil 5.2. Üç farklı model kullanılarak oluşturulmuş bir ikili sınıflandırma örneği. Bu üç alternatif modelden yapılacak en iyi seçim, ortadaki gibi olacaktır. Eğer en soldaki model benimsenmiş olsaydı, karşılaşılacak her sınıf çifti doğrusal olarak ayrılabilir kabul edilecekti. Fakat bu beklenti sunulan veriden kaynaklanmayacak, bizim tarafımızdan sınıflandırıcıya zorla kabul ettirilen bir eğilim olacaktı. Çok sayıda yanlış sınıflandırılan noktayı göz ardı ederek eğitim verisine yetersiz uyum gösterme, düşük tahmin performansına sahip çok basit modeller üretilmesine sebep olacaktır. Basitliği kaybetme pahasına, en sağdaki modeli kullanabiliriz. Bu modeldeki sınıflandırma fonksiyonu, bütün eğitim noktalarını doğru biçimde ayırabilmektedir. Fakat, Schölkopf ve Smola nın (2002) da belirttiği gibi, yeterli derecedeki bir fonksiyonla, veriye her zaman mükemmel bir şekilde uyum sağlasak da, gerçek model, ölçümlerin hassaslığına bağlı olarak büyük dalgalanmaları da beraberinde getirecek ve modelimiz değişimlerden çok fazla etkilenecektir. (s ). Bu değişimlerin, test örneklerinin düzenliliğinden kaynaklanıp kaynaklanmadığı durumu ise açık değildir. Model, eğitim verisine aşırı uyum sağlamış olabilir. Örneğin model, karşıt sınıflar içinde gömülü biçimde bulunan özel bölgeleri de ayırabilecek hale getirilebilir. Bu iki uç alternatif

56 46 arasından ortadakini, yani herhangi özel durumlu bir örneğe fazlaca takılmadan en çok doğru tahminde bulunan modeli seçerek bir uzlaşmaya varılabilir. Sınıflandırıcı kapasitelerindeki bu gibi farkları ve 9 adet çok değerli değişkenli olan verimizin karmaşık yapısını dikkate alırsak, doğrusal sınıflandırıcıların karışık yapıdaki veri kümemize az uyum göstererek kötü performans sergileme durumu normal görünmektedir. Bu sebeple, bir öğrenme algoritmasını doğrusal bir sınıflandırıcı kullanmaya zorlamak, Türkçe deki artgönderimsel ilişkileri temsil eden bir veride güçlü bir eğilim oluşturabilir. K-en yakın komşu ve karar ağacı algoritmaları verimize uygulanırken, uzak durulması gereken şeyin aşırı uyum olduğu deneyler sonucunda ortaya çıkmaktadır. Bu iki doğrusal olmayan algoritma, sınıflandırma açısından yüksek kapasiteye sahiptir. Gerçekten de, ifade güçleri o kadar yüksektir ki ne sayıda örnek verildiğine bağlı olmaksızın, sınıf belirsizliği olmadığı sürece, mükemmel sınıflandırma yapabilirler. Bu tabii ki kirlilik (noise) yaratan ve ait olduğu sınıfın geneline uzak (outlier) örneklere büyük olasılıkla uyum sağlama, yani aşırı uyum yoluyla olacaktır. knn deneyinde k değerini 1 olarak belirlemek veya karar ağaçlarında budama yapmadan güçlendirme işlemi uygulamak, ilgili deneylerde aşırı uyum riskini en yüksek seviyeye taşır. Parametreleri bu şekilde belirlemek, zaten yeterince yüksek ifade gücüne sahip algoritmaları daha da güçlü hale getirecektir. Bu nedenle, deneylerimizde 1-en yakın komşu sınıflandırıcısı ve güçlendirilmiş (ve budanmamış) karar ağaçlarının, aşırı uyumdan zarar görerek performanslarının doğrusal sınıflandırıcılar kadar düştüğünü görüyoruz. k düzleme (smoothing) parametresinin 11 e yükseltilmesi ve geliştirme yapılmayan karar ağacının budanması işlemleriyle bu algoritmaların ilgisiz örnekler üzerindeki güvenilirliği azaltılınca, performanslarının doğrusal olmayan diğer sınıflandırıcılar kadar iyi olduğu gözlemlenmiştir (bkz. Tablo 5.3). Đlginç olan, k değeri yükseltilerek knn deneylerine devam edildiğinde, belirli bir noktadan sonra bu düzleme etkeninin düşürücü bir etkiye sahip olmasıdır. Şekil 5.3 te, k değeri arttırımına bağlı olarak performans değerlerinin oluşturduğu örüntüler görülebilmektedir:

57 47 Şekil 5.3. knn deneyleri için performans k değeri ilişkileri. Bu örüntüleri, öğrenme modelini optimize ederken, basitlik ve ifade gücü arasındaki değiş-tokuşun (trade-off) başka bir gösterimi olarak kabul edebiliriz. Görünüşe göre, k nın başlangıç değeri (k = 1) ifade gücü çok yüksek bir model ortaya çıkarmıştır, yani verimize aşırı uyum sağlamıştır. Fakat, bu parametreye atanan büyük değerler ile düzleme yapılması modelin, örnek yakınlığı etkenine yeterince ağırlık vermemesine sebep olmaktadır Eniyileme (optimization) Đşlemi Đlk olarak bahsedilmesi gereken nokta eniyileme işlemi olmalıdır. Đlgili parametreler ile oynayarak algoritmanın ifade gücünü değiştirmenin sınıflandırma performansı üzerinde oldukça fazla etkisi olduğunu zaten görmüştük. Aslında, bir algoritmanın parametre değerlerinin değiştirilmesi ile ortaya çıkan benzer etkiler diğer bir çok araştırmacı tarafından da gözlemlenmiştir. 16 Fakat bu noktada dikkat edilmesi gereken farklı bir durum vardır. Parametrelerin düzenlenmesi, bir yöntemin eniyilenmesi için tek yol değildir. Hoste (2005a) eniyileme etkenleri kümesine algoritma eğilimi, özellik seçimi ve eğitim verisinin sınıf dağılımını da eklemektedir. Bunun yanında, üzerinde durduğu boyutların herhangi birinde yapılacak bir değişikliğin öğrenme yönteminin performansı üzerinde büyük etkileri olabileceğini de söylemektedir. Örneğin, elimizdeki özellik 16 Parametreleriyle oynayarak bir öğrenme yönteminin nasıl optimize edilebileceğine ilişkin tartışmalar için bkz. Hoste (2005), Hoste vd. (2002), Daelemans ve Hoste (2002), Daelemans vd. (2003) ve Decadt vd. (2004).

58 48 kümesinin bütün mümkün bilgilendirici özellikleri içermediği kesindir. Ayrıca, verilen bir öğrenme yöntemi için her özellik bilgilendirici veya eşit derecede bilgilendirici olmayabilir. Bu sebeple, her özelliğin sınıflandırma performansına olan etkisini iki farklı yöntem kullanarak değerlendirdik. Đlk olarak, özelliklerin farklı sınıflandırıcılar için ne kadar değerli olduğunu kestirebilmek için Sınıflandırıcı Altküme Değerlendirmesi (Classifier Subset Evaluation) yöntemini kullandık. Bu yöntem, özellik altkümelerini eğitim verisi üzerinde değişik sınıflandırıcılar kullanarak değerlendirebilmektedir. Aşağıda onlu çapraz-doğrulama deneyleri sonucunda özelliklerden elde edilen katkıların yüzdeleri verilmiştir. Özellik Deney No Ortalama Adıl Durum Adıl Dilb. Rol Açıklık Adıl Sözd. Tipi Gönderge Durum Gönderge Anl. Tipi Gönderge Dilb. Rol Uzaklık Kişi-Sayı Uyumu Tablo 5.4. Onlu çapraz-doğrulama deneylerinde kullanılan özelliklerin katkı yüzdeleri Özelliklerin sınıflandırmaya olan etkilerinin değerlendirilmesinin bir diğer yolu da her özelliğin sınıfa bağlı olarak bilgi kazancının (information gain) ölçülmesidir. Bilgi kazancı analizinin sonuçları aşağıdaki tabloda verilmiştir. Özellik Bilgi Kazancı Uzaklık Gönderge Anl. Tipi Gönderge Dilb. Rol Gönderge Durum Adıl Durum Adıl Dilb. Rol Adıl Sözd. Tipi Açıklık Kişi-Sayı Uyumu Tablo 5.5. Her özellik için bilgi kazançları Đki yöntemle elde edilen sıralamalar her ne kadar birbirinden farklı olsalar da, bir nokta kesindir: elimizdeki görev için uzaklık özelliği yüksek derecede bilgilendiricidir. Burada, Küçük ve Turhan-Yöndem in (2007) Türkçe için bilgi-yoksun adıl çözümleme

59 49 sisteminde de uzaklıkla ilgili özelliklerin en yüksek iki tercih değerine sahip olduğunu da söylemek gerekir. Tablolara bakarak, kişi-sayı uyumu özelliğinin bilgilendirici olmadığını söylemek gerekebilir. Aslında bu değerlendirme yanlıştır. Çünkü hiç bilgi kazancı sağlamamasının nedeni eğitim kümesi oluşturulduktan sonra ayıklama işlemi yapılmasıdır. Bu ayıklama işleminde aralarında kişi-sayı uyumu bulunmayan çiftlere ait örnekler elenmiş, bu yüzden özellik içinde yalnız tek değer kalmıştır. Aslında çalışmanın ilk kısımlarında da bahsedildiği gibi kişi-sayı uyumu, artgönderim çözümlemesi için önemli derecede bilgi sağlayan bir özelliktir.

60 50 BÖLÜM 6 ARTGÖNDERĐM ÇÖZÜMLEMESĐ BAŞARIMININ DEĞERLENDĐRĐLMESĐ 6.1. Artgönderim Çözümlemesi Açısından Performans Sonuçları Bu noktaya kadar yapılan değerlendirme, öğrenme algoritmalarının sınıflandırma performansları üzerine odaklanmıştır. En iyi sınıflandırma sonuçlarının aşırı uyumdan kaçınmak için eniyileştirilmiş doğrusal olmayan algoritmalarla elde edildiğini gördük. Fakat, şu ana kadar algoritmaların artgönderim çözümleme performansları üzerine doğrudan bir değerlendirme yapmadığımızı da belirtmemiz gerekir. Şu durumda elde edilecek sonuçlar, verilen bir adıl için birden fazla adayı öncül olarak kabul edebilmektedir. Tabii ki bu belirsizlikler, modeller gerçek artgönderim çözümleyiciler olarak kullanılmak isteniyorsa çözülmesi gereken durumlardır. Bu sebeple, bir adıl için öncül olarak önerilen adaylardan en yakınını seçtik ve sınıflandırıcıların başarımlarını bu adayların gerçek öncül olup olmadıklarını belirleyerek değerlendirdik. Ek olarak, sonuçları adılların sesbilgisel içerik ve tiplerine bağlı olarak da ayrıştırdık. Tablo 6.1 de başarımların artgönderim çözümlemesi bakış açısıyla hesaplanmış halleri görülebilmektedir.

61 51 Sessel Đçerik Adıl Tipi Model Toplam Açık Gizli Kişi Konum Bel. Dönüşlü Đşteş Voted Perceptron (Üs = 1) C-SVC (Doğrusal Çekirdek) Naïve Bayes (Normal Dağılım) J48 (Budanmış) Voted Perceptron (Üs = 2) Naïve Bayes (Çekirdek Kestirici) IBk (k = 11) J48 (Güçlendirilmiş Budanmamış) C-SVC (Radyal Tabanlı Çekirdek) IBk (k = 1) Tablo 6.1. Artgönderim çözümlemesi başarım oranları Adıllar kümesinin tamamına ilişkin başarımla ilgili yapılabilecek en doğrudan gözlem, modelin ifade gücü arttıkça başarımın da arttığıdır. En kötü üç sonuç üç doğrusal sınıflandırıcıya aittir: çokterimli çekirdek için üssü 1 olan Seçimli Algılayıcı, doğrusal çekirdekli C-SVC ve normal dağılım özellikli Naïve Bayes. Bunun yanında, ifade güçlerini yükseltecek şekilde düzenlendiklerinde, J48 ve knn doğrusal olmayan modellerinin performans değerlerinde bir yükseliş gözlemledik. Bahsedilen bu son yatkınlığın, doğrusal olmayan iki algoritmanın sınıflandırma performansları üzerinden değerlendirilmesi ile tam ters bir durum ortaya çıkarması da bahsedilmesi gereken ilginç bir noktadır. Bu sefer, ifade gücünün belirli bir noktadan sonra düşürücü bir etkiye sahip olduğu görülememektedir. Şekil 6.1 deki grafiğin de gösterdiği gibi, veri içindeki

62 52 gerçek öncüllerin büyük bir çoğunluğu artgönderimlerinin çok yakın komşulukları içinde kümelenmiştir. Şekil 6.1. Adayların uzaklığa bağlı dağılımları. Diğer bir deyişle, öncüller artgönderimlerinden uzaklaştıkça öncül olmayanların sayıca daha yoğun olduğu bir ortamda ait olduğu sınıfın geneline uzak durumlara dönüşmeye başlamaktadır. Böyle bir durumda en yakındaki adayı öncül kabul ederek geri kalanları gözardı etmek, ifade gücü aşırı derecede yüksek bir sınıflandırıcı tarafından karşıt sınıf içinde gömülü bir örnek yüzünden oluşmuş özel bir bölgeye düşme riskini azaltacaktır. Üstünlüğü en yakın öncüle vermenin, öğrenme verisinde karşıt sınıf içine gömülü örneklere aşırı uyum sağlayan bir sınıflandırıcı için çare olarak görülebileceği söylenebilir. Bu yüzden, yüksek ifade gücü ölçümlerimizdeki doğruluk değerlerini düşürmemektedir. Şimdi de açık ve gizli adıllar için elde ettiğimiz performans sonuçlarını karşılaştıralım. Her durumda, gizli adılların açık olanlardan daha iyi çözümlendiğini görebilmekteyiz. Şekil 6.2 deki grafikler, öncüllerini bulmada gizli adılları avantajlı hale getiren şeyin uzaklık özelliği olmadığını göstermektedir.

63 53 Şekil 6.2. Açık ve gizli adılların uzaklığa bağlı dağılımları. Bu iki adıl şekli arasında öncüllerinin uzaklığa bağlı yerleşimleri açısından çok güçlü bir paralellik vardır. Bu sebeple, kullanılan veri içindeki gizli ve açık adılların birbirinden ayrılabilmesini sağlayan şeyin ne olduğuna ilişkin fikir edinebilmek için, diğer özelliklere göz atmak mantıklı görünmektedir.

64 54 Sessel Đçerik Özellik Değer Açık Gizli Kalma Belirtme Yalın Adıl Durumu Yönelme Đyelik Çıkma Araç Adıl Dilbilgisel Görev Nesne Özne Kişi Adıl Sözdizimsel Tip Konum Dönüşlü Đşteş Kalma Belirtme Gönderimsel Đfade Durum Yalın Yönelme Đyelik Çıkma Araç Soyut nesne Hayvan Gönderimsel Đfade Anlamsal Tip Đnsan Fiziksel nesne Yer Zaman Gönderimsel Đfade Dilbilgisel Görev Nesne Özne Tablo 6.2. Özelliklerin olası durumları üzerinden gizli ve açık adılların dağılımları

65 55 Tablo 6.2 deki veriler, özelliklerin çoğunun gizli adıllar için açık adıllardan daha iyi birer ayrıştırıcı olduğunu ortaya koymaktadır. Adılların tipi ve dilbilgisel rolü haricindeki özelliklerin, gizli adılları ayrıştırma gücü de daha açık biçimde görülebilmektedir. Đki durum özelliği ve öncül olan ifadenin dilbilgisel rolü, gizli adılları belirgin bir değer etrafında yoğunlaştırarak pozitif örnekler alt kümesini ayırabilmeyi kolaylaştırmaktadır: yalın hali %77 ve %76, özne rolü %79. Aynı özelliklerin değerlerinin açık adıllara ait örnekler için görece daha eşit dağılım gösterdiğini de görmekteyiz. Öncüllerin anlamsal tip özelliği de gizli adıllar için benzer bir ayrıştırma avantajı sağlamaktadır. Hayvan ve insan değerleri atanmış gizli adılların toplam oranı da %93 gibi ayrıştırıcılığı yüksek bir düzeye ulaşmıştır. Bu oran ayrıştırıcı olmayı sürdürse de açık adıllar için %80 seviyesinde kalmıştır. Kısacası, özellikler gizli adılların pozitif ve negatif örneklerinin altkümelerine ayrıştırılmasında daha başarılı olarak, bu tip artgönderimler için daha iyi çözümleme sonuçları ortaya koymaktadır. Adıl tiplerine göre hesaplanmış performans sonuçları için iki genel noktaya değinmeliyiz. Đlk olarak, kişi adılları için değerler toplam sonuçlara çok yaklaşmaktadır. Đkincisi, (konum belirtenler için doğrusal C-SVC hariç) diğer adıl tipleri neredeyse tüm durumlarda kişi adıllarından daha iyi değerlere ulaşmaktadır. Đlk durum, kişi adıllarının tüm adıl kümesinin büyük bir bölümünü (%82,3) oluşturmasının doğrudan bir sonucudur. Đkinci durum da, özelliklerin ayırıştırıcı gücü üzerinden açıklanabilir görünmektedir. Tablo 6.3, dört tip adılın, özelliklerin muhtemel değerleri üzerinde dağılımını göstermektedir.

66 56 Adıl Tipi Özellik Değer Kişi Konum Dönüşlü Đşteş Konum Belirtme Adıl Durum Yalın Yönelme Đyelik Çıkma Araç Adıl Dilbilgisel Görev Nesne Özne Konum Belirtme Gönderimsel Đfade Durum Yalın Yönelme Đyelik Çıkma Araç Soyut nesne Hayvan Gönderimsel Đfade Anlamsal Tip Đnsan Fiziksel nesne Yer Zaman Gönderimsel Đfade Dilbilgisel Görev Nesne Özne Tablo 6.3. Özelliklerin olası değerleri üzerinden dört tip adılın dağılımı

67 57 Konum bildiren, dönüşlü ve işteş adıllarda, bir veya iki özel değer üzerine yoğunlaşmaya yatkınlık gözlemliyoruz. Bütün işteş adıllar, her özellik için en fazla iki değer ile karakterize edilmiştir. Biraz daha örnek vermek gerekirse, adılın durumu için yalın değeri dönüşlü adılların %86 sını ayırırken bu oran kişi adıllarında %59 a, konum adılları için ise %69 a düşmektedir. Daha dikkate değer bir dağılım da adılların dilbilgisel rollerine aittir. Neredeyse bütün dönüşlü ve konum belirten adıllar nesneyken, kişi adılları nesne ve özne rolleri arasında birbirine yakın bir dağılım göstermektedir. Aynı anlaşılırlıkta olmasa da, öncül olarak kullanılan ifadelerin dilbilgisel rolü üzerinden dönüşlü ve konum bildiren adıllar için daha iyi bir ayrım yapmaya yatkınlık da gözlenebilmektedir. Gönderimde bulunulan ifadelerin, dönüşlüler için %87 si özne, konum bildirenler için %93 ü nesne iken %73 ü özne olan kişi adıllarında bu iki rol arasında ayrım daha az belirgindir. Kullanılan özelliklerin ayrıştırıcı gücüyle ilgili son bir açıklama ise, neredeyse tüm konum bildiren adılların, kendilerinden doğal olarak beklenebileceği gibi, anlamsal tip olarak yer değerini almasıdır. Bahsedilmesi gereken bir başka durum da, dönüşlü ve işteşlerin, diğer adıl tiplerinden öncüllerini aynı tümce içinde bir adıl veya bir ifade üzerinden bulmak zorunda olmalarıdır. 17 Gerçekten de, dönüşlülerin %70 i, işteşlerin de tamamı aynı tümce içinde gönderimde bulundukları öncülleri bulmuşlardır. Bu oran kişi ve konum bildiren adıllar için sırasıyla sadece %10 ve %5 tir. Yaklaşımımızda belirsizliği azaltmak için en yakın pozitif aday seçildiğinden, dönüşlü ve işteş adılların gerçek fakat uzak öncüllerine ulaşamama olasılığı azalmaktadır Son Açıklamalar Mitkov (2000), artgönderim çözümleme yöntemlerini değerlendirirken kritik başarım oranı olarak adlandırdığı değere özel bir önem verilmesi gerektiğini söylemektedir. Mitkov, ölçütün cinsiyet ve sayı üzerinden bir ayıklama yapıldıktan sonra, halen birden fazla aday öncülü kalan artgönderimlere uygulanabileceğini belirtmektedir. Bu ölçütün, 17 Türkçe deki bu kısıtın bir analizi için bkz. Kornfilt (1997) ve Yüksel ve Bozşahin (2002).

68 58 cinsiyet uyumu kontrolünden sonra doğrudan çözülebilen artgönderimler gibi, çözümü çok kolay artgönderimler içeren verinin değerlendirilmesinde yanlış sonuçlara doğru bir yönelimi belirleme açısından yol gösterici olduğu üzerinde durmaktadır (s. 100). Bahsedeceğimiz sebeplerden dolayı, değerlendirme ölçütlerimiz kritik doğruluk oranına çok yakın görünmektedir. Đlk olarak, başlangıçta da bahsedildiği gibi, Türkçe adıllar hiç cinsiyet bilgisi taşımamaktadır. Đkincil olarak, aday öncülün adılla sayı (ve kişi) açısından uyuşmadığı negatif örnekler deneylerimiz öncesinde ayıklanmıştır. Üçüncü olarak, kalan veri kümesinde tek bir aday öncüle sahip örneklerin oranı gözardı edilebilecek bir oran olan %3.1 dir. Bir diğer önemli nokta da, sonuçlarımızı Türkçe artgönderim çözümlemesi için yapılan diğer çalışmalarla karşılaştıramayacak olmamızdır. Performans sonuçlarını belirten iki tane daha ilgili çalışma bilmekteyiz. Tüfekçi ve Kılıçaslan (2007), Hobbs naïve algoritmasına dayalı sistemlerinde başarım oranını %84 olarak belirtmektedir. Küçük ve Turhan-Yöndem (2007), bilgi-yoksun sistemleri ile iki farklı deney yaparak şu sonuçları elde etmişlerdir: ilk deney için %85.3 geriçağırım ve %88 duyarlılık, ikinci deney için %73.7 geriçağırım ve %91 duyarlılık. Fakat, bu çalışmalardaki deneylerde kullanılan veri kümeleri bizim çalışmamızda kullanılan veri kümesinden farklıdır. Bu sebeple, karşılaştırma yapabileceğimiz güvenli bir temelden yoksun kalmaktayız. Aslında, artgönderim çözümlemesi için kullanılabilecek herkese açık Türkçe bir derlem bulunmamaktadır. Bu sebeple, kullandığımız derlemi web adresi üzerinden sunmaktayız. Bununla birlikte, Türkçe de artgönderim çözümlemesi alanında daha üretken araştırmalar yapabilmek için, uygun biçimde işaretlenmiş ve farklı türlerden metinler içeren daha büyük bir derlem oluşturma işi de yapılmayı bekleyen acil bir iştir. Fakat, sınıflandırma üzerine yaptığımız değerlendirmenin, Türkçe için artgönderim çözümlemesi ile ilgili bir sınıflandırıcının ifade gücü üzerinde bir alt sınır koyduğunu da belirtmeden geçmemeliyiz. Đfade gücü için üst sınırla ilgili kesin bir şey söylemediğimiz için, çocuk hikayeleri gibi basit bir yazın türünü seçmek bu makalenin amacıyla uyum içindedir. Özellikle, kullanılan bir etkenin yazın türü seçimine bağlı olup olmadığının araştırılması gereklidir. Bu tip bir bilgi, yazın türüne özgü artgönderim çözümleme sistemlerinin tasarımı açısından büyük önem taşımaktadır.

69 59 BÖLÜM - 7 SONUÇ Bu çalışma Türkçe ye uygulanan çeşitli artgönderim çözümleme deneylerinin sonuçlarını sunmaktadır. Uygulanan yaklaşım iki aşamadan oluşmaktadır: işaretlenmiş metindeki adıllara ait aday öncüllerin farklı makine öğrenmesi yöntemleriyle sınıflandırılması ve son olarak pozitif olarak sınıflandırılan en yakın adayı seçerek artgönderim ilişkilerinin çözümlenmesi. Yaklaşık %64 ve %74 arasında kümelenen f-ölçütü sonuçları, Türkçe bir metindeki adılların aday öncüllerini sınıflandırma gibi zorlu bir görevi için yeterince tatmin edici görünmektedir. Kappa istatistiği üzerinden yapılan değerlendirme de sınıflandırma sonuçlarının önemli derecede şanstan uzak olduğunu ortaya koymuştur. Bu çalışmada ayrıca, bir öğrenme modelinin ifade gücünün sınıflandırma performansı üzerine etkisini dikkate alan karşılaştırmalı bir tartışma sunulmuştur. Deneysel sınıflandırma sonuçları üzerinden yapılabilecek en doğrudan gözlemler şu şekildedir: SINIFLANDIRMA SONUÇLARI ÜZERĐNE DENEYSEL GÖZLEMLER: 1. Doğrusal olmayan bir sınıflandırıcı kullanan bir model her zaman doğrusal bir sınıflandırıcı kullanan halinden daha başarılı olmuştur. 2. Doğrusal olmayan bir modelin performansı, ifade gücü belirli bir seviyenin üstüne çıktıktan sonra kötüye gitmiştir. Bu gözlemleri, istatistiksel öğrenmeden gelen bazı fikirlerle yorumlayarak şu iki sonuca ulaştık: ÖĞRENME MODELLERĐ ĐLE ĐLGĐLĐ ĐKĐ SONUÇ: 1. Doğrusal bir sınıflandırıcının ifade gücüne sahip öğrenme modelleri, Türkçe için artgönderim çözümlemesinde kullanıldığında yetersiz uyum sorunuyla karşılaşmaktadır.

70 60 2. Đfade gücü aşırı derecede yüksek modeller, aynı uygulama alanında aşırı uyuma sebep olabilmektedir. Daha sonra, öğrenme modelinin verilen bir adıl için birden fazla öncül bulabileceği gerçeğinden yola çıkarak, sınıflandırma sonuçları üzerinde ek bir eleme işlemi uyguladık: son önerilen öncülü belirlemek için pozitif olarak sınıflandırılan adaylardan en yakındakini seçtik. Bu yolla erişilen artgönderim çözümleme sonuçları üzerinden de aşağıdaki çıkarımlarda bulunduk: ARTGÖNDERĐM ÇÖZÜMLEME SONUÇLARI ÜZERĐNE GÖZLEMLER: 1. Modelin ifade gücü arttıkça, artgönderim çözümleme başarı oranı da artmaktadır. 2. Gizli adıllar açık olanlardan daha iyi çözümlenmektedir. 3. Dönüşlü, işteş ve konum belirten adıllar, kişi adıllarından daha iyi çözümlenmiştir. Bu çalışma doğrultusunda ileride üzerinde çalışılacak hedefler, optimizasyon faktörlerinin (özellik seçimi gibi) sınıflandırıcı performansı üzerine etkilerini bulmak ve farklı yazın türlerinden metinler içeren daha büyük bir derlem üzerinde öğrenme deneyleri uygulamak olacaktır.

71 61 KAYNAKLAR 1. Aone, C., Bennet S.W Evaluating automated and manual acquisition of anaphora resolution rules. In: Proceedings of ACL 95, Baldwin, B., CogNIAC: high precision coreference with limited knowledge and linguistic resources. In: Proceedings of the ACL'97/EACL'97 workshop on Operational factors in practical, robust anaphora resolution, Madrid, Spain, Barwise, J., Perry, J., Situations and Attitudes. MIT Press, Cambridge, MA. 4. Banfield, A., Unspeakable Sentences: Narration and Representation in the Language of Fiction. Routledge & Kegan Paul, London. 5. Bickel, B., Referential Density in Discourse and Syntactic Typology. Language Boser, B.E., Guyon, I.M., Vapnik, V.N., A training algorithm for optimal margin classifiers. In D. Haussler, editor, 5th Annual ACM Workshop on COLT, Pittsburgh, PA. ACM Press Carbonell, J.G., Brown, R.D., Anaphora resolution: a multi-strategy approach, In: Proceedings of the 12. International Conference on Computational Linguistics (COLING'88), Vol.I, Budapest, Hungary, Cardie, C., Wagstaff, K., Noun phrase coreference as clustering. In: Proceedings of the 1999 joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, Chih-Chung, C., Chih-Jen, L., LIBSVM - A Library for Support Vector Machines. URL Chomsky, N., Lectures on Government and Binding, Dordrecht : Foris. 11. Cohen, J.A., Coefficient of agreement for nominal scales. Educational and Psychological Measurement,

72 Daelemans, W., Hoste, V., Evaluation of machine learning methods for natural language processing tasks. In: Proceedings of the Third International Conference on Language Resources and Evaluation (LREC-2002), Daelemans, W., Hoste, V., De Meulder, F., Naudts B., Combined optimization of feature selection and algorithm parameter interaction in machine learning of language. In: Proceedings of the 14th European Conference on Machine Learning (ECML-2003), Decadt, B., Hoste, V., Daelemans W., van den Bosch, A., Gambl, genetic algorithm optimization of memory-based wsd. In: Proceedings of the Third International Workshop on the Evaluation of Systems for Semantic Analysis of Text (SENSEVAL-3), Devlin, K., John Barwise s papers on natural language semantics. The Bulletin of Symbolic Logic 10 (1). 16. Enç, M., Topic switching and pronominal subjects in Turkish. Studies in Turkish Linguistics, ed. by Dan Isaac Slobin and Karl Zimmer, Amsterdam: John Benjamins Erguvanlı Taylan, E., Pronominal vs. Zero Representation of Anaphora in Turkish. Studies in Turkish Linguistics, (eds.) Dan I. Slobin and Karl Zimmer. Amsterdam: John Benjamins Fisher, F., Soderland, S., Mccarthy, J., Feng, F. and Lehnert, W., Description of the umass system as used for muc-6. In: Proceedings of the Sixth Message Understanding Conference (MUC-6), Freund, Y., Schapire, R.E., Large Margin Classification Using the Perceptron Algorithm. Machine Learning, 37(3), Grosz, B., Joshi, A., Weinstein, S., Providing a Unified Account of Definite Noun Phrases in Discourse. In: Proceedings of the 21 st Annual Meeting of the Association for Computational Linguistics (ACL 83). 21. Grosz, B., Joshi A., Weinstein, S., Towards a Computational Theory of

73 63 Discourse Interpretation. Unpublished manuscript. 22. Grosz, B., Joshi A., Weinstein, S., Centering: A framework for modeling the local coherence of discourse. Computational Linguistics, 21(2), Halliday, M., R. Hasan., Cohesion in English. (Longman English Language Series 9). London: Longman 24. Hirst, G., Anaphora in natural language understanding. Berlin Springer Verlag. 25. Ho, T.K., Basu, M., Law, M.H.C., Measures of Geometrical Complexity in Classification Problems. Data Complexity in Pattern Recognition, Springer- Verlag, Hobbs, J. R., Resolving pronoun references. Lingua 44, Hoste, V., Hendrickx, I., Daelemans W., van den Bosch, A., Parameter optimization for machine-learning of word sense disambiguation. Natural Language Engineering, Special Issue on Word Sense Disambiguation Systems Hoste V., Daelemans, W., Comparing Learning Approaches to Coreference Resolution. There is More to it Than 'Bias'. In: Proceedings of the Workshop on Meta-Learning (held in conjunction with ICML-2005), Bonn, Germany Hoste, V., Optimization Issues in Machine Learning of Coreference Resolution, PhD thesis, University of Antwerp. 30. John, G.H., Langley, P., Estimating Continuous Distributions in Bayesian Classifiers. In: Proceedings of the Eleventh Conference on Uncertainty in Artificial Intelligence, Morgan Kaufmann Publishers, San Mateo. 31. Kehler, A., Pragmatics, Chapter 18. D. Jurafsky and J. Martin (eds.) Speech and Language Processing. Upper Saddle River, NJ: Prentice Hall. 32. Kehler, A Coherence, Reference, and the Theory of Grammar. Stanford, CA: CSLI.

74 Kennedy, C., Boguraev, B., Anaphora for everyone: pronominal anaphora resolution without a parser. In: Proceedings of the 16th International Conference on Computational Linguistics (COLING' 96,) Copenhagen, Denmark, Kerslake, C., Noun phrase deletion and pronominalization in Turkish. In H. E. Boeshoten and L. T. Verhoeven, editors, Studies on Modern Turkish, Tilburg University Press, Tilburg, Netherlands Kılıçaslan, Y., Syntax of information structure in Turkish. Linguistics 42-4, Kılıçaslan, Y., Uzun, E., Agun V., Uçar, E., Automatic Acquisition of Subcategorization Frames for Turkish with Purely Statistical Methods, Proceedings of the International Symposium on Innovations in Intelligent Systems and Applications (INISTA), Istanbul, Turkey. 37. Küçük, D., 2005, A Knowledge-Poor Pronoun Resolution System For Turkish. MSc Thesis. The Graduate School Of Natural And Applied Sciences, Middle East Technical University 38. Küçük D., Turhan-Yöndem, M., A Knowledge-poor Pronoun Resolution System for Turkish. In: Proceedings of 6 th Discourse Anaphora and Anaphor Resolution Colloquium (DAARC), Lagos, Portugal. 39. Kornfilt, J., Turkish. London and New York: Routledge. 40. Landis, J.R., Koch, G.G., The measurement of observer agreement for categorical data. Biometrics. Vol. 33, Lappin S., Leass, H., An algorithm for pronominal anaphora resolution. Computational Linguistics, 20(4), Lappin S., A Sequenced Model of Anaphora and Ellipsis Resolution. Anaphora Processing: Linguistic, Cognitive and Computational Modelling, John Benjamins Publishing. 43. Manning, C. D., Raghavan, P., Schütze, H., Introduction to Information

75 65 Retrieval. Cambridge University Press. 44. McCarthy, J. F., Lehnert, W. G., Using decision trees for coreference resolution. In IJCAI, McCarthy, J., A Trainable Approach to Coreference Resolution for Information Extraction. PhD thesis, Department of Computer Science, University of Massachusetts, Amherst MA. 46. McLuhan, M., Understanding media: The extensions of man. New American Library, New York. 47. Mitkov, R., Pronoun resolution: the practical alternative. In: Proceedings of the Discourse Anaphora and Anaphor Resolution (DAARC'96). Lancaster, UK. 48. Mitkov, R., Evaluating anaphora resolution approaches. In: Proceedings of the Discourse Anaphora and Anaphora Resolution Colloquium (DAARC 2). Lancaster, UK. 49. Mitkov, R., Anaphora Resolution: The State of the Art. Technical Report, University of Wolverhampton. 50. Mitkov, R., Towards a more consistent and comprehensive evaluation of anaphora resolution algorithms and systems, In: Proceedings of the Discourse Anaphora and Anaphora Resolution Colloquium (DAARC-2000), Lancaster, UK, Mitkov, R., 2002, Anaphora Resolution. Longman. 52. Ng, V., Cardie, C., 2002, Improving machine learning approaches to coreference resolution. In: Proceedings of the 40rd Annual Meeting of the Association for Computational Linguistics Quinlan, R., C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, San Mateo, CA. 54. Schölkopf, B., Smola, A. J., Learning with Kernels. MIT Press, Cambridge, MA.

76 Soon, W. M., Yong D. C., Ng, H. T., A Machine Learning Approach to Coreference Resolution of Noun Phrases. Computational Linguistics, 27(4), Strube, M., Rapp, S., Müller, C., The influence of minimum edit distance on reference resolution In: Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP-2002) Tın, E., Akman, V., Anaphora in Turkish: A Computational Framework, In: Proceedings of 6 th International Turkish Linguistics Conference, Anadolu University, Eskişehir. 58. Tın, E., Akman, V., Situated Processing of Pronominal Anaphora, In: Proceedings of Second Conference for Natural Language Processing (KONVENS 94), University of Vienna, Austria, Trouilleux, F., A Rule-Based Pronoun Resolution System for French, In: Proceedings of the 4th Discourse Anaphora and Anaphora Resolution Colloquium (DAARC 02). 60. Turan, Ü. D., Null vs. Overt Subjects in Turkish Discourse: A Centering Analysis. Ph.D. Dissertation, University of Pennsylvania. 61. Tüfekçi, P., Kılıçaslan, Y., A Computational Model for Resolving Pronominal Anaphora in Turkish Using Hobbs' Naïve Algorithm. WEC (5), Tüfekçi, P., Kılıçaslan, Y., A syntax-based pronoun resolution system for Turkish, In: Proceedings of the 6th Discourse Anaphora and Anaphor Resolution Colloquium (DAARC-2007), Lisbon, Portugal. 63. Robert D. van Valin, J. and R. J. LaPolla (1997). Syntax: Structure, Meaning and Function. Cambridge: Cambridge University Press. 64. Vapnik, V.; Lerner, A Pattern Recognition using Generalized Portrait Method. Automation and Remote Control. 24:6.

77 Witten I.H., Frank E., Data Mining: Practical machine learning tools and techniques. 2nd Edition, Morgan Kaufmann, San Francisco. 66. Wolpert D., Macready, W., No free lunch theorems for search, Technical Report SFI-TR , Santa Fe Institute, Santa Fe, NM. 67. Yang, X., Zhou, G., Su, S., Tan, C., Coreference resolution using competition learning approach. In: Proceedings of the 41th Annual Meeting of the Association for Computational Linguistics (ACL-03), Sapporo, Japan, Yıldırım, S., Kılıçaslan, Y., Aykaç, R. E., A Computational Model for Anaphora Resolution in Turkish via Centering Theory: an Initial Approach, International Conference on Computational Intelligence, Yıldırım, S., Kılıçaslan, Y., A Machine Learning Approach to Personal Pronoun Resolution in Turkish. In: Proceedings of 20 th International FLAIRS Conference, FLAIRS-20, Key West, Florida. 70. Yüksel, Ö. and Bozşahin, C., Contextually Appropriate Reference Generation. Natural Language Engineering 8 (1). Cambridge University Press.

78 68 ÖZGEÇMĐŞ Edip Serdar GÜNER, 10 Temmuz 1984 tarihinde Manisa ili merkez ilçesinde doğdu. Đlk, Orta ve Lise öğrenimini Manisa da tamamladıktan sonra 2002 yılında Trakya Üniversitesi Mühendislik Mimarlık Fakültesi Bilgisayar Mühendisliği bölümünü kazandı ve bu bölümden 2006 yılında mezun oldu yılı Eylül ayında Trakya Üniversitesi Mühendislik Mimarlık Fakültesi Bilgisayar Mühendisliği Bölümünde Yüksek Lisans çalışmalarına başlayan Edip Serdar GÜNER, 2007 yılı Kasım ayında aynı bölümde Araştırma Görevlisi olarak çalışmaya başladı. Edip Serdar GÜNER halen Trakya Üniversitesi Bilgisayar Mühendisliği Bölümü nde Araştırma Görevlisi olarak görev yapmaktadır.

79 69 EK - 1 Derlem Oluşturma ve Đşaretleme Aracı Kullanım Kılavuzu Program çalıştırıldığında 3 seçenekten oluşan yukarıdaki gibi bir menü ile karşılaşılır. Bu menüden ilk seçenek tıklandığında söylem parçası eklemek için kullanılan pencere açılır. Add Discourse Fragment Penceresi Bu pencerede, metin girişi yapılabilen tek kısım olan üst bölüme işaretlemesi yapılacak cümleler girilir. Söylem parçasının cümlelere ayrıştırılması işlemi,.,! ve? noktalama işaretleri kullanılarak yapılmaktadır. Metin giriş işlemi tamamlandıktan

80 70 sonra Split yazan butona tıklandığında metin cümlelere ayrıştırılarak aşağıdaki listeye taşınır. Eğer aşağıdaki listenin oluşturulması sırasında bilinmeyen karakterler gibi hatalar oluşursa metni düzeltip tekrar Split butonuna basmanız gerekir. Bu ekranda cümle listesinden bir cümleyi seçerek Tokenize butonuna basıldığında, seçili cümlenin kelimeleri yanda kelime listesi olarak görülebilecektir. Cümle içerisinde gizli öğeler varsa bunları cümleye eklemek için Add pro butonu altında yer alan metin kutusuna, eklenecek öğe yazılır ve Add pro butonuna basılır. Eklenen öğe kare parantezler içine alınmış biçimde gösterilir ve ilk olarak sona eklenir. Bu veya bir başka öğenin cümle içinde kelime sırası değiştirilmek istenirse yukarı ve aşağı ok simgeleri içeren butonlar kullanılarak yer değiştirme işlemi yapılabilir.

81 71 Cümle üzerinde bu işlem bittikten sonra Sentence OK butonuna basılarak cümlenin listedeki hali güncellenir. Eğer bütün söylem parçası için gereken düzenleme işlemleri yapıldıysa en alttaki Finished editing seçeneği işaretlenmelidir. Bu işaretlendikten sonra Add Fragment butonu görünür hale gelir ve tıklandığında parçaya ait tüm cümleler kaydedilmiş olur.

82 72 Edit Discourse Fragment Penceresi Bu penceredeki kontroller kullanılarak bir söylem parçası tamamen silinebileceği gibi bir parçaya ait cümleye gizli öğelerin eklenmesi işlemi de yapılabilir. Fragment No kısmından seçilen parçanın cümleleri üstteki listede gösterilir. Eğer parça silme işlemi yapılmak isteniyorsa Delete Fragment butonuna basıldığında silinmek istenen parça silinebilir. Listeden seçilen bir cümleye gizli öğe eklemesi yapılacaksa, gizli öğe metin kutusuna yazılıp Add pro ile kelime listesine eklenir. Bu öğe kelime listesi içinde istenen konuma aşağı ve yukarı ok tuşlarıyla getirilebir. Değişiklik yapıldıktan sonra Save Changes ile değişiklikler veri tabanına kaydedilir. Annotation Penceresi Bu pencerede girilen fragmanlara ait cümleler görülebileceği gibi bu cümleler içindeki isim ve zamir öğeleri üzerinde gerekli özelliklerin işaretlenmesi yapılabilir. Đşaretlemesi yapılacak öğeler sadece isim ve adıllar olacağı için ekleme ekranlarından girilen cümleler içindeki bu öğeler düzgün bir biçimde ayrılmalıdır. Giriş ekranında öğelerin büyük bir kısmının kategori bilgisi işaretlenmiş olarak gelir. Ancak şekilsel analiz sonucu doğru işaretlenememiş isim ve adıl kategorisindeki öğeler bu ekranda

83 73 bulunan Edit Words butonuna tıklanarak açılan kısımda düzenlenip Save Category butonuna basılarak kaydedilebilir. Aynı kısım Hide Edit butonu tıklanıp gizlenebilir. Eksik veya yanlış kategori bilgileri düzeltildikten sonra seçilen cümlenin isim ve adıl öğeleri alt kısımdaki listede görülebilir. Buradan bir öğeye tıklandığında kategorisine göre gelen yanındaki gerekli alanlar doldurulur. Bu alanların da büyük bir kısmı biçimsel analiz sonucu otomatik olarak belirlenmiş şekilde gelir. Đsim kategorisindeki öğeler için bir örnek aşağıda verilmiştir.

84 74 Adıl kategorisi için öncül işaretlemesi yapılması gerekmektedir. Bu işaretleme için Sentence No yazan açılır listeden cümle seçilir. Seçilen cümlenin öğeleri altındaki listede sıralanır. Buradan öncül olacak öğe veya öğeler seçilebilir. Tek bir öğe tıklanıp seçilebileceği gibi ctrl tuşuna basılı tutularak birden çok kelimenin birleşiminden oluşan bir öncül de seçilebilir. Seçim yapıldıktan sonra Add Anaphora butonu tıklanır. Refers to kısmında seçilen öncülün konumu görülebilir. Diğer gerekli alanların doğruluğu da kontrol edildikten sonra Save butonu ile güncelleme yapılır. Kelime listesi bir öğe tıklandıktan sonra kilitlendiğinden bir başka öğeyi düzenlemek için Enable Selection butonu tıklanmalıdır.