Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER

Transkript

1 Sunum: Yrd. Doç. Dr. Şadi Evren ŞEKER

2 Doğal Dil İşleme (Natural Language Processing) Dil tanımı DDİ kullanım alanları DDİ problemlerinden bazıları Doğal Dil Parçalama (NLP Parsing) Zamansal Mantıklar (Temporal Logics) Kipler Mantığı (Modal Logic) Allen Zamansal Mantığı Reichenbach Zamansal Mantığı Örnek olay sıralama uygulaması TimeML

3 Dil Nedir? İletişim ve protokol tanımı Düşünmenin sınırları? Yapay zeka (Turing Testi) Makine Dilleri Doğal Diller arası dil bulunmaktadır Dillerin şekilleri Yazılı diller Sembolik Diller (hiyeroglif) İşaret dilleri (mors) Sadece konuşulan diller

4 1 = {0,1} 2 = {a,b,c,d,e,f} Örneğin yukarıdaki 1 alfabesi 0 ve 1 sayılarını birer sembol olarak kabul etmiştir ve bu semboller dışındaki semboller bu alfabede tanımlı değildir. Alfabeler kullanılarak elde edilen dizgiler (string) w harfi ile ifade edilir. Buna göre örneğin w= debdebe dizgisi 2 üzerinde tanımlı bir dizgidir. Bir dizginin boyutu w işareti ile gösterilir ve o dizgideki harf sayısına eşittir. Örneğin yukarıda verilen w= debdebe dizgisi için w = 7 olarak kabul edilir

5 Klasik DDİ Seviyeleri Şekilbilim (Morphology) Stemming Lemmetisation Sözdizim (Syntax) Anlambilim / Kullanımbilim (Semantics / Pragmatics) Sesbilim (Phonotics) İstatistiksel DDİ Örn: n-gram

6 Otomatik Tercümeler (Auto Translation) Tomato is a fruit! Eş Atıf Çözümlemeleri (Coreference Resolution) Zamir Çözümlemesi (Anaphora Resolution) O Otomatik Metin Özetlemeler (Text Summarization) Külliyat Analizi (Discourse Analysis) Bu yazıyı Bu kişi yazmış olamaz. Şekilbilimsel Bölümleme (Morphological Segmentation) Metin içinde arama/değiştirme, arama sonuçlarının puanlanması Okulda -> evde Levenshtein mesafesi (koyun, koyu, araba, arabalar)

7 İsim varlık eşlemesi (name entity recognition) Özel isimlerin çıkarılması, bir cümlede hangi kelimelerin yer, kişi, kurum vs. olduğunun bulunması (Arapça, Çince gibi dillerde büyük harf yoktur) Doğal Dil Üretimi (Natural Language Generation) Telefon destek, kiosk, ATM OCR (optical character recognition), hata düzeltme Soru Cevaplama (Question Answering) Otomatik Test üretimi Yarışmalar Arama motorları Bilgi getirimi (information retrieving), bilgi çıkarımı (information extraction), Örn: yazıyı yazanların demografik durumu

8 Yapay Zeka DDİ AI-Hard, AI-Complete Kelime Anlam Belirsizliği (Wordsense ambiguity) Yüz Zamir Çözümleme (Anaphora Resolution) Eksilti (Ellipsis) Şekilbilimsel Karmaşıklık (Morphological Ambiguity)

9 İsim kelime grupları Kelime grubunun sınıflandırılması NP PP ADJ NOUN PREP ADJ NOUN kırmızı masanın altında mavi kitap

10 On ocak iki bin ile on mart iki biniki arasında haftada bir Ali Bey ile bahçeli okulda saat onda ikişer saatlik toplantılar var.

11

12

13

14 Yağmur yağıyor, öyleyse şemsiyemi almalıyım. P Q a (Şadi (a) Mühendis(a)) Öyle bazı a lar vardır ki, bu a nın ismi Şadi dir ve bu a mühendistir. a (Bilgisayar Mühendisi (a) Mühendis(a)) Bütün a lar için, a şayet bilgisayar mühendisiyse; a, aynı zamanda mühendistir. Yine, yukarıdaki gösterim kullanılarak söylenebilecek doğru bir model de aşağıdaki gibi olabilir: a (Şadi (a) Mühendis(a)) Öyle bazı a lar vardır ki, bu a nın ismi Şadi dir ve bu a mühendis değildir. Şekil (Şekil (a) Şekil (b)) Öyle bir şekilden bahsedilebilir ki, hem a hem de b aynı şekildedir.

15 Zaman nedir? Olay, Atıf (Referans), Konuşma Zamanı (Speech) Örnek Mantık İşlemleri ve (And) Λ veya (or) V ise (implication) değil (not) Zamansal İşlemler (Temporal Operators) Tekli işlemler (unary operators): Sonra (Next) Gelecek (Future) Genel (Globally) Hep (All) Mevcut (Exists) İkili işlemler (Binary Operators): -e Kadar (Until) -den sonra (Release)

16 Mantık Sembol Anlamı Axiomatic Mantık x x gereklidir x x olasıdır Zorunluluk (Deontic) Mantığı Ox x yapılmakla sorumludur Px x 'in yapılma izni vardır Fx x'in yapılması yasaktır. Zamansal (Temporal) Mantık Gx Her zaman için geçerli x Fx Gelecekte x Hx Geçmişte, şimdiye kadar x Px Geçmişte x Bilgisel (Epistemic) Mantık Lx x e inanır Mx Bilgiye dayanarak x e inanıyor

17

18 ilişki Reichenbach Zaman İngilizce Zaman İsmi İngilizce Örnek Türkçe Karşılığı İsmi (Tense Name) E<R<S Anterior past Past perfect I had slept Hikaye Geçmiş Zaman E=R<S Simple past Simple past I slept Geçmiş Zaman R<E<S R<S=E Posterior past I would sleep Gelecek Zamanın Mazisi R<S<E E<S= R Anterior present Present perfect I have slept Rivayet Geçmiş Zaman S= R= E Simple present Simple present I sleep Geniş Zaman S= R<E Posterior present Simple future I will sleep Je vais YOK dormir S<E<R YOK S=E<R Anterior future Future perfect I will have slept YOK E<S<R S<R=E Simple future Simple future I will sleep Je dormirai Gelecek Zaman S<R<E Posterior future I shall be going to sleep

19

20 Doğrusallık özelliği (linearity) : xy. x R y x = y y R x Sol doğrusallık (left linearity) xyz.y R x z R x f y R z y = z z R y Sağ doğrusallık (right linearity) xyz. x R y x R z f y R z y = z z R y Geçişlilik özelliği (transitivity) : xyz. x R y y R z x R z Yansımama özelliği (nonreflexivity) : x. x R x Başlama (begin) x. y.y R x Bitme (end) x. y. x R y Takip (precedence) x. y.y R x Yoğunluluk (density) xy. x R y z. x R z R y

21 Masanın yanına gidip elmayı alırken Ayşe uyandı. Ayşe uyanırken masanın yanına gidip elmayı almıştım. Elmayı almam Ayşeyi uyandırdı.

22 Meets(OR,ER) ᴧ Meets(ER,IR) ᴧ During (ER,SAT) ᴧ During (AT,IR) ᴧ Meets(SAT,AT) ᴧ Meets(AT,SCT) ᴧ During(AT,NHA) ᴧ During(TA,IR) ᴧ During (TA,SCT) ᴧ Meets(NHA,TA) ᴧ Meets(TA,HA) ᴧ During(EA,HA) ᴧ During (EA,CT) ᴧ During(EA,IR) ᴧ Meets(TA,EA) Odaya giriş (ER) Odanın dışında olma (OR) Odanın içinde olma (IR) Masaya yaklaşm (AT) Masaya uzak olma durumu (SAT) Masaya yakın olma durumu (SCT), Elmayı alma (TA) Elması olmama durumu (NHA) Elması olma durumu (HA). Elmayı yeme eylemi (EA).

23 Elmayı almak için masanın yanına giderken ayşe uyandı. Ayşe uyanırken elmayı almak için masanın yanına gidiyordum. Masanın yanına gitmem Ayşeyi uyandırdı

24 Ahmet kitapları okuyup okuyup özetliyordu. Ahmet hastaneye gidip gidip Ayşeyi görüyordu. Ali vitrinlere bakıp bakıp iç çekti. A Divers out water Diving Divers under water B Divers out water Diving Divers under water To light C Life signal is not blinking To fade

25 Doğal Dilde Metin Olay Sıralama Kronoloji Çıkarımı İşlenmiş Metin (TimeML) Ontoloji, Sorgu, Veritabanı, Ağ iletişim, Görüntü işleme.

26 Link Signal Signal MakeInstance MakeInstance Event Event

27 Bir yılbaşı gecesiydi. It was a christmas night. It<EVENT eid="e1" class="occurrence">was a christmas night</event> <MAKEINSTANCE eiid="ei1" eventid="e1" pos="verb" tense="past" aspect="perfective" modality="was" polarity="pos"/> night

28 TLINK Time Link Ali Pazartesi ders verecek. SLINK Subordination Links Ali, pazartesileri ders verdiğini söyledi. (Ali söyledi, ali pazartesileri ders veriyor) ALINK Aspectual Links Ali okumaya başladı (bir fiilin diğerinin aspecti olması durumu)

29 Masanın yanına gidip elmayı alırken Ayşe uyandı Masanın yanına <EVENT eid="e1" class="occurrence">gidip</event> elmayı <EVENT eid="e2" class="occurrence">alırken</event> Ayşe <EVENT eid="e3" class="occurrence">uyandı</event>. <MAKEINSTANCE eventid="e1" eiid="ei1" tense="past" aspect="none" polarity="pos" pos="unknown"/> <MAKEINSTANCE eventid="e2" eiid="ei2" tense="past" aspect="none" polarity="pos" pos="unknown"/> <MAKEINSTANCE eventid="e3" eiid="ei3" tense="hikaye" aspect="none" polarity="pos" pos="unknown"/> <TLINK lid="l2" reltype="before" eventinstanceid="ei1" relatedtoeventinstance="ei2" origin="user"/> <TLINK lid="l1" reltype="is_included" eventinstanceid="ei3" relatedtoeventinstance="ei2" origin="user"/>

30 Kendine atıf (Self referencing) Talking Refers Yokluğun modellenmesi «Nothing comes from nothing» Parmanides Derste not tutmadım Non-existance Nothing Ders esnasında Esnasında Existance Come Nothing Olumsuzluk Not tutmak

31