Transkript

1 Yeşim Aksan, Mustafa Aksan, S. Ayşe Özel, Hakan Yılmazer, Umut U. Demirhan, Ümit Mersinli, Yasin Bektaş, Serap Altunay Mersin Üniversitesi, Çukurova Üniversitesi

2 Türkçe Ulusal Derlemi (TUD) tasarım ölçütleri TUD-Tanıtım Sürümü Yazılım Mimarisi Genel Özellikler Derlem Veritabanının Yapısı Sözcükbirimleştirme ve Evrik Dizin Yapısı Sorgulama ve Ön Belleğe Yükleme TUD-Tanıtım Sürümü Arayüz Özellikleri

3 Belli bir dili temsil edebilme amacıyla, belli bir zaman aralığında yazılı ve/veya sözlü dil kullanım metinlerini/konuşmalarını, yazar/konuşan özelliklerini (cinsiyet, yaş, eğitim vb.), iletişim ortamlarının alan ve yayın ortamlarına (kitap, süreli yayın vb.) göre dengeli ve katmanlı örnekleme yoluyla derleyip, belirlediği ölçütleri kapsayan ayrıntılı veribilgisi ve temel dilbilimsel çözümleme araçlarıyla birlikte elektronik ortamlarda sunan kaynaklara derlem denir.

4 Derlem dilbilim ölçütlerine uygun ODTÜ Türkçe Derlemi (Say vd., 2002) 2 milyon sözcük TUD (Aksan vd., 2012) 50 milyon sözcük Turkish WaC: Turkish Word Sketches (Ambati vd., 2012) 42 milyon sözcük

5 Doğal dil işleme yazılımlarını sınamaya uygun TurCo (Dalkılıç ve Çebi, 2002) 50 milyon sözcük BOUN Corpus (Sak vd., 2008) 423 milyon sözcük Türk Dilleri için Büyük Derlemler (Large Corpora for Turkic Languages (Baisa ve Suchomel, 2012) 3.37 milyar sözcük (Türkiye Türkçesi)

6 Derlem dilbilimin, derlem kurma ilkelerine ve yaklaşımlarına göre geliştirilen; En iyi uygulamaları örnek alan ve derlem tasarımı sürecine uyarlayan; Yıl, konu alanı, metin türü, yayın ortamı açısından ayrıntılı ve zengin bir çeşitliliğe sahip olan;

7 Web tabanlı, kullanıcı dostu, kendine özgü arayüz tasarımı olan; Dili temsil gücüne sahip, dengeli, yazılı ve sözlü Türkçe örneklerini içeren, Türkçenin ilk referans derlemi.

8 Temsil Temsil yeterliliği olmaksızın bir derlem için geçerli olan yalnızca o derlem için geçerlidir ve başka hiç bir şeye genellenemez. (Leech 2007:135)

9 Derlem kuranlar, kendi ortamlarında kurabilecekleri en iyi derlemi kurarlar. Burada en doğru tutum derlemin içeriği konusunda ayrıntılı ve dürüst olmalarıdır. Derlem kuranın derlemini nasıl betimlediğine bakarak, derlemi kullanan araştırmacılar vardıkları sonuçların ne kadar güvenilir olacağını ölçebilirler, aynı derlemi gelecekte kullanacak olanlar da, kendi amaçları açısından ne ölçüde güvenilir olduğunu değerlendirebilirler. (Sinclair 2005)

10 Derlemin Temsil Gücü Derlemi oluşturan örneklemin dil değişkelerini ne ölçüde kapsadığı temsil gücüdür. (Biber, 1993:242) Denge Denge Derlemi oluşturucak türlerin (genre) kapsamı. Örneklem Her tür için metin parça/bütünlerinin seçimi.

11 Zaman İçindeki Değişim Derlemi durağan ya da dinamik bir dil modeli olarak görmek. Denge Derlem Metinlerini Belirleme Derlem metinleri ya da metin parçaları dış ölçütlere göre belirlenmelidir: Durum (situation), tür (genre), kesit (register). (Sinclair 1995)

12 Alan: Konu Alanı Kurgusal: Yazın Bilgilendirici: Toplumbilimleri, sanat, ticaret-finans, düşünce-inanç, dünya sorunları, uygulamalı bilimler, doğa-temel bilimler, serbest Zaman: Yayın Ortamı Kitap, süreli yayın, çeşitli (yayımlanmış-yayımlanmamış) metin, konuşma metinleri

13 Kurgusal Yazın: Şiir, öykü, roman, tiyatro Bilgilendirici Toplumbilimleri: Sosyoloji, coğrafya, antropoloji, psikoloji, hukuk, eğitim, dilbilim Sanat: Görsel sanatlar, sahne sanatları, mimari, medya, edebiyat, tasarım Ticaret-finans: İş dünyası, finans, endüstri, meslek, istihdam Düşünce-inanç: Din, felsefe, mitoloji, halkbilim, metafizik inançlar Dünya sorunları: Tarih, politika, askeri, arkeoloji, ekonomi, hükümet, kalkınma Uygulamalı bilimler: Mühendislik, tıp, iletişim, bilgisayar, teknoloji, enerji Doğa-temel bilimler: Matematik, fizik, kimya, biyoloji, astronomi Serbest: Yemek, gezi, moda, spor, ev ve bahçe, hobiler

14 Kitap Süreli Yayın Toplumbilimleri: Sosyoloji Gazete: Ulusal Dergi: Bilimsel dergiler, popüler dergiler Çeşitli Yayınlanmış Rapor, reklam metni, broşür, yasa-yönetmelik Çeşitli Yayınlanmamış Öğrenci denemeleri, bloglar, e-postalar, twitter Konuşma Metinleri Film senaryoları, röportajlar, açılış konuşmaları

15 Alan Kurgusal : % Bilgilendirici: % Yayın Ortamı Kitap : % Diğer : % 42.00

16 Kurgusal: ~% Bilgilendirici: ~% Toplumbilimleri: % Sanat: % 7.50 Ticaret-finans: % 9.21 Düşünce-inanç: % 4.31 Dünya sorunları: % Uygulamalı bilimler: % 7.19 Doğa-temel bilimler: % 2.96 Serbest: % 14.96

17 Alan Sözcük Sayısı Sözcük Sayısı Oranı (%) Kurgusal Düzyazı Toplum Bilimleri Doğa ve Temel Bilimler ,96 Uygulamalı Bilimler ,19 Dünya Sorunları Ticaret ve Finans Sanat Düşünce ve İnanç Serbest TOPLAM

18 004% 003% % 003% 003% 003% % 003% % % 007% 004% 004% 005% % 005% % 006% 006% 005%

19 Ortam Sözcük sayısı Oran Kitap ,19 Süreli Yayın ,27 Çeşitli: Yayınlanmış ,25 Çeşitli: Yayınlanmamış ,27 TOPLAM

20 Genel Özellikler Derlem Veritabanının Yapısı Sözcükbirimleştirme ve Evrik Dizin Yapısı Sorgulama ve Ön Belleğe Yükleme

21 Güçlü Bir Sunucu, Arama Sorgularının hızlı gerçekleşmesi, Açık Kaynak Kodlu Yazılımlar Web Tabanlı Uygulama British National Corpus (BNC web) kullanım alışkanlıklarını göz önünde bulunduran, Web 2.0 ve HTML 5 standartlarına uygun

22 Free-BSD 9.0 İşletim Sistemi Apache Web Sunucusu (Apache/2.2.22) MySQL Veritabanı Sunucusu (MySQL ) PHP Betik Dili (PHP ) PERL Programlama Dili

23 MySQL Veritabanı Sunucusu (MySQL ) MyISAM tablo yapısı Full Text arama özelliği UTF-8 karakter kodlaması

24

25

26

27 PHP APC extension Teksözcük tablosunun RAM'e aktarımı Sorgulama terimlerinin RAM'de saklanması APC - Serializing Neden Igbinary Serializing?

28 PHP Laravel Framework Cache Kullanıcı ayarları Rapor güncellemeleri Optimize edilmiş veritabanları Etkin RAM kullanımı (Evrik dizin) Hızlı sorgu sonuçlarının gösterimi (Düzenli ifade, joker karakter, sözcük türü-ek araması)

29

30

31

32

33

34

35

36

37 Yıllara Göre Kullanıcı Sayısı Dağılımı Kurumlara Göre Kullanıcı Sayısı Dağılımı Eylül 2012-Aralık 2012 Ocak 2013-Aralık 2013 Ocak 2014-Şubat 2014 Yurtiçi Üniversiteler Yurtdışı Üniversiteler Belirtmeyenler Özel Şirketler Devlet Kurumları Bireysel

38 600 Çalışma Alanlarına Göre Kullanıcı Sayıları Çalışma Alanları Sosyal Bilimler Sağlık Bilimleri Beşeri Bilimler Belirtilmemiş Fen Bilimleri-Teknik Bilimler-Mühendislik Eğitim Teknolojileri İşletme Ekonomi

39 Güncel bir doğal dil işleme (DDİ) sözlüğü oluşturmak, Oluşturulan sözlük yardımıyla otomatik işaretlenen TUD metinleri kullanılarak derlemtemelli bir sözcük ve ek sıklığı sözlüğü hazırlamak, Çevrimiçi çalışan morfolojik işaretleyici tasarlamak ve geliştirmek, TUD un 2. versiyonunu kullanıcılara sunmak.

40 49 milyon yazılı, 1 milyon sözlü Türkçe veri üzerinden sorgu yapabilme Biçimbirim işaretlemesi: Sözcük türü, başsözcük ve çekim ekine özel sorgu yapabilme Kullanıcıya özgü ayarlar : Sorgu geçmişi ; kaydedilmiş aramalar

41 Aksan, Y., Aksan, M., Koltuksuz, A. ve diğ Construction of the Turkish National Corpus (TNC). In Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC 2012) İstanbul, Turkiye. Aksan, Y., Demirhan U. U. (baskıda) Türkçe Ulusal Derlemi (TUD) arayüz özellikleri: Tanıtım ve uygulama. 27. Ulusal Dilbilim Kurultayı Bildirileri. Ankara: Hacettepe Üniversitesi. Ambati, B. S.Reddy, ve A. Kilgarriff Word Sketches for Turkish. Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC 12), Istanbul, Turkey, European Language Resources Association (ELRA). Biber, D Representativeness in corpus design. Literary and Linguistic Computing, 8:4, Dalkılıç, G., Çebi,Y A 300 mb turkish corpus and word analysis. Advances in Information Systems, pages Hoffmann, S. ve diğ Corpus linguistics with BNCweb-A practical guide. Frankfurt: Peter Lang.

42 Leech, G New resources, or just better old ones? The Holy Grail of representativeness, Hundt, M. ve diğ. (eds) , Corpus linguistics and the Web. Amsterdam: Rodopi. Sak,H, Güngör, T., Saraçlar, M Turkish language resources: Morphological parser, morphological disambiguator and web corpus. Advances in natural language processing, pages Say, B..Zeyrek,D. Oflazer, K., Özge, U Development of a corpus and a treebank for present-day written Turkish. Proceedings of the eleventh international conference of Turkish linguistics, pages Sinclair, J Paper presented at XI Econtro da Associacao Portuguesa de Linguistica. Lisbon. 2-4 October Sinclair, J Developing linguistic corpora: A guide to good practice.

43 TÜBİTAK (113K039) : TÜBİTAK (108K242) : ME.Ü, BAP-FEF İDEB (SYA) : ME.Ü, BAP-FEF İDEB (MA) : ME.Ü, BAP-FEF İDEB (SYA) :

44