Türkçe Metin Arama Sistemleri ve Veritabanlarının Kar ıla tırılması

Transkript

1 Türkçe Metin Arama Sistemleri ve Veritabanlarının Karılatırılması Özgür Yılmazel Anadolu Üniversitesi Bilgisayar Mühendislii stanbul, Nisan 2009

2 Sunu Akıı nternet Uygulamaları ve LAMP Metin Arama Veritabanı ve Metin Arama Sistemleri Deerlendirme Uygulama Örnekleri 2

3 nternet Uygulamaları e-ticaret uygulamaları, bilgi portalları çindekiler: Veritabanı, web sunucusu, sunucu üzerinde çalıan yazılımlar, ve (html+javascript) kullanıcı arayüzleri LAMP Açık kaynak kodlu çözüm Linux, Apache, MySQL, (PHP Perl Python) Tüm dünyada çok hızlı bir ekilde benimsendi Düük maliyet ile çok becerikli uygulamalar gelitirildi Düzenli veri yapılarının saklanması ve tekrar ulaılması için güçlü çözüm 3

4 nternet Uygulamaları Düzensiz Veriler Düzenli Veri - Fiyat, Tarih, Miktar - SQL ile aranılabilir Düzensiz Veri Metin, resim ve video Metinsel veriler: mesajları Ürün açıklamaları Raporlar ilanları Haber metinleri Kurumların sahip oldukları düzensiz veri miktarı büyük bir hızla artmakta irketlerin sahip oldukları verinin %80i düzensiz veridir. Sun Data Warehouse Reference Architecture, Mart yılının sonunda 4 exabyte bilgi oluturulacak bunun 3 exabyteından daha fazlasıda düzensiz bilgi olacaktır. Ve bu miktar son 5000 yılda oluan bilgiden fazladır Karl Fisch Bilgi ihtiyacının karılanabilmesi için düzenli ve düzensiz verilerin tümünde efektif bir ulaım mekanizmasına ihtiyaç var. 4

5 Veritabanları ve Düzensiz Veriler Geleneksel Veritabanları ve arama dili SQL düzensiz verilerin saklanması ve aranması için uygun deil. Metinsel veriler için arama sistemleri (Information Retrieval Systems) Sıralama (ranking) Sorgulama dili Eletirme Bir çok öncü firma kendi arama sistemlerini gelitirmek için yatırımlar yaptılar: Amazon A9 monster.com Temmuz 2008 de Trovix arama irketini $72.5Milyon satın aldı e-harmony Aık olma olasılıının matematiksel modelini oluturdu ebay 1995 de kuruldu, 1998 de kendi arama motorunu gelitirdi 5

6 Metin Arama Sistemleri Veritabanı üreticisi firmalar yazılımlarına tam-metin indeksleme ve arama özellikleri eklemeye baladılar. (Deien baarı standartlarında) IBM DB2 Net Search Extender (5) Microsoft SQL Server (7.0) Oracle Ultra Search Text Search (8i) MySQL (3.23) PostgreSQL (7.0.3) Veri depolama amacı güdülmeden, sadece bilgiye ulaımın kolaylatırılması ve arama baarımının arttırılmasına yönelik sistemler Apache Lucene Tamamen Java da yazılmı, açık kaynak kodlu, yüksek performanslı ve ölçeklenebilir bir metin arama kütüphanesi. Bazı kullanıcıları: CNET Reviews, Expert Exchange, Wikipedia, IBM OmniFind 6

7 Türkçe Metin Arama ve Veritabanı Karılatırma Motivasyonu Türk kurum ve kuruluları ellerindeki metin verilerinden tam anlamıyla faydalanamamakta ve bu verilerden yarar salayamamaktadır. e-ticaret uygulamalarında aranılan ürünlerin bulunamaması Güncel bir gazetenin arivinde arama yaptıınızda doru habere ulaamamanız Bir doktorun veya hukukçunun doru güvenilir bilgiye kolay ulaamaması Türkçe Metin Arama konusunda yapılan çalıma sayısı oldukça az Yapılmı olan çalımaların ticari uygulamaya dönümü örnekleri yok veya yaygın olarak bilinmiyor. Veritabanları tam metin indeksleme ve arama özellikleri gelitirseler de, bu özellikler ingilizceyi hedef alıyor Türk firmaların çounluu LAMP içinde sıkımı durumdalar - daha iyi bir yol var! En sık kullanılan yöntem tüm doküman bir string olsun.indexof( sorgu ) eklinde yapılan aramalar bugün elimizde olan veri kalabalıında çok ilkel kalıyor. 7

8 Veritabanları Arama Sonuçları 8

9 Amaç Açık kaynak kodlu yazılımları kullanarak Türkçe için uygun, ticari olarak kullanılabilir bir arama sistemi gerçekletirmek, bu sistemin mevcut veritabanına dayalı sistemler ile karılatırmasını yapmak. Ticari olarak kullanılabilirlik: Hızlı indeksleme ve sorguya cevap verme süresi Ölçeklenebilir tepki zamanının indeks boyutuna göre deiimi (binlerce, milyonlarca doküman üzerinde arama yapabilme) Anlamlı sonuçlar ndexde var olan sonuçların eksiksiz ve doru sıralamada kullanıcıya sunulması. 9

10 Metin Arama Özet 10

11 ndeksleme Metin Arama Özet Hızlı arama için özel veri yapıları D1 Bugün hava çok güzel. D2 Dün hava çok çok kötüydü. bugün çok dün hava güzel kötüydü D1: <1> D1: <12>; D2:<10, 14> D2: <1> D1: <7>; D2:<5> D1: <16> D2: <18> Dictionary Posting List 11

12 Metin Arama Özet 12

13 Metin Arama Vektör Uzayı Modeli Dokümanlar ve sorgular t-boyutlu vektörler Vektör elemanları farklı aırlıklandırma yöntemleri ile belirlenir Dokümanların sorgulara olan yakınlıkları bu aırlıklar ile hesaplanır t 3 d 2 d 3 d 1 t 1 t 2 d 4 d 5 13

14 Metin Arama Kosinüs Benzerlii Benzerlik(dj,q)= cos Sonuçlar benzerlie göre sıralanıp kullanıcıya gösterilir Doküman uzayının boyutu tüm dokümanlarda geçen ayrı kelime sayısına eittir (400Bin dokümanlık ngilizce bir doküman seti için ~30Bin boyut) t 3 d 1 d 2 q t 1 t 2 d 3 d 4 14

15 Metin Arama Dil leme Benzerlik ölçüsünün en önemli dayanaı anlamlı metin uzaylarıdır, verilen doküman kümesinden metin uzayının boyutlarının belirlenmesi sırasında deiik dil ileme metotları kullanılır. Uzayın boyutlarının azaltılması indeksin boyunu küçültür Arama hesaplamalarında hız kazanmamızı salar Stopword Eliminasyonu sık kullanılan ve anlam içermeyen kelimelerin indekse alınmaması; ve,veya, eer Gövdeleme Birbirinin türevi olan kelimelerin tek bir boyutta toplanması student, students run,ran, running 15

16 Türkçe Arama Türkçe Sondan eklemeli bir dil Sesli uyumu var Cümle bileen sırası serbest Türkçedeki kelimelerin büyük çounluu oldukça küçük temel bir sözlükteki köklerin sonlarına yapım ve çekim ekleri eklenerek türetilmitir. ~400Bin dokümandan oluan Türkçe bir doküman setinde ~1.3 Milyon ayrı kelime, boyut vardır. 16

17 Türkçe Metin Arama için Dil leme Gövdeleme (4 farklı sistem denendi) Gövdelemesiz + stopword: out-of-the-box settings Snowball Gövdeleme: (Kelimeleri kök hallerine indirger) org.apache.lucene.analysis.snowball.snowballanalyzer lk 5 Karakter Gövdeleme: (F.Can et.al JASIST 2008) Tüm kelimelerde sadece ilk 5 karakteri kullanır Zemberek Tabanlı Gövdeleme: 17

18 Metin Arama Özet 18

19 2 Veritabanı 1 Metin Arama Sistemi MySQL PostgreSQL Lucene Açık kaynaklı olmayan bir çok veritabanının son kullanıcı lisansı bu tür bir karılatırmaya izin vermedii için bu çalımaya dahil edilmemitir. 19

20 2 Veritabanı 1 Metin Arama Sistemi MySQL MySQL tam-metin indekslemeyi ve tam-metin aramayı destekler; fakat, MySQL in tam-metin arama fonksiyonlarının herhangi bir dil için, dile özel dilsel destei yoktur. Sadece ngilizce için stopword eliminasyonu mevcut. PostgreSQL Lucene 20

21 2 Veritabanı 1 Metin Arama Sistemi MySQL PostgreSQL PostgreSQL, OpenFTS(Açık Kaynaklı Tam Metin Arama Motoru) kullanır. OpenFTS verilerin online indekslenmesini ve veritabanı aramaları için ilgi sıralaması salayan gelimi bir arama motorudur. PostgreSQL dilsel destek açısından birçok dil için önceden tanımlanmı dil ileme metodları içerir, Türkçe de bu dillerden bir tanesidir. Lucene 21

22 2 Veritabanı 1 Metin Arama Sistemi MySQL PostgreSQL Lucene Apache Lucene, tamamıyla Java dilinde yazılmı, yüksek performanslı ve ölçeklenebilir bir Bilgi Eriim(IR) kütüphanesidir. Tam-metin araması gerektiren, özellikle farklı platformlarda çalıacak, tüm uygulamalarda kullanılabilecek bir teknolojidir. 22

23 Sistemlerin Karılatırlması Bilgi Eriim Sistemlerini deerlendirmek için öncelikle bir test seti gereklidir. Test Seti: Dokümanlar Bilgi htiyaçları Cevap Anahtarı (relevance judgements) Tekrar kullanılabilir test setleri oluturmak çok zordur. Türkçe için tek test seti Bilkent IR Research Group un oluturduu, TREC-benzeri Türkçe test seti olan milliyet kolleksiyonu 23

24 Milliyet Test Seti 408,305 Doküman Cevap Anahtarı 72 konu, sorgu 24

25 Deney Sistemi - ndeksleme MySQL Postgre Out- of-the -box Settings Standard Analyzer Lucene <DOCNO>667 </DOCNO> <SOURCE>Milliyet v.01 </SOURCE> <URL> com.tr/ 2001 /01 / 05 / sanat /san 05. html</url> <DATE>2001 / 01 / 05 </DATE> <HEADLINE>Ajanda</HEADLINE> <TEXT >Hazırlayan Gaye Tekelio_lu _STANBUL Selanik Aristotelis Üniversitesi Güzel Sanatlar Okulu... </TEXT > Milliyet Collection Document Snowball Analyzer Fixed Prefix Analyzer Zemberek Analyzer Lucene Lucene Lucene MySQL MySQL MySQL Postgre Postgre Postgre 25

26 Deney Sistemi - Arama WhitespaceTokenizer Punctiation Removal Boolen Operator Insertion Between Tokens MySQL Postgre Out -of -the - box Settings <QueryID >298 </QueryID > <Title > Ekonomik kriz </Title > <Description >Türkiye 'de ekonomik krize neden olan olaylar </Description > <Narrative >Türkiye 'de son bir kaç yıl içinde olan ekonomik krizlerin nedenleri ve bunlara zemin hazırlayan olaylar </Narrative > Standard Analyzer Snowball Analyzer Fixed Prefix Analyzer title-on ly q ueries title & description queries Lucene Lucene Lucene MySQL MySQL Postgre Postgre Topic Zemberek Analyzer Lucene MySQL Postgre Query 26

27 Deerlendirme Ölçütleri Precision = #(relevantdocumentsre trieved) #(retrieveddocuments) 10/20 Recall = #(relevantdocumentsre trieved) #(relevantdocuments) 10/30 Bilgi eriim sistemlerinde kullanılan standart ölçütlerdir. Örnek: Toplam 100 doküman. ku gribi sorgusu ile ilgili 30 doküman var. Sistem 20 doküman geri döndürdü, bunlardan 10 tanesi ku gribi hakkında. 27

28 binary preference (bpref) Yeni bir ölçüt olan bpref eksik cevap anahtarlı bilgi eriim sistemlerinin karılatırılmasında kullanılmak üzere tasarlanmı bir ölçüttür. Chris Buckley ve Ellen Voorhees trec_eval yazılımı bpref sadece cevap anahtarında bulunan ilgili dokümanların ilgisiz dokümanlardan daha yukarı sıralarda olması ilikisi üzerinde hesaplanır. Sistemlerin tüm set üzerindeki performanslarının güçlü bir ölçütü olmasada, iki sistemin karılatırılabilmesi için iyi bir ölçüttür. 28

29 Deney Sonuçları (bpref) Sadece balık Aramaları Balık ve Açıklama Aramaları * Bu sonuçlar milliyet test seti için literatürde raporlanmı en yüksek sonuçlardır. 29

30 Precision Recall Grafii 0,8 Precision 0,7 0,6 0,5 0,4 0,3 title-only queries Lucene MySQL PostgreSQL 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall 30

31 Precision Recall Grafii Precision 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 title & description queries Lucene MySQL PostgreSQL 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Recall 31

32 Ortalama Arama Süreleri title queries title & description queries Time (milliseconds) Balık sorguları: ortalama 3 kelime Balık ve Açıklama: ortalama 16 kelime 0 Lucene MySQL PostgreSQL 32

33 Ortalama ndeksleme Süreleri Time (minutes) Lucene MySQL PostgreSQL 33

34 Deerlendirme Türkçe deerlendirme kümesi için en etkili ve verimli sonuçların Türk diline özel gelitirilmi bilgi eriim kütüphanesinin kullanılmasıyla elde edildii gösterilmitir. Turkish Analyzer herhangi bir dile özel geliim içermeyen ilikisel veritabanlarına göre performansı %55 arttırmıtır. Lucene in indeksleme sırasındaki ilem zamanı ilikisel veritabanlarına göre 10 kat daha iyidir. Arama sırasındaki ilem zamanı ise 50 kat daha iyidir. likisel veritabanları kolay kullanılabilir tam metin arama özellii salasada, dil ileme yapılmadıından performansları oldukça düüktür. Aranan kelime sayısı arttıkça ilikisel veritabanlarındaki arama hızı düer. Metin Arama Sistemlerinde ise kelime sayısındaki artı hıza yansımaz. 34

35 Uygulama Senaryoları Sektöründe lider site: Günde sorgu 2 Milyon Sorgu üzerinde yapılan incelemede Mevcut sistemden ortalama 20 kat daha hızlı Ortalama Maksimum Mevcut Veritabanı sn sn BES sn 6.36 sn Mevcut Veritabanı 8 Core üzerinde Bilgi Eriim Sistemi tek core üzerinde 35

36 HaberTakip 17 Haber kaynaından 1,233,142 haber Haber Kümele (Clustering)

37

38

39 Nuri Oto Servis Bülten Arama Motoru

40

41

42 letiim: Özgür Yılmazel Anadolu Üniversitesi Bilgisayar Mühendislii Tel: / 6555 SORULAR? 46