SE4SEE A Grid-Enabled Search Engine for

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "SE4SEE A Grid-Enabled Search Engine for"

Osman Ekinci
8 yıl önce
İzleme sayısı:

1 SEE-GRID Bölgesel Uygulaması SE4SEE A Grid-Enabled Search Engine for South Eastern Europe Doğu Avrupa Bölgesi için Grid-Tabanlı Arama Motoru B. Barla Cambazoglu, Ata Turk, Evren Karaca, Cevdet Aykanat, Bora Ucar, and Tayfun Kucukyilmaz Bilkent Universistesi, Bilgisayar Müh. Bölümü Onur Temizsoylu TÜBİTAK/ULAKBİM The SEE-GRID initiative is co-funded by the European Commission under the FP6 Research Infrastructures contract no

Barla Cambazoglu, Ata Turk, Evren Karaca, Cevdet Aykanat, Bora Ucar, and Tayfun Kucukyilmaz Bilkent

2 SE4SEE Nedir? SE4SEE Doğu Avrupa Ülkeleri için Kişisel İstek güdümlü Ülkeye özel Kategori özelliği olan Grid tabanlı arama motoru.

3 SE4SEE parçaları SE4SEE nin üç ana parçası vardır ağ tarayıcı sınıflandırıcı (internet portalı) kullanıcı arayüzü

4 Ağ Tarayıcı Ağ tarayıcı (örümcek) programı, ağ sayfalarını bulur, indirir ve kaydeder. SE4SEE ağ tarayıcısı Java dilinde geliştirilmiştir multi-threaded Websphinx kütüphanesini kulanmaktadır

5 Grid-Tabanlı Ağ Tarama Uluslararası ağdaki bilgi miktarı çok fazladır; Ağ tarama uygulaması: Ağdan hızlı indirme oranı yüksek bağlantı hızı, Maximum kayıt kapasitesi (hem bellek, hem disk), Yüksek işlem kapasitesi. Merkezi bir sistemle Ağ tarama probleminin çözümlenmesi zordur Çözüm: Grid-tabanlı ağ tarama, çünkü: Coğrafik olarak dağılmış Grid düğümleri hızlı/yüksek indirme oranı ve network yükünün dağılımını sağlar, Grid sisteminde mevcut olan yüksek işlem gücü, disk ve bellek kapasitesi, büyük miktarda ağ içeriğinin kaydedilmesi ve işlenmesi için gerekli ortamı sağlar.

Merkezi bir sistemle Ağ tarama probleminin çözümlenmesi zordur Çözüm: Grid-tabanlı ağ tarama, çünkü: Coğrafik olarak dağılmış Grid düğümleri

6 Sınıflandırıcı Yazı sınıflandırma: Ağ sayfalarının çeşitli başlıklar altında sınıflandırılması Başlıklar her ülke için farklı olabilir ve ülkelerin yöresel özelliklerine göre belirlenebilir Uygulama geliştirimine katılan her ülkeden dil-özgü kök bulma ve sık görülen kelimelerin eliminasyonu gibi işlemler için gerekli bilgiler alınmıştır SE4SEE yazı sınıflandırıcısı C dilinde geliştirilmiştir Harbinger sınıflandırma kütüphanesini kullanmaktadır Şu an 10 farklı sınıflandırma yöntemini desteklemektedir

ve sık görülen kelimelerin eliminasyonu gibi işlemler için gerekli bilgiler alınmıştır SE4SEE yazı sınıflandırıcısı C dilinde

7 İnternet Portalı Ağ portalı: Kimlik belirleme ve hesap sistemi sağlar Hem kategori tabanlı, hem de (anahtar) kelime tabanlı sorguları destekler Çeşitli sorgu parametrelerinin (örn: tarama süresi, tarama başlangıç sayfası gibi) ayarlanmasını sağlar Ülke-özel sorgular için otomatik sorumlu düğüm seçimi sağlar SE4SEE ağ portalı HTML PHP C MySQL programlama dilleri ile geliştirilmiştir

süresi, tarama başlangıç sayfası gibi) ayarlanmasını sağlar Ülke-özel sorgular için otomatik

8 İnternet Portalı

9 (Backup) SE4SEE Web Portal SEE-GRID Meeting 9

10 (Backup) SE4SEE Web Portal SEE-GRID Meeting 10

11 İnternet Portalı

12 (Backup) SE4SEE Web Portal SEE-GRID Meeting 12

13 İnternet Portalı

14 (Backup) SE4SEE Web Portal SEE-GRID Meeting 14

16 Verimlilik Deneyleri

17 Sayfa Tazeliği Deneyleri

18 Coğrafik Yakınlık Deneyleri

19 Gridifikasyon Deneyleri

20 Etkinlik Deneyleri

21 Bölgesel Arama Motorunun Faydaları Kısa tarama çevrimlerinden dolayı yüksek sayfa tazeliği, Kültürel entegrasyon ortamı, İndirilen ağ içeriği ve sorgu logları üzerinde bölgesel veri madenciliği uygulamaları çalıştırabilme imkanı SEE ülkeleri arasında sosyal, kültürel, politik ve bilimsel ilişkilerle ilgili bilgi toplama imkanı, Bölge ülkelerindeki folklorik ögelerin bulunması.

22 Sonuç SE4SEE Ülke-spesifik arama hizmeti sağlamak, Kültürel ilişkilerin incelenebileceği bir veri bankası oluşturmak, SEE ülkeleri arasındaki sosyo-kültürel entegrasyona katkıda bulunmak.

23 Referans B.B. Cambazoglu, A. Turk, E. Karaca, C. Aykanat, and T. Kucukyilmaz, Architecture of a grid-enabled search engine, Information Processing & Management, the Special Issue on Heterogeneous and Distributed Information Retrieval (in press). B.B. Cambazoglu, A. Turk, E. Karaca, C. Aykanat, B. Ucar, and T. Kucukyilmaz, SE4SEE: a grid-enabled search engine, Proceedings of the Hypermedia and Grid Systems Conference in the MIPRO 05 Convention, pp , Opatija, Croatia, May SEE-GRID Meeting 23

24 (Backup) Differences with GRACE GRACE general-purpose dependent on other document servers keyword-based search batch processing of queries categorization of query results SEE-GRID Meeting SE4SEE socio-cultural independent category-based search interactive categorization of Web pages 24

25 (Backup) SE4SEE Web Portal SEE-GRID Meeting 25

26 (Backup) SE4SEE Web Portal SEE-GRID Meeting 26

27 (Backup) SE4SEE Web Portal SEE-GRID Meeting 27

28 (Backup) SE4SEE Web Portal SEE-GRID Meeting 28

29 (Backup) SE4SEE Web Portal SEE-GRID Meeting 29

Benzer belgeler

Büyük, Dağıtık, Veri Yoğunluklu Uygulamalarda Programlama Paradigmaları

Büyük, Dağıtık, Veri Yoğunluklu Uygulamalarda Programlama Paradigmaları Güven Fidan AGMLAB Bilişim Teknolojileri 18/10/11 GRID ÇALIŞTAYI 2007 1 MapReduce Nedir? Büyük data kümelerini işlemek ve oluşturmak