Osmanlı Tarihi ile ilgili Sorgularda Web Arama Motorlarının Türkçe Sonuç Kalitesinin Ölçeklendirilmesi Denemesi

Transkript

1 Osmanlı Tarihi ile ilgili Sorgularda Web Arama Motorlarının Türkçe Sonuç Kalitesinin Ölçeklendirilmesi Denemesi Engin Cihad Tekin Öz Çalışmamız Osmanlı tarihi ile belli kategorilerde rastgele seçilen 20 sorgu kelime veya kelime öbeğinin çeşitli parametreler kullanılarak Google ve Yandex arama motorlarında sonuç kalitesini ölçecek şekilde bir skorlama ortaya çıkarmayı hedeflemektedir. Bu şekilde her iki arama motorunun eşit koşullarda sonuç kalitelerinin ölçümleri yapılmaya çalışılmıştır. Anahtar Kelimeler Bilgi Erişim Kalitesi, Google, Yandex, Osmanlı Tarihi Giriş İnternetin hayatımıza girmesi ile birlikte internetin büyüyen içerik hacminde aranılan bilgiye erişmek sorunu ortaya çıkmıştır. Bu noktada en basit şekliyle arama motorları 1990 ların ikinci yarısından itibaren hayatımıza girmeye başlamıştır. İnternetin geometrik büyümesi ile birlikte arama motorlarının önemi artmaya başlamış ve 2000 li yıllar arama motorlarının altın yılları olmuştur.1998 yılına kadar mevcut bilgi erişim algoritmaları ile kullanıcılara internetteki bilgiyi ulaştıran Yahoo, Excite, Altavista gibi arama motorları, 1998 den itibaren Google arama motoru ve arama algoritmasının yarattığı devrim ve donanım teknolojilerindeki gelişmeler ile internetin büyümesinin ve bilginin kontrol edilebilmesi daha kolaylaşmıştır. Google ın sitelerinin gücünün birbirilerine verdikleri referanslara ve atıflara bağlı olduğu temelinde başlayan algoritması zamanla, farklı etki faktörlerinin etkinliğinin artması, ontolojik etkiler ve topolojik sistemlerin de eklenmesiyle büyüyen internet ortamına uyum sağlamıştır ve sürekli geliştirilmektedir. Web arama motorları farklı bağlamlardan ( kişisel, iş veya bilimsel vb), bilgi arama da önemli hale gelmiştir. Araştırma soruları tatmin edici bir şekilde kullanıcı beklentilerini arama motorlarına uygun olarak nasıl düzenleyeceği ve arama motoru kalitesin tam bir resmini alabilecek hangi ölçülerin kullanılabileceğini cevaplayamamaktadır. Buna ek olarak kalite güvencesi kullanıcı tatmini ve sadakatini sağlayacak önemli bir etkidir. Bu da reklamdan gelecek gelirleri ve pazar payını korumak için şarttır. Kalite ölçümü arama motorlarının potansiyel gelişimlerini tanımlamaya yardım edecektir ( Lewandowski,2007, s.2 ) Burada, web bilgi erişimi ile geleneksel bilgi erişimi arasındaki farkları ortaya koymak gereklidir. Geleneksel bilgi erişimi, daha küçük, kontrollü ve birbirleri arasındaki bağlantı kurulmamış belgeler ile uğraşırken, web bilgi erişimi dünyanın en geniş ve bağlantılanmış belgeleri arasında arama yapmaktadır.(langville ve Meyer, 2006, s.5 ) Langville ve Meyer e göre web bilgi erişimi geleneksel bilgi erişim teknikleri üzerine inşa edilmişti. Buna göre web: Çok büyük, dinamik, kendine organize edilen ve birbirleri ile bağlantılıdır(langville ve Meyer, 2006 s.9). Broder e göre arama motorlarında yapılan bilgi arama davranışları içerisinde sorgu çeşitleri 3 bölüme ayrılır:

2 1- Bilgiye ait: Belli bir konuda bilgi arayışıdır. Kullanıcı ilgili bir kaç sayfaya bakmak ister. 2- Gezinmeye ait: belli bilinen bir ana sayfayı aramaktadır ve kullanıcı doğrudan bu sayfaya ulaşmak ve tek ilgili sonuç ister. 3- İşe yönelik: arama işlemini tamamlamak için belli bir web sitesi arar. Kullanıcı bir veya ilgili diğer sonuçlara bakar, işlem sonucunda hedeflenen bir ürün satın alınabilir ve bir dosya internetten yüklenebilir. Web tabanlı ihtiyaç duyulan bir hareketin niyetini gösterir.( Broder,2002, s.3) Arama motorlarının serbest şekildeki sorguya karşılık aldığı hareket ise 5 çeşit adım ile tanımlanmıştır: 1- Sorgudan gelen belli terim ve cümleleri tanımlamak 2- Sorgudan durma kelimelerini çıkarmak 3- Sorgudaki terim ve cümlelerin istatistiksel öneminin hesaplanması ve veritabanındaki her belgeye göre tüm terim ve cümlelerin karşılaştırılması. 4- Sorguyu karşılayan en yüksek ihtimaldeki belgelerin geri getirimi 5- Belge içindeki sorgu terimlerinin sayılarına bağlı her erişilmiş belgenin sıralaması ve her sorgu teriminin istatiksel önemi. ( Loose, 1999, s 14 ) Veritabanlarının üretimi sırasında belgelerin seçim süreci ( belgelerin kaynağı olarak ), önemli bir kalite etkisi olarak görülebilir ama arama motorları bağlamında bu süreç sıralama sürecinde yeniden düzenlenilir. Böylece, bir kütüphane bağlamından gelen belgelerin seçimindeki klasik yargı arama motorlarına uymamaktadır. Sadece özelleştirilmiş arama motorları kendi dizinlerini yaratmak için kaliteli kaynak seçimine dayanırlar. Önemli nokta arama sonuçlarının kalite ölçümlerinin belgede gösterilen bilgiyi güvenilirlik ve doğruluk olarak kısıtlı bir görüş çıkarmasına olanak verir. Bilinen örnek olarak, Wikipedia da gelen belgeleri çoğunlukla arama motorları tarafından yüksek sırada değerlendirilirler ama bu durum Wikipedia sonuçlarının güvenilir olup olmadığını göstermeye yeterli gelmemektedir( Lewandowski, 2007, s.4 ) Arama motorlarının sonuç sıralamalarındaki en çok kullandıkları iki algoritma modeli vardır. İki model de sitelerin birbirilerine verdikleri bağlantıları ve siteleri gücünün bunlara etkisi üzerinedir. Kleinberg tarafından yaratılan HITS algoritması( Kleinberg,1998,s.3) ve Google in kurucuları Sergey Brin ve Larry Page tarafından oluşturulan Page Rank ( Brin ve Page, 1998 )tamamen bu mantığa dayalıdır ve modern web bilgi erişiminin arama motorlarına uygulanmasında temel teşkil etmektedirler. Lakin sistem tamamen internet sitelerinin gücünün başka internet siteleri ve birbirleri ile olan bağlantılarının varlığıyla ve sayısı ile doğru orantılı dolduğu varsayımına dayalı olduğu için kalite ikinci planda bırakılmaktadır. Buna rağmen sorgu sıralamalarını etkileyen tek faktör de bu değildir ve diğer faktörler de belli oranlar da güçlüdür. Ama tüm çalışmalara rağmen PageRank algoritmasını etkileyen faktörler ve etki dereceleri ticari bir sırdır. Arama motoru optimizasyonu adı altında yapılan çalışmalar da sadece varolan bilgi aracılığıyla istenen siteleri arama sonuçlarında daha yüksek sırada çıkmasının manipüle edilmesi çalışmasıdır. Lewandoswki, Google tipi bir arama motorunun sonuç kalitesini en çok etkileyen 7 faktörü açıklamaktadır. 1- Hiyerarşi: daha yüksek bir hiyerarşi içeriisndeki belgeler tercih edilir. 2- Bağlantı popülerliği: bir belgenin kalitesi veya otoritesi web grafiği içerisindeki kendisine verilen bağlantılarla ölçülür. 3- Tıklama popülerliği: Çok kullanıcı tarafından tercih edilen belgeler 4- Güncelleme sıklığı : eski belgelere göre tercih edilir. 5- Belge uzunluğu: Belli bir mesafe uzunluğundaki belgeler

3 6- Dosya formatı: HTML dilinde yazılan belgeler pdf ve doc türlerindeki belgelerre göre tercih edilir. 7- İnternet sitesinin büyüklüğü: daha büyük internet sitelerindeki belgeler tercih sebebidir.( Lewandowski, 2007, s.4) Bir bilgi erişim sisteminin performansının ölçümünde iki klasik ölçü kabul edilmektedir: kesin isabet ( precision) ve geri çağırma ( recall ). Precision yöntemi sadece ilgili sonuçları üreten bir bilgi erişim sisteminin kabiliyeti ölçer. Precision sistem tarafından erişilen ilgili belgelerin sayısı ve erişilen toplam sayısı arasında oranla belirlenir. Bir çok durumda binlerce sonuca erişilebileceği için bunlar üzerine çalışmak zordur bu yüzden kesme oranları ( cutoff rates ) kullanılır.(lewandowski,2007, s.10. Zaten arama motorları da kullanıcıların sadece ilk 20 sonuca baktıklarını bilerek sıralama algoritmalarını ve çalışma güçlerini bu ilkl 20 sonucun geliştirilmesi üzerine verirler.( Sangville ve Meyer, 2006, s 142) Geri çağırma ise, sistem tarafından erişilen ilgili belger ve verilen sorgu için ilgili tüm belgelerin sayısının oranıdır. Web arama alanında toplam belge sayısı web deki tüm ilgili belgeleri göstermektedir(lewandowski, 2007,s 10) Bir arama motorunun dizin kalitesi birçok şekilde gösterilebilir. İlk olarak, dizin kapsayıcı olmalı yani web in geniş bir kısmını kapsamalıdır. Tam kapsayıcılık önemli iken, tamamen kapsayıcı bir hal alan bir web arama motoru web in her bölgesi için en iyisi olmaya yeterli değildir. Örneğin, Almanca içerik arayan bir kullanıcı, genel olarak web in %80 ini kapsayan bir arama motorundan yeterince tatmin edici bir sonuç elde edemiyebilir. Bu açıdan ülke çapında web arama motorları araştırmalar açısından çok önemlidir. Buna bağlı bir diğer dizin kalitesi faktörü de güncelliktir. (Lewandowski, 2007, s 15). Dizin güncelliği sorgu sonuçlarında güncel sonuçların gelmesi de aynı şekilde kapsayıcılık özelliğinin vazgeçilmez bir ekidir. Literatür Griesbaum, 2004 tarihli çalışmasında (Griesbaum, 2004) kendisinin 2002 de yaptığı diğer çalışmayı devam ettirecek şekilde bir çalışma da bulunur. Griesbaum, Google, Lycos ve Altavista yı ele alacak bir çalışma yapar. Algoritmik değişlikler ve dizin in büyümesi bu araştırmanın sonuçlarının yenilenmesine ihtiyaç duyulduğunu da göstermektedir. Daha yeni bir çalışmada Spink ve diğerleri (2006), Askjeeves, Google, Yahoo ve Msn arama motorları üzerine yaptıkları çalışmada her arama motoru için ilk 10 sonucu değerlendirmişlerdir. Bu çalışma nisan 2005 de sorgu ve temmuz 2006 da sorgu üzerinden değerlendirilmiştir. Buna karşılık overlap ( çakışma ) değerleri yapan çalışmalarda bulunmuştur. (Bharat & Broder, 1998). Başka bir çalışmada ise Lewandowski (2004) ise web belgelerinin eşit tarihte karşılaştırmaları yapılarak ortaya konmuştur ve bu çalışmada da rastgele seçilen 50 sorgu kullanılmıştır. Lewandowski nin kullandığı standart erişim etkinlik test modeli şu şekildedir: 1- En az 50 sorgu kelimesi seç ( kütük dosyalar, kullanıcı çalışmalar veya benzeri kaynaklardan ) 2- Önemli birkaç arama motoru seç 3- Kesme sayısı ile en üst sorgu sonuçlarını belirle 4- Arama motorlarını anonimize et ve sonuç yerlerini randomize et. 5- Kullanıcıları sonuçları değerlendirmesine izin ver. 6- Kesin sonuçlar skorlarını kullan. 7- Kesin sonuç skorlarını hesapla 8- Erişim ( recall ), skorlarını hesapla veya tahmin et.

4 ( Lewandowski, 2009, s 14) Metodoloji Yine Lewandowski ye göre arama motoru kullanıcınılarının davranışlarını ölçmek için veri toplama metodları 4 şekildedir. 1- Kullanıcı araştırması Avantajları : Kullanıcı kendini ifade eder. Demografik bilgiler münkü ve detaylı sorular vardır. Dezavantjları: Kullanıcılar yalan ve manipulatif bilgi verebilir. 2- Laboratuvar çalışması: Avantajları : Kullanıcı araştırması ile birleştirilebilir ve detaylı çalışma yapılabilir. Dezavantajları : Küçük örneklemler ve zaman ve para kaybı yaratan çalışmalar 3- Canlı ve hedef aramalar ( live ticker ) Avantajları : Büyük örneklem analizi, zaman bağımlı çalışma sağlar. Dezavantajları: Demografik bilgiler yok, arama oturumları ile ilgili bilgi yok. 4- Süreç kütük analizi Avantajları: Arama davranışları ile ilgili detaylı bilgiler barındırır. Zaman bağımlı analiz ve oturum analizleri yapılabilir. (Lewandowski,2007,s.6) Bilgiye dair ( informational ) sorgular, tamamen sorgu konusu hakkında toplanan bilgiye ilişkin kullanıcı hedefine odaklanır. Bu kategori soruları cevaplama ile ilgili hedefleri içerir. Bu sorular kullanıcının aklında oluşan ve tavsiye aradığı ve bir konu hakkında basitçe öğrenmek istediği doğrudan olmayan talepleri gösterir. Bu şekilde çoğu sorgular bilim, tıp, tarih ve haber gibi doğrudan sınırlandırılamayan sorgulardır. Örneğin Rusya nın son çarı sorgusu aslında kapalı olarak Rusya nın son çarı kimdir sorgusunu getirir( Rose, 200, s.12 ). Bizim arama motorlarına gönderdiğimiz sorgularda buna benzer kapalı cevaplar da açık cevap olarak kabul edilmiştir. Çalışmamız tarih araştırmacılarına göre değildir. Tarih araştırmacıları konularında bilgi profesyoneli olup, kaynakları seçme ve arama konusunda uzmandır. Birinci nin tarihçilerin bilgi gereksinimleri konusunda yaptığı çalışmada, tarihçilerin arama davranışlarında temel kelimelerle değil, birinci tercih olarak kitap ikinci tercih olarak arşiv belgesi kullanıldığını göstermiştir( Birinci, 2007, s.133 ). Bu noktada bizim çalışmamız, konusundaki bilgi profesyonellerini değil, televizyon, gazete, dergi gibi haber kaynaklarından gelen kelime veya kelime gruplarından etkilenebilecek ve aniden arama motorunda arama yaparak ani bilgi ihtiyacını giderecek kişilerin eriştikleri sonuçların kalitesi üzerinedir. Çalışmamız tarih alanındaki sorguların iki arama motorundaki kalitesini ölçmeye yönelik olduğu için, Osmanlı tarihi ana başlık olarak seçilmiş, Osmanlı tarihi ile ilgili sorgu kelimeleri belirlenirken, 4 ayrı alt başlıkta sorgu kelimeleri kümelenmiştir. 1- Olay 2- Terim 3- Kişi/biyografi 4- Savaş (Külcü ve Tekin, 2013, s.94)

5 Çalışmamız da belirlenen sorgu kelimeleri ile eşit koşullarda Google ve Yandex arama motorlarına gönderilmiş ve erişilen ilk 10 sonuç kesme sayısı olarak belirlenmiştir. Bizim çalışmamızda yukarıda Lewandowski nin uyguladığı test modelini şu şekilde değiştirmeye çalışacağız. 1- Tek konu başlığını alt başlıklarla kümele 2- Her bir kümeden eşit olmak üzere en az 20 sorgu kelimesi seç 3- Sorgular için üst kesme sayısı belirle 4- Arama motorlarını seç ve sorguları gönder 5- Sorguları site kategorileri tablosuna göre skorla 6- Gelen skorları, karşılaştırma tablosunda belirlenen parametrelerler tekrar skorla 7- Kesin erişimi skorlarını hesapla Çalışmamızda her sorgu erişimi için kalite skorunun çıkarılmasında etkin olabilecek 8 ayrı parametre seçilmiştir. 1- Alan adı veya URL 2- Konu Başlığı 3- Metin için duyarlılığı 4- Metin içindeki yeri 5- Web/HTML sayfası 6- PDF / DOC vb formatlar 7- Metin içi frekansı 8- Site kategorisi İlk 7 parametrenin sonuç kalitesini etkilemesini ölçmek için bir ölçek kullanılmıştır: Diğer kriterler Puanlama Ölçekleri Alan adı veya URL Metin için konu Duyarlığı Konu başlığı Metin içindeki yeri Web/HTML Pdf/Doc vd Frekansı Tablo 1. Her iki arama motorunun karşılaştırılması için kullanılan ölçek Site kategorisi için öncelikle ayrı bir ölçek kullanılmış ve çıkan sonuçlar diğer 7 parametre ile birleştirilmiştir. Web arama motorlarındaki sonuç kalitesini etkileyen en önemli faktörlerin başında sonuçların erişildiği sitenin kalitesi ve güvenilirliliğidir. Güvenilir siteler ve site adres uzantıları gerekse de büyüklükleri ile diğerlerinden ayrılırlar ve arama motorları tarafından daha güvenilir olarak

6 tanımlanırlar. Arama motorlarının bu tanımlamanın ölçüsü konusunda detayları ve ölçekleri gizlilik taşıyan bilgi içeren konulardır. Tablo 2. Siteler kategorize edilirken güvenilirlik sırasına göre tablo 2 de gösterilen 10 ayrı bölüme ayrılmıştır. Her bir sorgu için Google ve Yandex arama motoruna ayrı ayrı oturum yapılmış, çıkan sonuçların kesme sayısı olarak 10 olmak üzere 2 ayrı arama motorunda toplam 400 ayrı sonuç ve bunların eriştiği site değerlendirmeye tabi tutulmuştur. 400 ayrı sonucun hiçbirinde akademik sitelerden, yayınlardan ve devlet sitelerinden gelen bir sonuç içermiyor. Aynı şekilde devlet sitelerinden hiçbirinden gelen sonuç ilk 10 sorgu sonucunda yer almamaktadır. Sonuçların tamamına forum ve sözlüklerden gelmektedir. Veri Toplama ve Analiz Çalışmamızın ilk aşaması olarak Osmanlı tarihi nde belirlenen 4 alt başlıkta her bir başlık için seçilen 20 sorgu kelimesi iki ayrı arama motorunda ilk 10 sonuç için önceden belirtildiği gibi 400 sorgu elde edilmiştir. Bu sorgular aşağıdaki belirtildiği şekilde değerlendirilmiştir. Bir bilgi erişim tekniği olan Latent Semantic indexing ( Sangville ve Meyer 6, 2006, s 6) içerisinde yer alan gizli semantik model de kelimeler seçilirken dikkat edilmiştir. Sonuçlar içerisinde savaşmuharebe gibi katli-öldürülmesi gibi değişimler de sonuçlarda eşit sayılmıştır. Bunun dışında ahdname ve ahidname kelimelerinde de aynı kural uygulanmıştır. Metin içi frekans için aynı kelime veya kelime öbeği için 2 veya daha fazla geçmesi şartını taşımaktadır. Çünkü metin içerisinde 2 veya daha fazla geçişi, o kelimenin ve kelime öbeğinin metinle ilgili olma olasılığı arttırır. Serbest sorguda sıralamayı etkileyen 3 değişken vardır. 1- Veritabanınındaki arama teriminin frekansı 2- Bir kayıt içindeki arama teriminin frekansı 3- Bir kayıt içindeki arama terimlerinin sayısı ( Loose, 1999, s.12 )

7 Metin içindeki yeri başlığının değerlendirilmesinde metnin büyük harf/küçük harf, metin içi başlıkta yer alması ve farklı kalınlıkta veya boyutta yazılması değerlendirilmiştir. Pdf/doc bağlığı altındaki değerlendirmede ise Pdf veya doc dosyalarının daha sistemli ve düzenli hazırlandığı varsayımından yola çıkarak değerlendiröeye tabi tutulmuştur. 400 sorgu içerisinde sadece 1 tanesinde pdf/ doc formatında sonuca erişilmiştir. Tablo 2. Site kategorisi puanın tespiti ve hesaplama ölçeği Tablo 3. Site kategorisi hesaplamasında 10 sorgu için kategori dağılımı Site kategorisini değerlendirildiğimizde, en yüksek 54 puan ile 3.Selim sonucu birinci sırada en düşük liva kelimesi ise 3 puan ile en düşük puanı almış olduğunu görürüz. Bu noktada en yüksek Google 400 sorgu için toplam 629 puan almış, Yandex ise 400 sorgu için 389 puan almıştır. Tüm sorgular bazında baktığımızda Google için her sorgu için ortalama puan 1,6 olurken, Yandex de bu

8 Islahat 2.osmanın Küçük Celali Karlofça Antl. Aşar Vergisi Ahdname Devşirme Kethüda Liva Merzifonlu 2.Abdülha 3.Selim Piri Reis Ankara savaşı İkinci Kosova Niğbolu Rodos'un İnebahtı oran 0,98 dir. Yani puanlama kriterlerine yerleştirdiğimizde ise Google da sonuçların Forum, sosyal medya ve sözlükler arasında dağıldığını, Yandex de ise en düşük puan olan sosyal medya ve forumların altına düşmektedir. Bu şekilde normal de tam sonuç için 10 sorgu için puan arası olması gereken tam sonuç hiçbir sorguda sağlanamamıştır. Buna göre sorgu kalitesi parametrelerine etki edecek puanlar referans ölçeğe göre incelendiğinde 5 ile 15 arasında seyretmiştir. Aynı şekilde ortalaması Google için 10,5 puan ve Yandex için 7,5 puan olarak hesaplanmıştır. SİTE KATEGORİ PUANLARI Google Yandex Tablo 4. Site kategorileri puanlarının dağılımı Tablo 5. Google Sonuç kalitesi parametreleri ve skor tablosu Tablo 5 ü incelediğimizde Google için sonuç kalitesi verilerine ulaşmaktayız. Tablo 1 de kullanılan ölçekte her bir sorgu ilgili/ilgisiz karşılığı 10 veya 0 puan olarak değerlendirilmiştir. 10 sorguda ilgili ise

9 100 puan almış bu kalite parametrelerindeki puan ölçeğine bakılarak karşılığı skorlamaya dahil edilmiştir. 400 sorgu için bu işlem yapılmış ve karşılığı bir skora erişilmiştir. Bu skor her sorgu kelime veya kelime öbeği için toplam alanında belirtilmiştir. Tablo 6.Yandex Sonuç kalitesi parametreleri ve skor tablosu Tablo 5 de yapılan ve açıklanan işlemin aynısı Yandex arama motoru için yapılmış ve tablo 5 de gösterilmiştir. Sonuç Toplam 400 sonucun birkaç tanesi dışında hiçbirinde akademik site ve devlet sitesi sonuçlarda yer almıyor. Osmanlı tarihi ile ilgili konularda öncelikle Türk Tarih Kurumunun sitesinin ilk 10 da bile yer almaması ayrıca inceleme konusu olmalıdır. 400 sorgu içerisinde sadece 1 tanesinde pdf/ doc formatında sonuca erişilmiştir. Her iki arama motorundan elde edilen verilerle çıkan skorlar incelendiğinde Google da 20 sorgu için skor ortalaması 100 üzerinden 59,8 olurken, aynı puan Yandex arama motorunda ise bu skor 63,8 olmuştur. Google da en düşük skor liva kelimesinde 12 olurken en yüksek puan 9 ayrı sonuçta 75 olmuştur. Aynı durum Yandex arama motorundaen düşük skor 41 puan ile Piri Reis kelime öbeğinde olurken, 7 ayrı kelimede 75 olmuştur.

10 GOOGLE YANDEX Islahat fermanı Osman'ın katli Küçük Kaynarca Celali İsyanları Karlofça Antl Aşar Vergisi Ahdname Devşirme Kethüda Liva Merzifonlu Kara Mustafa Abdülhamid Selim Piri Reis Ankara savaşı İkinci Kosova Niğbolu Savaşı Rodos'un Fethi İnebahtı Savaşı Tablo 7. Google Yandex Karşılaştırma tablosu Tablo 6 da gördüğümüz sonuç tablosunda ise sorgular bazında baktığımız da ise 20 sorgu kelimesinden 4 tanesinde Google ın yüksek puan aldığını 7 tanesinde Yandex in üstünlüğü vardır. Kalan 9 sonuçta ise eşit puan göze çarpmaktadir. Arama Motorları Performans GOOGLE YANDEX

11 Kaynakça Birinci, H.G.(2007), Tarihçilerin Bilgi Gereksinimleri ve Bilgi Kullanımları, Değişen Dünyada Bilgi Yönetimi Sempozyumu Ekim 2007 Broder, A. (2002), A Taxonomy of Web Search, SIGIR Forum, Fall 2002, Vol. 36, No.2 Brin,S. Ve Page,L. (1998), The anatomy of a large-scale hypertextual Web search engine, adresinden tarihinden erişildi. Griesbaum, J. ( 2004), Evaluation of three German search engines: Altavista.de, Google.de and Lycos.de, adresinden tarihinde erişildi. Kleinberg, J.M. (1998), Authoritative Sources in a Hyperlinked Environment, adresinden tarihinde erişildi. Külcü,Ö. Ve Tekin, E.C.(2013),Osmanlı tarihi ile ilgili araştırmalarda Wikipedia ve Vikipedi sanal ansiklopedilerinin sonuç kalitelerinin karşılaştırılması, Ünak 2013 Konferansı, bildiri özetleri kitabı Lewandowski, D. ( 2007 ), Web Searching: A Quality Measurement Perspective, eprints.rclis.org/9595 adresinden tarihinde erişildi. Lewandowski, D. (2009), measuring the quality of web search engines, adresinden tarihinde erişildi. Loose, Robert M.(1999), Measuring Search Engine Quality and Query Difficulty: Ranking with Target and Freestyle, adresinden tarihinde erişildi. Rose, Daniel ( 2004 ), Understanding User Goals in Web Search, adresinden tarihinde erişildi. Sangville, A ve Meyer, Carl.D.(2006), Google s Page Rank and Beyond: The Science of Search Engine Rankings, Princeton University Press