YÜKSEK LİSANS TEZİ Ahmet Aycan ATAK

Transkript

1 İSTANBUL TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ WEB NESNELERİ İÇİN KALİTENİN BELİRLENMESİ YÜKSEK LİSANS TEZİ Ahmet Aycan ATAK Anabilim Dalı : Bilgisayar Mühendisliği Programı : Bilgisayar Mühendisliği HAZİRAN 2011

2 İSTANBUL TEKNİK ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ WEB NESNELERİ İÇİN KALİTENİN BELİRLENMESİ YÜKSEK LİSANS TEZİ Ahmet Aycan ATAK ( ) Tezin Enstitüye Verildiği Tarih : 3 Mayıs 2011 Tezin Savunulduğu Tarih : 10 Haziran 2011 Tez Danışmanı : Doç. Dr. Şule Gündüz Öğüdücü (İTÜ) Diğer Jüri Üyeleri : Doç. Dr. Zehra Çataltepe (İTÜ) Yrd. Doç. Dr. Songül Albayrak (YTÜ) HAZİRAN 2011

3

4 ÖNSÖZ Her kararmda bana destek olan babam Ayhan Atak ile annem Aysel Atak'a, tez çal³mas boyunca bana rahberlik yapan dan³man hocam Doç. Dr. ule Gündüz Ö üdücü'ye te³ekkürü borç bilirim. ³ arkada³larma beni her alanda destekledikleri, bölümümüz ö rencilerine de okulu renklendirdikleri için minnettarm. Haziran 2011 Ahmet Aycan ATAK Bilg. Müh. iii

5 iv

6 İÇİNDEKİLER Sayfa ÖNSÖZ iii İÇİNDEKILER iv KISALTMALAR vii ÇIZELGE LİSTESİ ŞEK IL L İSTESI ix xi ÖZET xiii SUMMARY xv 1. GİRİŞ İKİLİ KARAR PROBLEMİ lgili Çal³malar Kuramsal Bilgiler li³kisel Bayes snandrc Karar a ac bazl nitelik seçme Önerilen Yöntem Veri kümesi Karar a ac bazl nitelik seçme li³kisel Bayes snandrc Deney Sonuçlar Nitelik seçimi Snandrma Tart³ma ÇOKLU KARAR PROBLEMİ Veri Kümesi Önerilen Yöntem Kategori tahmini Güvenilirlik, tarafszlk ve ön yarg tahmini Kalite tahmini Deneysel Sonuçlar De erlendirme kriteri Kategori tahmini Güvenilirlik, tarafszlk ve ön yarg tahmini Kalite tahmini Tart³ma ÇİZGE ÜZERİNDE YAYILMA lgili Çal³malar Önerilen Yöntem Tahmin v

7 Güncelleme Deney Sonuçlar Tahmin Güncelleme Tart³ma SONUÇLAR VE TARTIŞMA KAYNAKLAR EKLER ÖZGEÇMİŞ vi

8 KISALTMALAR n KK : Normalize Edilmi³ ndirimli Kümülatif Kazanç KK : ndirimli Kümülatif Kazanç DVM : Destek Vektör Makinesi 2010KY : ECML/PKDD 2010 Konferans Yar³mas BS : li³kisel Bayes Snandrc SBS : Seçici Bayes Snandrc AUC : ROC E risinin Altnda Kalan Alan vii

9 viii

10 ÇİZELGE LİSTESİ Sayfa Çizelge 2.1: Etiketlenmi³ kaynak örnekleri Çizelge 2.2: Kaynaklarn Nitelik 1 üzerinden açl³ Çizelge 2.3: Kaynaklarn Nitelik 2 üzerinden açl³ Çizelge 2.4: BibTex kaynaklarn niteliklerinin nitelik seçimine göre sras. 19 Çizelge 2.5: Mim kaynaklarn niteliklerinin nitelik seçimine göre sras Çizelge 2.6: De i³en sayda BibTex niteli ine kar³ AUC de erleri Çizelge 2.7: De i³en sayda mim niteli ine kar³ AUC de erleri Çizelge 3.1: Her veri kümesi için kategori da lm Çizelge 3.2: Güvenilirlik (a), tarafszlk (b) ve ön yarg (c) da lmlar Çizelge 3.3: Sistemde Kullanlacak nitelik seçme metotlar ve snandrclar 30 Çizelge 3.4: Web sitelerin kalitelerinin belirlenmesi Çizelge 3.5: ngilizce veri kümesi için kategori tahmin sonuçlar Çizelge 3.6: ngilizce veri kümesi için güvenilirlik, tarafszlk, ön yarg tahmini 34 Çizelge 3.7: Her bir veri kümesi için kalite tahmin sonuçlar Çizelge 4.1: E³ik de erinin göz önünde bulundurulmas Çizelge 4.2: Temel snandrc performans Çizelge 4.3: Formül 4.3 kullanarak tahmin sonuçlar Çizelge 4.4: Franszca veri kümesinde e³ik de eri ve formül 4.3 ile sonuçlar 44 Çizelge 4.5: Almanca veri kümesinde e³ik de eri ve formül 4.3 ile sonuçlar 45 Çizelge 4.6: Formül 4.6 kullanarak tahmin sonuçlar Çizelge 4.7: Franszca veri kümesinde e³ik de eri ve formül 4.6 ile sonuçlar 46 Çizelge 4.8: Almanca veri kümesinde e³ik de eri ve formül 4.6 ile sonuçlar 46 Çizelge 4.9: Çizelge 4.1'de verilen Algoritma 2 kullanlarak tahmin sonuçlar 47 Çizelge A.1: Terimler Sözlü ü ix

11 x

12 ŞEKİL LİSTESİ Sayfa Şekil 3.1 : Sitelerin kalite seviyelerinin tahmini için önerilen sistem Şekil 4.1 : Örnek çizge xi

13 xii

14 WEB NESNELERİ İÇİN KALİTENİN BELİRLENMESİ ÖZET Web içerdi i nesnelerin says açsndan bakld nda gün geçtikçe artan bir hzla büyümektedir. Günümüzde Web'in ula³t boyut, içerdi i nesnelerin kalitelerinin uzmanlar tarafndan elle belirlenmesini imkansz hale getirmektedir. nternetteki otorite eksikli i ve kullanclarn Web'e tamamen özgürce içerik ekleyip, bu içerikleri idare etmesi de kalitesi dü³ük içeri in veya kötü niyetli yaramaz (spam) içeriklerin Web'deki miktarn önemli ölçüde arttrmaktadr. Bu çal³mada, belirtilen nedenlerden ötürü önemi artan, Web'deki nesnelerin kalitelerinin tespit edilmesi üzerine çal³lm³tr. lk etapta yaramaz mim (bookmark) nesnelerinin yaramaz olmayanlardan ayrlmas görevini içeren ikili karar problemi çözülmeye çal³lm³tr. Bunun için eldeki folksonomi verisi ili³kisel bir veriymi³ gibi kabul edilerek, ili³kisel verinin snandrlmas için önerilmi³ olan li³kisel Bayes Snandrc ( BS) ile karar verme i³lemi gerçekle³tirilmi³tir. Bunun yannda C4.5 karar a ac algoritmas, nitelik seçimi amacyla eldeki veriye uygun olacak ³ekilde uygulanm³tr. Yaplan deneylerle, önerdi imiz yöntemin yaramaz nesneleri belirleme de oldukça ba³arl oldu u görülmü³tür. Sonuçlar ve yöntemin art-eksi yönleri, ayn veri kümesini kullanan di er çal³malar göz önüne alnarak tart³lm³tr. kinci olarak internette yer alan sitelerin kalite seviyelerine göre derecelendirilmesi üzerine çal³lm³tr. Burada kar³ kar³ya kalnan problem kategori gibi ikiden fazla de er alabilen ve güvenilirlik, tarafszlk gibi göreceli de erlendirilmesi gereken kalite snfna ait niteliklerin tahmin edilmesidir. Bu yüzden, söz konusu çoklu karar problemlerini içeren kalite tespitinin yaplmas için bir sistem önerilmi³tir. Önerilen sistemden deneyler sonucunda tatmin edici sonuçlar alnm³tr. Ayrca, bu çal³mada kullanlan veri kümesinin sahip oldu u göreli snf etiketlerinin etiketlenmesi safhasnda problem olmas ve yine ayn veri setinde birçok site için terim vektörünün bulunmamas gibi sorunlara da de inilmi³tir. Bir önceki çal³ma srasnda kullanlan veri kümesindeki baz sitelerin baz nitelik de erlerinin eksik oldu u belirlenmi³tir. Bu tür sitelerin kalite snfnn belirlenmesinde problem olmas nedeniyle, üçüncü çal³mada bu problem için bir çözüm önerilmi³tir. Bu tür sitelerin kalite snarnn belirlenmesi amacyla çizge (graph) üzerinde yaylma (propagation) yaplm³tr. Kalite snfn belirleyemedi imiz bir sitenin, snfn bildi imiz kom³u siteleri kullanlarak söz konusu site için belli fonksiyonlar yardmyla sonuca gidilmi³tir. Buradaki problem ise çizgenin ba l olmayan parçalar içermesidir. Bu konuda da yaplabilecek olas çal³malara tez içerinde de inilmi³tir. Çizge üzerinde yaylma ile istenilen sonuçlara, yani daha fazla sayda sitenin kalitesi belirlenirken, performansn dü³memesi amacna ba³aryla eri³ilmi³tir. xiii

15 xiv

16 QUALITY DETECTION FOR WEB OBJECTS SUMMARY Web is growing rapidly day by day. Today, if size of the Web is considered, it is impossible to detect quality of the Web objects such as or Web pages manually by experts. Lack of authority in the Web and users' freedom on adding and managing content on the Internet causes increase of the number of spam and low quality content. That's why, in this study, detecting quality of the Web objects, which is a very important subject due to mentioned reasons, is studied. At the rst step, it is studied to split spam bookmark objects from non-spam bookmark objects which is a two-class decision problem. For this, available folksonomy data is adopted as relational data and then Relational Bayesian Classier (RBC) which is proposed for classication of relational data is used for decision process. Also, C4.5 algorithm is adopted to available data set for attribute selection. With experimental results, for detecting spam content, it is shown that the system proposed in this study is quite succesfull. Results of the proposed system and both positive and negative features of it mentioned according to other studies focused on the same data set. At the second step, we study about ranking Web sites according to their quality levels. Here, the problem we faced is multi-class decision problem caused by multi-class valued attributes such as category and categories which requires relatively determination such as trustiness and neutrality. That's why, a system which handles these decision problems is proposed. For proposed system, satisfactory results are obtained with experimental results. Also, problems related with dataset are pointed. For example, for most of the Web sites, there isn't any term vector which is the base element of our framework. Besides, according to distribution of relative class attributes such as trustiness, neutrality and bias, it is concluded that these class attributes are labeled by experts without any standard. At the third step, as continuation of the study at the second step, for Web sites that don't have category prediction results due to term vector absence, graph propagation is performed to generate category prediction results for these pages. For Web sites that don't have category prediction results, category prediction results are obtained according to their neighbors' category prediction results and some propagation formulas. Here, problem is the nodes that are seperate from the biggest and connected graph component. For this problem, possible future studies are mentioned in the thesis. With graph propagation, intended results, namely generating results for more Web sites without any performance decrease, are taken. xv

17 1. GİRİŞ 2006 Kasm'nda yüz milyon site limitinin a³lmas [1] gibi Web'de meydana gelen ani ve hzl büyüme hareketleri, aranlan bir bilginin, kaliteli ve güvenilir kaynaklardan gelip gelmedi ine dair soru i³aretleri olu³turmaktadr. Ayn konu hakkndaki bilginin farkl kaynaklarda, farkl formatlarda bulunup, farkl bak³ açlar ile yanstlmas bu bilgiler arasndaki kalite farklarnn tespit edilmesini gerekli klmaktadr. "Kalite" kelimesi için Türk Dil Kurumu'nun Büyük Türkçe Sözlü ü'nde kar³lk olarak "bir ürünün bilinen en iyi özellikleri bünyesinde ta³ma durumu" [2] açklamasna yer verilmi³tir. Bu açdan bakld nda, bilinen en iyi özelliklerin ki³iden ki³iye farklla³mas nedeniyle kalite belirleme problemi, sonuç üretilmesi güç bir sorun olu³turmaktadr. Bunun d³nda, kaliteli bilginin kalitesiz olandan, kaliteli oldu u gözlenen bilgilerin de kendi içlerinde kalite seviyelerine göre ayrlmas, Web'in büyüklü ü göz önüne alnd nda elle yaplmas mümkün olmayan bir tasnif sorunu olarak ortaya çkmaktadr. Bu tez çal³masnda, Web'deki site, mim (bookmark) gibi nesnelerin kalite niteliklerinin, makine ö renmesi (machine learning) yöntemleri kullanlarak otomatik olarak belirlenmesi üzerinde çal³lm³tr. Çal³ma üç ana ba³lktan olu³maktadr: ikili karar problemi, çoklu karar problemi ve çizge (graph) üzerinde yaylma (propagation). Her bölüm için ayr ayr literatür taramas, kullanlan yöntemlerin açklamas ve önerilen sistemlerin çal³ma admlar verilmi³ olup, yine her bölüm ayr ayr deneysel sonuçlarla desteklenmi³tir. Tezin ikinci bölümünde kalite belirlenmesi sorunu kaliteli olann kalitesiz olandan ayrlmas görevine indirgenmi³tir. Burada kalitesiz bilgi yaramaz (spam) içerik içeren bilgi olarak kabul edilmi³tir. u durumda geri kalan bütün bilgi y n ise kaliteli olarak kabul edilebilir. Bu ksmda, yine Web'in günden güne hzla büyümesi sonucu ortaya çkan, kullanclarn sk ziyaret ettikleri 1

18 siteleri belli etiketler (tag) kullanarak depolayp, di er kullanclarla payla³tklar mim nesneleri üzerinde kalite belirlenmeye çal³lm³tr. Kaliteleri belirlenen mim nesneleri üzerinden, bu nesneleri üreten kullanclar kaliteli içerik üretme seviyelerine göre sralanm³ ve bu sral liste kullanlarak hesaplanan AUC (ROC e risinin altnda kalan alan) de eri ile gerekli de erlendirmeler yaplm³tr. Ayrca bu bölümde, yaramaz içeri in elektronik postalardaki ve sitelerdeki etkilerine de i³aret edilmi³, bu alanlardaki yaramaz içeri in belirlenmesi konusundaki çal³malar üzerinden de mevcut çal³ma için gerekli çkarmlarda bulunulmu³tur. Sonuç olarak, önerilen sistemin, sosyal payla³m sitelerine ait verinin yapsn koruyarak, sosyal a yaramazlarnn belirlenmesinde oldukça ba³arl oldu u görülmü³tür. Tezin üçüncü bölümünde kalite tespiti, bir dizi sitenin kalite seviyelerinin belirlenip, sitelerin daha kaliteli olandan az kalite olana sralanmas problemi ³eklindedir. Sitelerin kalite tespitleri yaplrken, bu sitelerin kategori gibi ikiden fazla de er alabilen nitelikleri üzerinden gidilmi³, dolaysyla ikili karar probleminden farkl bir durumla kar³ kar³ya kalnm³tr. Ayrca sitelerin güvenilirlik, tarafszlk ve ön yarg gibi göreceli nitelikleri üzerinde de durulmu³ ve kalitenin bu niteliklerle beraber site kategorisi ile belirlendi i bir model üzerinden de erlendirmeler yaplm³tr. Tezin dördüncü bölümünde, bir sitenin kalitesinin o siteye ait nitelikler kullanlarak belirlenmesi yerine, ba lant (link) verdi i sitelerin nitelikleri üzerinden belirlenmesine çal³lm³tr. Böylece her site için nitelik olu³turmak zorunda kalnmayaca gibi, daha hzl ve dinamik bir kalite tespiti yaplabilir hale gelmi³tir. Web çizgesinin elde edilebilir oldu u sistemlerde bu yöntemin, sadece nitelikler üzerinden yaplacak snandrmaya göre, özellikle hz ve bellek kullanm açsndan daha etkili sonuçlar verebildi i bu bölümde ayrca belirtilmi³tir. Tezin son bölümünde, yaplan çal³malarn sonuçlar üzerinde durulmu³tur. Sunulan yöntemlerin art ve eksi yönleri ile elde edilen sonuçlarn ne kadar ba³arl oldu u ile ilgili bilgilendirmenin yan sra, ileride yaplabilecek olas çal³malarn ne olabilece i gibi öneriye yönelik bildirimlerde bulunulmu³tur. Bunun d³nda 2

19 teze ek olarak verilen sözlükte, tez içerisinde yabanc terimlere kar³lk kullanlan Türkçe sözcükler bulunabilir. 3

20 4

21 2. İKİLİ KARAR PROBLEMİ lk günlerinden bu yana internet inanlmaz bir büyüme göstermi³tir. Bu nedenle, istenilen ve yararl olan bilginin ke³fedilmesi, Web kullanclar için günden güne zorla³m³tr. Bu zorlu un bir miktar ortadan kaldrlmas için baz siteler kullanclarna, sahip olduklar Web kaynaklarn organize etme ve etiketleme hizmeti sunmaktadr. Bu tarz hizmetler kullanarak, Web kullanclar bu kaynaklara daha sonra kolaylkla eri³ebilmektedir. Web 2.0 tekniklerinin geli³mesi ve yaygnla³mas ile, sosyal kaynak payla³m sistemlerinin (mimleme sistemleri, görsel ö elerin payla³ld sistemler, folksonomi ya da içerik etiketleme sistemleri v.s.) internetteki pay günden güne artmaktadr. Bu sistemler kullanclarna kendi kaynaklarn, etiket denilen uygun anahtar kelimelerle saklama hizmeti sunar. Böylece kaynaklar çevrimiçi olarak, kendisini tanmlayan anahtar kelimelerle birlikte saklanr. Bunun yannda kullanclar sakladklar bu kaynaklar birbirleriyle payla³abilirler. Herhangi bir kaynak, herhangi bir kullanc tarafndan herhangi bir kelime kullanlarak etiketlenebilir. Bu durum ise sosyal payla³m siteleri ile ilgili önemli bir problemi ortaya çkarmaktadr; kaynaklarn etiketlemesinin bir uzman yerine, kontrol d³ olan bir mekanizma tarafndan yaplmas. ³te folksonomi terimi kullanclarn meydana getirdi i, bu kontrol d³ etiketleme sistemlerini adlandrmak için kullanlmaktadr. Genel olarak folksonomi, kullanc gruplarna ortakla³a kaynak idaresi hizmeti veren sosyal kaynak payla³m sistemlerinin veri yapsdr. Folksonomide etiketlerin olu³turulup, yönetilmesi oldukça kolaydr. Kullanclar etiket olacak anahtar kelimeyi, önceden belirlenmi³ bir kurala uymakszn bir kayna a ili³tirir. Herhangi bir ki³i, herhangi bir anahtar kelimeyi istedi i kayna a etiket olarak ili³tirebilir ve bir kayna birden fazla etiket ile ili³kilendirebilir. Bu kolay ve kullan³l mekanizma sosyal payla³m sitelerinin kullanmnn hzla yaygnla³masna neden olmu³tur. Ancak bu popülerlik ve kullanm kolayl beraberinde temelinde yaramaz içeri in yatt bir dizi problem meydana 5

22 getirmektedir. Kolay kullanlabilirlik, içerik yönetiminde kullanclarn snrsz özgürlü ü ve sosyal mim sitelerinin popülaritesi folksonomi sistemlerini yaramaz içerik üreten kullanclarn hede haline getirmi³tir. Web sitelerindeki ve elektronik postalardaki yaramaz içeri e yllardr ciddi bir problem olarak de inilmektedir. Yaramaz sitelerin arama sonuçlarn bozmas ve yaramaz elektronik postalarn istenmeyen ticari mesajlar yaymas d³nda, yaramaz içerik türü ne olursa olsun veri kirlili i meydana getirir. Benzer ³ekilde sosyal mim siteleri de yaramaz içerik olarak ilgisiz etiketler ili³tirilmi³ kaynaklar içerir. Böylece kullanclar yaramaz içeri i üreten kullanclarn istedikleri yere yönelir. Sosyal payla³m sitelerinin yapsna bakld nda, bu sitelerde yaramaz kaynaklar bulunabilir ya da kaynaklara ilgisiz etiketler vererek kullanclar yanl³ yönlendirmek isteyen yaramaz kullanclar bulunabilir. Bu çal³mada bu tür sitelerdeki yaramaz kaynaklar ve yaramaz kullanclar genel olarak sosyal a yaramazlar olarak isimlendirili³lerdir. Sosyal mim sitelerinin sundu u hizmetin avantajn yitirmemesi için, bu servisleri me³gul eden yaramaz içeri in etkin bir ³ekilde belirlenmesi gerekmektedir. Makine ö renmesi açsndan baklrsa, yaramaz içeri in belirlenmesi ikili karar problemi olarak kabul edilebilir; yaramaz veya yaramaz de il. Öte yandan, bir sosyal mim sitesinde, bir kullanc herhangi bir kayna herhangi bir etiketle ili³kilendirebilir. Bu yüzden yaygn etiketlerin hem yaramaz kullanclar hem de yaramaz olmayan kullanclar tarafndan sa lanm³ olma ihtimali ortaya çkar. Ayn ³ekilde etiketleriyle yaramaz bir e ilim gösteren kaynak, yaramaz olmayan bir kullanc tarafndan da etiketlenebilir [3]. Bunlarn d³nda, etiket ve kaynak arasnda üç ksml (tripartite) çizge ile gösterilebilen 3 boyutlu ili³ki, klasik snandrma yöntemlerine kar³ zorluk çkarmaktadr. [4]'de gösterildi i gibi, yaramaz içeri in ve kullanclarn ço u, sabit sayda nitelikleri içeren bir veri kümesi kullanmak yerine, bu kullanclarn yapsal nitelikleri kullanlarak ortaya çkmaktadr. Bu yüzden folksonomide yaramaz içeri in ve kullanclarn ortaya çkarlmas için folksonomi verisinin sahip oldu u ili³kinin modellenmesi çok önemlidir. Bu çal³mada, yaramaz kullanclar otomatik olarak belirlemek için, iki a³amal bir sistem tasarlanm³tr. lk a³amada, snandrma ba³armn arttrmak 6

23 için folksonomi verisinin ili³kisel yapsna uygun bir nitelik seçme yöntemi gerçeklenmi³tir. Sistemin ikinci a³amas li³kisel Bayes Snandrcs (Relational Bayesian Classier) içermektedir ki, bu snandrc folksonomi verisindeki yapsal bilginin korunmasn sa lamaktadr. Kullanclar farkl saylarda kaynak etiketleyebilirler ve kaynaklar farkl saylarda etikete sahip olabilirler. Örne in, bir kaynak 10 etikete sahipken bir di eri 100 etikete sahip olabilir. Dahas bir etiket bir anahtar kelimeden olu³abilece i gibi birden fazla anahtar kelimeden de olu³abilir. Nitelik seçme ve snandrma yöntemleri bu yapy göz önünde bulundurmaldr. Gerçeklenen sistem genel kullanma açk bir veri kümesinde denenmi³tir. Deney sonuçlar göstermektedir ki kullanlan nitelik seçme ve snanmdrma yöntemleri sosyal a yaramazlarnn belirlenmesinde ba³arldr. Bu bölümün geri kalan ³u ³ekilde organize olmu³tur: ilk ksmda sosyal payla³m sitelerindeki yaramaz içeri in yan sra di er yaramaz içeriklerin belirlenmesi ile ilgili ³imdiye kadar yaplan çal³malara yer verilmi³tir. kinci ksmda, kullanlan snandrc ve nitelik seçme yöntemi ile ilgili ksaca bilgi verilmi³tir. Üçüncü ksmda, yukarda bahsedilen problemi çözmeye yönelik olarak önerilen sistem anlatlm³tr. Daha sonra deneyler ve sonuçlar hakkndaki görü³ler dördüncü ksmda sunulmu³tur. Son olarak be³inci ksmda çal³mann sonuçlar tart³lm³ ve bundan sonra yaplabilecek çal³malardan bahsedilmi³tir. 2.1 İlgili Çalışmalar Yaramaz içeri in rahatsz edici boyutlara ula³t ilk alanlar elektronik postalar ve Web siteleri olarak gösterilebilir. Web sitelerinde yaramaz içeri in belirlenmesi için [5] çal³masnda önerilen yöntemin oldukça etkili sonuçlar verdi i ayn çal³madaki deney sonuçlarna baklarak söylenebilir. Bahsi geçen çal³mada PageRank, TrustRank, krplm³ TrustRank ve di er derece bazl ölçütlerin incelenmesi üzerinden Web sitelerinin yaramaz olup olmadklar tahmin edilmi³tir. Bunun d³nda yaramaz içerik bulunduran elektronik postalarn ortaya çkarlmas için Bayes ltresi kullanan baz çal³malar vardr. Örne in snrl elemana sahip tanm kümeleri belirlenebilen baz niteliklerin (elektronik postay gönderenin alan uzants, posta konusundaki alfa nümerik olmayan karakter says gibi) elektronik postann gövdesinin yannda kullanlmasnn, 7

24 maliyete duyarl (cost sensitive) Bayes snandrc ile yaramaz postalar ke³fetmede daha etkili oldu u gösterilmi³tir [6]. Bahsedilen çal³madaki "maliyet" yaramaz olmayan elektronik postann yaramaz olarak snandrlmas sonucu elde edilen kayp olarak tanmlanm³tr. Elektronik postalarda yaramaz tespiti ile ilgili bir ba³ka çal³mada, elektronik postann özel adreslere iletilmesi gibi ekstra güvenlik bile³enleri kullanlarak, bir önceki çal³mada bahsedilen "maliyet" miktarnn dü³ürülebilece inden bahsedilmi³tir [7]. Yerazunis, yaramaz postalarn ltrelenmesinde kullanlmak üzere 3 farkl ö renme (training) yöntemini kar³la³trm³tr [8]: (i) her ³eyi ö ren (TEFT) yönteminde posta gövdesindeki metin, postann snandrlmasndan sonra do ru snf etiketiyle ö renime katlr, (ii) sadece hatalar ö ren (TOE) yönteminde yanl³ snandrlan posta, do ru snf etiketiyle ö renime katlr, (iii) hata olmayana kadar ö ren (TUNE) yönteminde posta yanl³ snandrld sürece ö renime katlr ve snandrlr. Bu ö renme yöntemlerinden TUNE di erlerinden daha isabetli sonuçlar üretmesine kar³n, çal³ma süresinin uzunlu una eksik yönü olarak i³aret edilmi³tir. Web sayfalarnda ve elektronik postada yaramaz içeri in belirlenmesi ile kar³la³trld nda, sosyal a yaramazlarnn belirlenmesi konusundaki çal³malar oldukça yeni ara³trma konulardr. Daha önce sosyal payla³m sitelerindeki yaramaz içeri in belirlenmesinde Web sayfalarnda ve elektronik postalardaki yaramaz içerik ile mücadelede kullanlan 3 stratejinin kullanlabilece i gösterilmi³tir: (i) tanmlama bazl stratejide yaramaz içerik kullanclar tarafndan elle ya da snandrc tarafndan otomatik olarak saptanr, (ii) kademe bazl stratejide eldeki içerik boyutun azalmas amacyla kademelendirilir ve (iii) limit bazl stratejide kullanc hareketleri para talep edilerek veya kullanm ömrü göz önüne alnarak limitlendirilir [9]. Literatürde sosyal a yaramazlar ile ilgili, ECML/PKDD 2008 konferans kapsamnda düzenlenen yar³ma [10] (discovery challenge) için yaynlanm³ veri kümesini kullanarak yaplm³ birkaç çal³ma mevcuttur. Kim ve Hwang snf de erleri ile kaynak etiketleri arasnda kar³lkl bilgiyi hesaplam³ ve bu hesaba göre en çok bilgi içeren etiketleri seçerek, bunlar üzerinden saf Bayes (naive Bayes) snandrc ile yaramaz içeri i tahmin etmeye çal³m³lardr [11]. 8

25 Chevalier ve Gramme yar³mann orijinal veri kümesinden, kullancnn kulland ana kategori, kullancnn etiketledi i toplam kaynak gibi nitelikler içeren yeni bir veri kümesi meydana getirmi³lerdir [12]. Bahsedilen çal³mada, meydana getirilen veri kümesi üzerinde bilgi kazanc (information gain) kriteri ile nitelik seçimi yaplm³ ve en çok bilgi içeren nitelikler üzerinde do rusal regresyon uygulanm³tr. Gkanogiannis ve Kalamboukis destek vektör makinesi (support vector machine) kullanarak metin snandrmas yapm³ ve önceki çal³malardan daha ba³arl sonuçlar elde etmi³tir [13]. Bir ba³ka çal³mada, yar³mann orijinal veri kümesinden TagSpam, TagBlur, DomFP, ValidLinks, NumAds ve Plagiarism ad verilen yeni nitelikler meydana getirilmi³ ve bu nitelikler üzerinde klasik snandrclar denenmi³tir [14]. Bahsedilen çal³mada en iyi performans gösteren snandrclar AdaBoost ve destek vektör makinesi olarak ortaya çkm³tr. [15] çal³masnda da yar³mann orijinal veri kümesinden prol tabanl, aktivite tabanl, lokasyon tabanl ve anlam tabanl olmak üzere 4 grup nitelik kümesi meydana getirilmi³tir. Söz konusu çal³mada önerilen veri kümelerinin tamam kullanld nda klasik snandrclar ile iyi sonuçlar alnd görülmü³tür. Sosyal a yaramazlarnn belirlenmesi ikili karar problemi (yaramaz ve yaramaz de il) olarak nitelendirilebilece inden, birçok klasik nitelik seçme ve snandrma yöntemi bu amaç için adapte edilebilir. Ancak, sosyal a yaramazlarnn tespiti, folksonomi verisinin sahip oldu u yapsal nitelikler nedeniyle, snandrc ve nitelik seçme yöntemi için, bu çal³mada önerilen yöntemler gibi, karma³k adaptasyon stratejileri gerektirmektedir. Bu çal³mada, nitelik seçimi için, ilk olarak karar a açlar için önerilmi³ C4.5 algoritmas, snandrma için ise ili³kisel verinin snandrlmas için önerilmi³ li³kisel Bayes Snandrc, sosyal payla³m sitesi verisine adapte edilmi³tir. 2.2 Kuramsal Bilgiler Bu ksmda li³kisel Bayes Snandrcya ( BS) [16] ksaca de inilmi³tir. Ayrca, C4.5 karar a açlarnda (decision tree) [17] dü üm bölme kriterini de olu³turan nitelik seçme yönteminden bahsedilmi³tir. ki yöntem de ilk önerildiklerinde içerdikleri temel özellikleri ile açklanm³tr. Bir sonraki ksmda 9

26 ise bu yöntemlerin sosyal yaramazarn tespiti için nasl adapte edildiklerinden bahsedilmi³tir İlişkisel Bayes sınıflandırıcı li³kisel veri genellikle, üzerinde klasik snandrclarn uygulanmasn zorla³tracak ³ekilde karma³k bir yap içerir. Bir veri kümesinde, niteliklerin farkl sayda nesne ile ili³kide olmas, her nitelik için farkl sayda de er anlamna gelmektedir. Böyle bir veri kümesinde nesnelerin nitelikleri bir dizi olabilir. Örne in, nesne olarak lm içeren bir veri kümesinde, oyuncular niteli i, lmden lme (nesneden nesneye) eleman says de i³en bir dizidir. ³te BS bu tarz ili³kisel veri kümelerinde snandrma yapmak için 4 ayr yakla³m ile beraber önerilmi³tir [16]. Bu 4 yakla³m, de er dizisi içeren niteliklerin hangi de erlerinin snandrmaya katk yapaca n belirler. Bu yakla³mlar "AvgVal", "RandVal", "RandProb", "IndepVal", olarak adlandrlm³tr. u durumda snandrcnn 2 admda çal³t varsaylabilir. lk admda bahsedilen yakla³mlardan birisi seçilerek snandrmaya katlacak de erler belirlenir. Sonraki a³amada ise saf Bayes snandrc kullanlarak snandrma i³lemi yaplr. AvgVal (ortalama deger) yakla³m, niteli in ortalama de erinin snandrmaya katlmas olarak tanmlanmaktadr. Burada ortalama, nominal de erler için en sk tekrarlanan de erken, saysal de erler için aritmetik ortalama olarak alnabilir. Oldukça açktr ki, AvgVal yakla³m niteli in ortalama de eri snf niteli iyle ilgili fazla bilgi içerdi inde iyi sonuç verecektir. Bir o i nesnesinin, a j niteli ine sahip oldu unu ve bu niteli in ³u de erleri ald n varsayalm: v 1, v 2, v 2 and v 3. Bu nesne için ortalama de er, en çok tekrarlanan de er olan v 2 'dir. AvgVal yakla³mnn tanmna ba l olarak, bu nesne için bir snfa ait olma olasl, örne in pozitif snfa ait olma olasl, formül 2.1 ile hesaplanabilir. P(+ a j : v 1,a j : v 2,a j : v 2,a j : v 3 ) = P(a j : v 2 +) P(+) (2.1) RandVal (rastgele de er) yakla³m, snandrma için niteli in sahip oldu u de erlerden bir tanesinin rastgele seçilmesi olarak tanmlanm³tr. Bu yakla³m snandrmaya katlacak tek de eri, niteli in sahip oldu u de erler kümesi içerisinden stokastik bir biçimde belirlemektedir. Bu yüzden söz konusu 10

27 yakla³m, do ru snf etiketi ile ilgili en çok bilgiye sahip de erin çok tekrarlanp, seçilme ³ansn arttrd zamanlarda en iyi sonucu verecektir. Öte yandan çok tekrarlanan de er, niteli in ortalama de erini de etkileyece inden RandVal ve AvgVal yakla³mlarnn paralel sonuçlar üretece i söylenebilir. Örne in, bir önceki örnek göz önüne alnd nda, v 2 de erinin seçilme olasl di er de erlere göre daha yüksektir. Bir önceki örnekte, RandVal yakla³m kullanlarak v 1 de erinin seçildi ini varsayalm. Bu durumda o 1 nesnesinin pozitif snfa ait olma olasl formül 2.2 kullanlarak bulunabilir. P(+ a j : v 1,a j : v 2,a j : v 2,a j : v 3 ) = P(a j : v 1 +) P(+) (2.2) IndepVal (ba msz de er) yakla³m, nitelik de erlerinin birbirinden ba msz oldu unu varsayar. Niteli in sahip oldu u de erlerin tamam snandrmaya katlr. Bu nedenle bu yakla³m, saf Bayes snandrc ile bir miktar benzerlik gösterir. Yukarda bahsedilen örnek için pozitif snfa ait olma olasl, IndepVal yakla³m kullanld nda, formül 2.3 ile hesaplanabilir. P(+ a j : v 1,a j : v 2,a j : v 2,a j : v 3 ) = P(a j : v 1 +) P(a j : v 2 +) P(a j : v 2 +) P(a j : v 3 +) P(+) (2.3) AvgProb (ortalama olaslk) yakla³m niteliklerin sahip oldu u de erlerin olaslklarnn ortalamasnn snandrmaya katlmas olarak tanmlanm³tr. Bunun için niteliklere ait olan bütün de erlerin olaslklar birbirinden ba msz olarak hesaplanr ve son olarak ortalamalar alnr. IndepVal yakla³m olaslk de erlerine çarpma i³lemi uygulad ndan sonucu a³r uç noktalara çekebilirken, AvgProb yakla³m bu durumu engelleyebilir. AvgProb yakla³mna göre, daha önce verilen o 1 örne inin, pozitif snfa ait olma olasl formül 2.4 ile hesaplanabilir. P(+ a j : v 1,a j : v 2,a j : v 2,a j : v 3 ) = (((P(a j : v 1 +) + P(a j : v 2 +) + P(a j : v 2 +) + P(a j : v 3 +)) 4) P(+) (2.4) Bu tez kapsamnda tantlan 4 yakla³mn tamam folksonomi verisi üzerinde kullanlmak üzere gerçeklenmi³tir. Çal³ma içerisinde, bu 4 yakla³mn d³nda, 11

28 snandrmaya katlacak verinin belirlenmesi için farkl yöntemler de denenmi³se de, bu yöntemlerden kayda de er bir sonuç alnamam³tr Karar ağacı bazlı nitelik seçme Nitelik seçme, eldeki nitelik kümesinden, daha iyi snandrma için gerekli olan bir alt küme seçme i³lemidir. Snandrmada kullanlmak üzere, snf etiketleri için daha spesik de erler içeren niteliklerin seçilmesi istenmektedir. Ba³ka ³ekilde ifade edilirse, bir de er, bir snf etiketi için çok kullanlyor ve di eri için çok kullanlmyorsa bu de er ve bu de eri içeren nitelik de erli olmaktadr. Bir snandrma yöntemi olarak karar a ac, snandrma için seçilecek en iyi nitelikleri arad ndan, nitelik seçimi için de kullanlmaktadr. C4.5 karar a açlar ilk kez Quinlan tarafndan [17] snandrma için önerilmi³tir. De erlerinde daha fazla snf bilgisi ta³yan nitelikleri ortaya çkarmas nedeniyle bu yöntem nitelik seçimi için de cazip hale gelmi³tir. [18] çal³masnda bu metot ilk kez nitelik seçimi amacyla kullanlm³tr. Ayrca Ratanamahatana ve Gunopulos C4.5 algoritmasn nitelik seçimi için ö renme kümesinde 5 kere tekrarlamay önermi³tir [19]. Bahsedilen yöntem, söz konusu çal³mada önerilen Seçici Bayes Snandrcnn (selective Bayesian classier) bir parças olarak kullanlm³tr. Bahsedilen çal³maya göre büyük veri kümeleri için rastgele seçilen nesnelerde C4.5 algoritmasn, nitelik seçimi için birkaç kez uygulamak, hzndan dolay tercih edilebilir bir yöntem olarak verilmi³tir. C4.5 algoritmas, öncülü ID3 algoritmas [20] gibi entropi de erlerini baz alr. D'nin snf etiketine sahip olan nesneleri içeren bir veri kümesi oldu u varsaylsn. Snf niteli i k farkl de er alsn ve bu de erler C i olsun (i = 1,...,k)). kümesinin, C i snfna ait olan D kümesindeki nesneler oldu u varsaylrsa D kümesini snandrmak için gereken bilgi, formül 2.5 ile hesaplanabilir. I(D) = k i=1 C i,d p i log 2 p i (2.5) Formül 2.5'te p i herhangi bir nesnenin C i snfnda olma olasl dr. Bu olaslk C i,d / D ile hesaplanabilir. D kümesinin, A niteli inin sahip oldu u v farkl de ere (a 1,a 2,...,a v ) göre v altkümeye ayrld n varsayalm. Her bir altküme D j ( j = 1,...,v), A niteli inde a j de erini ta³yan nesneleri ta³sn. Bu durumda 12

29 D veri kümesinin, A niteli ine göre bölünmesinden sonra snandrma için ihtiyaç olacak bilgi formül 2.6 ile hesaplanabilir. I A (D) = v D j j=1 D I(D j) (2.6) A niteli i ile yaplacak snandrmann bilgisi ise, snandrma için gereken orijinal bilgi miktarndan, bulunabilir. formül 2.6 ile bulunan de erin çkarlmas ile Kazanc(A) = I(D) I A (D) (2.7) Bilgi kazanc ID3 algoritmas için son de erlendirme ölçütüdür. C4.5 algoritmas ise bu son ölçütü ayrlma bilgisi (split information) ile günceller. Ayrlma bilgisi, bir niteli in alaca de erlerin çok geni³ ya da seyrek eleman içeren bir tanm kümesinden gelebiliyor olma durumunu göz önünde bulundurur. Örnek olarak verilen A niteli i için, q j j.nitelik de erinin olasl olarak kabul edilirse, ayrlma bilgisi formül 2.8 kullanlarak bulunabilir. AyrilmaBilgisi(A) = v q j log 2 q j (2.8) j=1 Ayrlma bilgisi ve bilgi kazanc kullanlarak, C4.5 algoritmas için nitelik seçme kriteri olan kazanç oran (gain ratio), formül 2.9 ile hesaplanabilir. KazancOrani(A) = Kazanc(A) AyrilmaBilgisi(A) (2.9) Yüksek kazanç oranna sahip olan nitelikler snandrma ya da karar a acnda dü üm bölme i³lemleri için kullanlabilir. 2.3 Önerilen Yöntem Veri kümesi Bu çal³mada deneyler Bibsonomy [21] sitesinden elde edilen veri kümesi üzerinde gerçeklenmi³tir. Bibsonomy sosyal mim sitesi olup, kullanclarn site mimlerini 13

30 ve yayn referanslarn payla³malarn sa lamaktadr. [22] eserinin yazarlar Bibsonomy sitesinin kurucularndandr ve 2008 ylnda ECML/PKDD konferans kapsamnda sosyal a yaramazlar konusunda çal³malar yaplmas için bir yar³ma düzenlemi³lerdir. Bu yar³mann parças olarak Mays 2008'de genel kullanma açk olacak ³ekilde söz konusu veri kümesi de yaynlanm³tr. Veri kümesi iki farkl tipte içerik bulundurmaktadr: (i) site adreslerinin (URL) kaynak olarak payla³ld mim içerik ve (ii) yayn referanslarnn payla³ld BibTex içerik. Ö renme kümesi, kullancdan yaramaz ve yaramaz olmayan mim nesnesi ile 244 yaramaz ve yaramaz olmayan BibTex nesnesi içermektedir. Mim nesneleri, kaynaklara ili³tirilen etiket, payla³lan URL, açklama ve geni³letilmi³ açklama gibi metin verisinden meydana gelmektedir. Bir di er deyi³le, mim nesneleri dört nitelik içerir ve bu nitelikler bir dizi de er alr. BibTex nesnelerin nitelikleri, mim nesnelere göre çok daha fazladr. BibTex nesneler için verilen 34 niteli in tamam de erlerini metin olarak alr, dolaysyla nitelikler bir dizi de erden (bir ba³ka deyi³le kelimeden) olu³ur. Ancak BibTeX nesneler için konu³uldu unda, birçok nitelik de er olarak, bilinmeyen de ere kar³lk gelen "NULL" ya da bo³ karakter dizisi almaktadr. Bu veri kümesinde her kaynak, ayn kayna n birden fazla payla³m durumunu ortaya çkarmak için tekil bir kodla (hash) kodlanm³tr. Dikkat edilmesi gereken bir konu, niteli in sahip oldu u çok fazla farkl de er, o nitelik için kazanç orann yüksek çkaracaktr. Bu duruma ba l olarak neredeyse bütün kaynaklar için farkl olan, tekil kod içeren niteliklerden yüksek kazanç oran alnmas beklenmektedir. Ancak bu niteliklerin snandrma için gerekli olan bilgiyi içerdikleri söylenemez. Dolaysyla tekil kod içeren nitelikler snandrma srasnda kullanlmamaldr. Veri kümesinin, çal³mann geri kalannda kullanlacak notasyonu a³a daki gibidir: Kullanc: Web sitesinde hesaba sahip bir ziyaretçi. U = {u 1,u 2,...,u N } kümesi bütün kullanclar kapsayan kümedir. Etiket: Kullanc tarafndan kayna a ili³tirilmi³ açklayc bir anahtar kelime. T = {t 1,t 2,...,t M } kümesi bütün etiketleri kapsayan kümedir. 14

31 Kaynak: Siteye eklenen bir kaynak. R = {r 1,r 2,...,r K } kümesi bütün kaynaklar kapsayan kümedir. r i kayna 4 bile³en ile ifade edilebilir;r i =< id,u i,t i,x i >. Burada id Kayna n mim nesnesi mi yoksa BibTex nesnesi mi oldu unu belirten bir de erdir. U i = {u i 1,ui 2,...,ui p}; u i j U kümesi söz konusu kayna a etiket ili³tiren bütün kullanclarn kümesi, T i = {t 1 1 r,...,t 1 r i,...,t p 1 i,...,t p v i } ise etiketlerin kümesidir. t j q i T etiketi bu kayna a u i j U i kullancs tarafndan ili³tirilmi³tir. x i nitelik vektörüdür ve her a j kayna a ba l olan ve çoklu de er alan bir niteliktir. r i kayna nn, metin içeren nitelikleri olan x i üzerinde basit bir ön i³leme adm uygulanm³tr. Edat, ba laç gibi snandrmaya katks olmayan sözcüklerin (stopwords) elenmesi yerine sadece N uzunlu undan ksa olan kelimeler veri kümesinden elenmi³tir. Kalan kelimeler çoklu de er alan niteliklerin de eri olarak kabul edilmi³tir. Önemli olan bir nokta da bo³ karakter dizisi ya da "NULL" de er içeren nitelikler veri kümesinden elenmemi³tir. Bu de erin de snandrma açsndan bilgi ta³yabilir nitelikte olabilece i kri, bu uygulamann nedenidir. Bo³ braklan nitelikler, yaramaz içeri in belirlenmesinde kullanlabilir Karar ağacı bazlı nitelik seçme Nitelik seçme yöntemi x i vektöründeki de erlere uygulanm³tr. D u = {(u 1,y u 1 ),(u 2,y u 2 ),(u N,y N 1 )} kümesi kullanc ve kullancnn ait oldu u snf etiketi y u j (örne in, +1 yaramaz içerik üreten ve -1 yaramaz içerik üretmeyen) içersin. Elimizde kaynaklara kar³lk ait olduklar snf etiketini içeren D = {(r 1,y r 1 ),(r 2,y r 2 ),...,(r K,y r K )} kümesine sahip oldu unu varsayalm. Burada r i R bir kaynaktr ve y r i bu kayna n ait oldu u snf etiketidir (örne in yaramaz için +, yaramaz olmayanlar için -). r i kayna nn nitelikleri x i çoklu de er ald ndan, bölüm 2.2'de anlatlan nitelik seçme yöntemi eldeki veriye uygun ³ekilde adapte edilmelidir. Kaynaklarn çoklu de er alan niteliklerini örneklemek için, çizelge 2.1'deki 2 kayna a göz atalm. r 1 kayna pozitif snfa aitken, r 2 kayna negatif snfa aittir. Kaynaklarn sahip oldu u "Nitelik 1" ve "Nitelik 2" niteliklerinden dolay "x i 'nin iki boyutlu bir vektör oldu u varsaylabilir. Nitelik seçme algoritmasnn uygulamak için, her nitelik ait oldu u kayna n snf niteli iyle ba da³trlr. 15

32 Çizelge 2.2 ve 2.3 srasyla Nitelik 1 ve Nitelik 2'nin sahip oldu u de erlerin, kayna n ait oldu u snf de eriyle ba da³trlm³ halini göstermektedir. Burada çizelge 2.1'in çizelge 2.2'ye ve 2.3'e açld varsaylabilir. Çizelge 2.1: Etiketlenmiş kaynak örnekleri Kaynak Nitelik 1 Nitelik 2 Sınıf r 1 free watches news watches watch + r 2 news portal free news - Çizelge 2.2: Kaynakların Nitelik 1 üzerinden açılışı Nitelik 1 Sınıf free + watches + news - portal - Çizelge 2.3: Kaynakların Nitelik 2 üzerinden açılışı Nitelik 2 Sınıf news + watches + watch + free - news - Bu açl³ i³lemi, öncekiyle ayn yapda ancak farkl sayda nesne içeren yeni veri kümeleri meydana getirir. Açlmadan sonra, çizelge 2.2 ve 2.3'teki gibi tek niteli e ve snf bilgisine sahip veri kümeleri üzerinde, bölüm 2.3'te verilen kazanç oran formülleri uygulanabilir. Yüksek kazanç oran sa layan nitleikler snandrmaya dahil olurlar İlişkisel Bayes sınıflandırıcı BS'nin ili³kisel veri için kullanm [16]'e ba l olarak bir önceki ksmda anlatlm³tr. Niteliklerin sahip oldu u çoklu de erler, tek bir olaslk de erine indirgenip snandrma i³leminin yaplmasna yönelik süreçten bölüm 2.2'de bahsedilmi³tir. Ö renme ksmnda, a i niteli inde yer alan her w kelimesi için P(w W ai +) ve P(w W ai ) de erleri hesaplanmaktadr. Burada W ai a i niteli inde yer 16

33 alan kelimeler kümesini, + yaramaz içerik snfn ve - yaramaz olmayan içerik snfn temsil etmektedir. Çizelge 2.2 göz önüne alnd nda P(Nitelik1 : f ree +) de erinin 0.5 oldu u görülebilir. '+' snfna ait iki kelimeden birisi "free" kelimesidir. Öte yandan P(Nitelik1 : f ree ) de eri 0'dr çünkü '-' snfnda "free" kelimesine hiç rastlanmamaktadr. Test ksmnda ise ö renme ksmnda hesaplanan olaslk de erleri ile bölüm 2.2'de verilen BS formülleri kullanlarak snandrma i³lemi yaplmaktadr. Çizelge 2.1'deki r 1 kayna n test nesnesi olarak göz önüne alalm. Sadece 'Nitelik 1' niteli inin snandrmaya katld n dü³ünürsek ve IndepVal yakla³mn kullanrsak, bu kayna n yaramaz olma olasl formül 2.10 ile hesaplanabilir. P(+ Nitelik1 : f ree, Nitelik1 : watches) = P(Nitelik1 : f ree +) P(Nitelik1 : watches +) P(+) (2.10) Her bir kayna n yaramaz olma olasl hesaplandktan sonra, kullanclarn yaramaz olup olmadklarnn hesab yaplabilir. u kullancsnn yaramaz olma olasl yaramaz u, u kullancsnn etiketledi i kaynaklar kullanlarak, formül 2.11 ile hesaplanabilir. k i=1 yaramaz u = P i(+ E i ) k i=1 P i(+ E i ) + k i=1 P i( E i ) (2.11) Formül 2.11'de k, u kullancsnn etiketledi i kaynaklarn saysn, P i (+ E i ), u'nun i.kayna nn yaramaz olma olasl n, P i ( E i ) ise u'nun i.kayna nn yaramaz olmama olasl n göstermektedir. 2.4 Deney Sonuçları Önerilen sistemi test etmek için, ECML/PKDD 2008 Konferans kapsamnda düzenlenen yar³mann veri kümesi üzerinde bir dizi deney yaplm³tr. Bu veri kümesi ö renme ve test kümelerine ayrlm³ oldu undan, biz de ayn ö renme ve test kümesini kullandk. De erlendirme kriteri olarak da yar³mada kullanlan kriter, AUC (ROC e risinin altnda kalan alan) de eri kullanlm³tr. Bunun d³nda sonuçlar elde etmek için, üretilen sonuçlar yar³ma tarafndan sa lanan de erlendirme kodu ile de erlendirilmi³tir. 17

34 2.4.1 Nitelik seçimi Deneylerin ilk ksm nitelik seçme yönteminin de erlendirilmesi için yaplm³tr. Niteliklerin de erleri, kelime uzunlu u N'e oldukça ba ml oldu undan, nitelik seçme deneyleri N'in farkl de erleri için tekrarlanm³tr. Nitelik seçme sonuçlar, niteliklerin kazanç oranna ba l olarak seçilme sralarna göre verilmi³tir. Çizelge 2.4 BibTex kaynaklarn niteliklerinin kazanç oranna göre, farkl N de erleri için sralarn göstermektedir. Beklendi i gibi tekil kodla olu³turulmu³ nitelikler sürekli ilk sralar almaktadr. Genel olarak konu³ulursa farkl N de erleri, nitelik seçme sonucu olu³an sralamay çok etkilememektedir. Ayn deneylerin mim kaynaklar içeren veri kümesine uygulanmasnn sonuçlar çizelge 2.5'te verilmi³tir. Tekil kodla olu³turulan nitelik yine en üst srada kendine yer bulmaktadr. BibTex kaynaklarda oldu u gibi, mim kaynaklarda da sralama farkl N de erlerine kar³lk de i³memektedir. Çizelge 2.4 ve 2.5'teki sonuçlar göz önüne alnarak, tekil kodla olu³turulan niteliklerin elenmesinden sonra snandrma i³lemi yaplabilir Sınıflandırma Deneylerin ikinci ksmnda, sistemin snandrma performans, AUC kriteri kullanarak de erlendirilmi³tir. Çizelge 2.4 ve 2.5'te nitelik seçme sonuçlar N de erine göre çok de i³medi inden, bütün kelimelerin snandrmaya dahil olmasna karar verilmi³tir. Bu yüzden Snandrma için N de eri 1 olarak alnm³tr. BS'nin performans göz önüne alnd nda, olaslklarn belirlenmesi merkezi bir rol üstlenmektedir. Ancak verinin seyrekli i olaslk belirleme de baz zorluklar meydana getirmektedir. Baz kelimelere test ksmnda rastlanrken, ö renme ksmnda rastlanmamaktadr. Bu verilen nitelik için olaslk de erinin sfr olarak alnmasna ve bütün olaslk hesabnn sfrlanmasna neden olmaktadr. Bu problemin üstesinden gelebilmek için, olaslklarn sfr olmasn engellemesi açsndan bir yumu³atma parametresi (smoothing parameter) E tanmlanm³tr. Ö renme kümesinde hiç geçmeyen bir kelimenin, ö renme kümesinde geçme says 0 de il E olarak alnm³tr. Deneylerde E de eri 10 4 olarak alnm³tr. 18

35 Çizelge 2.4: BibTex kaynakların niteliklerinin nitelik seçimine göre sırası Nitelik N=1 N=2 N=3 N=4 N=5 N=6 N=7 description note title institution day chapter edition bkey organization type crossref school howpublished entrytype volume month bibtexabstract series annote number address year publisher pages url tag_name journal booktitle editor author misc bibtexkey simhash simhash simhash Çizelge 2.5: Mim kaynakların niteliklerinin nitelik seçimine göre sırası Nitelik N=1 N=2 N=3 N=4 N=5 N=6 N=7 url_hash url tag_name description extended

36 lk olarak snandrmada farkl sayda nitelik kullanmann etkisi test edilmi³tir. Bunun için BS snandrcs, iki farkl kaynak tipinden biri için de i³en sayda nitelik alnrken di eri sabit tutulmu³tur. Sabit tutlan nitelik says için niteli i sabit tutulan kaynak tipinin, sahip oldu u niteliklerin saysnn yars kullanlm³tr. Çizelge 2.6'da de i³en sayda BibTex kaynaklarnn nitelik saylarna kar³lk snandrma performans AUC cinsinden verilmi³tir. Sonuçlar göz önüne alnd nda, en iyi kazanç oranna sahip 17 niteli in kullanm daha iyi snandrma performans sa lamaktadr. 11'den az sayda nitelik snandrmaya katld nda ise performans önemli ölçüde dü³mektedir. Bunun d³nda, farkl sayda BibTex niteli inin kullanlmas, snandrma performansn çok etkilememektedir. yakla³mdr. Yine de IndepVal yakla³m en iyi sonucu veren BS Çizelge 2.6: Değişen sayıda BibTex niteliğine karşı AUC değerleri Number Of Top-F Attributes BibTex Bookmark IndepVal AvgVal AvgProb RandVal Ayn deneyler, bu sefer de i³en sayda mim niteli i ile gerçekle³tirilmi³tir. Çizelge 2.7'de bu deneylerle ilgili sonuçlar yer almaktadr. Farkl yakla³mlar göz önüne alnd nda, bir önceki deneylerde oldu u gibi IndepVal yakla³m en iyi performans göstermektedir. Snandrmaya katlan mim niteliklerini saysna göre, snandrma ba³armnda gözle görülür de i³iklikler olmaktadr. Çizelge 2.6 ve 2.7'deki sonuçlar göz önüne alnd nda, en iyi snandrma performansnn 17 BibTex ve 2 mim niteli i kullanld nda elde edildi i söylenebilir. En iyi snandrma yakla³mnn ise [16]'de de sonuçlandrld gibi IndepVal oldu u söylenebilir. Bunun nedeni IndepVal yakla³m kullanld nda niteli e ait her de erin, birbirinden ba mszm³çasna snandrmaya katlmas 20

37 Çizelge 2.7: Değişen sayıda mim niteliğine karşı AUC değerleri Number Of Top-F Attributes BibTex Bookmark IndepVal AvgVal AvgProb RandVal olarak gösterilebilir. Öte yandan [16]'den farkl olarak AvgProb yakla³mndan çok kötü sonuçlar alnm³tr. Bunun nedeni ortalamalar alnd nda nitelik de erlerinin, snf de eri ile ilgili ta³dklar bilgiyi kaybetmeleri olarak dü³ünülebilir. 2.5 Tartışma Bu çal³mada sosyal a yaramazlarnn belirlenmesi için bir sistem sunulmu³tur. Bunun yannda sosyal a yaramazlarn belirlenmesinde performansn arttrlmas için snandrc ve nitelik seçme metodunun nasl i³birli i içinde kullanlabilece inden bahsedilmi³tir. li³kisel veri için belirlenmi³ snandrma stratejisi, nitelik seçme metodu ile desteklenmi³tir. Bu çal³mada ana amaç yaramaz içeri in efektif snandrlmas için bir sistem tasarlamaktr. Yaramaz içeri in efektif snandrlmasnn yannda folksonomi verisindeki ili³kiler de modellenmi³tir. Olu³turulan sistem, yar³ma verisi üzerinde test edilmi³ ve tatmin edici sonuçlar alnm³tr. Önerilen sistem folksonomi verisinin ili³kisel yapsn nitelik seçme yöntemini mevcut yapya adapte ederek korumu³tur. Dahas, bu sistemin en önemli özelli i, snandrma yöntemi için herhangi bir parametreye ihtiyaç duymamasdr. htiyaç duyulan tek parametre, snandrmaya katlacak nitelik saysdr. Kullancnn geri dönü³ü olmadan ya da bir dizi deney yapmadan, snandrmaya katlacak optimum sayda niteli i hesaplanmas bu çal³mann üstüne oldukça yararl olurdu. Bunun yannda nesneler için birden fazla de er ta³yan yeni niteliklerin olu³turulmas da snandrma performansn pozitif etkileyebilir. Bunlarn d³nda kelime entropileri veya kelimelerin veri kümesinde görülme 21

38 sklklar, snandrmaya katlacak de erlerin belirlenmesinde kullanlabilir. Bunun için de yeni BS yakla³mlar tanmlanabilir. 22

39 3. ÇOKLU KARAR PROBLEMİ Web'deki sayfa says her geçen gün katlanarak artmaktadr. Web'in eri³ti i büyüklük, internetin her alanda, küresel bir bilgi servisi olarak kullanmn hzl bir ³ekilde arttrm³tr. Ancak merkezi bir kontrol sistemi olmad ndan Web'deki site ve sayfa saysn kesin olarak bilmek mümkün de ildir. Netcraft gibi sitelerin ay baznda güncellenen ara³trmalarna göre Ekim 2010 itibariyle Web'de site bulunmaktadr [23]. Böyle kalabalk bir ortamda arama motorlar, kullanclardan ald sorgular i³leyerek aranlan bilginin yerini belirlemeye çal³maktadr. Ancak merkezi kontrol eksikli i, artan site saysnn yannda gürültülü, güvenilemez ve çeli³kili bilgi içeren site saysnda art³a da neden olmaktadr. Bu nedenden ötürü, arama motorlarnn ilgili bularak arama sonuçlarnn üst sralarnda yer verdi i siteler arasnda bile oldukça fazla yaramaz içerik barndran site yer alabilmektedir. nternet kullanclarnn, genelde en üstte verilen ilk 10 arama sonucunu kulland göz önüne alnrsa, arama motorlar açsndan bakld nda, en üstteki 10 sonuç içerisinde en kaliteli sitelere yer vermek önemli bir meseledir. Yaramaz sayfalar, arama motorlarnn üretti i sonuçlarn kalitesini ciddi derecede dü³ürmektedir. Arama motorlar yaramaz sayfalar tespit edip, sonuçlardan elemek için etkili algoritmalar kullanmaktadr. Bu tarz algoritmalarn kullanlmamas arama motorlarnn üretti i sonuçlarn güvenilemez olu³una ve dolaysyla arama motorlarna olan güvenin zedelenmesine sebep olur. Yaramaz sayfalarn tespiti için kullanlan en yaygn yöntemlerden bir ço u, bir takm içerik ve ba lant temelli niteliklerin olu³turulup, bunlar üzerinden snandrma yaplmas üzerinedir. Böylece yaramaz sayfalar arama sonuçlarndan elenebilir. Ancak bu, hala arama motorlarnn üretti i sonuçlarn en üstünde, aranan bilgiye sahip en kaliteli sayfalarn bulunaca n garantilemez. Aranan bilgiyle ilgili olu³una ve kalitesine göre sonuçlarn sralanmas klasik yaramaz tespiti probleminden daha farkl bir do aya sahiptir. Bu farklardan bir tanesi, arama 23