Destek Vektör Makineleri ile Yaramaz Elektronik Postaların Filtrelenmesi Spam Filtering Using Support Vector Machine

Transkript

1 Destek Vektör Makneler le Yaramaz Elektronk Postaların Fltrelenmes Spam e-mal Flterng Usng Support Vector Machne E. U. Küçükslle ve N. Ateş Süleman Demrel Ünverstes, Isparta/urke, Süleman Demrel Ünverstes, Isparta/urke, Özetçe Elektronk postanın (e-posta) hızlı ve kola br haberleşme aracı olması, nsanlar tarafından letşmde oğun şeklde kullanılmasına neden olmaktadır. E-postanın bu özellkler; reklam apmak, fkrlern nsanlara duurmak ve çeştl stsmar çalışmaları apmak steen nsanlar çn br cazbe merkez olmasını sağlamaktadır. Bu tür grşmler de br güvenlk zafet oluşturmaktadır. emeller Vladmr N. Vapnk tarafından atılan br makne öğrenme algortması olan destek vektör makneler 995 den tbaren sınıflandırma ve eğr udurma problemlernde başarılı sonuçlar vermştr. Bu çalışmada, destek vektör makneler kullanılarak aramaz (stenmeen) e-postaların fltrelenmes şlem gerçekleştrlmştr. Anahtar Sözcükler: Yaramaz (İstenmeen e-posta) destek vektör maknes, fltreler, özntelk, çekrdek fonksonları. Abstract Electronc mal (e-mal) s a communcaton medum that s fast and eas to use, makng people to use t frequentl. hese features of e-mal cause t to be the center of attracton for the people who want to advertse, share ther deas wth others or nvolve n malcous actvtes. hus, these knd of actvtes create securt threats. Support vector machnes are machne learnng algorthms that are developed b Vladmr N. Vapnk and produce successful results n several applcaton domans such as clusterng and curve fttng problem. In ths stud, we carr out unwanted (spam) e-mal flterng usng support vector machne. Kewords : spam, support vector machne, flters, feature, kernel functons.. GİRİŞ Haberleşmenn temel e-posta kullanımına daanmaktadır. Bu popüler aracı kullanan nsan saısı çok fazla olduğundan brçok nsan, grup vea şrketler, nsanlara seslern bu araç vasıtasıla duurmaa çalışmaktadır. Br çalışmaa göre br şrket ağına gelen mesaların %0 nunu aramaz (stenmeen) postalar (YP) oluşturmaktadır[]. İnternet vasıtasıla mesa alma talebnde bulunmadığı halde çok saıda kşe gönderlen bu mesa vea mesalara aramaz e-posta (YP) denr. YP nn kullanılmasının en öneml avantaı, kısa br süre çersnde çok saıda nsana ulaşılmasıdır. YP nn en belrgn zararları se nternet bant genşlğn doldurması ve zaman srafıdır. YP genellkle tcar amaçlı olmasının anında sas br propaganda a da kamuou araştırması apmak amacıla gönderlmş e-postalar da olablmektedr. Br e-posta adresne YP gelmes çn o adresn YP göndercnn elne geçmes gerekmektedr. YP göndercler adresler ele geçrmek çn ağı taraan botlar kullanmaktadırlar. Arama motorlarının kullandığı türden olan bu botlar tüm steler vea formları taraarak korumasız şeklde tutulan tüm blgler almaktadır. Kullanıcılar, üe oldukları ( kşsel blglern ve e-posta adreslern verdkler) her ste ve forumlar üzernden blmeden YP sektörünü beslemektedrler. Destek vektör makneler(dvm) makne öğrenmes gerektren br çok alanda başarılı sonuçlar vermştr. YP'lern fltrelenmes konusunda da br çok çalışmada farklı öntemler le brleştrlerek kullanılmıştır. Rafqul ve Zhou çalışmalarında DVM

2 tabanına bağlı enlkç br YP fltreleme çalışması apmışlardır [7]. Zhang ve arkadaşları çalışmalarında Dvm e daanarak ağ YP'lernn araştırılması üzerne br çalışma apmışlarıdır []. Androutsopoulos ve arkadaşları çalışmalarında ağırlıklı Dvm kullanılarak YP fltreleme öntem kullanmışlardır [4]. Bu ve benzer çalışmaların sonuçları DVM nn YP fltreleme üzerne başarılı olduğunu göstermştr. Bu çalışmada da özntelk kümes daha dkkatl seçldğnde Dvm nn performansının dkkate değer br ölçüde arttığı görülmüştür.. ÖZNİELİK ÇIKARMA VE SEÇME Özntelk çıkartma, bazı krterlere daanarak mevcut blglere br dönüştürme şlem ugulaarak en br özntelk uzaı oluşturmak ken özntelk seçme, mevcut özntelkler arasından, bazı krterlere daanarak özntelk seçme an o örneğ temsl edeblecek en özntelğ seçmektr. Her e-posta çn en öneml parça onun çerğdr (kelmelerdr). Bu üzden YP fltreleme br metn sınıflandırma problemdr. Metn sınıflandırma problemlernn özntelğ de kelmelerdr. Özntelk seçerken dkkat edlmes gereken durumlar vardır. Örneğn, br kelme hem YP hem de normal e- posta(np) da çok geçor vea ksnde de az geçor se o br özntelk değldr. Kullanılan dl de özntelk seçmn etkmektedr. Örneğn, İnglzce br kelme olan got, get le benzer anlam fade eder. Dğer br örnek ürkçe br kelme olan aldı alır le benzer anlamlara sahyptr. Bu k örnekte de görüldüğü gb dller arasında br farklılık mevcuttur. Özntelk seçerken bu farklılıklara dkkat etmek gerekmektedr. En az özntelk saısı le YP tespt edlmes hesaplama zorluğu ve zaman açısından önemldr. Eğer özntelk seçm ugun br şeklde apılmaz se özntelk vektörünün boutu artacak ve bu da hesaplama maletn arttıracaktır. etmekte ve doğru olablecek modeller arasından en modeln bulunmasını hedeflemektedr"[9]. Destek vektöre makneler (DVM), statstksel öğrenme teors ve apısal rsk en aza ndrme lkesne daanan, sınıflandırma ve eğr udurma problemlernn çözümü amacıla Vapnk tarafından ortaa atılmış br öğrenme öntemdr [0]. Bu öğrenme öntem denetml öğrenme öntem kapsamına grer. Denetml öğrenmede, eğtm aşamasında verlern sınıf etketler an hang sınıfa at oldukları belldr. DVM nn asıl aptığı ş kendne grd olarak gelen verler sınıfa aırmaktır. Bu çalışmada DVM; doğrusal arılma, tam olarak doğrusal arılamama ve doğrusal arılamama olmak üzere 3 ana başlıkta ncelenmştr. a. Doğrusal arılma N adet elemandan oluşan eğtm ver kümes D {(, ), =... N} buradak {, + } = olduğu kabul edlrse n sınıf etket, R olup n boutlu uzada herhang br örnektr. ( ) fadesnde k karar f = w + b fonksonun normaln, fades bu doğru üzernde bulunan noktaları, b se eğlm değern göstermektedr. Amaç w ve b eğtm verler ardımıla bulmaktır, an sstem eğtmektr. üm destek vektör maknelernde amaç Şekl 'de olduğu gb verler sınıfa aırmaktır. Şekl 'de keskl çzgler le fade edlen doğrular üzerndek vektörler destek vektör olarak smlendrlr ve umuşak arım çzgs bu vektörler üzernden geçer. İk umuşak arım çzgsnn ortasındak doğru se sert arımıdır ve f ( ) = w + b = 0 çzlr. w fonksonula Şekl 3 te grd uzaından özellk uzaına br dönüşüm gösterlmektedr. Bu ola br özntelk çıkartma şlemdr. 3. DESEK VEKÖR MAKİNELERİ (DVM) "Klask statstk, doğru modeln formunun blndğn varsaıp, amacı modeln parametrelern belrlemek olarak görürken; statstksel öğrenme teors modeln formunun blnmedğn kabul

3 w 3 + b = (3) Şekl : Doğrusal olarak aırma ) = w + b f ( fadesndek vektörel büüklük olup, () n sade haln fade eder. f ) = w + w + w w ( 3 3 f ( ) = w + b f ( ) = w + b w ve n n + b () durumunda = ve durumunda = dr. İk fonksonu ( w şeklnde kısalta blrz. Bu aırma şlemnn püf noktası sınır değern maksmum apmak ve bu saede en arıma sahyp olmaktır. Ver setn sınıflara aırablecek sonsuz saıda çoklu düzlem çzleblmesne karşın, amaç blnmeen ver set le karşılaşıldığında sınıflama hatasını en küçük apacak aşırı düzlem seçmektr. Bunun çn maksmum sınırlı aşırı düzlem teknğ önerlmştr. Sınır değernn büüklüğü genelleme kabletn arttırır. X değer f ( ) = w + b = fonksonu üzernde br nokta ve 3 değer f ( ) = w + b = fonksonu üzernde br noktadır. Sınır değern bulmak çn, w + b = + () (3) ü - le çarpılıp () le toplanyp = 3 + λ.w fades eştlkte erne azılırsa, bunun sonucunda λ=/ w fades bulunur. Hedef, λ değern maksmum apmak olduğu çn / λ fades mnmum olmalıdır. Buna bağlı sınırlama se ( w 0, {, + } dr. Optmzason problem, verlen bazı kısıtlamalar altında br fonksonun maksmumunu a da mnmumunu bulmadır [3]. Bu optmzason problem Lagrange denklemler kullanılarak çözüleblr ve sonuçta, N L( w, b, ) = w w α[ ( w ] =,α 0, α (4) denklem oluşur. Bu problem Karush Kuhn ucker (KK) n (5) ve (6) dak şartları kullanılarak çözülür. L w L w = 0, = 0, (5) (6) (5) ve (6) eştlkler kullanılıp problem çözülünce (7) dek formül oluşur ve bu formül çn kısıtlar N = = 0, 0, α α dr. L( α) = α α α (7)

4 L(α ) optmzason problem standart. dereceden programlama teknklerle çözülür. b. am olarak doğrusal arılamama Verler bazı durumlarda % 00 performansla arılamaablr. Verlern sınır çersne düştüğü (Şekl dek ç dolu kare) durum arılamama ve sert arılma çzgsnn karşı tarafına düştüğü (Şekl dek ç dolu dare) durum da anlış arılma olarak adlandırılır. Bu durumlarda, doğruların mnmum hata le aırma sağlaacak şeklde aarlanması gerekr. bulunmaa çalışılır. Sapma değerlernn eklenmesle mnmum formülason w + C ξ şekln alır. Buradak C (0 < C < ) düzenleme parametres olarak smlendrlr ve bu değer sınır genşlğn doğrudan etkler. am olarak doğrusal arılamama optmzason problem doğrusal arılablen durumda olduğu gb Lagrange denklem ve KK şartlarıla çözülür. Denklemn çözümler apılınca tam olarak doğrusal arılama an umuşak arılma ( w ξ denklemnn verler elde edlmş olunur ve artık ssteme gelen verler bu formüle göre sınıflandırablr. c. Doğrusal arılamama (Çekrdek fonksonlar) Gerçek dünada verler çoğunlukla doğrusal olarak arılamazlar, böle durumlarda destek vektör maknes Şekl-3 dek gb grd uzaını daha üksek boutlu br uzaa taşıarak burada doğrusal aırma şlemelern ugular. Şekl : am olarak doğrusal aıramama Yukarıda anlatılan sorunların çözümü çn ( w kısıt değer (8) dek gb olur. ( w ξ, ξ 0, (8) Buradak ξ gevşek değşken olarak smlendrlr. ξ gevşek değşken br örneğnn sınırdan olan sapma uzaklığıdır. Arılamazlık durumunda ξ, ξ, 0 ξ < ve anlış sınıflandırma durumunda ξ olur. Doğrusal arılamama durumunda anı doğrusal arılmada olduğu gb maksmum sınır Şekl 3: Doğrusal aıramama Grd uzaının daha üksek boutlu uzaa taşınması çn Φ( ) Φ( ) = K(, ) şeklnde br kernel fonksonu kullanılır. Bu blgden ola çıkarak lagrange fonksonu (9) dak gb fade edlr. α αα Φ( ) Φ( ) = α α α K(, )

5 (9) Çekrdek düzenlemes apılarak dönüştürülmüş uzadak Φ () vektörü erne grd uzaındak verlerden oluşan br çekrdek fonkson oluşturularak şlemler gerçekleştrlr. Çekrdek fonkson kullanarak ç çarpım hesaplamak, dönüştürülmüş ntelk set Φ () kullanarak hesaplamaa kıasla daha koladır ve malet düşüktür []. Doğrusal olmaan DVM'de kullanılan çekrdek fonksonları Mercer eorem olarak blnen matematksel br kurala umak zorundadırlar. Bu kural üksek boutta çalışılırken çekrdek fonksonların her zaman k grd vektörünün ç çarpımı şeklnde fade edlmesn sağlamaktadır[8]. En çok kullanılan çekrdek fonksonu gauss (0) da ve polnomal () de gösterlmştr. K(, ) e ( ) = γ K (, ) = ((, ) + ) d (0) () bouttan 6 bouta geçş apan polnomal çekrdek fonksonunun açılımı () de ve onun ç çarpan fonksonu (3) de görülmektedr. K, ) = ( + (. ) = +. sonuçlar elde edlmştr ( + () ϕ ) = [,,,,, ] (3) Çekrdek fonksonları karşılaştırıldığında polnom ve radal tabanlı kernellern daha sade ve anlaşılablr olduğu fade edleblr. Matematksel olarak bast görünse de, polnomun derecesndek artış algortmanın karmaşık br hal almasına neden olmaktadır. Bu da hem şlem süresn öneml ölçüde artırmakta hem de br noktadan sonra sınıflandırma doğruluğunu düşürmektedr. Buna karşın radal tabanlı fonksonun kernel boutu (γ ) olarak fade edlen parametresndek değşmlern sınıflandırma performansına etksnn daha az olduğu görülmüştür [5]. Farklı özellklere sahyp problemlern çözümünde farklı çekrdek fonksonlarının üstünlükler görülmüştür. 4. DENEY SONUÇLARI Bu çalışma [6] dek lngspam_publc sml mal ver set kullanılarak gerçekleştrlmştr. Çalışılan eğtm setnn sonuçlar üzernde belrlec etks olduğu tespt edlmştr. Normal posta( np) saısının YP saısından fazla tutulması kullanıcıa gelen malln tesptnde np olma htmaln arttırmaktadır. Daha önce apılmış olan çalışmaların çoğunda np saısı fazla tutmuştur. Bu durumun en ugun sonuçları verdğ gözlemlenmştr. DVM le sınıflandırma şlemne başlamadan önce özntelk çıkartma ve seçme şlemler çn bazı ön şlemler apılmıştır;. Adımda 3000 np, 000 YP mesaı kelmelerne parçalanmış ve tüm mesalar çersnde en az 5 defa tekrarlaan kelmeler vea özel karakterler seçlmştr.. adımda kelmelern ve özle karakterlern olasılık değerler bulunmuştur. 3. Adımda 96 adet mesa. adımdak fltreden geçrlerek 4. Adıma ulaşmıştır. Artık her mesaın ( ) arasında br değer vardır ve mesaların sınıfları belrldr. Bu mesalar eğtm sınıfını temsl etmektedr. Sonuçta, 5.adımda 96 adet test vers 4.adımdak fltreden geçrlmş ve Öncek çalışmaların hemen hepsnde mesa çersndek özel karakterler sınıflandırma şlemelerne dahl edlmemştr. Bu çalışmada se! # $ karakterler özntelk kümesne dahl edlerek knc br sınıflandırma şlem apılmıştır. ablo de görüldüğü gb %*? karakterler orta derece br olasılık sonucu verdğ çn sınıflandırma şlemne dahl edlmemştr. Arıca, ( ) karakterler de test şlemne tab tutulmuş fakat test sonucunda kada değer br başarı göstermemştr ve bu nedenle özntelk kümesne dahl edlmemştr. DVM le sınıflandırma şlem apılmış ve her mesaın YP vea np etket bulunmuştur. Daha sonra özel karakterler dahl edlerek DVM le tekrar sınıflandırma apılmıştır.

6 ablo : Olasılık Dağılımı ve Başarı üzdes Doğru tanıma saısı Özntelk Kümes est est est3 est4.sınıflandırma Sınıflandırma Sınıflandırma Başarı oranı.sınıflandırma ablo : Özel Karakterlern Olasılık Dağılım ablosu Karakterler! # $ % ( ) *? Olasılık Değerler ablo ' de sınıflandırma sonuçları verlmştr. Sınıflandırma şlemler sonunda her k sınıflandırma sonucu karşılaştırılmış sınıflar farklı se özntelk sınıfına!#$ karakterler dahl edlerek apılan sınıflandırma sonuçları doğru olarak kabul edlmştr. ablo 'de de görüldüğü gb her test soncunda özel karakterler dahl edlerek sınıflandırma apılmış ve tanıma oranının daha üksek çıktığı gözlemlenmştr. 5. SONUÇ Bu çalışmada, br e-posta kümes DVM nn doğrusal arılamama durumu çn sınıflandırılmış ve daha sonra öncek çalışmalarda özntelk kümesnn dışında bırakılan bazı özel karakterler özntelk kümesne eklenerek tekrar sınıflandırma şlem apılmıştır. Fark oluşması durumlarında knc sınıflandırma doğru kabul edlmş ve kada değer oranda performans artışı olduğu görülmüştür. Sınıflandırma şlemler DVM nn doğrusal arılamama durumundak gauss çekrdek fonksonu kullanılmıştır ve çekrdek boutu( γ ) olarak alınmıştır. KAYNAKLAR [] C.Altunaprak, "Baes Yöntem Kullanılarak İstenmeen Elektronk Postaların Fltrelenmes", YL ez, Blgsaar Mühendslğ Blmler, Muğla Ünverstes, Muğla, 006. [] Ü. Adoğan, "Destek Vektör Maknalarında Kullanılan Çekrdek Fonksonların Sınıflama Performanslarının Karşılaştırılması",YL ez, Bostatstk Anablm, Hacettepe Ünverstes, Dalı, İstanbul, 00. [3] N. Crstann and J. S. alor,, An Introducton to Support Vector Machnes and Other Kernel-Based Learnng Methods, Cambrdge: Cambrdge Unverst Press, 000 [4] C. Xao-l, L. Pe-u, Z. Zhen-fang and Y. Qu," A method of spam flterng based on weghted support vector machnes", IEEE Internatonal Smposum on I n Medcne & Educaton IIME ' , pp [5] (03, Nsan), A Practcal Gude to Support Vector

7 Classfcaton,Avalable: u.edu.tw/~cln/papers/gude/gude.pdf [6] (03, Nsan), Lng-Spam data set, Avalable: [7] M.R. Islam, M.U. Chowdhur, W. Zhou," An Innovatve Spam Flterng Model Based on Support Vector Machne", Computatonal Intellgence for Modellng, Control and Automaton and Internatonal Conference on Intellgent Agents, Web echnologes and Internet Commerce, Internatonal Conference on 005, pp [8] P.N. an, M. Stenbach, V. Kumar, Introducton to Data Mnng, Pearson Educaton. Indana: Addson-Wesle, 006. [9] S. olun, "Destek Vektör Makneler: Banka Başarısızlığının ahmn Üzerne Br Ugulama", Doktora ez, İşletme Bölümü, İstanbul Ünverstes, İstanbul., 008. [0] Vapnk, V. (995) he Nature of Statstcal Learnng heor, NewYork: Sprnger- Verlag, 87. [] J. Zhang, L. Wewe, G. We, X. Youmng, "Research on Web Spam Detecton Based on Support Vector Machne", Communcaton Sstems and Network echnologes (CSN) 0,, pp [] Z. Wang, X. Sun, X. L, D. Zhang,, "An Effcent SVM-Based Spam Flterng Algorthm", Machne Learnng and Cbernetcs, Internatonal Conference on 006, pp