Yıl Üniversitesi,

Transkript

1 Fırat Üniversitesi-Elazığ İSTENMEYEN ELEKTRONİK POSTALARIN(SPAM) FİLTRELENMESİNDE KABA KÜME YAKLAŞIMININ KULLANILMASI Yılmaz KAYA 1 Abdullah YEŞİLOVA 2 Ramazan TEKİN 3 1 Bilgisayar Mühendisliği Böl., Siirt Üniversitesi, ykaya72@hotmail.com 2 Zootekni Böl., Yüzüncü Yıl Üniversitesi, yesilova@yyu.edu.tr 3 Bilgisayar Mühendisliği Böl., Batman Üniversitesi, ramazan_tekin@hotmail.com ÖZET Günümüzde internet teknolojilerinin yaygınlaşması ile önemli haberleşme araçlarından biri olan elektronik haberleşme bazı sorunları da beraberinde getirmiştir. Elektronik haberleşmenin en önemli sorunlarından biri spam olarak isimlendirilen istenmeyen mesajların internette yayılmasıdır. Bu çalışmada spam filtrelemek için kaba kümeler kullanılarak bir sınıflama yöntemi önerilmiştir. Kaba küme yaklaşımı özellikler arasındaki bağımlılıkların belirlenmesi, özelliklerin indirgenmesi, özelliklerin öneminin ortaya konulması ve karar kurallarının oluşturulmasında önemli avantajlar sağlamaktadır. Çalışmada, UCI makine öğrenmesi veri tabanından alınan 4601 elektronik postadan oluşan veri kümesine kaba kümeler uygulanmıştır. Yapay sinir ağları ve Bayesian yöntemlerine nazaran önerilen sınıflama yöntemi ile daha iyi sonuçlar elde edilmiştir. Anahtar Kelimeler: Spam, Kaba Kümeler, Veri Madenciliği 1. GİRİŞ İnternetin en çok kullanılan hizmetlerinden biri elektronik haberleşmedir. Ancak internetin gelişmesi ve yaygınlaşması ile birlikte, elektronik haberleşme bir takım sorunları da beraberinde getirmiştir. Elektronik haberleşmenin en önemli sorunlarından biri spam olarak isimlendirilen istenilmeyen mesajların internette yayılmasıdır. Günümüzde istenmeyen mesajların engellenmesi için veri madenciliği teknikleri ile önlemler alınmaya çalışılmaktadır. Bu amaçla karar destek makineleri, yapay sinir ağları, genetik veya karınca kolonisi, karar destek vektör makineleri, bayesian sınıflandırıcı gibi algoritmalar kullanılarak otomatik spam filtreme araçları geliştirilmiştir [5, 13]. Kaba küme teorisi (KKT), özellik seçimi, özellik çıkarımı, değişken indirgeme, karar kurallarının çıkarılması ve desen çıkarımı için uygulanabilir [12, 18]. Veri kümesindeki bağımlılıkların tamamının veya bir kısmın ortaya çıkarılması, gereksiz verilerin silinmesi ve eksik gözlemlerin tahmin edilmesi gibi amaçlar için kullanılabilir. Kaba kümeler (KK) ile sezgisel (genetik algoritma, karınca kolonisi, parçacık sürü optimizasyonu, bulanık küme, karar ağaçları gibi) yöntemler birlikte kullanılarak melez algoritmalar geliştirilebilir [15]. KK lerin önemli bir özelliği de eksik gözlemlere rağmen if - then kural kümelerinin oluşturulmasında da kullanılabilirler [6]. Bu çalışmada KK kullanılarak spam filtreleme metodu önerilmiştir. kural tabanlı bir 2-MATERYAL VE YÖNTEM 2.1. MATERYAL Veri kümesi Hewlett-Packard laboratuarından elde edilen 4601 elektronik postadan oluşmaktadır. Postalardan 57 özellik elde edilmiştir. İlk 48 özellik elektronik mesajlardan elde edilen kelimelerin frekanslarını göstermektedir. Bununla birlikte arasındaki 6 özellik ise elektronik mesajlarda geçen ;, (, [,!, \$ ve \# gibi karakterlerin frekanslarını göstermektedir arasındaki özellikler ise büyük harflerle yazılmış kelimelerin toplam harf sayısı, ortalama harf sayısı ve en uzun kelimenin harf sayısını belirtmektedir. 58. özellik ise elektronik postanın spam olup olmadığını belirtmektedir. Toplam 4601 elektronik postanın 1813 ü spam 2788 posta ise spam değildir. Veri kümesi UCI makine öğrenmesi veri tabanından alınmıştır [9]. Bununla birlikte özellik kümesi Min-Max dönüşümü ile normalleştirilmiştir. Elektronik mesajlardan alınan kelime ve karakterler Çizelge 1 de verilmiştir. Çizelge 1: Veri kümesindeki kelime ve karakterlerin dağılımı 1-make 10-mail edu you lab 38-parts 47-table address receive credit 3-all 12-will 21- your 30-labs 39-pm 48- conferen ce 4-3d telnet 40-direct 49- ; people font 5-our 14-report cs 50- ( 6-over data [ addresess money meeting 7-16-free 25-hp ! remove original 8- internet 17- business 26-hpl project 53- $ 9-order george 36- tecnology 45-re 54- # 148

2 Elektrik-Elektronik ve Bilgisayar Sempozyumu YÖNTEM KABA KÜME TEORİSİNİN TEMEL TANIMLARI BİLGİ SİSTEMİ Kaba kümelerde bilgi sitemi S = ( U, Q, V ) şeklinde tanımlanır. Burada U = { x1, x2,... xn} sonlu boş olmayan evreni göstermektedir. Bu çalışmada evren, elde edilen elektronik mesajlar kümesi olmaktadır. Q = AU d sonlu boş olmayan özellik kümesini ve A ise elektronik mesajların hem başlık hem de içeriğinden elde edilen durum özellikleri kümesini göstermektedir. Durum özellikleri kümesi, elektronik mesajlar içinde geçen kelime, karakter veya özel ifadelerin frekanslarını göstermiş olup, A={a1,a2, an} şeklinde bir özellik vektörüdür. d ise elektronik mesajın spam olup olmadığını belirten karar özelliğidir. Bilgi sistemi durum ve karar özelliklerin birleşiminden oluşmaktadır. V =U V a, a özelliğine ait a A değer kümesidir[16] AYIRT EDİLEMEZLİK İLİŞKİSİ Bir veri kümesinin gereğinden büyük olması veya elde edilen gözlemlerin birbirine benzemeleri ya da aynı olmaları nedeniyle gözlemler birbirinden ayırt edilememektedir. Bu durumda B A olmak üzere B özellik için ayırt edilemezlik ilişkisi IND(B); IND ( B) = {( x1, x2) UxU : a B, a( x1 ) = a( x2)} (1) şeklinde yazılabilir [14]. Burada IND(B), B-ayırt edilemezlik bağıntısıdır. Eğer x 1 ve x 2 IND(B) kümesine ait ise B özellik kümesi ile x 1 ve x 2 birbirinden ayırt edilememektedir. Gözlem kümesi (U=evren), U/IND(B) biçiminde B-ayırt edilememe bağıntısına göre birkaç denklik sınıfına bölünebilir. Bu denklik sınıfları [x] IND(B) şeklinde gösterilir. IND(B) nin tüm denklik sınıfları B nin temel kümesini oluşturmaktadır. Evrenin karar özelliğine göre denklik sınıfları, karar özelliğinin değer sınıflarını oluşturur KÜME YAKLAŞIMLARI Kaba kümelerde temel amaç IND(B) ikili bağıntısı kullanılarak yaklaşımların oluşturulmasıdır. X U olmak üzere X in B-ayırt edilemezlik bağıntısı kullanılarak X e kesin olarak ait olan kümelerin birleşimidir ve, B X = U { xi U [ xi ] IND( B) X} (2) biçiminde gösterilebilir. Ayrıca üst yaklaşım, _ B X = U x U [ x ] I X φ} (3) { i i IND( B) biçiminde yazılabilir [6, 16]. X U ya ait alt ve üst yaklaşımlar evreni(u) POS(X) pozitif bölge, NEG(X) negatif bölge ve BND(X) sınır bölgesi şeklinde üç bölgeye ayırmaktadır. Bu bölgelere ait kümeler, POS( X ) = B X NEG( X ) = U B X BND( X ) = B X B X şeklinde hesaplanmaktadır [1, 8, 14] ÇEKİRDEK ÖZELLİK KÜMESİ (CORE ATTRIBUTES) Bir bilgi sisteminden elde edilen indirgenmiş kümelerin kesişiminden elde edilen kümeye A özellik kümesinin çekirdek (Core) özellik kümesi olarak isimlendirilmektedir [2, 11]. Çekirdek özellik kümesi ayırt edilebilirlik matrisinden de elde edilebilir AYIRT EDİLEBİLİRLİK MATRİSİ S bilgi sisteminde A durum özellikleri için ayırt edilebilir matris M ( A) = ( mi j ) nxn dir. M(A), φ M ( A) = { a A : a( xi ) a( x j )} şeklinde yazılabilir. M(A) ayırt edilebilir matrisi simetri özelliğine sahiptir. M(A) nın her elamanı x i ve x j değerlerini farklı kılan özellikler kümesinden oluşmaktadır ÖZELLİK SEÇİM METODU Özellik indirgemesi, bir bilgi sisteminin minimum özellik ile açıklanması için özellik kümesinden uygun özelliklerin seçilmesi işlemidir. B A olmak üzere eğer POS ( B) = POS( A) ise bilgi sistemi daha az özellik sayısından oluşan B ile açıklanabilir. Bir bilgi sisteminin birden fazla indirgenmiş özellik kümesi olabilir. İndirgenmiş özellik kümelerinin kesişiminden çekirdek özellikler elde edilir. A özellik kümesinin ayırt edilebilirlik matrisine bağlı olarak yeni bir bilgi sistemi S ', Evren : U ' = {( xi, x j ) UxU : d ( xi ) d( x j )} şeklinde oluşturulabilir. Yeni bilgi sistemindeki (A ) özelliklerine ait değerler önceki bilgi sistemindeki (A) özelliklerin değerlerinden tamamen farklıdır. a' A' olmak üzere yeni bilgi sistemine ait durum özelliklerine ait değerler, 1 eger a'( xi) a'( xj) : ( xi, xj) U ' a ' = (6) 0 eşitliği ile hesaplanmaktadır [19]. Bu durumda, yeni oluşan bilgi sisteminde, gözlemleri karar değişkenin belirtilen sınıflarına ayırabilen özellikler seçilmelidir İlk olarak yeni oluşan bilgi sisteminde değerleri en çok 1 (bir) olan özellikler seçilir. R, seçilen özelliklere ait indirgenmiş küme olmak üzere, varsayalım ki ilk seçilen özellik a olsun R = RU a. Hem a özelliği hem de a özelliği ile oluşturulan değerleri bir (1) olan gözlemler U bilgi sisteminden çıkarılarak yeniden bir bilgi sistemi oluşturulur. A' = A' a ile oluşan yeni bilgi sisteminden tekrardan en çok bir(1) değerine sahip özellik (5) (4) 149

3 Fırat Üniversitesi-Elazığ seçilir. Bu işlem U bilgi sisteminde hiçbir gözlem kalmayıncaya kadar devam eder KURAL ÇIKARIMI Kural çıkarımı, durum ve karar özelliklerine göre if A then d şeklinde çıkarılan önermelerdir. Durum özelliklerine göre kural sayısı ciddi anlamda artmaktadır. Ancak özelliklerin kategorik yapıda ve yaklaşımların iyi olması durumunda kural sayısı orantılı olarak artmamaktadır [4, 10] SINIFLANDIRMA İÇİN KABA KÜMELER Kaba küme yaklaşımları, elektronik mesajları sınıflandırma amaçlı kullanılabilir. Küme yaklaşımlarına göre elektronik mesajların spam olup olmadıkları belirlenebilir. KK de evren üç bölgeye ayrıldığından dolayı karar kuralları bu bölgelerden oluştururular. Oluşturulan karar kurallarına göre yeni elektronik mesajlar sınıflandırılır. POS (X ) bölgesinden oluşturulan kurallara uyan mesajlar spam olarak sınıflandırılırsa, NEG (X ) bölgesinden oluşturulan kurallara uyan mesajlar ise spam olmayan mesajlar olarak değerlendirilebilir Böylece elektronik mesajlar, POS (X ) ve NEG (X ) bölgelerinden elde edilen kurallara göre sınıflandırılmış olur PERFORMANS ÖLÇÜTLERİ Önerilen metodun performansını ölçmek için aşağıdaki ölçütler kullanılabilir. a, doğru sınıflandırılan spam elektronik posta sayısı, b spam olmayan ancak spam olarak sınıflandırılan mesaj sayısı, c spam olmayan ve doğru sınıflandırılan mesaj sayısı ve d spam olduğu halde spam olmayan olarak sınıflandırılan mesaj sayısını göstersin. Doğru sınıflandırılan spam olmayan mesajların sayısının spam olmayan toplam mesaj sayısına oranı True Pozitif(TP) olup, c TP = (7) b + c şeklinde hesaplanmaktadır. Doğru sınıflandırılan spam mesaj sayısının toplam spam mesaj sayısına oranı True Negatif(TN) olup, a TN = (8) a + d TP + TN B = (11) 2 biçiminde hesaplanabilir [3, 7] ÖNERİLEN MODEL Bu çalışmada kaba kümeler teorisi kullanılarak önerilen yöntem şekil 1 de verilmiştir. Şekil 1: Kaba küme yöntemi ile spam filtreleme. Veri kümesi şansa bağlı olarak eğitim ve test bilgi sistemleri olarak ikiye ayrılmıştır. Eğitim bilgi sistemi, modeli eğitmek için kullanılmaktadır. Test bilgi sistemi ise modelin etkinliğini saptamak için kullanılmıştır. Önerilen modele göre eğitim bilgi sistemi için ayrılan mesajlardan öncelikle özellik çıkarımı yapılmıştır. Elde edilen özellik kümelerine göre kural veri tabanı oluşturulduktan sonra test bilgi sistemi kural veri tabanına göre sınıflandırılmıştır. 3. BULGULAR Bu çalışmada Kaba küme teorisini kullanılarak bir spam filtreleme yöntemi önerilmiştir. Birinci aşamada elektronik posta içeriklerinden özellik kümesi oluşturulmuştur. Sonraki aşamada ise KK kullanılarak filtreleme üzerinde az etkiye sahip olan özellikler bilgi sisteminden atıldıktan sonra yeni indirgenmiş özellik kümeleri kullanılarak karar kuralları oluşturulmuştur. Test bilgi sistemleri bu karar kurallarına göre sınıflandırılmıştır. Model sırasıyla %10, %20,%30, %90 oranlarında bilgi sistemi ile eğitilmiştir. Eğitim bilgi sistemi KK ile indirgenmiş küme sayıları, özellik kümelerinden elde edilen kural sayısı ve modellere ait çekirdek özellikler Çizelge 2 de verilmiştir. şeklinde hesaplanmaktadır. Yanlış sınıflandırılan spam olmayan mesaj sayınsın toplam spam olmayan mesaj sayısına oranı olan False Pozitif (FP), b FP = (9) b + c şeklinde hesaplanmaktadır. Yanlış sınıflandırılan spam mesaj sayısının toplam spam mesaj sayısına oranı False Negatif (FN) ile gösterilmiş olup, d FN = (10) a + d şeklinde hesaplanmaktadır. Son olarak sınıflandırma başarısı (B), 150

4 Çizelge 2: Modellere ait çıkarılan kural sayıları ve çekirdek özellikler. İndirgenmiş Model Çıkarılan Kural Özellik Küme Eğitimi En Uzun İndirgenmiş Kümedeki özellik Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 Çekirdek Özellikler % A19 % A19 % A19 % A19,S57 % A19,A52 % A19,A27,A42,A46,A52 % A27,A42,A45,A46,A52,A57 % A19,A27,A42,A45,A46,A52, A57 % A19,A27,A42,A45,A46,A57 Çizelge 2 ye göre eğitim bilgi sistemindeki gözlem sayısı artıkça, çıkarılan kural sayısının arttığı gözlenmiştir. Buna bağlı olarak indirgenmiş özellik kümelerin uzunluklarının arttığı tespit edilmiştir. Gözlem sayısının artışına bağlı olarak gözlemlerin karar özelliğine göre sınıflandırılması karmaşık hale gelmesinden dolayı, Çizelge 3: Sınıflandırma oranları Test Veri Kümesinin Oranı Mesaj Doğru Sınıflandırılan Spam Elektronik Posta Spam Olmayan Ancak Spam Olarak Sınıflandırılan Mesaj gözlemlerin daha fazla özellik ile sınıflandırıldığı ve çekirdek özelliklerinde artış olduğu tespit edilmiştir. Oluşturulan modellerde; doğru sınıflandırılan spam ve spam olmayan elektronik mesaj sayıları, yanlış sınıflandırılan spam elektronik mesaj sayıları ve yanlış sınıflandırılan spam olmayan elektronik mesaj sayılarına ait bilgiler Çizelge 3 de verilmiştir. Spam Olmayan ve Doğru Sınıflandırılan Mesaj Spam Olduğu Halde Spam Olmayan Olarak Sınıflandırılan Mesaj nı % % % % % % % % % Çizelge 3 teki sınıflandırma sayıları kullanılarak elde edilen performans ölçütleri Çizelge 4 te verilmiştir. Çizelge 4: Performans ölçütlerine ait sonuçları Test Veri Kümesi TP TN FP FN BS Oranı %90 0, , , , ,72684 %80 0, , , , , %70 0, , , , , %60 0, , , , , %50 0, , , , , %40 0, , , , , %30 0, , , , , %20 0, , , , , %10 0, , , , ,

5 Fırat Üniversitesi-Elazığ Çizelge 4 e göre önerilen modelin çok az bir eğitim bilgi sistemi ile spam elektronik postaları sınıflandırabildiği gözlenmiştir. Eğitim bilgi sistemindeki mesaj sayısının artmasına bağlı olarak başarı sonucunun da artması önerilen modelin kararlılığını ve dayanaklığını göstermektedir. Böylece, çok az bir eğitim bilgi sistemi ile öğrenmenin çok iyi gerçekleştiği gözlenmiştir. Test bilgi sisteminin farklı oranlarına göre başarı grafiği Şekil 2 de verilmiştir. Şekil 2: Başarı Oranları 4. SONUÇ Günümüzde sürekli gelişen internet teknolojileriyle birlikte elektronik posta kullanımı, haberleşmenin en önemli araçlarından biri haline gelmiştir. Çok kısa bir sürede milyonlarca kişinin kullanmaya başladığı ve her geçen gün daha da yaygınlaşan elektronik posta ile haberleşmenin zamanla ticaret, spam ve virüs saldırıları gibi eylemlerin odağı haline gelmiştir. Gündelik yaşantımızın bir parçası haline gelen elektronik posta trafiğinin büyük bir kısmını oluşturan spam elektronik postaları hem kullanıcılar için hem de internet trafiğini için önemli bir sorun haline gelmiştir. Bu çalışmada KKT kullanarak elektronik mesajların sınıflandırılması için kural tabanlı bir model önerilmiştir. Önerilen yöntem ile, aynı veri kümesi için daha önce yapılan çalışmalara göre daha iyi sonuçlar elde edilmiştir. %80 eğitim veri oranı ile yapay sinir ağları kullanılarak sınıflandırma başarısı %90.88, Bayesian sınıflandırma yöntemi kullanılarak sınıflandırma başarısı %75.22 olarak elde edilmiştir [17]. KKT kullanılarak %80 eğitim bilgi sistemi ile sınıflandırma başarısı ise %91.23 olarak tespit edilmiştir. Dolayısıyla önerilen modelin yapay sinir ağlarına ve Bayesian sınıflandırma yöntemlerine göre daha iyi sonuçlar verdiği saptanmıştır KKT ile önerilen yöntemin başarısı eğitim bilgi sisteminden elde edilen kurallara bağlıdır. Yeni bilgi sistemleri çıkarılan kurallara göre sınıflandırıldığından öğrenme tabanlı bir yöntemdir. Kural tabanlı yöntemler diğer yöntemlere göre daha kolay yorumlandıklarından avantajlıdırlar. 5. KAYNAKLAR [1]. Carey, G., Rob, L., Henry, M. K. M. Analyzing and Forecasting Tourism Demand: A Rough Sets Approach, Journal of Travel Research, 46, , 2008 [2]. Changseok, B., Wei-Chang, Y., Yuk-Ying, C., ve Sin-Long, L., Feature selection with Intelligent Dynamic Swarm and Rough Set, Expert Systems with Applications 37, , 2010 [3]. Chih, H.,W., Chiung, H., T., Robust classification for spam filtering by back-propagation neural networks using behavior-based features, Appl Intel. 31, , 2008 [4]. Dey, S., P. Dey, S., Sil, J., Rough Set Approach to Predict the Strength and Ductility of TRIP Steel, Materials and Manufacturing Processes, 24, , 2009 [5]. Drucker, H., Wu, D, Vapnik, V., N., Support vector machines for spam categorization, IEEE Transactions on Neural Networks. 10(5), , 1999 [6]. Edita S., Vladimir B, Biljana S., The synthesis of the rough set model for the better applicability of sagittal abdominal diameter in identifying high risk patients, Computers in Biology and Medicine 40, , 2010 [7]. Enrico, B., Anton B., A survey of learning-based techniques of spam filtering, Artif Intell Rev, 29,63 92, 2008 [8]. James, J. H. L, Gwo-Hshiung T., A Dominancebased Rough Set Approach to customer behavior in the airline market, Information Sciences, 180, , 2010 [9]. Hopkins M, Reeber E, Forman G, and Suermondt J, Spam database from UCI machine learning repository, ics.uci.edu/~mlearn/mlrepository.html,

6 Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 [10]. Jinn-Tsai W, Yi-Shih C, Rough set approach for accident chains exploration, Accident Analysis and Prevention, 39, , 2007 [11]. Jue W, Kun G, Shouyang W., Rough set and Tabu search based feature selection for credit scoring, Procedia Computer Science, 1, , 2010 [12]. Pawlak, J., Z., Grzymala-Busse, R. Slowinski, W. Ziarko, Rough sets, Communications of the ACM, 38 (11), 89 95, 1995 [13]. Ronald B., Anoop, S., Anala, P., Hybrid spam e- mail filtering, First International Conference on Computational Intelligence, Communication Systems and Networks. USA, 2009 [14]. ToshikoW., Hiroyuki I., Masaki T., Hiroshi M., Takashi W., A study on rough set-aided feature selection for automatic web-page classification, Web Intelligence and Agent Systems, An international journal, 4, , 2006 [15]. Xiangyang W., Jie Y., Richard J., Xiaojun L., Rough set feature selection and rule induction for prediction of malignancy degree in brain glioma., Computer methods and programs in biomedicine, 8, 3 : , 2010 [16]. Yu W., Mingyue D., Chengping Z, Ying H., Interactive relevance feedback mechanism for image retrieval using rough set, Knowledge-Based Systems, 19, , 2006 [17]. Yue, Y., Sherif, E., Anti-Spam Filtering Using Neural Networks and Baysian Classifiers. Proceedings of the 2007 IEEE International Symposium on Computational Intelligence in Robotics and Automation Jacksonville, FL, USA, June 20-23, 2007 [18]. Yumin, C., Duoqian, M., and Ruizhi W., A rough set approach to feature selection based on ant colony optimization, Pattern Recognition Letters 31, , 2010 [19]. Zhan, Y., Zeng, X., Sun J., Rough set-based feature selection method, Progress in natural science. 15(3), ,