Metin Sınıflandırmada Öznitelik Seçim Yöntemlerinin Değerlendirilmesi

Transkript

1 Metin Sınıflandırmada Öznitelik Seçim Yöntemlerinin Değerlendirilmesi Aytuğ Onan 1, Serdar Korukoğlu 2 1 Celal Bayar Üniversitesi, Bilgisayar Mühendisliği Bölümü, Manisa 2 Ege Üniversitesi, Bilgisayar Mühendisliği Bölümü, İzmir aytug.onan@cbu.edu.tr, serdar.korukoglu@ege.edu.tr Özet: Metin sınıflandırma, belgelerin önceden belirlenmiş sınıflara atanmasına yönelik bir çalışma alanıdır. Elektronik belgeler, en önemli bilgi kaynaklarının başında gelmektedir. Metin sınıflandırma, belgelerin otomatik indekslenmesi, istenmeyen e-postaların filtrelenmesi, görüş madenciliği gibi birçok farklı alanda uygulama alanı bulmaktadır. Belgeler makine öğrenmesi yöntemleri ile sınıflandırılmadan önce önişleme (dizgeciklere ayırma, kök bulma vb.), uygun veri temsil yöntemi ile temsil etme (sözcük torbası yöntemi, terim sıklığı, terim varlığı vb.) ve öznitelik seçimi gibi işlemlere tabi tutulur. Metin sınıflandırmada görülen en temel sorunlardan biri, yüksek boyutluluktur. Bu nedenle, öznitelik seçim yöntemleri uygulanarak, veri setinin daha küçük bir altküme ile temsil edilmesiyle ölçeklenebilirlik, etkinlik ve doğru sınıflandırma oranı bakımından daha iyi bir model oluşturulması amaçlanır. Bu çalışmada, dokuz farklı metin sınıflandırma veri seti için, filtre tabanlı ve sarmalama tabanlı öznitelik seçim yöntemleri ile elde edilen sonuçlar değerlendirilmiştir. Anahtar Sözcükler: Metin Sınıflandırma, Öznitelik Seçimi, Filtre Tabanlı Öznitelik Seçimi, Sarmalama Tabanlı Öznitelik Seçimi, Sezgisel Arama. The Analysis of Feature Selection Methods in Text Classification Abstract: Text classification is a field of study which aims to assign documents into predefined classes. Electronic documents are important source of information. Text classification can be successfully applied in several areas, such as automatic document indexing, spam filtering and opinion mining. Before the classification of text documents with the machine learning algorithms, several tasks, such as preprocessing (tokenization, stemming, etc.), identifying an appropriate representation (bag of words, term frequency, term presence, etc.) and feature selection should be employed. One major problem encountered in text classification is the high dimensionality problem. Hence, feature selection is applied to identify an appropriate feature subset so that a more scalable, efficient and accurate classification model can be built. In this study, the performance of filter-based and wrapper-based feature selection methods are evaluated on nine text classification datasets. Keywords: Text Classification, Feature Selection, Filter-based Feature Selection, Wrapperbased Feature Selection, Heuristic Search.

2 1. Giriş Bilgi ve iletişim teknolojilerindeki ilerlemeler ile birlikte kayıt altında tutulan elektronik belge miktarı önemli ölçüde artmıştır. Metin, en önemli bilgi kaynaklarının başında gelmektedir. Metin sınıflandırma, doğal dil işleme, veri madenciliği ve makine öğrenmesi yöntemlerini kullanılarak, belgelerin önceden tanımlanmış bir ya da birkaç sınıfa atanmasını amaçlayan bir araştırma alanıdır. Metin sınıflandırma, haber filtreleme ve organizasyonu, belge organizasyonu ve erişimi, görüş madenciliği, e-posta sınıflandırma ve istenmeyen e-posta filtreleme gibi birçok alanda uygulanmaktadır [1]. Metin sınıflandırma temel olarak, önişleme, veriyi uygun bir temsil yöntemi aracılığıyla temsil etme, öznitelik seçimi, sınıflandırma ve performans değerlendirme olmak üzere beş aşamalı bir süreçtir [2]. Önişleme aşamasında, dizgeciklere ayırma ve köklere ayırma gibi işlemler gerçekleştirilir. Ardından, metin uygun bir veri temsil yöntemi aracılığı ile temsil edilir. Metin temsilinde en yaygın kullanıma sahip yöntem, vektör uzay modelidir. Bu temsilde, metinler sözcük vektörleri olarak temsil edilir. Ancak, vektör uzay modelinin, yüksek boyutluluk, yakın sözcükler arası korelasyonun kaybedilmesi, anlamsal ilişkilerin kullanılamaması gibi bazı sakıncaları bulunmaktadır [2]. Metin sınıflandırma algoritmasının performansını iyileştirmek, etkin ve ölçeklenebilir bir sınıflandırma modeli oluşturmak için gerekli en temel aşamalardan biri öznitelik seçimi aşamasıdır. Metin sınıflandırmada görülen yüksek boyutluluk problemini ortadan kaldırmak için öznitelik seçim yöntemleri sıklıkla uygulanmaktadır. Öznitelik seçimi ile veri setinden, uygun bir öznitelik altkümesi elde edilir. Böylelikle, hem doğru sınıflandırma oranı bakımından, hem de ölçeklenebilirlik bakımından daha iyi bir sınıflandırma modeli elde edilmiş olur. Öznitelik seçimi, M<N olmak üzere, N tane öznitelik içeren bir veri seti için belirli bir ölçüt fonksiyonu, M nin tüm alt kümelerinde en iyi olacak şekilde M özniteliğin belirlenmesi sürecidir [3]. Öznitelik seçim yöntemleri, öznitelik altkümesi değerlendirmede kullanılan stratejiye dayalı olarak filtre tabanlı ve sarmalama tabanlı öznitelik seçim yöntemleri olmak üzere iki temel sınıf altında incelenmektedir [4]. Filtre-tabanlı öznitelik seçim yöntemlerinde, belirli bir öznitelik altkümesinin yararlılığı, belirli bir sezgisel aracılığıyla değerlendirilmektedir. Sarmalama-tabanlı öznitelik seçim yöntemlerinde ise belirli bir sınıflandırma algoritmasının başarımına dayalı olarak öznitelikler seçilir. Filtre tabanlı yöntemler, öznitelik değerlendirmede kullandıkları yönteme dayalı olarak bireysel öznitelik ölçütleri ve grup öznitelik ölçütleri olmak üzere iki temel sınıf altında incelenmektedir [5]. Bireysel öznitelik değerlendirme ölçütleri, özelliklerin uygunluklarını bireysel olarak değerlendirir. Bireysel öznitelik değerlendirme ölçütlerinde son öznitelik alt kümesi, tüm özniteliklerin belirli bir ölçüte göre sıralanması ve belirli bir eşik değeri aşan özniteliklerin seçilmesi ile oluşturulur. Grup öznitelik ölçütlerinde ise özniteliklerin bireysel olarak değerlendirilmesi yerine aday öznitelik altkümelerinin değerlendirilmesi söz konusudur. Böylelikle, öznitelikler arası ilişkilerinde hesaba katılması amaçlanır [5]. 2. Filtre-Tabanlı Öznitelik Seçimi 2.1 Korelasyon-Tabanlı Öznitelik Seçimi Korelasyon-tabanlı öznitelik seçim yöntemi (CS), öznitelik alt kümelerini korelasyona dayalı sezgisel fonksiyon aracılığıyla sıralayan bir filtre tabanlı öznitelik seçim yöntemidir [6]. Korelasyon-tabanlı öznitelik seçim yönteminde, öznitelik seçimi, öznitelik

3 alt kümelerinin yararlılığının sezgisel bir fonksiyona dayalı olarak incelenmesi ile gerçekleştirilir. Korelasyon-tabanlı öznitelik seçiminde, her bir özniteliğin sınıf etiketinin kestirimindeki belirleyiciliğinin yanı sıra, öznitelikler arasındaki korelasyonda dikkate alınır [7]. Özniteliklerin değerlendirilmesinde kullanılan sezgisel değerlendirme fonksiyonu değeri Eşitlik 1 e göre belirlenir: kr (1) cf M s k k( k 1) r Burada, k tane öznitelik içeren bir S öznitelik alt kümesinin sezgisel yararlılığı M S ile, (f S) için ortalama öznitelik-sınıf korelasyonu ile ve ortalama öznitelikler arasındaki korelasyon r ile temsil edilmektedir. ff Sezgisel değerlendirme fonksiyonu kullanılarak, arama uzayındaki tüm olası birleşimler için öznitelik alt kümelerine ilişkin bir sıralama elde edilmektedir [6]. Korelasyon-tabanlı öznitelik seçim yöntemi temel olarak, eğitim verisinin ayrıklaştırılması ile başlar. Her bir özniteliğin sınıflara dayalı ve diğer özniteliklere dayalı korelasyon değerleri hesaplanır. Ardından, sezgisel arama algoritması kullanılarak, öznitelik setlerinin yararlılıkları değerlendirilir ve uygun öznitelik setinin seçimi yapılır. 2.2 Tutarlılık-Tabanlı Öznitelik Seçimi Tutarlılık-tabanlı öznitelik seçimi (CBS), öznitelik alt kümelerinin yararlılığını incelemek için sınıf değerlerinin tutarlılık seviyelerini dikkate alan bir filtre tabanlı öznitelik seçim yöntemidir [8]. Yöntemin öznitelik alt kümelerini değerlendirmek için kullandığı tutarlılık ölçütü, Eşitlik 2 ye göre hesaplanır: ConsBS s J N ff D M r cf i i i 0 (2) 1 Burada, s, öznitelik altkümesini, J, s öznitelik altkümesi için öznitelik değerlerinin farklı birleşim sayısını, D, i öznitelik değeri i birleşiminin görülme sayısını, M, i öznitelik i değeri birleşiminin çoğunluk sınıfında görülme sayısını ve N, veri setindeki toplam örnek sayısını temsil etmektedir [9]. Tutarlık-tabanlı öznitelik seçim yöntemi, tüm öznitelikleri içeren bir alt küme ile başlar. Ardından, öznitelik alt küme uzayından rastgele olarak bir alt küme oluşturulur. Rastgele oluşturulan öznitelik alt kümesi, mevcut öznitelik alt kümesine eşit ya da daha az öznitelik içerdiği takdirde, mevcut ve yeni oluşturulan öznitelik altkümelerinin tutarlılık dereceleri karşılaştırılır. Yeni oluşturulan öznitelik altkümesinin daha iyi bir tutarlılık oranına sahip olması durumunda, bu alt küme seçilir. Süreç, kullanıcı tarafından girilen belirli bir parametre süresince yinelenir. 3. Sezgisel Arama Yöntemleri Filtre-tabanlı grup öznitelik seçim yöntemlerinde (korelasyon tabanlı, tutarlılıktabanlı vb.), öznitelik altkümeleri değerlendirilmektedir. Ancak, arama uzayındaki tüm olası öznitelik altkümelerinin incelenmesi özellikle çok sayıda öznitelik içeren veri setleri için oldukça maliyetli olabilmektedir. Bu nedenle, öznitelik alt küme uzaylarının aranmasında genellikle sezgisel bir arama algoritması kullanılmaktadır [6]. Bu çalışmada, en iyi önce arama algoritması (BFS), genetik algoritma (GA), açgözlü arama algoritması (GS), doğrusal ileri seçim algoritması (LFS), parçacık sürü optimizasyonu (PSO), sıra arama algoritması (RS) ve yeniden sıralama algoritması (RRS) sezgisel arama yöntemleri olarak incelenmiştir. En iyi önce arama algoritmasında arama işlemi mevcut düğümün çocuk düğümleri arasında en iyi değere sahip olanın genişletilmek üzere seçilir. Genetik algoritmalar, evrimsel hesaplamaya dayalı arama yöntemleridir. Genetik algoritmalar, çaprazlama ve mutasyon gibi operatörler kullanılarak, bir sonraki neslin oluşturulduğu yinelemeli bir süreçtir. Açgözlü arama algoritması, arama

4 uzayındaki tüm öznitelikleri içeren ya da hiçbir öznitelik içermeyen bir küme ile başlatılabilir. İleri doğru açgözlü aramada, boş altküme ile başlanır. Ardından, her bir adımda bir öznitelik seçilerek, bu öznitelik mevcut öznitelik altkümesine eklenir [10]. Doğrusal ileri seçim algoritması, en iyi önce arama algoritmasına dayalıdır. Yöntem, açgözlü arama algoritmasının hesaplama maliyetini azaltmak için arama sürecinin her bir adımında değerlendirilecek öznitelik sayısını sınırlandırır [11]. Parçacık sürü optimizasyonu, bir eniyileme problemini P adet parçacıktan oluşan bir toplum aracılığıyla çözmeye çalışan bir yöntemdir. Burada, parçacıklar çözüm uzayı etrafında pozisyon ve hızlarına dayalı olarak hareket eder. Belirli bir parçacığın hareketi hem ilgili parçacığın mevcut en iyi pozisyonuna hem de sürüdeki en iyi mevcut çözüme dayalı olarak yönlendirilir. Sıra arama algoritmasında, öznitelikler belirli bir bireysel filtre-tabanlı öznitelik seçim yöntemi ile sıralandıktan sonra, en yüksek ölçüt değerine sahip öznitelikler sırasıyla eklenir [12]. Yeniden sıralama algoritması, özniteliklerin sıralamasını dinamik olarak değiştirerek, belirli bir özniteliğin eklenmesi ile gereksiz hale gelen özniteliklerin ortadan kaldırılmasını veya gerekli hale gelen özniteliklerin eklenmesini amaçlayan bir sıralama algoritmasıdır [13]. 4. Sınıflandırma Algoritmaları Bu bölümde, farklı yöntemler ile elde edilen öznitelik altkümelerinin değerlendirilmesinde kullanılan sınıflandırma algoritmaları kısaca tanıtılmıştır. Naive Bayes algoritması (NB), istatistiksel bir sınıflandırma algoritmasıdır. Yöntem, Bayes teoremine dayalıdır. Basit yapısına karşın hesaplama ve doğru sınıflandırma bakımından etkin bir yöntem olması nedeniyle metin madenciliği ve diğer birçok alanda başarı ile uygulanmaktadır [14]. Destek vektör makineleri (SVM), doğrusal olmayan bir eşleme yöntemi ile orijinal verinin daha üst bir boyuta dönüştürülmesini sağlayan bir sınıflandırma algoritmasıdır. Destek vektör makinelerinin, genelleştirme yetenekleri yüksektir. Yöntem, gürültülü ve aykırı değerler içeren verilere karşın dayanıklıdır [15]. Radyal tabanlı fonksiyon ağları (RBF), üç katmanlı ileri beslemeli bir yapay sinir ağı mimarisine sahiptir. Gizli katmanda yer alan nöronların aktivasyonu için radyal tabanlı fonksiyonlar ile yapılmaktadır [16]. K-en yakın komşu algoritması (KNN), örnek tabanlı bir sınıflandırma algoritmasıdır. Bu yöntemde, sınıflandırma işlemi, sınıflandırılmak istenen örnek ile sınıflardaki örnekler arasındaki benzerliğe dayalı olarak gerçekleştirilir. Yöntem, basit bir yapıya sahiptir, az sayıda parametre gerektirir ve etkin sonuçlar verebilmektedir. C4.5 algoritması, sürekli ve kesikli değerler ile çalışabilen bir karar ağacı algoritmasıdır. Bu yöntemde, özniteliklerin seçimi, kazanç oranına dayalı olarak yapılır [17]. 5. Deneysel Çalışma ve Sonuçlar Filtre-tabanlı ve sarmalama-tabanlı öznitelik seçim yöntemlerinin metin sınıflandırma alanında değerlendirilmesi için görüş sınıflandırma alanında kullanılan, dokuz farklı alana sahip veri setleri kullanılmıştır. Veri setlerinde veri temsil yöntemlerinin etkinlikleri üzerine gerçekleştirilen daha önceki deneysel çalışmalarda, terim varlığı, terim sıklığı ve TF-IDF ölçütü, 1-gram ve 2- gram modelleri ile temsil edildiğinde en yüksek başarımın (doğru sınıflandırma oranının) terim sıklığı ve 1-gram modeli ile elde edildiği görülmüştür [18]. Bu nedenle, bu çalışmada bu temsil yöntemi benimsenmiştir. Tablo 1 de veri setine ilişkin temel özellikler sunulmuştur. Burada, veri setinde yer alan her bir sözcük öznitelik

5 olarak ele alındığında ve 1-gram temsili kullanıldığında elde edilen öznitelik sayılarına yer verilmiştir. Tablo 1: Veri setlerine ilişkin temel özellikler [19] Pozitif Negatif Görüş Görüş Kutbu Kutbu Sayısı Sayısı Veri Seti Öznitelik Sayısı (1- gram) Camera Camp Doctor Drug Laptop Lawyer Music Radio TV Deneysel çalışmalar, WEKA ile gerçekleştirilmiştir. WEKA geliştirici versiyonunun seçilmesinde, bu versiyonun yeni geliştirilen sezgisel arama algoritmalarının eklenmesini olanaklı kılması etkili olmuştur. Sınıflandırma algoritmaları ve öznitelik seçim yöntemleri ile bir arada kullanılan sezgisel arama yöntemleri, birçok parametreye karar verilmesini gerektirmektedir. Deneysel sonuçlarda listelenen tüm parametreler, WEKA yazılımında yer alan varsayılan değerlerdir. Deneysel çalışmada, 10-kat çapraz geçerleme yöntemi benimsenmiştir. Bu yöntem ile veri setleri 10 eşit parçaya ayrılarak her bir yinelemede parçalardan biri modelin sınanmasında geri kalan parçalar ise eğitim için kullanılmıştır. Değerlendirme ölçütü olarak doğru sınıflandırma oranı kullanılmıştır. Bu bölümde sunulan deneyler, Tablo 1 de belirtilen veri setleri ile öznitelik seçim yöntemlerinin teker teker uygulanması ile elde edilmiş olup Tablo 2 ve Tablo 3 te dokuz veri setinde elde edilen ortalama sonuçlar listelenmiştir. Tablo 2 de filtre-tabanlı öznitelik seçim yöntemleri ile farklı sınıflandırma algoritmaları ile elde edilen sonuçlar özetlenmiştir. Deneysel sonuçlar incelendiğinde, tüm öznitelik seçim yöntemleri ve sınıflandırıcılar arasında en yüksek doğru sınıflandırma oranının %89.72 olduğu ve bu oranın tutarlılık tabanlı öznitelik seçim yöntemi sıra arama algoritması ile bir arada kullanıldığında elde edilen öznitelik altkümesi ile Naive Bayes algoritması tarafından elde edildiği görülmektedir. Destek vektör makineleri ve radyal tabanlı fonksiyon ağları ile elde edilen en yüksek doğru sınıflandırma oranları da tutarlılık tabanlı öznitelik seçim yöntemi sıra arama algoritması ile bir arada kullanıldığında elde edilmektedir. C4.5 karar ağacı algoritmasının en iyi sonucu korelasyon tabanlı öznitelik seçim yöntemi en iyi önce arama algoritması ile bir arada kullanıldığında, K-en yakın komşu algoritmasının en iyi sonucu ise korelasyon tabanlı öznitelik seçim yöntemi doğrusal ileri seçim algoritması ile birlikte kullanıldığında alınmaktadır. Tutarlılık tabanlı ve korelasyon tabanlı öznitelik seçim yöntemleri birbirlerine yakın sonuçlar vermekle birlikte, kullanılan arama algoritması ve sınıflandırıcıya dayalı olarak en yüksek başarım elde edilen konfigürasyon değişiklik gösterebilmektedir. Sarmalama tabanlı öznitelik seçim yöntemlerinde bir öğrenme algoritması temel sınıflandırıcı olarak kullanılarak hangi özniteliklerin seçileceğinde etkili olmaktadır. Bu çalışmada, Naive Bayes (NB) ve K-en yakın komşu (KNN) algoritmaları ile en iyi önce arama, genetik algoritma, doğrusal ileri seçim algoritması, parçacık sürüsü optimizasyonu ve sıra arama algoritması gibi farklı arama yöntemleri bir arada kullanılarak öznitelik kümeleri elde edilmiştir. Bu öznitelik kümelerinin etkinlikleri, ilgili sınıflandırıcılar (NB ve KNN) kullanılarak değerlendirilmiştir. Tablo 3 te sarmalamatabanlı öznitelik seçimine ilişkin deneysel sonuçlar özetlenmiştir. Bu sonuçlar incelendiğinde, farklı öznitelik seçim yöntemleri ve sınıflandırıcı birleşimleri

6 içinde en yüksek doğru sınıflandırma oranının, %88.84 olduğu görülmektedir. Bu oran, NB+RS öznitelik seçim yöntemi ile öznitelik altkümesi elde edildiğinde ve bu altküme Naive Bayes sınıflandırıcı kullanılarak sınandığında elde edilmektedir. Tablo 2: Filtre-Tabanlı Öznitelik Seçim Yöntemlerine İlişkin Deneysel sonuçlar Yöntem NB SVM C4.5 KNN RBF Ortalama CS+BFS CS+GA CS+GS CS+LFS CS+PSO CS+RS CS+RRS CBS+BFS CBS+GA CBS+GS CBS+LFS CBS+PSO CBS+RS CBS+RRS Ortalama Tablo 3: Sarmalama-Tabanlı Öznitelik Seçim Yöntemlerine İlişkin Deneysel sonuçlar Yöntem NB KNN Ortalama NB+BFS NB+GA NB+LFS NB+PSO NB+RS KNN+BFS KNN+GA KNN+LFS KNN+PSO KNN+RS Ortalama Sonuçlar Bu çalışmada, metin madenciliğinde filtretabanlı ve sarmalama-tabanlı öznitelik seçim yöntemlerinin başarımı değerlendirilmiştir. Bu amaçla, filtre-tabanlı (korelasyon-tabanlı ve tutarlılık-tabanlı öznitelik seçimi) yedi farklı arama algoritması ile bir arada kullanılarak etkinlikleri değerlendirilmiştir. Sarmalama tabanlı öznitelik seçim yöntemlerinin değerlendirilmesi için on farklı sarmalama tabanlı öznitelik altkümesi elde edilmiş, bu altkümelerin başarımları 2 temel sınıflandırıcı aracılığıyla değerlendirilmiştir.

7 Sarmalama-tabanlı öznitelik seçim yöntemleri için en yüksek doğru sınıflandırma oranı (%88.84) NB+RS öznitelik seçim yöntemi ve Naive Bayes sınıflandırıcısı kullanıldığında elde edilmektedir. Filtre-tabanlı öznitelik seçim yöntemlerine ilişkin karşılaştırmalar içerisinde en yüksek doğru sınıflandırma oranı tutarlılık tabanlı öznitelik seçim yöntemi sıra arama algoritması ile bir arada kullanıldığında elde edilen öznitelik altkümesi ile Naive Bayes algoritması ile alınmıştır. 7. Kaynaklar [1] Aggarwal, C.C., Zhai, C.X., A survey of text classification algorithms, Mining text Data, Aggarwal, C.C., Zhai, C.X. (Eds.), Springer-Verlag, New York, (2012). [2] Korde, V., Mahender, C. N., Text classification and classifiers: a survey, International Journal of Artificial Intelligence & Applications, 3(2): (2012). [3] Narendra, P.M., Fukunaga, K., A branch and bound algorithm for feature selection, IEEE Transactions on Computers, 26(9): (1977). [4] Chandrashekar, G., Sahin, F., A survey on feature selection methods, Computers and Electrical Engineering, 40: (2014). [5] Diao, R., Feature selection with harmony search and its applications, Ph.D. Thesis, Aberystwyth University, 213p (Unpublished) (2014). [6] Hall, M.A., Correlation-based feature selection for machine learning, Ph.D. Thesis, University of Waikato, 198p (Unpublished) (1999). [7] Hall, M.A., Smith, L.A., Feature selection for machine learning: comparing a correlation-based filter approach to the wrapper, Proceedings of the Twelfth International Florida Artificial Intelligence Research Society Conference, USA, (1999). [8] Liu, H., Setiono, R., A probabilistic approach to feature selection: a filter solution, Proceedings of the Thirteenth International Conference on Machine Learning, (1996). [9] Hall, M. A., Holmes, G., Benchmarking attribute selection techniques for discrete class data mining, IEEE Transactions on Knowledge and Data Engineering, 15(6): (2003). [10] Gütlein, M., Large scale attribute selection using wrappers, Diploma Thesis, University of Freiburg, 135p (Unpublished) (2006). [11] Gütlein, M., Frank, E., Hall, M., Karwath, A., Large-scale attribute selection using wrappers, Proceedings of IEEE Symposium on Computational Intelligence and Data Mining, (2009). [12] Witten, I.H., Frank, E., Hall, M.A., Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufmann Publishers, Burlington, (2011). [13] Bermejo, P., Ossa, L., Gamez, J. A., Puerta, J. M., Fast wrapper feature subset selection in high-dimensional datasets by means of filter re-ranking, Knowledge- Based Systems, 25:35-44 (2012). [14] Han, J., Kamber, M., Data mining: concepts and techniques, Morgan Kaufmann Publishers, Burlington, (2006).

8 [15] Abe, S., Support vector machines for pattern classification, Springer, London, (2010). [16] Bors, A.G., Introduction to the radial basis function (rbf) networks, Online Symposium for Electronics Engineering, 1(1): 1-7 (2001). [17] Niuniu, X., Yuxun, L., Review of decision trees, Proc. of the Third IEEE Int. Conf. on Computer Science and Information Technology, China, (2010). [18] Onan, A., Korukoğlu, S., Görüş Madenciliğinde Sınıflandırıcı Toplulukları, Proceedings of the 23rd Signal Processing and Communications Applications Conference (SIU), Turkey, (2015). [19] Whitehead, M., Yaeger, L., Building a general purpose cross-domain sentiment mining model, Proceedings of IEEE World Congress on Computer Science and Information Engineering, (2009).