Eş-Talim Yöntemi ile Metin Sınıflandırma İçin Bir Uygulama

Transkript

1 Eş-Talim Yöntemi ile Metin Sınıflandırma İçin Bir Uygulama Katira Soleymanzadeh1, Ufuk Hürriyetoğlu1, Bahar Karaoğlan1, Senem Kumova Metin2, Tarık Kışla3 1 Ege Üniversitesi, Uluslararası Bilgisayar Enstitüsü, İzmir 2 İzmir Ekonomi Üniversitesi, Yazılım Mühendisliği Bölümü, İzmir 3 Ege Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitim Bölümü, İzm katirasole@gmail.com,ufuk.hurriyetoglu@gmail.com,bahar.karaoglan@ege.edu.tr, senem.kumova@izmirekonomi. edu.tr, tarik.kisla@ege.edu.tr Özet: Metin sınıflandırması bilgi geri getirim, doğal dil işleme gibi farklı alanlarda önemli bir konudur. Ancak etiketlenmiş veri miktarının az olması ve yüksek miktardaki verinin etiketlenmesinde yaşanan güçlükler metin sınıflandırması işini zorlaştırmaktadır. Yarı-gözetimli bir öğrenme sistemi olan eştalim algoritması, bu sorunların üstesinden gelmek için küçük bir etiketlenmiş veri kümesinin etiketlenmemiş örneklerden faydalanarak genişletilmesini sağlar. Bu bildiride eş-talim algoritmasını temel alan bir sınıflandırma yönteminin, Türkiye Üniversitelerinde bilgisayar mühendisliği (BM) bölümünde verilen derslerin sınıflandırmasındaki başarısı incelenmektedir. Eş-talim yönteminde bir örnek iki ayrık sınıflandırma özelliğiyle ifade edilir. Çalışmamızda eş talim yönteminin uygulanması için gerekli olan iki ayrık özellik, derse ait başlık ve içerik bilgisi olarak kabul edilmiştir. Başlık ve içerik özelliklerini dikkate alan sınıflandırıcıların ortak kararı ile etiketlenmiş veri kümesi genişletilerek sınıflandırma doğruluğu arttırılmaya çalışılmıştır. Eş-talim sınıflandırıcısı olarak Naive Bayes (NB) ve destek vektör makinesi (DVM) kullanılmıştır. Önerilen yöntem her iki sınıflandırıcıda NB yönteminin kullandığı durumda sınıflandırmada 71% doğruluk oranı elde etmiştir. Anahtar Sözcükler: Eş-Talim, Sınıflandırma, Naive Bayes, Destek vektör makinesi. Text Classification with co-training: An Application Abstract: Text classification is an important topic in areas such as information retrieval and natural language processing. Lack of labeled data and the effort required to label unlabeled data is one of the main obstacles in text classification problems. To address this issue, semi-supervised co-training algorithm which exploits unlabeled data to reinforce the initial small labeled dataset is revised in this study. Here, we examine co-training classification performance on the courses that are given in computer engineering departments of 16 universities in Turkey. We considered the title and the content of the courses as the two attributes (different views) for co-training. In order to increase the classification accuracy, the common agreement of classifiers is considered. Support vector machine and Naïve Bayes are used as co-training base classifiers. When Naïve Bayes classifier is used for both title and content views, classification accuracy reached to 71%. Keywords: Co-training, Classification, Naïve Bayes, Support Vector Machine 1. Giriş Elektronik verilerin, özellikle yazılı metin içeren verilerin, hızla artması ve bu büyük veri kümelerinin işlenmesinde yaşanan zorluklar sebebiyle, otomatik metin sınıflandırması birçok alanda (örneğin bilgi çıkarımı, bilgi geri getirim ve soru cevap) önemli bir konu olmuştur. Metin sınıflandırmasına dair yöntemler üç farklı kategoriye ayrılmaktadır: gözetimli, gözetimsiz ve yarı-gözetimli öğrenme yöntemleri. Gözetimli öğrenme yöntemlerinde büyük miktarda verinin sınıfı makine öğrenmesinde kullanılmak üzere önceden elle işaretlenir (etiketlenir), sınıflandırıcıya etiketsiz bir örnek verildiğinde etiketli veri kümesinden öğrenilen bilgilere dayanarak sınıflandırma yapılır. Ancak etiketlenmiş veri eksikliği ve etiketleme için harcanan güç ve zaman, araştırmacıların gözetimli yöntemleri uygulamalarında zorluk yaşamalarına sebep olur. Gözetimsiz yöntemlerde eğitim aşaması yoktur yani etiketlenmiş veriye ihtiyaç olmadan bir sınıflandırma yapılır. Bu sebeple araştırmacılar tarafından gözetimsiz yöntemler tercih edilse de gözetimsiz sistemlerin başarısı gözetimli yöntemlere oranla daha düşük olabilmektedir. Yarı-gözetimli öğrenme sisteminde ise küçük bir etiketlenmiş veri kümesi kullanarak etiketlenmemiş veriler sınıflandırılabilir. Bu anlamda etiketlenmiş verinin az olduğu veya etiketlemenin yüksek maliyetli olduğu durumlarda yarı gözetimli yöntemler tercih edilir. 961

2 Yarı gözetimli bir öğrenme sistemi olan eş-talim yönteminde iki ayrı özellik kümesi tanımlanır. Bu yöntemde iki özellik kümesinin birbirinden bağımsız olarak, doğru bir sınıflandırma yapılmasını sağlayan bilgileri içerdiği kabul edilir. Ancak çoğu zaman verilerin sadece belirli bir özelliğe dayanarak sınıflandırmaları yeterli olmamaktadır. Bu sebeple eş-talim yönteminde iki temel sınıflandırıcıya iki farklı özellik grubu verilmektedir. Muslea vd. [1] ve Zhang vd. [2] görüşlerine göre iki ayrı özellik kümesi üzerinde yapılan sınıflandırmalar aynı niteliğe sahip değildir ve bir özellik diğerine göre daha iyi sınıflandırma yapabilir. Bu sebeple iki sınıflandırıcının bir arada kullanılmasının sınıflandırma başarısını arttıracağı beklentisi oluşur. Blum ve Mitchell [3] tarafından önerilen yarı-gözetimli öğrenme eş-talim tekrarlamalı algoritmasına göre etiketlenmemiş verilerin sınıflandırması çok az miktardaki etiketlenmiş veriye dayanarak yapılır ve sonra etiketlenen veriler eğitim kümesine ilave edilerek sınıflandırma doğruluğu arttırılır. Eş-talim yöntemi web, e-posta, soru ve elektroansefalo (EGG) sınıflandırması gibi birçok uygulamada kullanılmıştır [4-7]. Örneğin, Sun vd. [4] çalışmalarında web sayfalarının sınıflandırması için sayfaların içerik ve in-link bağlantılarını temel sınıflandırıcı olarak kullanarak, bir varlık tabanlı eş-talim algoritması önermiştir. Deneyler sonucunda elde ettikleri F1 değerini 0.65 olarak raporlamışlardır. Bir diğer çalışmada Jiang vd. [8], NB ve DVM yöntemlerini temel sınıflandırıcıları olarak kullanan eş-talim algoritmasına benzer hibrit bir yöntem önermişlerdir. Jiang vd.[9] çalışmalarında eş-talim biçimli algoritmanın başarısının temel sınıflandırıcıların genel kabiliyetine dayandığını ve sözde-etiketlenen verilerin eğitim kümesine eklendiğinde eştalim algoritmasının başarısını azalttığını vurgulamıştır. Bu tür sorunların üstesinden gelmek için çalışmalarında üretken (ing. generative) ve ayrıcalık yapan (ing. discriminative) sınıflandırıcıların birleşim gücünü kullanmışlardır. Yu vd. [5] çalışmasında ise Çince soruların sınıflandırması için eş-talim yönteminin temel sınıflandırıcısına tanımlanan özellik olarak kelime torbası özelliğini kullanılmıştır. Etiketlenmemiş verilerin etiketi, sınıflandırıcıların ortak kararıyla belirlenmektedir. Etiketlenmemiş verinin oranı 40% altında olma durumunda, ortalama doğruluğu 88.9% dur. Bu bildiride eş-talim algoritmasının başarısı Türkiye Üniversitelerinde bilgisayar mühendisliği (BM) bölümünde verilen derslerin sınıflandırmasında incelenmektedir. Çalışmamızda ders başlıkları ve ders içeriği (amaç, konu, plan, dersin çıktıları, ders ve referans kitapları) kullanılarak sırf Naive Bayesian, sırf DVM ve içerik-başlık eş-talim yöntemi ile sınıflandırma uygulanıp karşılaştırılmaktadır. BM dersleri ACM sınıflandırmasına göre 12 ayrı sınıfa ayrılmaktadır. Ancak veri setinin küçük olması nedeniyle sadece veri setinin içerdiği 4 kategori; donanım, yazılım mühendisliği, hesaplama teorisi ve bilişim metodolojileri; göz önünde bulundurulmuştur. Bölüm 2 de çalışmamızda kullanılan temel sınıflandırıcılar ve eş talim yöntemi tanımlanmaktadır. Önerilen yöntem bölüm 3 de ve deneysel sonuçlar bölüm 4 de verilmektedir. Bölüm 5 de elde edilen sonuçlar tartışılmaktadır. 2. Temel Sınıflandırıcılar ve Eş-Talim Algoritması 2.1 Naive Bayes (NB)Algoritması Naive bayes algoritması olasılık teorisine dayanan bir öğrenme ve sınıflandırma yöntemidir. Bu algoritmada, tüm nitelikler birbirinden bağımsız şekilde, bir belgenin sınıfının belirlenmesinde aynı öneme sahiptir. Algoritmada bir belgede geçen kelimelerle o belgenin hangi sınıfa ait olduğuna dair olasılık hesaplanır ve olasığı yüksek olan sınıf o belgenin sınıfını belirtir. Denklem 1 de verilen formül, d belgesinin c sınıfına ait olma olasılığını hesaplamaktadır: Bu formülde, Pw ( c i ) bir d i belgesinde geçen kelimelerin, c i sınıfında görünme olasılığını, Pc ( i ), c i sınıfın olasılığı ve Pd ( i ) bir belgenin olasılığını hesaplamaktadır. Bir d belgesinin hangi sınıfa ait olmasının hesaplanması için, Pc ( i di) olasığını en yüksek yapan sınıf belgenin sınıfını belirlemektedir ve denklem 2 de verilen formülle belirlenmektedir. Metin sınıflandırmasında iyi sonuç veren NB algoritması eş-talim yöntemin temel sınıflandırıcısı olarak uygulanmaktadır. 2.2 Destek vektör makinesi (DVM) Destek vektör makinesi gözetimli öğrenme sınıflandırma algoritması 1995 de Vladimir Vapnik tarafından sunulmuştur[10]. DVM sınıflandırıcısı veri madenciliği, metin sınıflandırması, el yazısının 962

3 karakter tanımlanması ve kanser sınıflandırması gibi birçok alanda kullanılmaktadır. n noktadan oluşan kümenin { x1, x2,..., x n }, her bir noktası +1 veya -1 sınıf etiketine etiketlenmektedir ve eğitim kümesini oluşturur. DVM nin amacı bu noktaları iki sınıfa ayırmak için denklem 3 de verilen ayrıştırıcı hiperdüzlemi bulmaktır. wx. + b= 0 denklem 3 Formülde w, hiperdüzlemin normali ve b sabit olarak tanımlanmaktadır. Yöntem öncelikle iki farklı sınıfa atanmış birbirine en yakın iki örneği belirler. İki sınıfı birbirinden ayıracak hiperdüzlemin bu iki örnek arasında bulunduğu kabul edilir. Bu alandaki ayırıcılığı en iyi hiperdüzlem iki noktaya mesafesi en uzak olan düzlemdir. 2.3 Eş-talim algoritması Eş-talim tekrarlamalı yarı-gözetimli sınıflandırıcısı, ilk olarak 1998 de Blum ve Mitchell [3] tarafından web sayfalarını sınıflandırma uygulamasıyla sunulmaktadır. Eş-talim yönteminde her bir örneğin birbirinden ayrık/bağımsız iki özelliğini temel alan iki sınıflandırıcı kullanılır. Aynı etiketlenmiş veri kümesi farklı özellikler dikkate alınarak bu iki sınıflandırıcının eğitiminde kullanılır. Ardından etiketlenmemiş veri kümesi küçük parçalar halinde sınıflandırıcılara verilir ve sınıflandırıcıların bu kümeyi etiketlemesi istenir. Her tekrarlamada en yüksek eminlikle (ing. confident), sözde etiketlenen örnekler veri setine eklenir ve sınıflandırıcılar yeniden bu veri seti üzerinden eğitilir. Böylece bir sonraki tekrarlamada sınıflandırmanın doğruluk oranı arttırılmaya çalışılır. Eş-talim algoritması Blum ve Mitchell çalışmasında Tablo 1 de verildiği şekilde tanımlanmıştır. İlgili çalışmada hiperlink ve sayfa içeriği iki ayrık özellik/sınıflandırıcı olarak kullanılmıştır. Tablo 1. Eş-talim algoritması 3. Önerilen Eş-Talim Yöntemi Bu çalışmada verilen bir dersin ACM sınıflandırması içinde hangi kategoride olduğunun belirlenmesi amacıyla eş talim algoritmasını temel alan iyileştirilmiş bir sınıflandırma yöntemi tanıtılmaktadır. Önerilen yöntemde ders bilgileri iki bağımsız/ayrık özellik kümesi ile ifade edilmektedir: başlık ve içerik. Deneylerde öğrenme sınıflandırıcıları olarak NB ve DVM algoritmaları kullanılmaktadır. Çalışmamızda önerilen sınıflandırma sistemine ait genel yapı Şekil 1 de verilmiştir. Şekil 1. Önerilen ders sınıflandırma sistemi 963

4 Önerilen sistemin eğitim aşamasında öncelikle etiketlenmiş örneklerin hepsi kullanılarak iki sınıflandırıcı eğitilir. Bu aşamanın ardından etiketlenmemiş veri kümesinin tümü sınıflandırıcılara verilir. Sınıflandırıcılar her bir etiketlenmemiş örnek için ilgili örneğin aday sınıflara atanma olasılıklarını hesaplar. Çalışmamızda yarı gözetimli bu yöntemin daha doğru sonuçlar üretmesini sağlamak amacıyla herhangi bir sınıfa atanma eşik olasılık değeri t=0.5, ampirik çalışmalar sonucunda belirlenmiştir. Önerilen yöntemde etiketlenmemiş bir örneğin belirli bir sınıfa atanması yani sözde etiketlenmesi için iki kriter göz önünde tutulmaktadır: 1. İlgili sınıfa ait olasılık değerinin eşik değerini aşması 2.Her iki sınıflandırıcının da ilgili örneği aynı sınıfa ataması Bu iki kriteri de sağlayan örnekler (sözde etiketlenen) eğitim kümesine eklenir ve sınıflandırıcılar bu yeni eğitim kümesi ile tekrar eğitilir. Tüm etiketlenmemiş örneklerin etiketlenmesi bitene kadar bu işlem devam eder ve her tekrarda eklenen örnekler sayesinde sınıflandırıcılar bir kere daha eğitilir. Önerilen yönteme ait uygulama basamakları Tablo 2 de verilmiştir. Tablo 2. Önerilen eş-talim algoritması 4. DENEYSEL SONUÇLAR Metin sınıflandırma süreci üç adımdan oluşmaktadır: metin ön-işleme, eğitim ve sınıflandırma (şekil 2). Birinci adımda metni önişlemden geçirip ve her bir örnek için özellik vektörü elde edilmektedir. Eğitim aşamasında sınıflandırma araçları kullanarak bir sınıflandırıcı eğitilmektedir ve üçüncü aşama yeni verilen örnekleri sınıflandırmaktadır. 964 Şekil 2. Metin sınıflandırma adımları Bu çalışmada, metin ön işleme aşamasında durma kelimeleri ve buna ek olarak exam, midterm ve chapter gibi metne özel sık kullanılan kelimelerin çıkarılması işlemleri gerçekleştirilmektedir. Ayrıca bu aşamada gövdeleme işlemi de yapılmıştır. Gövdelemede Koksal ın [11] önerdiği kelimenin ilk beş harfi kullanılarak yapılmaktadır. Bu işlemlerin ardından kelime frekansı özellik vektörü olarak çıkarılır. Deney veri seti olarak Türkiye nin 16 Üniversitesinin BM bölümünde verilen 308 ders kullanılmaktadır. Veriler öğretim yılında üniversitelerin web sayfalarından toplanmıştır. Elde edilen sonuçların değerlendirilmesi için doğruluk faktörü aşağıda verilen denklem tarafından hesaplanır: do ðruluk tp + tn = t + t + f + f p n p n Denklemde, t p : doğru pozitif, t n : doğru negatif, f p : yanlış pozitif ve f n : yanlış negatif dir. Tablo 3 de her sınıfta olan toplam ders sayısı, rasgele seçilen test ve eğitim verisi verilmektedir. Tablo 4 de yapılan deneylerin sonuçları, farklı sayıda eğitim veriseti ve aynı sayıda olan test seti üzerinde verilmektedir. İlk başta büyük sayıda etiketlenmiş veriseti (268 veri), NB ve DVM sınıflandırıcılarına eğitilir. İkincisi küçük sayıda etiketlenmiş veriseti (8 veri); her sınıftan ikişer örnek almak üzere, eğitim seti olarak kurulur. Test için kullanılan veri seti (32 veri; her sınıftan sekizşer veri), başlık ve içerik özellikleri ile sınıflandırılır. Tablodan gözlemlediğimize göre eğitim kümesinin büyük olduğu durumda, test örneklerin içerik ve başlıkla sınıflandırma doğruluğu, eğitim kümesinin küçük olduğu durumdan daha yüksek olduğu belirlenmektedir. Tablo 5 de eş-talim yöntemi küçük sayıda etiketlenmiş eğitim veri seti kullanarak elde edilen sınıflandırma doğruluğu verilmektedir.

5 Sonuçlar, farklı eğitim ve test setlerine göre değişebilir. Bu nedenle en iyi sonucu bulmak için, 5 farklı eğitim ve test verilerin ortalama sonuçları hesaplanmaktadır. 8 etiketlenmiş, 268 etiketlenmemiş veri ve eş-talim sınıflandırıcısı olarak NB kullanıldığında, sınıflandırma doğruluğu 0,71 olmaktadır. Tablo 3: Eğitim ve test setinin büyüklüğü Tablo 4: Sırf NB ve DVM nin sınıflandırma başarısı Tablo 5: Önerilen eş-talim yönteminin başarısı Önerilen eş-talim yöntemin grafiksel sonuçları şekil 3 de verilmektedir. Doğruluk ölçeğinin her tekrarlamada değişerek bir düşüş içerisinde olduğu görülmektedir. Bunun nedeni yanlış sınıflandırmaların eğitim kümesine ilave edilip eğitim setinin gürültüsüne sebep olması olarak gösterilebilir. 5. SONUÇ VE TARTIŞMA Bu çalışmada eş-talim algoritması BM derslerini iki ayrık bakış açısı; başlık ve içerik özellikleri kullanarak sınıflandırılmaktadır. En emin (confident) sözde etiketlenmiş verilerin seçimi, sınıflandırıcıların ortak anlaşmalarına dayanır. Başka bir deyişle her iki sınıflandırıcı aynı sınıfa sınıflandırması durumunda, eğitim kümesine eklenir. Deneysel sonuçlara göre eş-talim yöntemin temel sınıflandırıcıları olarak NB kullandığında en iyi sınıflandırma doğruluğu 71% dir. Eş-talim yönteminin temel sınıflandırıcısı olarak DVM kullanıldığında sınıflandırma doğruluğunun azalmasının nedeni DVM nin gürültüye duyarlı olmasıdır ve her tekrarlamada az sayıda yanlış etiketlenen verilerin eğitim kümesine eklendiğinde, bu sınıflandırıcının başarısını düşürmektedir. İleriki çalışmalarda hibritleşmiş eş-talim algoritması kullanarak, eş-talim yönteminin temel sınıflandırıcısı birbirinden farklı olarak seçilecek ve sonuçlar karşılaştırılacaktır. En doğru sözde etiketlenen verilerin seçimi için kullanılan ortak anlaşma kuralından farklı bir metot geliştirilecek ve farklı veri setler üzerinde deneyimler yapılacaktır. 965

6 fication with co-training, in Proceedings of the 2001 conference of the Centre for Advanced Studies on Collaborative research2001, IBM Press: Toronto, Ontario, Canada. p. 8. Şekil 3: Önerilen eş-talim yöntemin doğruluk oranı Bilgilendirme Bildiride sunulan çalışma 114E126 proje numaralı Kısa Metin Benzerlik Ölçümü için Eminlik Faktörü Yaklaşımı ve Eş-Anlatım Derlemi Oluşturma başlıklı TÜBİTAK projesi kapsamında gerçekleştirilmiştir. [8]. Jiang, Z., S. Zhang, and J. Zeng, A hybrid generative/discriminative method for semi-supervised classification. Knowledge-Based Systems, : p [9]. Jiang, Z., J. Zeng, and S. Zhang, Inter-training: Exploiting unlabeled data in multi-classifier systems. Knowledge-Based Systems, : p [10]. Cortes, C. and V. Vapnik, Support-vector networks. Machine learning, (3):p [11] Köksal, Aydın ; Bilgi Erişim sorunu ve bir Belge Erişim ve Dizinleme Dizgesi Tasarım ve Gerçekleştirimi, Doçentlik tezi, Hacettepe Üniv., Kaynaklar [1]. Muslea, I., S. Minton, and C.A. Knoblock. Active+ semi-supervised learning robust multiview learning. in ICML [2]. Zhang, Y., et al., Semi-supervised learning combining co-training with active learning. Expert Systems with Applications, (5): p [3]. Blum, A. and T. Mitchell. Combining labeled and unlabeled data with co-training. in Proceedings of the eleventh annual conference on Computational learning theory ACM. [4]. Sun, A., Y. Liu, and E.-P. Lim, Web classification of conceptual entities using co-training. Expert Systems with Applications, (12): p [5]. Yu, Z., et al., Question classification based on co-training style semi-supervised learning. Pattern Recognition Letters, (13): p [6]. Ren, Y., Y. Wu, and Y. Ge, A co-training algorithm for EEG classification with biomimetic pattern recognition and sparse representation. Neurocomputing, : p [7]. Kiritchenko, S. and S. Matwin, classi- 966