Makine Öğrenmesi Yöntemleri ile Duygu Analizi Sentiment Analysis with Machine Learning Techniques

Transkript

1 Makine Öğrenmesi Yöntemleri ile Duygu Analizi Sentiment Analysis with Machine Learning Techniques Oğuz Kaynar Management Information System Cumhuriyet University Sivas, Turkey Mustafa Yıldız Management Information System Cumhuriyet University Sivas, Turkey Yasin Görmez Management Information System Cumhuriyet University Sivas, Turkey Ayşegül Albayrak Management Information System Cumhuriyet University Sivas, Turkey Özet- Günümüz teknolojisinde forumlar, bloglar ve sosyal medyanın her kesim tarafından çok yoğun kullanılmasından dolayı insanlar artık görüş, fikir ve hislerini bu ortamlar aracılığı ile paylaşmaya başlamıştır. Sosyal medya kullanımının artmasına paralel olarak araştırmacılar bu alana yönelik çalışmalarını arttırmışlardır. Özellikle Twitter üzerinde çalışılan önemli veri kaynaklarından biridir. Bu paylaşımlar araştırma ve analizler için önemli bir veri kaynağı oluşturmaktadır. Duygu-düşünce analizi kısaca verinin duygu içerip içermediğinin saptanması ve bu duygunun olumlu, olumsuz ve ya tarafsız olma durumunun belirlenmesidir. Bu çalışmada ise film yorumlarının içeriğine göre Naive Bayes, Merkez Tabanlı Sınıflayıcı, Çok Katmanlı Yapay Sinir Ağları (MLP) ve Destek Vektör Makineleri (SVM) gibi sınıflandırma algoritmaları kullanılarak duygudüşünce analizi yapılmıştır. Yapılan analizler sonucunda gerek eğitim gerekse test verilerinde yapay sinir ağları ve destek vektör makinalarının diğer yöntemlere oranla daha iyi sonuç verdiği gözlemlenmiştir. Anahtar kelimeler Duygu analizi, yapay sinir ağları, Destek vektör makinaları, Naive Bayes, Merkez tabanlı sınıflayıcı Abstract Because of the popularity of forums, blogs and many of the social media platforms among all of the society in our days, these tools have been accepted as distribution channels for people s opinions, ideas, and feelings. The increasing amount of social media usage in particularly Twitter has motivated researchers to study in this area. These expressions in the web have been used as important data sources for researches and analysis. The process of detection whether these data has any sentimenet and whether these sentiment positive, negative or neutral is defined as sentiment analysis. In this study, sentiment analysis has been performed by using classification algorithms depends on the context of the review, such as Naive Bayes, Central Based Classifier, Multi Layer Perception (MLP), and Support Vector Machines (SVM). According to experiments, it is seen that neural networks and support vector machines outperforms with both training and test sets. Index Terms Sentiment analysis, Neural network, Support vector machine, Naive Bayes, Centroid Based Classifier September 7-8, 206 Malatya/TURKEY 234

2 I. GİRİŞ İnternet kullanım imkânlarının yaygınlaşmasıyla beraber günümüzde insanlar vakitlerinin önemli bir kısmını internet üzerinde yer alan sosyal paylaşım ortamlarında harcamaktadırlar. Özellikle kişilerin kendilerini özgürce ifade edebildikleri ve bilgi paylaşımında bulunabildikleri sosyal medya, forum, blog gibi ortamlar günlük hayatımızda büyük bir yer edinmiştir. Kullanıcıların bu ortamlar vasıtasıyla ruh hallerini belirtmeleri, toplumu etkileyen olaylar, spor müsabakaları ve filmler gibi konularda kendi duygu ve düşüncelerini paylaşmaları bu ortamları toplumun genel kanısını belirtebilecek bir araca dönüştürmüştür. Hatta normal hayatlarında bazı nedenlerden dolayı gerçek duygu ve düşüncelerini paylaşamayan kişilerin, sosyal medya üzerinden kendilerini rahatça ifade edebilmeleri, sosyal medya ve diğer ortamları duygu analizi açısından daha gerçekçi sonuçlar verebilecek bir veri kaynağına dönüştürmüştür. Duygu analizi (Sentiment Analysis) olarak ifade edilen bilimsel çıkarım yöntemi, internet ortamının global çerçevede toplumun birçok kesiminin günlük hayatında çok önemli ölçüde yer alması ve bunun sonucunda bireylerin sosyal ve siyasi olaylar, ürün ve hizmet, marka vb. olgular hakkındaki düşüncelerini ifade ettikleri elektronik platformlardaki büyük hacimli verilerin yazılım sistemleri ile hızlı olarak raporlanması ve anlam çıkartılması işlemidir. Duygu analizi çalışmalarında metinlerin olumlu, olumsuz ya da tarafsız içeriğe sahip olup olmadığı sorgulanır ve analiz edilir. Bu analiz sonucuna göre bireylerin ya da belirli bir grubun çalışmayla ilgili konu hakkındaki tutumu belirlenmiş olur. Bu açıdan duygu analizi işletmeler açısından piyasaya yeni sürülecek bir ürün için ön pazar araştırması, bir topluluk için alınacak bir kararın olumlu veya olumsuz nasıl tepki alacağı, film izleyecek kişilerin önceki yapılan yorumlara göre filmi izlemeye karar vermesi gibi konularda yönlendirme yapabilir. Ancak olumlu veya olumsuz görüşün elde edileceği verilerin çok olması bu analizin tek tek inceleyerek yapılmasını zorlaştırmaktadır. Bu yüzden duygu analizi metin madenciliği ile makine öğrenmesi alanlarının önemli ve üzerine çalışılan konularından biri haline gelmiştir. Duygu analizi yapılırken, daha önceden görüş tarafı belli olan (pozitif / negatif /nötr) metinsel veriler kullanılarak bir eğitim veri seti oluşturulur. Daha sonra bu veriler metin madenciliği yöntemleri ile çeşitli ön işlemlerden geçirilip temizlenerek sınıflamaya uygun hale getirilmektedir. Bu ön işlemler arasında iletideki simge ve noktalama işaretlerinin temizlenmesi, metni kelimelere ayırma ve her bir kelimenin köklerinin bulunarak terim listelerinin oluşturulması, metin içerisindeki edat, bağlaç ve zamirlerden oluşan durak kelimelerin kaldırılması, terim frekansları ve ters doküman frekansları yardımıyla vektör uzay modelinin oluşturulması sayılabilir. Vector uzay modellerinde binary, terim frekansı, ters döküman frekansı, n gram gibi çeşitli yöntemler kullanılmaktadır. Vektör uzay modeli oluşturulan bu veriler, makine öğrenmesinde sıklıkla kullanılan yapay sinir ağları, destek vektör makinaları, karar ağaçları gibi sınıflama algoritmaları yardımıyla eğitilmektedir. Çeşitli sınıflayıcılar tarafından eğitilen modeller yardımıyla yeni gelen duygu ve görüşler sınıflandırılmaktadır. Genel olarak duygu ve düşünce analizi aşağıda belirtilen işlevleri yerine getirmek amacıyla kullanılmaktadır. Duygu görüş sınıflandırma: Bir doküman veya metinde bir olgu hakkında görüş ifade edilmesi ve görüş sahibinden olguya yönelik olan duygunun ölçülmesi fikrine dayanır. Öznellik Sınıflandırma: Genel olarak bir cümlenin öznel olup olmadığını tespit etmek olarak ifade edilebilir. Başarılı bir öznellik sınıflandırma daha iyi duygu sınıflandırmayı sağlar. Bu işlem olumlu, olumsuz ve nötr cümleleri ayırmaktan daha zor bir süreç olarak görülmektedir. Görüş özetleme: Dokümandan ve içeriğindeki duygudan ana konuyu çıkarmakla ilgili kavramdır. Görüş elde edilmesi: Yapılan sorguyla, görüş belirten dokümanların çıkartılmasıdır. Bu tür sistemlerde, iki tür puan hesaplaması yapılmalıdır; bunlar sorguya karşılık ilgililik puanı ve sorgu hakkında görüş puanı olup bu ikisi genellikle dokümanların seviyesini belirlemekte kullanılır. Alaycılık ve ironi: Alay ve ironi içeren ifadelerin bulunmasına yöneliktir. Özellikle araştırmacılar içerisinde alay ve ironinin nasıl tanımlanması gerektiğine dair anlaşmazlıkların bulunmasından dolayı, bu görev duygu analizindeki en karmaşık alanlardandır. Diğerleri: Tür ve yazar tespiti, türü ve metni tekrardan yazan yazarı bulmaya yöneliktir. Sahte/yanıltıcı (spam) mesaj tespiti, mesajı belli bir kesimin, şirketin veya ürünün lehine ya da aleyhine çarpıtan, güvenilmeyen içeriğe sahip görüş ve yorumları tespit etmeye çalışır []. Duygu analizinde günümüze kadar yapılan çalışmalar, genellikle İngilizce metinler üzerinde pozitif ve negatif olmak üzere iki sınıfta ele alınmıştır. Bazı çalışmalarda ise düşüncenin nötr olma durumu da dikkate alınarak üç sınıf üzerinden incelemeler gerçekleştirilmiştir. Duygu Analizi alanı ile ilgili literatür incelendiğinde ilk çalışmanın Pang, Lee ve Vaithyanatham tarafından yapıldığı, veri seti olarak Internet Movie Database arşivindeki film yorumlarının kullanıldığı görülmektedir. Çalışmalarında ilgili veri seti üzerinde unigram, bigram, Part Of Speech (POS) gibi öznitelik çıkarma yöntemlerini kullanarak sınıflama için gerekli vektör uzay (vector space) modellerini September 7-8, 206 Malatya/TURKEY 235

3 oluşturmuşlardır. Vektör uzay modelleri sonucunda elde edilen veri seti üzerinde Naive Bayes, Maximum Entropi ve SVM gibi makine öğrenmesi algoritmalarını kullanarak sınıflandırma işlemini gerçekleştirmişlerdir. Elde edilen bulgular sonucunda duygu analiziyle ilgili yapılan sınıflandırmada en iyi sonuç, unigram veri seti üzerinde 82,9% doğruluk oranıyla SVM makine öğrenmesi yöntemi ile alınmıştır [2]. Pennacchiatti ve Popescu 20 yılındaki çalışmalarında sosyal medya kullanıcı sınıflandırma işini Twitter verileri üzerinde uygulamışlardır. Twitter kullanıcılarının davranışları, ağ yapıları ve Twitter akışındaki dilsel içerik bilgileri kullanılarak siyasi yönelim ve etnik köken gibi özelliklerin otomatik olarak tespiti için makine öğrenmesi yaklaşımını kullanmışlardır. Politik ilişki, etnik köken ve belirli bir iş alanına olan ilgiyi belirleme gibi 3 farklı uygulama üzerinde çalışmış ve sonuçların çeşitlilik gösterdiğini belirtmişlerdir [3]. Go vd. çalışmalarında Twitter verisini kullanarak uzaktan denetimli öğrenme yöntemiyle duygu analizi yapmayı amaçlamışlardır. Çalışmadaki veri seti olumlu tweet olumsuz tweet olmak üzere toplam tweetten oluşmaktadır. Oluşan veri seti bigram, unigram ve bigram, unigram ile birleştirerek analiz edilmiştir ve makine öğrenmesi algoritmalarından SVM, Naive Bayes, Maximum Entropi sınıflandırma yöntemleri kullanılmıştır. Çalışma sonucunda SVM unigrama göre 82,2% doğruluk oranı, Naive Bayes bi-grama göre 8,6% doğruluk oranı elde etmiş ve 83% doğruluk oranı ile en iyi performans Maximum Entropi unigram ile bi-gramın birlikte kullanılması sonucu elde edilmiştir [4]. Glid Katz vd., çalışmalarında diğerlerinden farklı olarak içerik tabanlı duygu analiz modeli olarak ConSent'i ortaya koymuşlardır. Ortaya koyulan bu model ilk aşama olarak eğitim seti içindeki anahtar terimlerin belirlenip analiz edilerek özniteliklerin bu terimlere göre oluşturulmasıyla başlar. İkinci aşama olarak ise her dokümanın terimleri ile anahtar kelimeleri incelenir, bulunanlara göre öznitelikler çıkartılır ve doküman sınıflandırılır. Yapılan çalışmada oluşturulan model Naive Bayes ve SVM yöntemleri ile karşılaştırılarak seyahat hizmeti veren site olan TripAdvisor dan elde edilen pozitif işaretli 5070 negatif işaretli yoruma ve IMDB'den elde edilen 000 negatif 000 pozitif olmak üzere 2000 veriye uygulanmıştır. Elde edilen sonuçlar incelendiğinde ortaya koyulan yeni modelin SVM ile yaklaşık sonuçlar verse de çok az daha başarılı olduğu görülmüştür. Çalışma sonucunda ortaya koyulan diğer bir durum ise ConSent modelinin kısa metinlerden oluşan verisetlerinde daha düşük başarı puanı elde etmesidir. [5] Duygu analizi çalışmalarında genellikle n-gram ile tümcenin ikili veya üçlü şekilde terimlerine bakılırken Matsumoto vd., kelimeler arasında sözdizimi bağını temel alan yeni bir model önermişlerdir. Örneğin, film çok güzeldi kelimesi 2-gram yöntemiyle film çok ve çok güzeldi olarak iki farklı şekilde dizilir. Bu çalışmada ortaya atılan modelde ise kelimelerin sırası korunarak sıralı olmayan Film güzeldi gibi sözdizimlerinin görülme olasılığını hesaba katar. Sözcükler arasındaki ilişki bağlılık alt ağacı yöntemiyle temsil edilmiştir. Bu sayede n-gram yöntemine göre daha fazla temsiliyet sağlanabilmiştir. Model, sırasıyla 380 ve 2000 verinin bulunduğu 2 ayrı film yorumlarına sınıflayıcı olarak SVM kullanılarak uygulanmıştır. Edilen sonuçlara göre, ortaya atılan yeni yöntem ilk veri setinde %87,3, ikinci veri setinde ise %92,9 başarı göstererek n-gram yönteminden daha iyi sonuçlar elde etmiştir [6]. Nikfarjam ve Azadeh duygu analizini twitter ve sağlık ile ilgili forumlardaki yorumlar üzerine uygulayarak hastaların ilaçların yan etkileri hakkındaki olumsuz düşüncelerini araştırmışlardır. Uygulamada yine kendileri tarafından ortaya atılmış ilaç alanındaki kavramları çıkartmak için koşullu rastgele alanları kullanan makine öğrenme tabanlı ADRMine yöntemi kullanılmıştır. Veriseti olarak sağlık sitesi olan DailyStrength ile Twitter'dan 6279 ve 784 yorum kullanılmıştır. Sonuçlar incelendiğinde ortaya atılan ADRMine yönteminin %82, ile SVM ve yine sağlık alanında kullanılan bir sınıflayıcı olan MetaMap yöntemlerinden daha yüksek başarı verdiği gözlemlenmiştir.[7] Duygu analiziyle ilgili olarak Türkçe veri setleri üzerinde çalışılan birçok çalışma mevcuttur. Nizam ve Akın'ın çalışmalarında sınıflar içerisindeki veri dağılımının sınıflandırma algoritmasındaki başarı oranına etkisi olup olmadığı araştırılmıştır. Gıda sektöründeki bazı firmaların farklı ürünlerine ait tweetlerinden dengeli ve dengesiz olmak üzere 2 veri seti kullanılmıştır. Bu 2 farklı veri seti olumlu, olumsuz ve tarafsız olmak üzere 3 ayrı sınıfa tek tek ayrılmıştır. Dengesiz veri seti için olumlu sınıfta 3, olumsuz sınıfta 277 ve tarafsız sınıfta 60 veri olmak üzere toplam 2000, dengeli veri seti içinse olumlu sınıfta 257, olumsuz sınıfta 277 ve tarafsız sınıfta 299 veri olmak üzere toplam 824 tweetten oluşan veri kümesi incelenmiştir. Naive Bayes (NB), Rassal Orman (RF), Destek Vektör Makineleri (SVM), Karar Ağacı (J48) ve k-en Yakın Komşu (k-nearest Neighbors) sınıflandırma algoritmaları kullanılarak 2 veri kümesi doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve kappa istatistiği sonuçlarına göre karşılaştırılmıştır. Bu 4 modelin başarım ölçütleri ve kappa istatistiği sonuçlarına göre dengeli veri seti dengesiz veri setine kıyasla daha iyi performans göstermiştir. Diğer bir deyişle sınıflandırma algoritmalarının başarısı üzerindeki etkenlerden bir tanesi sınıflardaki veri dağılımlarıdır. En iyi performansı %72,33 doğruluk oranı ile SVM sınıflandırma algoritmasından elde etmişlerdir [8]. September 7-8, 206 Malatya/TURKEY 236

4 Türkmen ve Cemgil çalışmalarında SVM ve Rassal Orman sınıflayıcı yaklaşımıyla İstanbul' da 203 yılında gerçekleşen Gezi Parkı gösterileri süresinde gönderilen tweetlerden bireylerin politik ilgililiğinin ve eğiliminin olup olmadığını tahmin etmeyi amaçlamışlardır. El ile işaretlenen 35 Twitter mesajını sınıflandırmayı kolaylaştırmak amacıyla gösteri yanlısı, gösteri karşıtı ve nötral mesajlar olarak etiketlemiş ve öznitelik seçiminde ki-kare yönteminden faydalanmışlardır. Sınıflandırma başarısı doğruluk (accuracy) ölçütüne ek olarak kesinlik (precision) ve duyarlılık (recall) ölçütlerinin harmonik ortalaması olan f-ölçütü dikkate alınarak belirlenmiştir ve ilgililik tahmininde SVM algoritmasından daha verimli sonuç alırken eğilim tahmininde Rassal Orman algoritmasından %80 in üstünde başarım elde etmişlerdir [9]. Sevindi tez çalışmasında Türkçe film yorumlarının duygu kutuplarını çeşitli makine öğrenmesi yöntemleri kullanarak belirlemeye çalışmış ve bu yöntemleri karşılaştırmıştır. Karar Ağacı (C4.5), k-en Yakın Komşu (KNN), Naive Bayes ve Destek Vektör Makineleri (SVM) yöntemlerini kullanmış ve en iyi sonucu SVM sınıflandırma algoritması ile elde etmiştir [0]. Sosyal ortamlardaki bilgi sosyal, iş amaçlı ve birçok konuda kullanılabilir. Ancak bu bilgilerin tek tek çıkartılması hem zaman hem de maliyet açısından makul bir strateji olmayacaktır. Bundan dolayı bu işlemler otomatik hesaplama sistemleri geliştirilerek yapılmaktadır. Bu çalışmada, izlenen filmler hakkında dijital platformlarda yapılan yorumların içeriğine göre duygu barındırıp barındırmadığı ve bu duygunun olumlu ya da olumsuz olma durumunun saptanması amaçlanmıştır. Bu amaçla çalışmada yapay sinir ağları, destek vektör makinaları, Naive Bayes ve merkez tabanlı sınıflayıcı yöntemleri kullanılarak sonuçlar karşılaştırılmıştır. II. DENEYLER A. Veri Seti Deneyler için film yorumları tercih edilmiştir. İlk olarak 204 yılında Bo Pang ve Lillian Lee tarafından kullanılan veri setinin veri kaynağı olarak Internet Movie Database (IMDb) rec. arts. movies. reviews haber kaynağı kullanılmıştır. Veri seti pozitif ve negatif duyguları ayırt etmeye yoğunlaşmıştır ve pozitif sınıfta 000, negatif sınıfta 000 veri olmak üzere toplam 2000 veriden oluşmaktadır. B. Veri Özellikleri Bu bölümde, 000 i pozitif sınıfa, 000 i negatif sınıfa ayrılmış veri setlerinin eğitim ve sınıflandırma süreçlerine hazırlanması amacıyla tüm yorumlardaki simge ve noktalama işaretleri temizlenip karakterler küçük harfe çevrilmiş ve her bir kelimenin kökleri bulunmuştur. Bunun için PYTHON ortamında hazırlanan NLTK kütüphanesinden yararlanılmıştır ve terim listeleri oluşturulmuştur. Metin içerisindeki edat, bağlaç ve zamirlerden oluşan durak kelimeler ve 3 harften kısa olan kelimeler kaldırılmıştır. Özellik değerlendirme metotlarından terim frekansı (TF) ve ters doküman frekansı (IDF) kullanılmıştır. TF bir terimin dokümanlarda geçme sıklığını gösteren bir değerdir. IDF ise dokümanlarda çok sık geçen terimlerin hiçbir ayırt edici öneme sahip olmamasına rağmen terimin yüksek skora sahip olmasının önüne geçmektedir. C. Deneylerde Kullanılan Sınıflandırma Algoritmaları Bütün deneyler MATLAB yazılımı kullanılarak gerçekleştirilmiştir. Veri seti üzerinde Naive Bayes, Merkez Tabanlı Sınıflayıcı, Çok Katmanlı Yapay Sinir Ağları(MLP), Destek Vektör Makineleri (SVM) sınıflandırma algoritmaları kullanılmıştır. Sınıflandırma algoritmalarının arka planında metin içerikli verinin sayısal veriye dönüştürülme işlemi vardır. Bunun sonucunda, metin içerikli yorumlar makine öğrenimi algoritmalarının çalışabileceği sayısal matrislere dönüştürülmelidir. Bu işlem bazı metotlarla gerçekleştirilmektedir; örneğin: CountVectorizer: Metin içerikli dökümanlar sayısal matrislere çevirilmektedir. Term frequency Inverse document frequency (TF-IDF): Dökümandaki kelimenin önemini göstermektedir. Bir kelimenin doküman da geçme sıklığının artmasıyla TF-IDF değeri artmaktadır [].. Naive Bayes Naive Bayes, Bayes teoreminden faydalanılarak oluşturulmuş metin sınıflandırmada kullanılan anlaşılabilir ve kolaylıkla uygulanabilir en basit makine öğrenme algoritmalarından biridir. Bu yöntemle bir örneğin hedef niteliğinin sınıf değerine ait olma olasılıkları bulunabilmektedir [2]. Bayes teoremi: () Eşitlikte X; öznitelik vektörü, H ise bir öznitelik vektörünün C gibi bir sınıfa ait olma olasılığını ifade eden hipotezdir. P(H X) ise ardıl olasılığı temsil eder. Bayes teoremi göz önüne September 7-8, 206 Malatya/TURKEY 237

5 alınarak Naive Bayes sınıflandırıcısının algoritması ise şu şekildedir: D nin veri setini temsil ettiği ve D deki her X in sınıf etiketinin belli olduğu varsayılsın. X, n tane öznitelikten oluşan bir vektördür ve X=(x, x 2, x n ) olarak temsil edilmektedir. C, C 2, C m ile temsil edilen m tane sınıf olduğu varsayılsın. Naive Bayes sınıflandırıcısı bir X vektörünün C i sınıfına ait olup olmadığını bulmak için, bütün sınıflar içinde en yüksek P(C i X) ardıl olasılığına sahip değeri bulmaya çalışır. Bu durum Bayes teoremi ile eşitlik 2 de ifade edilmiştir. (2) P(X) değeri tüm sınıflar için aynı olduğundan, yalnızca P(X C i )P(C i ) ifadesi maksimum yapılmalıdır. P(C i ) ifadesi, C i sınıfındaki eleman sayısının, tüm eleman sayısına oranıdır. P(X C i ) ifadesi ise, X in n tane değer içeren bir öznitelik vektörü olduğu varsayıldığında aşağıdaki eşitlik 3 ile hesaplanır. vektör o sınıftaki vektörlerin skaler toplamının sınıftaki doküman sayısına bölümüyle elde edilir [3]. Merkez tabanlı sınıflayıcının çalışma mantığının gerisinde de vektörlerin benzerlik ilkesi yatar. Benzerlik için kosinüs yöntemi kullanılır. Aşağıdaki denklemde benzerliğin bulunması gösterilmektedir. 3. Çok Katmanlı Yapay Sinir Ağları (MLP) (5) Yapay Sinir Ağları(YSA) insan sinir sistemini taklit ederek öğrenmeyi hedefleyen denetimli bir makine öğrenmesi yöntemidir. Yapay sinir ağı modeli, Şekil de gösterildiği gibi bir katmanda bulunan nöronların takip eden katmandaki nöronlara bağlanması ile oluşturulur. En sık kullanılan yapay sinir ağı modeli olan çok katmanlı algılayıcı sinir ağı (MLP) modeli; girdi katmanı, gizli katman ve çıktı katmanı olmak üzere üç farklı katmandan meydana gelmektedir. Girdi katmanı verilerin okunduğu katmandır. Her bir nöron bir özelliği temsil ettiği için özellik sayısı kadar nöron içermektedir. Çıktı katmanı ise sınıfların belirlendiği katmandır. X v 0 j Eşik Degeri Z w 0 k Eşik Degeri Y (3) Sonuçta, sınıflandırıcı en büyük P(X C i )P(C i ) ifadesine sahip olan C i sınıfını, X vektörünün sınıfı olarak seçer [0]. 2. Merkez Tabanlı Sınıflayıcı X 2.. X n Giriş Katmanı i=..n vij.. Z 2 Z P Gizli Katman j=..p w jk Çıkış Katmanı k=..m Şekil.Çok Katmanlı İleri Beslemeli Yapay Sinir Ağı Y 2 Y m Merkez tabanlı sınıflayıcı vektör uzay tabanlı olup performansı yüksek bir sınıflandırma yöntemidir. Model her bir dokümanı terim uzayında bir vektör olarak ele alır. Vektörün her bir boyutu dokümanda geçen terimin ağırlıklandırılmış frekansını tutar. Merkez tabanlı sınıflandırmada sınıflar merkez adı verilen vektörlerde sunulur. Merkez, sınıf elemanlarını sunan ortalama bir değerdir ve bu orta değerlerin bütün sınıfı temsil ettiği kabul edilir. Eğitim seti k farklı nitelik içeriyorsa bu eğitim verilerinden k adet merkez vektörü elde edilir []. (4) Eşitlikte 4 ilgili sınıftaki dokümanların kümesini göstermektedir. İlgili sınıftaki ortalama Bu katman oluşturulan modele göre tek bir nöron içerebileceği gibi sınıf çeşidi sayısı kadar nöron da içerebilmektedir. Gizli katman ise girdi katmanı ile çıktı katmanı arasında yer alan verilerin ara işleme maruz kaldığı katmandır. Gizli katman sayısı ve bir gizli katmandaki nöron sayısı tam olarak belli olmamakla birlikte eğitimin kalitesini etkileyen önemli iki faktördür [4]. MLP modelinde öğrenme bir önceki katmandan takip eden katmana doğru yapıldığı için ileri beslemeli YSA olarak da bilinir. Kullanılan eğitim algoritması hatanın karesini en aza indirecek şekilde ağırlıkları güncellemeyi hedefler. (6) September 7-8, 206 Malatya/TURKEY 238

6 (7) Eşitlik 6, MLP modelinde ileri beslemeyi, Eşitlik 7 ise geri beslemeyi formüle etmektedir. Eşitlik 6 da x_j mevcut katmandaki j. nöronun değerini, y_i takip eden katmandaki i. nörona aktarılan değeri, n mevcut katmandaki nöron sayısını, w_ji mevcut katmandaki j. nörondan takip eden katmandaki i. nörona giden ağırlığı, f ise aktivasyon fonksiyonunu (örneğin: gauss, softmax, sigmoid ) temsil etmektedir. Eşitlik 7 de k, veri setindeki örnek sayısını, t_k verilerin gerçek sınıfını, o_k ise modelin üretmiş olduğu sınıf değerini temsil etmektedir. 4. Destek Vektör Makineleri (DVM) Destek vektör makinesi iki boyutlu uzayda doğrusal, üç boyutlu uzayda düzlemsel ve çok boyutlu uzayda hiperdüzlem şeklindeki ayırma mekanizmaları ile veriyi iki ya da daha çok sınıfa ayırma yeteneğine sahiptir [5]. Lineer olarak ayrıştırılabilen sınıfların belirlenmesinde sıkça kullanılan yöntem, kernel fonksiyonları sayesinde doğrusal olarak ayrıştırılamayan girdi uzayını daha yüksek boyutlu lineer olarak ayrıştırılabilen bu uzaya taşıyarak, doğrusal olmayan verilerin sınıflandırılmasında başarıyla kullanılmaktadır. Eğitim için kullanılacak N elemandan oluşan verinin, i =,2,N olduğu varsayılırsa özellik vektörünü, ise sınıf değerlerini gösterir. Lineer olarak ayrılma durumunda, bu iki değerli veriler direkt olarak bir ayırıcı düzlem ile ayrılabilir. Veri setini sınıflara ayırabilecek sonsuz sayıda çoklu düzlem çizilebilmesine karşın, amaç, bilinmeyen sınıflama hatasını en küçük yapacak hiperdüzlemi seçmektir. Şekil 2 de görüleceği üzere durumu birinci sınıfı, ( ve durumu ise ikinci sınıfı ( ) temsil eder. problem, Lagrange denklemleri, Eşitlik 9 ve Eşitlik 0 da verilen Karush Kuhn Tucker (KKT) ın kısıtları yardımıyla çözülür [4]., (8) (9) (0) Kernel fonksiyonu kullanılarak doğrusal olmayan dönüşümler yapılabilmekte ve bu sayede yüksek boyutta doğrusal olarak ayrımına imkân vermektedir. En yaygın kernel fonksiyonları Gauss, Polinomial ve Sigmoid fonksiyonlarıdır. D. Sınıflandırma Algoritmalarının Karşılaştırılmasında Kullanılan Kriterler. Model başarım ölçütleri Sınıflama performansını karşılaştırmak için kullanılan metrikler ve bunlara ilişkin formüller aşağıda verilmiştir. Kesinlik (Precision): Sınıflandırıcı sonucunun kesinlik derecesini verir. Pozitif olarak etiketlenen örneklerin sayısının pozitif olarak sınıflandırılmış toplam örneklere oranıdır. () Duyarlılık (Recall): Pozitif olarak etiketlenmiş örneklerin gerçekten pozitif olan örneklerin toplam sayısına oranıdır. (2) Doğruluk (Accuracy): Sınıflandırma işleminde en çok kullanılan ölçümdür. Doğru olarak sınıflandırılmış örneklerin toplam örnek sayısına oranıdır. (3) F-Measure: F Ölçümü, kesinlik ve duyarlılık metrikleri kullanılarak hesaplanmaktadır. Sistemin, kesinlik ve ya duyarlılık yönüne doğru optimize edilmesinde kullanılmaktadır. (4) Şekil 2.Destek Vektör Makineleri ve Hiperdüzlem Seçimi İki sınır arasındaki uzaklık formülü ile ifade edilir. Amaç, değerini maksimum yapmak olduğu için ifadesi minimum olmalıdır. Buna bağlı sınırlama ise, dir. İlgili problemin duali, Eşitlik 8 de verilmiştir. Eşitlikteki Eşitliklerde kullanılan TP, FP, TN, FN değerleri sırasıyla; TP (True Positive Rate): Pozitif olan aynı zamanda sınıflandırıcı tarafından da pozitif olarak sınıflandırılmış yorumların sayısını gösterir. FP (False Positive Rate): Pozitif olan ancak sınıflandırıcı tarafından pozitif olarak sınıflandırılmamış yorumların sayısını gösterir. September 7-8, 206 Malatya/TURKEY 239

7 TN (True Nagative Rate): Negatif olan aynı zamanda sınıflandırıcı tarafından da negatif olarak sınıflandırılmış yorumların sayısını gösterir. FN (False Nagative Rate): Negatif olan ancak sınıflandırıcı tarafından negatif olarak sınıflandırılmamış yorumların sayısını gösterir. III. SONUÇLARIN DEĞERLENDİRİLMESİ VE TARTIŞILMASI A. Deneysel Sonuçlar Çalışmada 2000 adet film yorumu içeren veri seti kullanılmıştır. Makine öğrenmesi yöntemleri kullanılarak MATLAB de Naive Bayes, Merkez Tabanlı Sınıflayıcı, Çok Katmanlı Yapay Sinir Ağları ve Destek Vektör Makineleri sınıflandırma algoritmalarından yararlanılmıştır. Veri setinin eğitimi ve sınıflandırma sürecinden önce ön işlem aşamaları uygulanmıştır. Ön işlem aşamasından sonra TF ve IDF değerlerinden oluşan vektör uzay modeli elde edilmiştir. Tüm sınıflama algoritmalarında eğitim için veri setinin %75 i ayrılmış, kalan %25 lik bölüm ise test amacıyla kullanılmıştır. Yapay sinir ağlarında 3 katmanlı MLP modeli tercih edilmiş, orta katmanda 0 gizli nöron, çıkış katmanında ise 2 nöron kullanılmıştır. Giriş katmanındaki nöron sayısı ise özellik sayısıyla aynıdır. Ağın eğitimde trainscg (Scaled conjugate gradient backpropagation) algoritması ve performans değerlendirmek içinse crossentropy kullanılmıştır. SVM algoritmasında ise kernel fonksiyonu olarak radyal fonksiyon kullanıldığında eğitim veri seti için %00 doğruluk oranı elde edilirken test veri seti için doğruluk oranı %50 oranında bulunmuştur. Aşırı eğitimden dolayı (overftting) dolayı uygulamada RBF yerine liner fonksiyon tercih edilmiştir. Tablo de kullanılan sınıflandırma yöntemlerine göre eğitim, test, ve tüm veri setine ilişkin TP, TN, FP ve FN değerlerini gösteren çapraz karmaşıklık matrisleri verilmiştir. P değeri pozitif, N ise negatif yorum sayılarını ifade etmektedir. Performans ölçütlerinden görüleceği gibi en iyi sınıflama performansı destek vektör makinelerinde elde edilmiştir. Şekil 3 te verilen ROC eğrilerinden de bu durum görülmektedir, ROC eğrilerinde sol üst köşeye en yakın grafik, performansı en yüksek sınıflayıcıya ait grafiktir. Tablo 2. Sonuç Değerleri Yöntem A P R F AUC Naive Centroid ANN SVM Naive Centroid ANN SVM Naive Centroid ANN SVM Eğitim Test Tümü Tablo. Sınıflama sonucunda elde edilen karmaşıklık matrisleri Eğitim Test Tümü Gözlenen Gözlenen Gözlenen N. Bayes Tahmin N P N P N P N P Centroid Tahmin N P N P N P N P ANN Tahmin N P N P N P N P SVM Tahmin N P N P N P N P Şekil 3. ROC Eğrisi a)test verisi b) Tüm veri September 7-8, 206 Malatya/TURKEY 240

8 IV. Sonuç Bu çalışmada IMDB de yer alan film yorumlarını içeren veri seti üzerinde çeşitli makine öğrenme teknikleri kullanılarak bir duygu analizi çalışması yapılmıştır. Makine öğrenmesinde sıkça kullanılan sınıflandırma algoritmalarından yapay sinir ağları, destek vektör makinaları, Naive Bayes ve merkez tabanlı sınıflayıcı algoritmaları kullanılmış; ilgili sınıflayıcıların performans karşılaştırması model başarım ölçütlerine göre yapılmıştır. Bu başarım ölçütleri incelendiğinde en yüksek değerler Yapay sinir ağları ve Destek vektör makinalarında elde edilmiştir. Eğitim veri setinde YSA %89.73 doğru sınıflandırma oranıyla SVM den (%84.07) daha iyi başarı sergilerken her iki sınıflayıcı da test veri seti için %75 civarında doğru sınıflama oranıyla hemen hemen aynı performansı göstermişlerdir. Beklendiği üzere basit birer sınıflayıcı olan Merkez tabanlı sınıflayıcı ve Naive bayes sınıflayıcı diğer iki sınıflayıcıya oranla daha düşük bir başarı göstermişlerdir. KAYNAKLAR [] Serrano-Guerrero, J., Olivas, J. A., Romero, F. P., & Herrera-Viedma, E.. "Sentiment analysis: a review and comparative analysis of web services," Information Sciences 3, 205,pp [2] Pang, Bo, Lillian Lee, and Shivakumar Vaithyanathan. "Thumbs up?: sentiment classification using machine learning techniques," Proceedings of the ACL-02 conference on Empirical methods in natural language processing-volume 0. Association for Computational Linguistics, [3] Pennacchiotti, Marco, and Ana-Maria Popescu. "A Machine Learning Approach to Twitter User Classification," ICWSM, 20,pp [4] Go, Alec, Richa Bhayani, and Lei Huang. "Twitter sentiment classification using distant supervision," CS224N Project Report, Stanford, 2009,pp.2. [5] Katz, Gilad, Nir Ofek, and Bracha Shapira. "ConSent: Context-based sentiment analysis," Knowledge-Based Systems 84,205,pp [6] Matsumoto, Shotaro, Hiroya Takamura, and Manabu Okumura. "Sentiment classification using word sub-sequences and dependency sub-trees," Pacific-Asia Conference on Knowledge Discovery and Data Mining. Springer Berlin Heidelberg, [7] Nikfarjam, A., Sarker, A., O Connor, K., Ginn, R., & Gonzalez, G. "Pharmacovigilance from social media: mining adverse drug reaction mentions using sequence labeling with word embedding cluster features," Journal of the American Medical Informatics Association,205, pp ocu04. [8] Nizam, Hatice, and Saliha Sıla Akın. "Sosyal Medyada Makine Öğrenmesi ile Duygu Analizinde Dengeli ve Dengesiz Veri Setlerinin Performanslarının Karşılaştırılması," XIX. Türkiye'de İnternet Konferansı,204. [9] Türkmen, Ali Caner, and Ali Taylan Cemgil. "Political interest and tendency prediction from microblog data," nd Signal Processing and Communications Applications Conference (SIU), IEEE, 204. [0] Sevindi, B. İbrahim. "Türkçe Metinlerde Denetimli ve Sözlük Tabanlı Duygu Analizi Yaklaşımlarının Karşılaştırılması," Yüksek Lisans Tezi, 203. [] Tripathy, Abinash, Ankit Agrawal, and Santanu Kumar Rath. "Classification of sentiment reviews using n-gram machine learning approach," Expert Systems with Applications 57, 206, pp [2] Kartal, Elif, Enformatik Programı, and M. Erdal BALABAN. Sınıflandırmaya Dayalı Makine Öğrenmesi Teknikleri ve Kardiyolojik Risk Değerlendirmesine İlişkin Bir Uygulama, Doktora Tezi, Haziran 205, pp [3] Kaynar, O., Yıldız S. Elektronik Postaların Centroid Tabanlı Sınıflayıcı, Yapay Sinir Ağları ve Destek Vektör Makinaları Yardımıyla Tespit Edilmesi, 2.Ulusal Yönetim Bilişim Sistemleri Kongresi, 205 [4] Arslan, H., Kaynar, O., Yüksek, A.G. &; Gün, O. Kurumsal Kolektif Süreçler için E-Posta İletilerinden Görev Keşfi ve Gerçek Zamanlı Görev Yönetim Sisteminin Geliştirilmesi, Global Journal on Technology, Kasım 205. [5] Güran, Aysun, Mitat Uysal, and Özge Doğrusöz. "Destek vektör makineleri parametre optimizasyonunun duygu analizi üzerindeki etkisi," DEÜ Mühendislik Fakültesi Mühendislik Bilimleri Dergisi 48, 204,pp September 7-8, 206 Malatya/TURKEY 24