Sosyal Medya Verileri Üzerinde Yapay Öğrenme ile Duygu AnaliziÇalışması

Transkript

1 Sosyal Medya Verileri Üzerinde Yapay Öğrenme ile Duygu AnaliziÇalışması Yağız Nalçakan 1,Şan Sıtkı Bayramoğlu 2, Samed Tuna 3 1, 2, 3 Trakya Üniversitesi Bilgisayar Mühendisliği Bölümü, Edirne yagiznalcakan@gmail.com, sansitkibayramoglu@gmail.com, samedtuna@gmail.com Özet: Çalışmamızdaki hedef twitter üzerinden belirli markalar için yazılanların, o marka için iyi mi, kötü mü veya duygu belirtmeyen bir cümle mi sorularından, makine öğrenmesi yöntemiyle, geribildirim elde etme üzerinedir. Duygu analizi yapacağımız markalar Samsung, Apple, LG olarak kararlaştırılmıştır. Öğretim seti için ilk aşamada toplam 500 adet tweet toplanmıştır. Tweetler tek tek pozitif, negatif ve nötr olarak işaretlenmiştir. PGS NGS + PGS NTGS + NGS NTGS [PGS + NGS + NTGS] PGS : kelimenin pozitif tweetlerde geçme sayısı NGS : kelimenin negatif tweetlerde geçme sayısı NTGS : kelimenin nötr tweetlerde geçme sayısı olmak üzere nformasyon formülü belirlenmiştir. 500 tweet ile alınan sonuçlar ikna edici olmayınca, proje hocamıza danışarak öğretim seti miktarı artırımı yoluna gidilmiştir. Böylece marka başı 500 olmak üzere 1500 tweet toplanıp, işaretlenmiştir. Tweetler içerisinden enformasyon katsayısı olarak gibi kelimesi seçilmiştir. Bu sayının üzerinde kalanlar belirleyici kelimeler olarak seçilip twetlerde geçip geçmemesine göre bit tabanında işaretleme yapılmıştır. Alınan sonuçlar incelendiğinde istenilen standartların altında çıktığı için kelime düzeltme yöntemine başvurularak baştan incelenmesi kararlaştırılmıştır. Kelime düzeltici programı python dili ile Türkçe sözlük kütüphanesinden karşılaştırdığı kelimeleri büyük oranda düzelttiği gözlemlenmiştir. Bunun sonucunda veriler tekrar teste tabi tutulduğunda verimlilik oranının arttığı sayısal veri ve grafiklerle ortaya konulmuştur. Anahtar Kelimeler:Duygu Analizi, Metin Sınıflandırma, Makine Öğrenmesi, Danışmanlı Öğrenme Yaklaşımı, Büyük Veri, Sosyal Medya, Sınıflandırma Algoritmaları 1.GİRİŞ Markalar, siyasiler, ünlüler, yapımcılar vb. birçok oluşum için isimlerinin ve olayların insanlarda hangi duyguyu oluşturduğu her zaman önemli bir konudur. Daha önceleri bu bilgiyi edinmekte anket gibi masraflı ve zaman alan yöntemler kullanılmış olsa da internetin gelişimiyle birlikte bu yöntemlerin yerini daha iyilerinin alması kaçınılmaz olmuştur. İnsanlar düşüncelerini internet üzerinden herkesçe erişilebilen bir şekilde paylaşılmasıyla, sosyal medya, markalar için çok önemli bir bilgi kaynağı haline gelmiştir. Artık gerekli olan bilgi, insanların paylaşımlarında duygu madenciliği yapmaya kalmıştır. Bu bilgileri edinmedeki hız ve masrafının az olması, onu piyasa için oldukça değerli kılmıştır. Duygu analizi belirli bir konu hakkında olan metni inceleyerek olumlu, olumsuz veya tarafsız içeriğe sahip olup olmadığını inceler. Bu analizle yazarın görüşünü tespit etmek amaçlanır. Duygu analizi çalışmasında doğal dil işleme, makine öğrenmesi, hesaplamalı bilim gibi yaklaşımlar kullanılır.

2 azalttığından sonuçların iyileşmesine ve işin azalmasına katkı sağlar. Popülerliği: Saniyede atılan ortalama 5 bin tweet sayısıyla aradığınız başlık için veri kaynağı bulmanızı oldukça kolaylaştırır. Duygu analizinin evrimi Yapay zekanın bir alt dalı olan makine öğrenmesi, problemi öğrendiği bilgiye, belirlendiği kurallara göre sınıflandıran ve istatistiksel sonuçlara döken programdır. Makine öğrenmesi denetimli ve denetimsiz olarak iki başlığa ayrılmaktadır. Denetimli öğrenmede kullanılan yöntemde öğretici için örnek bir girdi ve hedefe ulaşılması için belli kurallarla haritalanmış istenilen çıktı oluşturulur. Denetimsiz öğrenmede ise öğrenme algoritmasına hiçbir etiket verilmeden, metinde kendiliğinden bir düzen bulup ilişkilendirilmesi istenmektedir. Projemizde duygu analizini belirli bir konu üzerinde yapılması istenmiştir. En uygun kaynak olarak twitter seçilmiştir. Twitter ın seçilmesinin sebepleri: Veri uzunluğu: Twitter maksimum 140 karakter mesaj uzunluğu sunar. Bizim seçtiğimiz konu başlığında ortalama olarak bir tweette 13 kelime geçmektedir. Bu şekilde kısa olması duygunun aranacağı metni kısalttığı için yarar sağladığı savunulabilir. Veri erişim kolaylığı: Twitter ın saniyede çekilebilecek tweet sayısı dışında başka bir kısıtı olmaması bilgi kaynağı edinimi açısından oldukça önemlidir. Dil kümelemesi: Tek bir dil için hazırlanacak projede bir marka veya oluşum için yabancı dillerde aynı isim ile atılan tweetleri otomatik elemesi bir artıdır. Başlık referanslaması: Özelleştirilmiş aramalar için o konuyla alakalı sonuç döndürmesi kirli veri sayısını Duygu analizinin sonucu olumlu, olumsuz ve nötr sonuçlar olarak elde edileceği kararlaştırılmıştır. Analiz için hedeflediğimiz markalar Samsung, Apple, LG dir. Tweet incelememizde hangi algoritmalarda daha iyi sonuç alınıyor ve neden, kappa değeri tatmin edici bir sayıya ulaştı mı, verimi arttırmak için neler yapılması gerekiyor, kelimerin yanlış yazılması başarımı ne kadar etkiliyor mu gibi sorulara cevap aranarak ilerlenmiştir. 2.LİTERATÜR Bu konuda ilk araştırmalar 2000 li yılların hemen öncesinde başlamış olsa da asıl sonuç alınan çalışmalar bu milenyumdan sonra elde edilmiştir. Duygu analizi alanında yapılan ilk çalışmalardan biri olarak kabul edilen Thumbs up?, Bo Pang, Lillian Lee ve Shivakumar Vaithyanathan tarafından 2002 de yayınlanmıştır. Film yorumlarını kendilerine metin olarak almışlardır ve bunları unigram, bigram, unigram+bigram, part of speach gibi makine öğrenmesi yöntemleriyle pozitif, negatif olarak ayırmışlardır. Daha karışık yapıda olan cümleleri, (örn: Bir insan 2 saat boyunca nasıl bu filmi izleyebilir gibi) hiçbir negatif, pozitif belirleyici kelime olmamasına rağmen cümlenin hangi duyguyu taşıdığı sonucuna ulaşmak istenmiştir. Makine öğrenmesi metotlarından naive bayes, maximum entropi ve vector machine algoritmalarında başarı elde etmişlerdir. En iyi sonucu ise unigram özelliğine göre makine öğrenmesi ayarlandığında alınmıştır. Svm algoritmasının performansı %82 lere ulaşmıştır da duygu analizini Twitter için uyarlayan Alec Go, Lei Huang, Richa Bhayani mesajları sınıflandırma üzerine uğraşmışlardır. Uzaktan denetimli öğrenme algoritmasını kullanarak 1.6 milyon tweeti incelemeye almışlardır. Pang ve grubunun yaptığı Thumbs up? projesini kendilerine kısmi olarak bir kaynak almışlardır. Bu çalışmayı unigram, bigram, unigram+bigram olarak analizini gerçekleştirmişlerdir. Şu şekilde bir sonuç elde etmişlerdir.

3 ve karar ağacı sınıflandırıcıları kullanılmıştır. Seçilen n-gram uzunlukları 1,2,3 dür. Makine öğrenmesinde nötr kelimeler elenerek, unigram ve svm sınıflandırıcıları kullanımıyla birlikte en iyi sonuç F-skor değerinde 0,82 elde edilerek alınmıştır. Diğer yandan sözlük tabanlı yaklaşımda alınan sonuç ise 0,59 F-skor değerine sahiptir. Buda çalışmanın hedef sorusu olan hangi yaklaşım daha iyi sonuç verir sorusuna makine öğrenmesi cevabını vermiş olmaktadır. Burada genel olarak en yüksek sonucu naive bayes algoritmasının unigramın karşılıklı bilgi biçiminde kullanılmasıyla elde edilmiştir. Ancak grafikte gösterilmeyen unigramın support vector machine algoritmasıyla kullanılması %82 lerde bir doğruluk sonucu doğurmuştur. Türkçe için F. Çetin ve M. Amasyalı Twitter üzerinde birçok çalışma yapmışlardır. Eğiticili yöntemler ve geleneksel yöntemler kullanarak gerçekleştirilen bu deneylerde naive bayes, random forest, sequential minimal optimization, J48, Instance Based1 algoritmaları kullanılmıştır. İki farklı şirketi, farklı veri kümelerinde inceleyerek; bu şirketler hakkında 6000 adet tweet bulmuşlardır. Bu tweetler el yordamıyla pozitif, negatif ve nötr olarak ayrılmış ve eşit sayıda tutulmaya çalışılmıştır. Unigram, bigram, trigram, four-gram kullanılarak yapılan denemelerde eğiticili yöntemlerin, eğiticisiz yöntemlere göre daha başarılı sonuçlar aldığını ortaya koymuşlardır. Ortalama başarıları %60 civarındadır. Bu başarıyı smo algoritmasıyla yakalamışlardır. Daha sonra aynı ikili veri kümesini yarı yarıya azaltıp naive bayes algoritmasıyla aktif öğrenme uyguladığında başarımı arttırıp %64 leri yakalamışlardır. Çetin ve Amasyalı [41] yaptıkları çalışmada Türkçe Twitter verisi üzerinde birçok deney gerçekleştirmiş ve deney sonuçlarını karşılaştırmışlardır. Sonuç olarak eğiticili yöntemlerin daha başarılı olduğunu tespit etmişlerdir. Ortalama %60 civarı başarı elde etmişlerdir. Çetin ve Amasyalı [42] yine başka bir çalışmalarında ise makine öğrenimi yöntemlerinden NB ile sınıflama esnasında eğitim kümesinin sayısını %50 azaltıp aktif öğrenme algoritmaları uygulamıştır. Tüm eğitim kümesine göre daha başarılı olmuşlar ve %64 başarı elde etmişlerdir. Diğer bir Türkçe duygu analizi çalışması Burak İbrahim Sevindi tarafından film yorumları üzerine yapılmıştır. Sözlük tabanlı yaklaşımlar ve makine öğrenmesinin karşılaştırıldığı çalışmada C4.5, naive bayes, k-nearest neighbor, support vector machine 3. VERİ SETİ ve WEKA 3.1.Veri Seti Bu bölümde teknoloji sektöründeki farklı üç firma hakkında paylaşılan tweetlerden oluşturulan her firma için ayrı birveri seti olmak üzere üç veri setikullanılmıştır. Veri setlerinde bulunan tweetler el yordamı ile pozitif, negatif ve nötr olmak üzere üç sınıfa ayrılarak veri seti eğitim setine dönüştürülmüştür. Her firmanın eğitim seti için 500 er tweet toplanmıştır ve alınacak sonuçların daha anlamlı olabilmesi için veri setlerindeki pozitif, negatif ve nötr tweetlerinin sayısının birbirine yakın olmasına dikkat edilmiştir. 3.2.Eğitim Setinin Özellikleri Her eğitim setinin düzenli hale getirilebilmesi için çalışmalar yapılmıştır. Bu çalışmalar, tüm kelimelerdeki Türkçe karakterlerin latin alfabesindeki harflere dönüştürülmesi ve basit yazım hatalarının el yordamıyla düzeltilmesi olarak sıralanabilir. Türkçe karakterlerin tweetlerlerde değiştirilmesinin nedeni olarak, sosyal medya evrensel bir bütünlük ifade ettiği için firmalar hakkında atılan tweetlerde hiç bir zaman tam olarak Türkçe alfabeyi doğru kullanılmadığı görülmüş ve buna engel olunabilmesi için bu yöntem kullanılmıştır. 3.3.Deneylerde Kullanılan Sınıflandırma Algoritmaları Bütün deneyler 10-katlamalı çapraz geçerleme stratejisi Weka (versiyon 3.6) yazılımı kullanılarak yapılmıştır[17].veri setleri üzerinde NB, RF,LibSVM, J48 ve KStar sınıflandırma algoritmaları uygulanmıştır Sınıflandırma Algoritması

4 sınıflandırıcı, olasılı sınıflandırma tekniklerinin en kısıtlayıcı uç yelpazesinde temsil edilir [1]. Sınıflandırılması gereken sınıflar (kümeler) ve örnek verilerin hangi sınıflara ait olduğu bellidir. Metin kategorizasyonu için çok etkili olduğu kanıtlanmıştır[2]. Bir Bayes yaklaşımı olarak, n boyutlu uzayda tanımlı olan X vektörü (x 1,..,x 2 ), m adet sınıf bulunan C k (C 1,.,C n ) veri kümesinde son olasılığı maksimize eden bir sınıf etiketi C arar. P( C X) P( X C ) P( C ) i i i Forest Sınıflandırma Algoritması (1) Breiman tek bir karar ağacı üretmek yerine çok sayıda ve çok değişkenli ağaçların her birinin farklı eğitim kümeleriyle eğitilmesi sonucu ortaya çıkan kararların birleştirilmesini önerir. Bir sınıflandırıcı yerine birden çok sınıflandırıcı üreten ve sonrasında onların tahminlerinden alınan oylar ile yeni veriyi sınıflandıran öğrenme algoritmasıdır. Büyük veri tabanlarında eşsiz olarak çalışır ve dengesiz veri seti sınıfında hata dengeleme yöntemlerine sahiptir. Kaybolan verilerin büyük olasılığında doğruluk korunur ve kaybolan verilerin tahmin edilmesinde etkili bir metottur [3][4]. veri setinde belirlenen K* noktasına en yakın olan verileri sınıflandırır, daha sonra bu K* noktasını kendine yakın verilerin merkezine taşıyarak sınıflandırmayı tamamlamış olur. 3.4.Sınıflandırma Algoritmalarının Karşılaştırılmasında Kullanılan Kriterler Model Başarım Ölçütleri Doğruluk Hata Oranı (Accuracy-Error Rate) Model başarımının ölçülmesinde kullanılan en popüler ve basit yöntem, modele ait doğruluk oranıdır. Doğru sınıflandırılmış örnek sayısının (TP +TN), toplam örnek sayısına (TP+TN+FP+FN) oranıdır. Hata oranı ise bu değerin 1 e tamlayanıdır. Diğer bir ifadeyle yanlış sınıflandırılmış örnek sayısının (FP+FN), toplam örnek sayısına (TP+TN+FP+FN) oranıdır. ( TP TN ) Doğruluk= ( TP FP FN TN ) ( FP FN) Hata Oranı= (4) ( TP FP FN TN ) (3) LibSVM Sınıflandırma Algoritması LIBSVM, (C-SVC, nu-svc), regresyon (epsilon- SVR, nu-svr) ve dağıtım tahmini (tek sınıf SVM) algoritmalarıyla destek vektör sınıflandırması için entegre bir yazılımdır. Bu uygulama global olarak bütün kayıp değerleri yenisiyle değiştirir ve nominal öznitelikleri ikili olanlara dönüştürür. Ayrıca bütün öznitelikleri (attributes) önceden tanımlanmış değerlerle (default) normalize eder. [5] J48 Sınıflandırma Algoritması J48, J. Ross Quinlan tarafından geliştirilen çok popüler C4.5 algoritması temeline dayanan bir karar ağacı algoritmasıdır. Karar ağaçları bir makine öğrenmesi algoritmasından bilgi temsil etmede klasik bir yoldur ve veri yapılarını ifade etmekte güçlü ve hızlı bir yol sunar. Bu algoritma verileri özyinelemeli olarak sınıflandırır. Bu işlem eğitim verilerinin maksimum doğruluğunu sağlar ama verilerin sadece belirli davranış özelliklerini tanımlayan aşırı kurallar oluşturabilir [7] KStar Sınıflandırma Algoritması K* sınıflandırma algoritmaları içinde her zaman yakınlığı ifade etmek için kullanılmıştır. Bu yüzden K* algoritmalarına uzaklık-tabanlı sınıflandırma algoritmaları denir. KStar algoritması, işlem yaptığı Kesinlik (Precision) Kesinlik, sınıfı 1 olarak tahmin edilmiş True Pozitif (TP) örnek sayısının, sınıfı 1 olarak tahmin edilmiş tüm örnek sayısına (TP+FP) oranıdır. Kesinlik= TP (5) ( TP FP) Duyarlılık (Recall) Doğru sınıflandırılmış pozitif örnek (TP) sayısının, toplam pozitif örnek sayısına (TP+FN) oranıdır. Duyarlılık= TP (6) ( TP FN) F-Ölçütü (F-Measure) Kesinlik ve duyarlılık ölçütleri tek başına anlamlı bir karşılaştırma sonucu çıkarmamıza yeterli değildir. Her iki ölçütü beraber değerlendirmek daha doğru sonuçlar verir. Bunun için f-ölçütü (F) tanımlanmıştır. F-ölçütü, kesinlik (K) ve duyarlılığın (D)harmonik ortalamasıdır.

5 F 2DK ( D K) (7) Kappa İstatistiği Gözlemciler arası varyasyon, iki veya daha fazla bağımsız gözlemciler tarafından aynı şeyi değerlendiriyor olduğu her durumda ölçülebilir [9].Kappa katsayısı -1 ile +1 arasında değişir.tam uyum söz konusu olduğunda K=1 olur. Gözlenen uyumun şansa bağlı uyuma eşit ya da ondan büyük olması durumunda K 0 iken, gözlenen uyumun şansa bağlı uyumundan küçük olması durumunda K<0 olur.kappa katsayısının yorumlanabilir aralığı 0 ile +1 arasında olup, negatif (K<0) değerlerinin güvenirlik açısından bir anlamı yoktur. 0.4 üzerinde bir kappa skoru makul bir anlaşmayı ifade eder [11]. Kappa değeri şu şekilde hesaplanır: ( Po Pc ) K (8) (1 P ) c (P o kabul edilen oran, P c kabul edilmesi beklenen oran) 3.5.Eğitim Setinin WEKA için Uygun Formata Dönüştürülmesi WEKA uygulamasının, veri seti üzerinde işlem yapabilmesi için hazırlanan eğitim setlerinin.arff uzantılı dosyalar haline getirilmesi gerektiğinden, tüm tweetler ayrı ayrı düzenlendi. Hazırlanan ARFF dosyasının başında bulunması gereken öğrenme özelliklerinin belirlenmesi aşamasında ise; PGS NGS + PGS NTGS + NGS NTGS [PGS + NGS + NTGS] formülü, PGS : kelimenin pozitif tweetlerde geçme sayısı NGS : kelimenin negatif tweetlerde geçme sayısı NTGS : kelimenin nötr tweetlerde geçme sayısı olmak üzere kullanılarak, tweetlerde geçen kelimelerin bilgi sağlama kapasiteleri değerlendirildi. Formüle göre 0.71 oranında bilgi sağlayan ama kelimesi sınır alındı ve kelimelerin tweetlerde en az 3 kez geçmesi şartı ile bağlama duyarlı şekilde öğrenme özellikleri belirlenerek, arff dosyası her firma için ayrı ayrı oluşturuldu. Veri setinde kullanılacak olan tweetler makine öğrenmesi yönteminin danışmanlı öğrenme yaklaşımı kullanılarak Weka kütüphanesinde yer alan NB, RF, LibSVM, J48 ve KStar sınıflandırma algoritmalarıyla model oluşturulmuştur. Her firma için test setinin içerdiği tweetler beş sınıflandırma algoritmasında da teste tabii tutulmuştur ve karşılaştırılmasında kullanılan model başarım ölçütleri ve kappa istatistiği sonuçlarına göre sınıflandırma algoritmalarının başarımları ölçülmüştür. Teknoloji firmaları arasından seçtiğimiz Apple, Samsung ve LG için alınan sonuçlar Tablo 1,2 ve3 de görülmektedir: Tablo 1: Apple için düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer algoritmalar bu ölçüte göre sırasıyla RF,LibSVM, J48 ve KStar şeklinde sıralanabilir. bu ölçüte göre sırasıyla RF, LibSVM, Kstar ve Bu firma için deneysel sonuçlardaki başarının düşük çıkmasının nedeni seçilen belirleyici kelimelerin hazırlanan test veri seti için yetersiz kalıyor olmasıdır. Çözüm olarak kelime düzeltici tasarlanarak, tweetler üzerinde kelimelerin tümümün düzeltilmesi ve belirleyici kelimelerin belirlenen formüle göre tekrar seçilerek testlerin yerine getirilmesine karar verilmiştir. 4. İlk Sonuçların Değerlendirilmesi 4.1 Deneysel Sonuçlar

6 Tablo 2: Samsungiçin düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer algoritmalar bu ölçüte göre sırasıyla LibSVM, RF, KStar ve J48 şeklinde sıralanabilir. bu ölçüte göre sırasıyla LibSVM, RF, Kstar ve Bu firma için de deneysel sonuçlardaki başarının düşük çıkmasının nedenininseçilen belirleyici kelimelerin hazırlanan test veri seti için yetersiz kalıyor olduğu görülmüştür. Çözüm olarak kelime düzeltici tasarlanarak, tweetler üzerinde kelimelerin tümümün düzeltilmesi ve belirleyici kelimelerin belirlenen formüle göre tekrar seçilerek testlerin yerine getirilmesine karar verilmiştir. Tablo 3: LGiçin düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer algoritmalar bu ölçüte göre sırasıyla RF, KStar, LibSVM ve J48 şeklinde sıralanabilir. bu ölçüte göre sırasıyla RF, LibSVM, Kstar ve Bu firma için deneysel sonuçlardaki başarı yüksek çıkmasına rağman Kappa değerinin düşük çıkmasının nedeni düzenlenen test veri setindeki örnek sayısının yetersiz olduğu anlaşılmıştır. Firma için daha fazla örnek toplanarak test işleminin tekrar yapılmasına karar verilmiştir. 5. Yazım Düzeltici 4. bölümden sonra alınan sonuçların geliştirilmesi için gelen kirli datanın düzeltilmesi gerektiğine kara verildi. Bu işlemleri gerçekleştirebilmek için python dilinde bir uyulama geliştirildi. Yazım düzeltici programı python da geliştirilmesinin sebebi metin işleme konularında diğer programlama dillerine göre oldukça hızlı olmasından dolayıdır. Google ın kullandığı yazım düzeltici kadar karmaşık olmasa da doğruluk oranında ona yaklaşabilecek bir düzeltici yazamaya çalıştık. 5.1.Yazım Düzeltici Çalışma Prensibi Kelimeleri düzeltebilmek için öncelikle tüm kelimelerin doğru yazım şekillerini içinde bulunduğu bir metin dosyası oluştruyoruz. Bu kütüphaneyi oluşturmak için birçok metin dosyası haline geletirilmiş kitaptan faydalandık ve konuya özel kelimeleri de ekledik(örneğin: Apple, Samsung, İphone, gibi). Bu metin dosyasını kullanarak her bir kelime için toplam geçme sayısı baz alınarak bir ağrılık değeri elde edilerek, bu ağırlık değeri kelimler düzeltilirken en az değişiklik uygulanıp elde edilecek olası birçok sonuç için karar vermeyi sağlamaktadır. Yani örneğin sadece bir harf değiştirilerek oluşabilecek iki sonuç için hengisinin seçileceği belirleniyor[24]. Kelimelerin düzeltilmesi için temel olarak beş yöntem kullanılmaktadır. Bunlar(bölme, silme, yer değiştirme, yerine yazma ve ekleme) işlemleridir[24]. Uygulamanın çalışma sürecinde Twitter dan gelen kelimeler dizilere aktarılarak tek tek metin kütüphanesinde olup oladığı incelenmektedir, ardından eğer kelime kütüphanede yoksa yukarıda belirtilen 5 yöntemden en az değişiklik yapmak suretiyle kütüphanede eşleşeceği sonuçlar elde edilir bu sonuçlardan da ağırlık değeri en çok olan kelime seçilerek Twitte yerine yazılır[24].

7 5.2.Değerlendirme Sonuçlar incelendiğinde eğer kütüphane gelen veriye uygun bir şekilde düzenlendiyse %72 oranında doğru sonucu elde ettiği dörülmüştür. Bu değer oldukça düşüktür, bunun sebebi düzeltilecek kelimelerin Weka programına uygun hale getirmek için Türkçe - ç, ğ, ı, ö, ş, ü - karakterleri - c, g, i, o, s, u - karakterlerine dönüştürülmüştür. Bu durumda düzeltme işlemindeki seçiciliği oldukça bozmuştur. Bir diğer sebepse Twitlerde konu alınan özellikle ticari ürün isimlerinin İnglizce olmasından dolayı birçok Twitter kullanıcısı kendi yazım şeklini geliştirmiştir. Örneğin İphone kelimesinin 6 farklı yazım şekli olduğu görülmüştür bu sonuçta yazım düzeltici uygulamasının hatalı düzeltme yapmasına sebep olmaktadır. Düzeltme işlemlerinde örneğin gelcem, görüyoz şeklindeki hatalı yazımların, yazım düzelticinin hemen hemen hepsinde hatalı düzeltme yapmasından dolayı bu durumlar için istisna durum kodları yazılmıştır ve bu şekilde gelen kelimlerin düzeltilmesinde %95 başarı sağlanmıştır. Bu tüm düzeltmelerden sonra Weka için.arff dosyaları hazırlanmıştır ve 4. Bölümdeki testler tekrar yapılmıştır. Teknoloji firmaları arasından seçtiğimiz Apple, Samsung ve LG için yazım düzeltici çalışmasından sonra alınan sonuçlar Tablo 1,2 ve3 de görülmektedir: Tablo 1: Apple için düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer algoritmalar bu ölçüte göre sırasıyla LibSVM,RF, J48 ve KStar şeklinde sıralanabilir. bu ölçüte göre sırasıyla LibSVM,RF, Kstar ve Tablo 2: Samsungiçin düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer algoritmalar bu ölçüte göre sırasıyla RF, LibSVM, J48 ve KStar şeklinde sıralanabilir. bu ölçüte göre sırasıyla RF, LibSVM, J48 ve KStar şeklinde sıralanabilir. Tablo 3: LGiçin düzenlenen veri seti için : A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir Bayes algoritması göstermiş olup diğer

8 algoritmalar bu ölçüte göre sırasıyla RF, KStar, LibSVM ve J48 şeklinde sıralanabilir. bu ölçüte göre sırasıyla RF, LibSVM, Kstar ve 6.Sonuç belirleyici kelimelerin bulunmasıyla oluşturulan eğitim setleri ile alınan sonuçlar arasında bariz farkların olmadığı görüşmüştür. Bunun nedeni olarak da düzenlenen eğitim setlerindeki verilerin yetersiz olduğu, bu çalışmanın bir büyük veri üzerinde yürütülmesi gerektiğine karar verilmiştir. Yinede alınan sonuçları değerlendirmek gerekirse, her iki çalışmada da en iyi sonucu 3 firma içinde algoritmasının verdiği görülmektedir. Tüm sonuçlar değerlendirildiğinde ilk düzenlenen eğitim setlerindeki verilerden alınan sınıflandırma sonuçları ile yazım düzelticiden geçirilerek %75 oranında tüm kelimelerin düzeltilmesiyle ve tekrar

9 7.Kaynakça [1] Mehran Sahami(1996),Learning Limited Dependence Bayesian Classifiers. [2] Dai, Wenyuan, et al. Transfering naive bayes classifiers for text classification. Proceedings of the national conference on artificial intelligence. London; AAAI Press; MIT Press;1999,2007. [3] Leo Breiman and Adele Cutler, Forests,2005. [4] Leo Breiman,Machine Learning, 45, 5 32, 2001, Forests. [5] Chih-Chung Chang and Chih-Jen Lin, LIBSVM A Library for [6] J.R, QUINLAN, Machine Learning 1: , 1986, Induction of Trees. [7] Laveena Sehgal, Neeraj Mohan, and Dr. Parvinder S. Sandhu (2012), Prediction of Function Based Software Using Tree Approach. [8] Aha, D. ve Kibler, D. (1991), Instance-based learning algorithms, Machine Learning, vol. 6, Issue no. 1, January [9] Anthony J. Viera, MD; Joanne M. Garrett, PhD (2005),Understanding Interobserver Agreement:The Kappa Statistic. [10] Schrauwen, Sarah. "Machine learning approaches to sentiment analysis using the dutch netlog corpus." Machine Learning Approaches to Sentiment Analysis Using the Dutch Netlog Corpus (Antwerp, Belgium, 2010), CLiPS Technical Report Series, Computational Linguistics & Psycholinguistics (2010). [11] Landis, J. Richard, and Gary G. Koch. "The measurement of observer agreement for categorical data." biometrics 33.1 (1977): [12] Cetin, M., and M. F. Amasyali. "Supervised and traditional term weighting methods for sentiment analysis." Signal Processing and Communications Applications Conference (SIU), st. IEEE, [14] Pang, Bo, Lillian Lee, and Shivakumar Vaithyanathan. "Thumbs up?: sentiment classification using machine learning techniques." Proceedings of the ACL-02 conference on Empirical methods in natural language processing-volume 10. Association for Computational Linguistics, [15] Go, Alec, Richa Bhayani, and Lei Huang. "Twitter sentiment classification using distant supervision." CS224N Project Report, Stanford (2009): [16] B.İbrahim Sevindi, "Türkçe Metinlerde Denetimli ve Sözlük Tabanlı Duygu Analizi Yaklaşımlarının Karşılaştırılması"Yüksek Lisans Tezi, [17] [18]Hidayet Takçı. Duygu analizi(sentiment analysis) Doktora Tezi, 2013http://verimadencisi.blogspot.com.tr/2013/08/d uygu-analizi-sentiment-analysis.html [19] [20]ftp://docentes.puccampinas.edu.br/pub/professores/ceatec/juan/Projet ofinal/bibliografia/go,%20bhayani,%20huang,% 20%20(2009).%20Twitter%20sentiment%20classif ication%20using%20distant%20supervision.%20c S224N%20Project%20Report,%20Stanford.pdf [21]Alaettin Uçan. Otomatik duygu sözlüğü çevirimi ve duygu analizinde kullanımı Yüksek Lisans Tezi, nmaster.pdf [22] timent.pdf [23] orking/twitter%20sentiment%20analysis.pdf [24] Peter Norvig, [13] Kılıçaslan, Yılmaz, Edip Serdar Güner, and Savaş Yıldırım. "Learning-based pronoun resolution for Turkish with a comparative evaluation." Computer Speech & Language 23.3 (2009):