DUYGULU Projesi Tasarım Raporu

Transkript

1 2242 DUYGULU Projesi Tasarım Raporu

2 İçindekiler 1. Giriş Problem Tanımı Amaç Kapsam Projenin Özgünlüğü Kısaltmalar Sistem Tasarımı Genel Mimari Vektör Uzay Modeli Kosinüs Benzerliği Harvard Sözlüğü ve Yapılan Eklentiler Veri Tasarımı Ara yüz Tasarımı Araçlar ve Kütüphaneler Proje Takvimi Referanslar... 12

3 1. Giriş 1.1. Problem Tanımı İnternet hayatımıza girmeden önce medya takibi yapmak görece olarak çok daha kolaydı. Bir kişi veya bir kurum ile ilgili basılı ve görsel tüm medyayı takip etiğiniz zaman, kişi veya kurumla ilgili tüm bilgileri toplayıp analiz yapabilirdiniz. İnternet kullanımının e-ticaret ile birlikte ticaretin yönünü değiştirmesi markaların tüketiciler ile olan ilişkisini de değiştirmiştir. Tüketicilerin yaşadığı pozitif veya negatif tüm deneyimler artık bu iki taraf arasında kalmayıp, sosyal medyanın da etkisiyle tüm çevreye yayılmaya başlamıştır. Sosyal medya içerisinde olan kişilerin bu deneyimlerden yola çıkarak karar vermeye başlamaları, markaların itibar yönetimi konusunda interneti ve sosyal medyayı dikkate almaları gerekliliğini ortaya çıkarmıştır. Tam da bu noktada; markalar, ürünler, kurumlar ve kişiler hakkında internet ortamında söylenenleri yorumlayıp analiz ederek bunların pozitif veya negatif olup olmadıklarını çıkarsamaya yarayacak Sentiment (Duygu) Analiz [6] uygulamalarına ihtiyaç duyulmaktadır Amaç Twitter da paylaşılan Türkçe tweetlerin belirli anahtar kelimeler ile (marka adı, kurum adı, kişi adı vb.) filtrelenip Vektör Uzay Modelinde (VSM) saklanmasıyla oluşan veriler üzerinde Sentiment Analiz teknikleri kullanılarak, farklı türde (grafik, harita vb.) istatiksel raporlamaların yapılması ve kullanıcıların bu raporlar sayesinde yönlendirilmesi amaçlanmıştır Kapsam Proje kapsamı aşağıdaki gibi olacaktır: Türkçe Twitter verileri üzerinde analiz yapılacaktır. Analiz edilecek metin verisi bir veya daha çok kelimeden oluşabilir. Filtrelenerek bulunan metinler üzerinde ilk olarak ön işlem (pre-processing) gerçekleştirilecektir. Bu işlem sırasında noktalama işaretleri, anlamsız karakterler, iki harf uzunluğundaki kelimeler elenirler. Sonrasında kalan kelimeler Türkçe bir Stop Word listesinde aranırlar, eğer bu listede yer alıyorlarsa (Örn: birkaç, diye, defa, sanki, yani, çünkü vb.) bu kelimeler de elenirler. Elemeler sonrası tweet metininde kalan kelimeler birer doküman olarak Vektör Uzay Modelinde [2] veritabanında saklanacaklardır. Sentiment analizine [6] altyapı oluşturması için İngilizce Harvard Sözlüğü[3] kullanılacaktır. Sözlükte bulunan yaklaşık kelimenin pozitif/negatif olma durumları hali hazırda kategorize edilmiştir. Bu sözlükteki kelimeler Google Translate API leri kullanılarak Türkçe ye çevrilmiştir. Ancak İngilizce için yapılan pozitif/negatif kategorizasyon işlemi Türkçe için birebir anlamlı olmadığından yaklaşık kelime üzerinde elle işlem yapılmış ve bu kelimelerin pozitif/negatif seviyeleri 1-5 aralığında verilmiştir. Kategorize edilen kelimeler pozitif/negatif seviyeleri ve tipleri ile veritabanında saklanmıştır. İlgili tweet metninin pozitif/negatif olma durumu değerlendirilirken: Ön işlem elemeleri sonucu kalan metnin içerisindeki kelimeler ile Harvard sözlüğündeki kelimeler arasında Vektör Uzay Modeli-Kosinüs Benzerliği [1] karşılaştırması yapılarak pozitif/negatif olma durumları ve ağırlıkları belirlenecektir. Metinde olumlu ve olumsuz kelimeler birlikte yer alıyorsa ağırlığı yüksek olan taraf tercih edilecektir.

4 Pozitif/negatif olarak değerlendirilen tweetler istatiksel raporlama ve harita raporları ile kullanıcıya gösterilecektir Projenin Özgünlüğü Duygulu projesinin özgün yanları aşağıdaki gibidir: Diğer dillerde yapılmış olan Sentiment analizinin Türkçe için yapılarak bunun bir Sosyal Medya Analiz uygulaması haline getirilmesi, Sentiment analizi için Harvard sözlüğü altyapısının kullanılması ve geliştirilmesi, Elle yapılması imkânsızlaşan bir özelliğin bu proje sayesinde otomatikleştirilmesi, Kurumlara, şirketlere, markalara ve kişilere itibar yönetimi yapma imkanı sağlanması Kısaltmalar SA IR VSM Sentiment Analiz (Duygu Analizi) Information Retrieval (Bilgi Geri Getirimi) Vector Space Model (Vektör Uzay Modeli) 2. Sistem Tasarımı 2.1. Genel Mimari Şekil 1. Sistemin Genel Mimarisi

5 2.2. Vektör Uzay Modeli Vektör Uzay Modeli, bilgiye erişim alanında sıklıkla kullanılan geleneksel bir yöntemdir. Vektör Uzay Modelinde, belgelerin ve bu belgeler üzerinde arama yapılan sorguların her biri birer vektör ile ifade edilir [2]. Her bir belge, anlamlı kelimelerden oluşan ve kelimelerin her birinin ağırlığı olan birer terim vektörü şekline getirilir. Belge vektörleri bir araya getirilerek bütün belgeleri içeren bir matris oluşturulur. Bu matris, belgelerden ve belgelerdeki terimlerden oluştuğu için belge terim matrisi ( D matrisi) adını alır [1]. m belgeden ve n terimden oluşan bir belge terim matrisi örneği denklem 1 de verilmiştir. Matrisin her bir satırı bir belgeyi vektör olarak gösterirken, sütunları da terim vektörleri olarak adlandırılır. Her bir hücredeki w ij ise j. terimin i. belgedeki ağırlığıdır. Aşağıda bir belge terim matrisi örneği gösterilmiştir. w 11 w 12 w 1n w 21 w 22 w 2n D = [ ] (1) w m1 w m2 w mn Terim ağırlığı hesaplamanın birçok değişik yolu vardır. Terim sayısı modeli bunlardan biridir. Bu modelde teriminin belgedeki ağırlığı, belge içerisindeki geçiş sayısına eşittir. Vektör Uzay modeli için en çok kullanılan model ise, term sıklığı - devrik belge sıklığı ağırlık modelidir [2]. Burada her bir tweet bir D dokümanını temsil etmektedir. Filtrelenerek bulunan tweet metinler üzerinde ilk olarak ön işlem (pre-processing) gerçekleştirilecek olup, bu işlem sırasında noktalama işaretleri, anlamsız karakterler, iki harf uzunluğundaki kelimeler elenecektir. Sonrasında kalan kelimeler Türkçe bir Stop Word listesinde aranırlar, eğer bu listede yer alıyorlarsa (Örn: birkaç, diye, defa, sanki, yani, çünkü vb.) bu kelimeler de elenirler. Elemeler sonrası tweet metininde kalan kelimeler birer D dokümanı olarak Vektör Uzay Modelinde mysql veritabanında saklanacaklardır. Vestel anahtar sözcüğü ile aranıp bulunan orijinal bir tweetin Vektör Uzay Modelinde saklanması adımları Tablo 1 de gösterilmiştir. Adım 1: Orijinal Tweet Vestel teknolojsne kocaman bir alkis. Kocanz maç anında gol diye bagirırken sizde dizilerde aglayabiliceksiniz yanyana. Iki gözluk tek televizyon! Adım 2: Tweetin preprocessten (ön işlem) sonraki hali vestel teknolojsne kocaman alkis kocanz bagirır siz dizi aglayabilicek yanya gözluk televizyon Adım 3: Vektör uzay modelindeki doküman matrisi örneği Terim Dök.1 Dök.2 Vestel teknolojsne kocaman 0 0 alkis kocanz 0 0 bagirır 0 0 siz 0 0 dizi 0 0 aglayabilicek 0 0 yanya 0 0 gözluk 0 0 televizyon Tablo 1. Orijinal tweetten Vektör Uzay Modeline dönüşüm

6 2.3. Kosinüs Benzerliği Kosinüs benzerliği iki vektör arasındaki kosinüs uzaklığını bularak bu vektörlerin birbirleriyle benzerliklerini ölçmek için kullanılmaktadır [1]. Kosinüs benzerliği ile bir belge vektörü ve bu belge vektörüyle benzerliğini bulacağımız bir sorgu vektörü karşılaştırılarak aralarındaki ilişki bulunur. Bu noktada sorgu vektörü olarak Harvard sözlüğü kullanılarak ortaya çıkmış olan Pozitif/Negatif seviyeleri belirli kelimelerin oluşturduğu dokümanlar kullanılacaktır. Kosinüs benzerliğinde belge ve sorgular kendi vektör uzunluklarına bölünerek birim vektör haline getirilir [1]. Belge ve sorgunun kosinüs benzerliği 0 ile 1 arasında bir değer alır. Kosinüs benzerliği değerinin 1 e yaklaşması belge ve sorgunun birbirleriyle olan benzerliği daha fazla olduğu anlamına gelir. Benzerlik fonksiyonu aşağıda görüldüğü gibidir. cos(θ) = sim(q, D i ) (2) sim(q, D i ) = i w Q,j w i,j w 2 j Q,j w 2 i i,j (3) Burada i w Q,j w i,j 2, Q sorgusuyla ve i belgelerinin nokta çarpımları j w Q,j 2 i w i,j ise Q sorgusu ve i belge vektörlerinin uzunluklarının çarpımıdır. Kosinüs benzerliğinde, vektör uzunlukları 2 normalleştirme etkeni olarak kullanılır. j w Q,j bilinir [2]. 2 i w i,j değeri kosinüs normalleştirme etkeni olarak Şekil 2. Kosinüs Benzerliği 2.4. Harvard Sözlüğü ve Yapılan Eklentiler Harvard sözlüğü, Harvard Üniversitesinin kelimelerin anlamlarının belirlenmesi için oluşturduğu bir araştırma sonucu olarak ortaya çıkmıştır [3]. Duygulu projemizde kullanacak olma sebebimiz ise tweetlerin taşıdıkları anlamları analiz edebilmemizi sağlayacak kelimelerin anlam ve ağırlıklarının bulunduğu tabloyu oluşturmaktır. Harvard sözlüğü modüler yapısı, kullanım kolaylığı ve kelimelerin pozitif/negatif ayrımının rahatlıkla yapılabilmesi açısından Sentiment Analiz uygulamaları kullanımına oldukça uygundur. Sözlük ilk halinde oldukça karmaşık yapısının yanında oldukça fazla kelime ve ayrıntıya sahiptir. İlk halinde kelimelerin sayısı yaklaşık dür. Sözlükteki tüm kelimeler Google Translate API leri kullanılarak Türkçeye çevrilmiştir. Ancak sözlükteki bazı kelimelerin analizleri Türkçe deki anlamlarını karşılamamaktadır. Dolayısı ile sözlük üzerinde uzun bir çalışma ihtiyacı ortaya çıkmıştır. Tablo 2 de Harvard sözlüğünün orijinal hali görülmektedir.

7 Turkce Positiv Negativ Strong Bir terketmek Negativ terk Negativ azaltma feragat etmek Negativ iğrenmek Negativ yetenek Positiv Strong sefil Negativ mümkün Positiv Strong anormal Negativ gemiye ortadan kaldırmak Negativ Strong kaldırılması iğrenç Negativ Strong Tablo 2. Harvard Sözlüğü Orijinal hali Bu sözlük Positiv, Negativ, Strong, Weak, Active, Passive, Pleasur, Pain, Feel, Arousal, EMOT, Virtue, Vice, Overstated gibi kategorilerine sahiptir fakat bizim için önemli olan Pozitif ve Negatif alanlarıdır. Bu kritere uyan kelimeler isim, fiil, edat olarak ayırdıktan sonra anlamlı kelime sayısı yaklaşık olarak seviyesine inmiştir. Sonraki adım ise kelimelerin anlamlarına göre ağırlıklarının verilmesi olmuştur. Yaklaşık olarak kelimenin anlamlarına göre incelenmiş ve Pozitif/Negatif derecesi olarak 1-5 arasında ağırlıkları verilmiştir. Tablo 3 de yapılan bu değişiklikler gösterilmiştir. Id word positive negativ 68 usta sevgi uygun güzel avantaj yardim lezzet çözüm utanmaz çalma igrenç tecâvüz yetersiz sefil karsi kararsiz 0 1 Tablo 3. Harvard Sözlüğünün Proje Kapsamında Genişletilmiş Hali Sonuç olarak Harvard Üniversitesi nin İngilizce için hazırladığı yaklaşık kelimelik ayrıntılı sözlüğünden yararlanılarak, projenin ihtiyaçlarına uygun kelimeler; pozitif değerleri, negatif değerleri ve türleri ile veritabanı tablosunda saklanmış ve Vektör Uzay Modelinde Kosinüs karşılaştırması yapmak üzere hazır hale getirilmiştir.

8 3. Veri Tasarımı Tasarım aşamasında öngörülen tablolar aşağıdaki gibidir: TweetTable No İsim Tür İçerik 1 TweetID Varchar(50) Tweet in Twitter daki Id si 2 SearchId İnt Arama Id si (searchtable) 3 CreatedDate Datetime Tweet tarihi ve saati 4 GeoCode Varchar(50) Tweet in koordinatları 5 Text Text Tweet 6 Text2 Text Preprocessing den sonra 7 UserId Decimal(10,0) Tweet sahibinin Id si 8 IsRetweet Tinyint(1) Retweet mi? 9 ReTweetCount Decimal(10,0) Aldığı retweet sayısı 10 HasPhoto Varchar(512) Paylaşılan görselin linki 11 FavLike Decimal(10,0) Favorilere eklenme sayısı UserTable: No İsim Tür İçerik 1 UserId Decimal(10,0) Tweet sahibinin Id si 2 UserName Varchar(100) Tweet sahibinin ismi 3 UserScreenName Varchar(100) Tweet sahibinin nick i 4 UserProfileText Varchar(256) Profil yazısı 5 UserFollowerCount Decimal(10,0) Kullanıcının takipçi sayısı 6 UserFollowingCount Decimal(10,0) Kullanıcının takip sayısı SearchTable: No İsim Tür İçerik 1 SearchId İnt(10) Arama Id si 2 SearchDate Datetime Arama zamanı 3 SearchText Varchar(256) Aranan ifade WordTable: No İsim Tür İçerik 1 Id İnt(10) Kelime Id si 2 Word Varchar(50) Kelime 3 Positiv Tinyint(4) Olumluluk değeri 4 Negativ Tinyint(4) Olumsuzluk değeri 5 Type Tinyint(4) Tür

9 İlişkiler: No İsim 1 TweetID 2 SearchId 3 CreatedDate 4 GeoCode 5 Text 6 Text2 7 UserId 8 IsRetweet 9 ReTweetCount 10 HasPhoto 11 FavLike No İsim 1 SearchId 2 SearchDate 3 SearchText No İsim 1 UserId 2 UserName 3 UserScreenName 4 UserProfileText 5 UserFollowerCount 6 UserFollowingCount 4. Ara yüz Tasarımı Tasarım aşamasında öngörülen prototip ekranlardan bazıları aşağıdaki gibidir: Şekil 3. Grafik Raporlama Yapılan Sentiment Analizi sonucunda aranan ifadenin günlere göre Pozitif/Negatif durumlarını yüzdelik dilimde gösteren grafik (Yeşil sütun olumlu, kırmızı sütun olumsuz oranını temsil etmektedir.)

10 Şekil 3. Harita Raporlama Yapılan Sentiment Analizi sonucunda dönen tweetlerden konum paylaşılanların analiz sonucuna göre renklendirilmiş işaretler ile haritada gösterimi ( Yeşiller olumlu, kırmızılar olumsuz ve maviler analiz edilemeyen tweetleri temsil etmektedir.) 5. Araçlar ve Kütüphaneler Duygulu projesi Microsoft Visual Studio 2012 geliştirme ortamında bir sınıf kütüphanesi olarak geliştirilmek üzere planlanmış olup ARGE çalışmalarına başlanmıştır. Sınıf kütüphanesi olması sayesinde proje Windows form, web uygulaması veya diğer uygulamalara daha çabuk adapte edilebilir bir hale gelecektir. Ayrıca Visual Studio sayesinde farklı API ler kullanılarak iş yükü azaltılacak ve zamandan tasarruf edilecektir. Projenin görsel kısmında ise ASP.NET i tercih edilecektir. Böylece projenin internet üzerinden de kullanılabilir olmasının önünü açılmıştır. Projede veri tabanı olarak ise mysql in sürümü kullanılacaktır. Bu tercihteki sebepler ise mysql in hızlı olması ve son derece başarılı bir şekilde desteklediği Vektör Uzay Modellemesidir. Bu özellik sayesinde tweetler kelime tablosu üzerinde daha hızlı bir şekilde sonuç döndürmektedir. Twitter dan tweetleri çekmek için ise Linq To Twitter [4] isimli API kullanılacaktır. Yaptığımız ARGE sonuçlarına göre Linq To Twitter yapısı, kullanım kolaylığı ve özellikleri ile en uygun API dir. Tweetlerdeki kelimeleri analiz için daha uygun hale getirmek için ise her tweete bir ön hazırlık uygulamak gerekmektedir bu aşamada da Apache Lucene.Net [5] kütüphanesi kullanılacaktır. Lucene.Net C# ile yazılmış bir Arama Motoru kütüphanesidir. Birçok arama algoritmasını içerinde barındırır. Duygulu projesinde Snowball, kelimelerin köküne ulaşma algoritması ve Stopword lerin

11 atılması algoritmaları kullanılacaktır. Bu işlemlerden geçen tweetler analiz sonucunda daha etkili sonuçlar döndürmektedirler. 6. Proje Takvimi

12 7. Referanslar [1] Salton G, Wong A, Yang CS. A Vector Space Model For Automatic Indexing. Communications of ACM (11): [2] E. Garcia. The Classic Vector Space Model,10,2006. [3] Harvard Inquirer Dctionary, [4] Linq To Twitter, [5] Apache Lucene.Net, [6] Lillian L, Pang B. Opinion Mining and Sentiment Analysis. Journal Foundations and Trends in Information Retrieval (1-3): 1-135