VERİ MADENCİLİĞİ Sosyal Ağlar

Transkript

1 Sosyal İlşkler: Çzge VERİ MADENCİLİĞİ Sosyal Ağlar Yrd. Doç. Dr. Şule Gündüz Öğüdücü Düğümler: Kşler Ayrıtlar: sosyal lşkler ale, arkadadaş, ş Çzge G(V,E) V: düğümler kümes E: Ayrıtlar kümes Benzerlk Matrs S. Mlgram (97) Yakınlığın Altı Dereces: Sx Degrees of Separaton Sosyal Ağ Sosyal ağ kşler arasındak lşklern oluşturduğu br yapıdır Sosyal ağ ncelemes: ağ yapısının, kşler ya da gruplar (topluluklar) arasındak lşklern ve blg akışının ncelenmes L.C. Freeman, Vsualzng Socal Networks. Journal of Socal Structure, 000. Kevn Bacon Oyunu 99 yılında br grup öğrenc tarafından cat edld: Crag Fass, Bran Turtle, Mke Gnelly Amaç: Bütün oyuncuları en az sayıda bağlantı le en kısa sürede Kevn Bacon a bağlamak Oracle of Bacon Web stes IMDB vertabanındak very kullanarak k oyuncu arasındak en kısa yolu buluyor. Sosyal İlşkler: Çzge Sosyal Ağların Özellkler Düğümler: Kşler Farklı (doğal) ağlar sosyal, byolojk, teknk, çerk.. Ortak özellkler Çok büyük, dnamk: düğümler, ayrıtlar ekleneblr/slneblr düğümler hang düğümlerle lşkde olacaklarına kendler karar veryorlar düğümler arası etkleşm ayrıtlarla sınırlı uzaklık/benzerlk çn soyut blg: coğraf, çerk, lşkler Sosyal ağ kuramı: lnk analz Farklı ağların genel özellkler nelerdr? Bu özellkler nasıl belrlenr, nasıl ölçülür?

2 Sosyal Ağların Özellkler Uzunluk (d G (s,t)): Ik düğüm (s,t) arasındak en büyük, en küçük, ortalama uzaklık Ik düğüm arasında bulunan yoldak ayrıt sayısı Ik düğüm arasında bulunan yoldak ayrıtların ağırlıklarının toplamı Derece: yönlü se düğüme gelen (n-lnk) / düğümden çıkan (out-lnk) bağlantıların sayısı Merkez: Ağdak dğer düğümlern bağlı olduğu br ya da br kaç düğüm Yoğunluk: Ağdak bağlantı sayısının olası bütün bağlantı sayısına oranı Sosyal Ağların Özellkler Merkez: Ağdak dğer düğümlern bağlı olduğu br ya da br kaç düğüm Yoğunluk: Ağdak bağlantı sayısının olası bütün bağlantı sayısına oranı =9/ 7 0 Sosyal Ağların Özellkler Tanımlar Uzunluk (d G (s,t)): Ik düğüm (s,t) arasındak en büyük, en küçük, ortalama uzaklık Ik düğüm arasında bulunan yoldak ayrıt sayısı d G (s,t) = (en kısa yol) Ik düğüm arasında bulunan yoldak ayrıtların ağırlıklarının toplamı s t st = ts s ve t (s,t V) düğümler arasındak en kısa yol sayısı -> ss = st (v): v V düğümünün üzernde bulunduğu s ve t düğümler arasındak en kısa yol sayısı C ( v) c tv d ( v, t) CG ( v) max d ( v, t) G tv Cs ( v) ( v) C ( v) B st svtv svtv G st ( v) st closeness centralty (Sabduss, 9) graph centralty (Hage and Harary, 99) stress centralty (Shmbel, 9) betweenness centralty (Freeman, 977; Anthonsse, 97) 8 Ulrk Brandes, A Faster Algorthm for Betweenness Centralty, Journal of Mathematcal Socology ():-77, (00). Sosyal Ağların Özellkler Tanımlar Derece: yönlü se düğüme gelen (n-lnk) / düğümden çıkan (out-lnk) bağlantıların sayısı yönsüz se düğüme bağlanmış ayrıt sayısı d(n)= n Hzp (Clque): seçleblecek her düğüm çft arasında br bağ olan alt çzge tam bağlı alt çzge Daha zayıflatılmış N-Hzp (N-Clque): Br düğümün çnde bulunduğu alt çzgedek dğer tüm düğümlere olan uzaklığı en çok N olablr N-Klan (N-Clan): N-Hzptek düğüm çftler arasındak yollar üstündek düğümler de N-Hzp üyes K-Plexes: Br düğümün n düğümden oluşan br N-Hzp çndek en az n-k düğüm le doğrudan bağlı olması 9

3 Tanımlar Kestleme noktası (Cut Ponts): Bağlı olan br G çzgesnden, v düğümü ve bu düğüme bağlı olan bütün ayrıtlar çıkarıldığında oluşan G-v çzges bağlı değl se v kestleme noktasıdır. Kestleme noktası 7 Problemler Bağlı parçalar: kaç parça, büyüklükler ne, ne kadar bağlılar Ağ çapı: en uzak ortalama Bağlı olmayan düğümler / parçalar Küçük dünya özellğ Demetleme Gruplaşan lşkler/düğümler Örtüşen gruplar Grup ç ve gruplar arası lşklern oranı Grup ç ve gruplar arası lşklern rolü Ağın yapısı düğümlern dereces k : düğümünün dereces, N : düğümünün komşular kümes lşklern ağırlığının dağılımı ağ çnde öneml rolü olan düğümler: k grubu brbrne bağlayan Tanımlar Web de Sosyal Ağlar Kestleme noktası (Cut Ponts): Bağlı olan br G çzgesnden, v düğümü ve bu düğüme bağlı olan bütün ayrıtlar çıkarıldığında oluşan G-v çzges bağlı değl se v kestleme noktasıdır. Facebook Myspace LnkedIn Classmates Orkut Bebo Medya paylaşım steler: YouTube Flckr 7 Sosyal Ağların Yeteneğ Özellk Tanım Etk Derece (Degree) Br düğümün bağlantı sayısı daha fazla seçenek Yakınlık Dğer düğümlere olan yolun uzunluğu Dğer düğümlerle doğrudan etkleşm Ara düğüm İk düğüm arasında yer alan düğüm Dğer k düğüm arasında lşkye sağlamak/kesmek Boyd, D. M., & Ellson, N. B. (007). Socal network stes: Defnton, hstory, and scholarshp. Journal of Computer-Medated Communcaton, (), artcle. 8

4 Sosyal Ağlar çn Modeller Rassal çzgeler (Random Graphs: Erdös-Rény models) Watts-Strogatz modeller Scale-free Networks Demetleme Katsayısı Demetleme katsayısı C 7 =*0/*=0 C =*/*=/ C =*/*= 7 9 Rassal Ağlar N = Erdös-Rény Model (90) Erdös-Rény (ER) Model: 99 yılında Paul Erdös ve Alfred Rény N: Düğüm sayısı p: k düğüm arasında ayrıt olma olasılığı p = /N, p = /N, p = /N, p=0/n, p = log(n)/n... Ortalama derece: k pn p = 0.0 ; k = 0 p = 0.09 ; k = p =.0 ; k ½N Connect wth probablty p p=/ N=0 ~. Pál Erdös (9-99) Posson dstrbuton 0 Rassal Ağlar Erdös Sayısı N(N-)/ adet hlel yazı tura atma Derece dağılımı N çok büyük olduğunda Posson dağılımı G(N,p) le br çzge oluştur, rastgele br u düğümü Pr[deg(u) = k]? Posson dağılımı ortalama = p(n-) ~ pn Demetleme katsayısı (clusterng coeffcent ) küçük k e f ( k; ) k! e C : v j, vk N, e k ( k ) jk jk E Paul Erdös le brlkte makale yazma uzaklığı Paul Erdös le brlkte makale yazan kşnn Erdös sayısı= Paul Erdös le brlkte makale yazan br kşyle brlkte makale yazan kşnn Erdös sayısı= Yaklaşık 00 den fazla makales var C N C

5 Watts-Strogatz modeller: Caveman and Solara Watts-Strogatz Model Erdos-Reny Ortak komşuları olması k düğüm arasında ayrıt olma olasılığını artırmıyor her ayrıt daha önceklerden bağımsız olarak oluşuyor Gerçekte oluşan ağ yapısına uygun değl k kşnn tanışma olasılığı ortak arkadaşları varsa daha fazladır Web de k sayfa brbrne bağlı se büyük olasılıkla aynı konudadırlar Watts Caveman: ayrıtların genel olarak yoğunluğu az k düğümün ortak komşuları varsa aralarında ayrıt olma olasılığı büyük Watts Solara ayrıtların genel olarak yoğunluğu az, br düğümün komşuları arasında ayrıt olma olasılığı farklı değl Erdos-Reny çzgesne benzer Br dare etrafında eşt dağılmış N düğüm Her düğümün en yakın k komşusu arasında k ayrıt (yakın lşk) p olasılığı le br düğüme az sayıda rastgele ayrıt ekle (uzak lşk) farklı p değerler çn farklı çzgeler Collectve dynamcs of 'small-world' networks Duncan J. Watts & Steven H. Strogatz 8 -model Small Worlds - Occam s Razor Gerçek hayatta çzgelerde düğümler arasındak bağlantılar düzenl çzge (regular graph) ve rassal çzge arasında Gerçek hayattak sosyal ağların yapısını mıodellemek -model (Watts, D. J. (999) Kevn Bacon, the small-world, and why t all matters. Santa Fe Insttute Bulletn, (): center secton) -model çn parametreler N düğüm sayısı k: ortalama derece p: k düğüm arasında ayrıt olma olasılığı : yakın lşklern olasılığını artırmak çn parametre Rassal ağlarda olduğu gb k düğüm arasına ayrıt eklenr. Ancak k düğümün ortak komşuları varsa aralarında ayrıt olma olasılığı fazladır. küçük değerler çn demetleme katsayısı büyük Erdos-Reny çapı küçük -model büyük demetleme katsayısı Occam s Razor farklı özellkler çn bast tek br model Watt s small world: çapı küçük demetleme katsayısı büyük 9 -model Örnek u,v düğüm çft çn m(u,v): ortak komşu sayısı R(u,v): k düğümün arasında ayrıt olma eğlm (propensty) m(u,v) >= k, R(u,v) = m(u,v) = 0, R(u,v) = p dğer durumlarda R(u,v) = p + (m(u,v)/k)^ (-p) üç gerçek ağ üzernde nceleme Oyuncular batı bölgesndek güç santraller C.elegans snr sstem çn Erdös-Reny çzgelerne benzyor n k d c Actors, Power-grd, C.elegans

6 Small World Rastgele k düğüm arasındak yolun uzunluğu kısa Serbest Ölçekl Ağlar (Scale free): Örnek web düğümler web sayfaları ayrıtlar bağlantılar Topluluk Belrleme S. Fortunato and C. Castellano, Communty Structure n Graphs, ArXv e-prnts Br çzge çnde ortak özellkler/görevler olan düğümler topluluğu aynı konudak web sayfaları benzer şleve sahp protenler aynı konuda çalışan nsan grupları aynı lg alanına sahp nsan grupları Topluluk çndek topolojk konumlarına göre düğümler sınıflandırılablr topluluğun merkeznde yer alan düğüm topluluğun sınırında yer alan düğüm Serbest Ölçekl Ağlar Metabolk Proten Düğüm sayısı N sabt değl Ağ sürekl yen düğümlern eklenmes/slnmes le değşyor web: yen sayfalar/steler eklenyor/slnyor yayınlar: yen yayınlar eklenyor Eklenen düğümlerle oluşan ayrıtlar ünform değl çok sayıda sayfanın/stenn bağlantı verdğ sayfaya/steye bağlantı verme olasılığı yüksek çok sayıda yayının referans gösterdğ yayının referans gösterlme olasılığı yüksek Sosyal Ekonomk Serbest Ölçekl Ağlar Topluluk Tanımı Pareto veya power law dağılımı P(k)=Ck - çapı küçük (~log(n)) Dar tanım Genş tanım Düğüm benzerlğ demetleme katsayısı çok büyük değl yakın komşuları le ayrıt olma olasılığı yüksek değl hub olan düğümlerle ayrıt oluşturma olasılığı yüksek

7 Dar Tanım Çzge Parçalama Sadece alt çzgedek lşklere göre toplulukları belrlyor. Örnek: Hzp, n-klan, k-plexes Graph Parttonng: Çzgey br düğüm br grupta kalacak şeklde gruplara (altçzgelere) bölme Problem: Örtüşen topluluklar Hyerarşk yapı 7 0 Genş Tanım Örtüşen Topluluklar Topluluk çzgnn yapısal br brm Altçzgeler hem kend çndek lşkler hem de çzgenn ger kalanıyla olan lşkler le belrlenyor Null model: çnde topluluk bulunmayan çzge Gerçek dünyada br nesne brden fazla gruba üye olablr Erdös-Reny Newman-Grvan: düğümlern orjnal çzge le aynı dereceye sahp olduğu rassal çzge G. Palla, I. Derény, I. Farkas, T. Vcsek, Uncoverng the overlappng communty structure of complex networks n nature and socety Nature, 8, Düğüm benzerlğ Hyerarşk Yapı Düğümler brbrne benzer se aynı toplulukta dar Altçzgeler tekrar parçalanablr genş A. Clauset, C. Moore, M.E.J. Newman, Herarchcal structure and predcton of mssng lnks Nature, 98,

8 Çzge Parçalama Grvan-Newman Algortması Hangs daya y M. Grvan & M.E.J Newman, Communty structure n socal and bologcal networks, PNAS 99, (00) Toplulukları brbrne bağlayan ayrıtları belrle Betweenness bu ayrıtları slme brbrnden ayrık demetler İk Farklı Sonuç Grvan-Newman Algortması Üstünlüklern karşılaştırmak çn br krter Q Q(P) > Q(P) veya Q(P) < Q(P)?. Bütün ayrıtların betweenness değerler hesaplanır. En büyük betweenness değerne sahp ayrıt slnr. Kalan ayrıtların betweenness değerler hesaplanır.. adıma ger dönülür 7 Brmsellk Gelştrlmş Grvan-Newman Algortması Modularty: a Btşklk Matrs: m k u e uv u, vv vv A A uv (u,v) E A uv 0 dger C { c, c,...}, c c ( j) j uc, vc j vc j cc A / m v uv k / m c V Q( G, C) ( e a ) M.E.J. Newman & M. Grvan, Fndng and evaluatng communty structure n networks, Phys. Rev. E 9, 0 (00). Her düğüm br demet. Q değern en büyütecek k düğümü brleştr. Bütün düğümler tek demet olana kadar şleme devam et. En fazla Q değerne sahp demetlemey seç 8 8

9 Problemler Örtüşen topluluklar Yönlü çzgeler Ağırlıklı çzgeler Karmaşıklık Dnamk ağlar Büyük ağlar 9 9