R ile Programlamaya Giriş ve Uygulamalar

Transkript

1 R ile Programlamaya Giriş ve Yrd. Doç. Dr. Mustafa Gökçe Baydoğan Berk Orbay, MS Endüstri Mühendisliği Bölümü Boğaziçi Üniversitesi Uzay Çetin, MS Bilgisayar Mühendisliği Bölümü Boğaziçi Üniversitesi XIX. Türkiye'de İnternet Konferansı 27 Kasım 2014 Yaşar Üniversitesi, İzmir

2 İçerik Giriş R ye genel bakış R dili R nedir, ne değildir? Neden R? Arayüz Çalışma alanı Yardım R ile çalışmak Paketler Veri okuma/yazma İşleme Grafik oluşturma Sonuç Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 2

3 Giriş Lisans ve Yüksek Lisans dereceleri ODTÜ Endüstri Mühendisliği Bölümü 2006 ve 2008 yılları Yüksek lisans çalışmaları sırasında metasezgisel algoritmalar (çoğunlukla genetik algorithmalar) ve çok amaçlı eniyileme üzerine çalıştı. Doktora derecesi ASU Endüstri Müh., Tempe, Arizona, ABD (2012) Veri madenciliği üzerine birçok projede çalıştı. Doktora tezi zaman serilerinde veri madenciliği üzerine oldu. Çalışmalarının çoğunda R dilini kullandı. Şu anda Boğaziçi Üni. Endüstri Müh. öğretim görevliliği, İTÜ Teknokent te faaliyetlerini sürdüren Invent Analytics şirketine danışmanlık yapmaktadır. Sorularınız ve detaylı bilgi için mustafa.baydogan@boun.edu.tr Başlamadan önce sunum sırasında #inettr hashtagli tivitleri R kullanarak toplamaya başlıyoruz. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 3

4 R a genel bakış R dili ve tarihi Temeli 1976 yılından bu yana Bell Laboratuvarları nda istatistiksel programlama dili olarak geliştirilen S diline dayanır. UNIX ile aynı zamanda geliştirilmeye başlandı. Araştırma ve veri analizi için geliştirilmiştir. Sonraları lisanslı olarak S-Plus olarak piyasa sürülmüştür. S diline benzer ama açık kaynaklı bir platform olarak R dili 1990 lı yıllara Yeni Zelanda daki Auckland Üniversitesi İstatistik Bölümü nden Ross Ihaka ve Robert Gentleman tarafından yazılmıştır. Daha sonra dünyanın çeşitli yerlerindeki araştırmacılar R yi geliştirmek için bir araya gelmiş ve 1997 de bu gruba R core team adı verilmiştir. R dilinin ilk sürümü R core team tarafından 29 Şubat 2000 tarihinde yayınlanmıştır. Her iki-üç ayda bir sürümler güncellenmektedir. En son sürümü R version (Pumpkin Helmet) 31 Kasım 2014 de yayınlanmıştır. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 4

5 R ye genel bakış R nedir, ne değildir? R GNU S dir. Veri işleme, hesaplama ve grafik gösterimi için bir dil ve çevre sağlar. Geniş bir yelpazede istatistiki ve grafiksel teknikleri içerir. doğrusal ve doğrusal olmayan modelleme, klasik istatistik testleri, zaman-serileri analizi, sınıflandırma, kümeleme,... Açık kaynak kodlu olması itibariyle geliştirilmeye çok yatkındır. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 5

6 R ye genel bakış R nedir, ne değildir? R dilinin söz dizimi kuralları (syntax) C diline benzerlik gösterir. Fonksiyonel bir programlama dili olan R istatistikçiler ve matematikçiler için kod yazmayı kolaylaştıran fonksiyonlara sahiptir. R, yaygın olarak kullanılan SPSS, SAS gibi istatistik paket programlarının aksine istatistiksel yazılım geliştirme ortamıdır. Etkin veri işleme ve saklama özelliğine sahiptir. Dizi ve özellikle matris hesaplamalarında kullanılabilecek özel operatörler mevcuttur. Veri analizi için kullanılabilecek uyumlu ve bir arada kullanılabilen araçlar içerir. Veri çözümlemede kullanılabilecek grafiksel araçlara sahiptir. Kaynak: A. F. Özdemir, E. Yıldıztepe ve M. Binar, Akademik Bilişim 2010 Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 6

7 R ye genel bakış R nedir, ne değildir? Özetle R Bir programa dilidir. İstatiksel bir pakettir. Bir yorumlayıcıdır (interpreter). Özgür bir yazılımdır. Fakat R Bir veri tabanı değildir ama veri tabanlarına bağlanabilir. Kullanıcı dostu olmasa da java gibi diller aracılığıyla ara yüz desteğine sahip bir yazılım geliştirme ortamıdır. Tablolardan oluşan yazılım paketi (Excel, Minitab gibi) değildir ama bunlara bağlanabilir. Profesyonel veya ticari desteğe tabi bir yazılım değildir. Kapalı kutu yazılımlardan oluşan bir yazılım değildir. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 7

8 R ye genel bakış Neden R? = STATA, SPSS ve SAS gibi programlarının kullanıcıları Muggle gibidir.* Yapabilecekleri kendileri için geliştirilmiş algoritmaların sağladığı esneklik ile sınırlıdır ve bu algoritmalara güvenmek zorundadırlar. Üzerine bir de para ödenmesi gerekmektedir. *A very brief introduction to R -Matthew Keller ( Muggle: Büyüden yoksun bir aileden doğan Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 8

9 R ye genel bakış Neden R? = R kullanıcıları aksine sihirbaz gibidirler.* İstatistik alanında çalışma yapan araştırmacılar tarafından geliştirilen fonksiyonlara güvenebilirsiniz ve bunları kendiniz oluşturabilirsiniz Güven? Açık kaynak kodlu olması itibariyle fonksiyonların ne yaptığı kullanıcılar tarafından incelenip, doğrulanabilir. Yeterli seviyeye ulaşıldığınızda yapabilecekleriniz uçsuz bucaksızdır. *A very brief introduction to R -Matthew Keller ( Muggle: Büyüden yoksun bir aileden doğan Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 9

10 R ye genel bakış Neden R? Paket Sayısı Kaynak Yeni R Sürümü Çıkış Tarihi Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

11 R ye genel bakış Neden R? Tartışma Listesindeki Trafik Konu Sayısı Yıl Kaynak Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 Yazılım 11

12 R ye genel bakış Neden R? Artıları Hızlı ve ücretsiz Güncel Hesaplama yoğun işlemlerde başarı İstatistik alanında çalışan araştırmacılar algoritmalarını R ortamında paylaşmaktalar. Yaygın kullanım ve kullanıcı desteği Analizin nasıl yapılması gerektiği hakkında düşündürür. Diğer diller ve programlar ile bağlantı desteği İşletim sisteminden bağımsız olarak çalışır. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/2014 Eksileri Öğrenme süreci uzundur. Profesyonel destek eksikliği problemlerin kullanıcı tarafından çözülmesini gerektirir. Kullanıcı dostu değildir. Basit seviyede bir kullanıcı arayüzüne sahiptir. Hata yapmak kolaydır ve tespit edebilmesi zor olabilir. Veriyi işlenecek hale getirmek zaman alıcı ve hataya açık bir süreçtir. Tüm işlemler hafızada gerçekleştirilir. Çok büyük veriler fazla RAM gerektirir. 12

13 R ye genel bakış R ye giriş Yükleme R-Project web sayfası Windows, Linux, Mac OS X, source Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

14 R ye genel bakış R Ara yüzü R terminali Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

15 R ye genel bakış R Ara yüzü R editörü Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

16 R ye genel bakış R Ara yüzü R dilinde komut satırına girilen söz dizim kuralları (syntax) aynı zamanda metin dosyalarına da yazılabilir. Bu durumda metin dosyası uzantısı *.R olarak kaydedilir. Bu şekilde kaydedilmiş bir dosya artık R script dosyasıdır. Kaynak: A. F. Özdemir, E. Yıldıztepe ve M. Binar, Akademik Bilişim 2010 Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

17 R ye genel bakış Alternatif editörler ve ara yüzler En yaygın kullanılan editör + ara yüz RStudio dur. R ortamı R editörü R geçmişi R terminali R dosyalar grafikler paketler yardım Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

18 R ye genel bakış Alternatif ücretsiz editörler ve ara yüzler Geany Notepad++ RWinEdt Tinn-R JGR (R için Java ara yüzü) Emacs + ESS Rattle Playwith (grafikler için) Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

19 R ye genel bakış R dili Örnekler (Hesap makinesi olarak R) > log2(32) [1] 5 > sqrt(2) [1] > seq(0, 5, length=6) [1] sin(seq(0, 2 * pi, length = 100)) >plot(sin(seq(0,2*pi,length=100))) Index Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

20 R ye genel bakış R dili R, belleğe direkt erişim yerine özel veri yapılarını kullanır. R deki temel nesne türleri: numeric integer, double, complex character logical function Bu nesneler kullanılarak aşağıdaki objeler oluşturulabilir Vektörler: aynı tipte nesneleri barındıran dizilerdir. Listeler: Listeler de vektördür ancak listedeki elemanlar farklı tiplerde olabilir. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

21 R ye genel bakış R dili Değişkenleri çalışma sırasında tanımlanır. Önceden tanımlamaya gerek duyulmaz. > a = 49 > sqrt(a) [1] 7 > a = "Kedi ödevimi yedi" > sub("köpek","kedi",a) [1] "Köpek ödevimi yedi" > a = (1+1==3) > a [1] FALSE numeric function character string logical Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

22 R ye genel bakış R dili Vektörler, matrisler ve diziler > a = c(1,2,3) > a [1] > a[1] [1] 1 > a[-1] [1] 2 3 > a[2] [1] 2 > a[4] [1] NA > a[5]="c" > a [1] "1" "2" "3" NA "c" > a[10]="deneme" > a [1] "1" "2" "3" NA "c" NA NA NA [9] NA "deneme > length(a) [1] 10 NA (not available) Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

23 R ye genel bakış R dili Vektörler, matrisler ve diziler Operatörler <- = > x <- c(0,1,2,3,4) > x [1] > y = 1:5 > y [1] > median(x = 1:10) > x Error: object 'x' not found > median(x <- 1:10) > x [1] > a = c(1,2,3) > a [1] > a[1] [1] 1 > a[-1] [1] 2 3 > a[0] numeric(0) > a[2] [1] 2 > a[4] [1] NA > str(a) num [1:3] Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

24 R ye genel bakış R dili Vektörler ile matematiksel işlemler > x <- c(0,1,2,3,4) > y <- 1:5 > z <- 1:50 > x + y [1] > x * y [1] > x * z [1] [12] [23] [34] [45] Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

25 R ye genel bakış R dili Vektör: aynı tipe sahip veriler topluluğu a = c(1,2,3) Matris: aynı tipe sahip iki boyutlu veri a = matrix(0,5,10) Örnek: 5 öğrencinin 10 günlük yoklama bilgisi Dizi: ikiden daha fazla boyutlu matris a = array(1:60, dim=c(3,4,5)) Örnek: Renkli resim R, G, B (Kırmızı, Yeşil ve Mavi) kanallarındaki piksel yoğunlukları Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

26 R ye genel bakış R dili Liste: farklı tipte sıralı veriler topluluğu Genel olarak vektörler indeks (sayı) ile listeler ise elemanlarının isimleriyle erişilir. Listeler indeksi de destekler. > denemelist=list(isim="mustafa",yas=31,evlimi=f) > str(denemelist) List of 3 $ isim : chr "mustafa" $ yas : num 31 $ evlimi: logi FALSE > denemelist[1] $isim [1] "mustafa" > denemelist[[1]] [1] "mustafa" > denemelist$yas [1] 31 Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

27 R ye genel bakış R dili Data frame: Özelleşmiş bir liste türüdür. R nin veri okuma fonksiyonlarının çoğu varsayılan tip olarak data frame tipinde bir nesne oluşturur. read.table, read.csv > path='c:/mustafa/research/presentations/inet/ornek.csv' > ornekdata=read.csv(path) > ornekdata Col1 Col2 Col a1 b a2 b a3 b3 > str(ornekdata) 'data.frame': 3 obs. of 3 variables: $ Col1: int $ Col2: Factor w/ 3 levels "a1","a2","a3": $ Col3: Factor w/ 3 levels "b1 ","b2 ","b3": Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

28 R ye genel bakış R dili Alt kümeleme > ornekdata[1,] Col1 Col2 Col a1 b1 > ornekdata[,2] [1] a1 a2 a3 Levels: a1 a2 a3 > ornekdata[,2:3] Col2 Col3 1 a1 b1 2 a2 b2 3 a3 b3 > ornekdata$col1 [1] Faktörler: Karakterden farklı olarak belirli sayıda seviyeye sahip olan veri tipi Örnek: günler Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

29 R ye genel bakış R dili Fonksiyonlar Diğer dillerdeki gibi tanımlanır. Argüman listesi vardır. Herhangi bir veri tipinde değer dönebilir. > ornekfonk <- function(x){ 2*sqrt(x) } > ornekfonk(4) [1] 4 > x <- c(0,1,9,25) > ornekfonk(x) [1] Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

30 R ye genel bakış R dili Yardım almak (Tarayıcıda açılır) help() > help(read.table) starting httpd help server... done help.search() > help.search('median') Arama motorları Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

31 R ye genel bakış R dili help( read. table)?read.table 45/library/ utils/html/ read.table.html Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

32 R ye genel bakış R dili help.search( median ) Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

33 R ye genel bakış R Oturumu (Session) ve Yönetimi Çalışma klasörü (working directory) Kaydedilen (diske) her türlü bilgi bu klasöre yazılır (eğer uygun bir yol belirtilmemişse). getwd() setwd(path) komutu ile yeni klasör belirlenebilir. Çalışma alanında tanımlı nesneler ls() > getwd() [1] "C:/Users/baydogan/Documents" > ls() [1] "a" "denemelist" "m" "ornekdata" "path" Takibi hafıza kullanımı açısından önemlidir. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

34 R ye genel bakış R Oturumu (Session) ve Yönetimi Objeleri silme Hafıza yönetimi oldukça önemlidir. rm() > ls() [1] "a" "denemelist" "m" "ornekdata" "ornekfonk" "path" "x" > rm("denemelist","m") > ls() [1] "a" "ornekdata" "ornekfonk" "path" "x" > gc() used (Mb) gc trigger (Mb) max used (Mb) Ncells Vcells gc() Çöp toplayıcısı Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

35 R ile çalışmak Koşullar Söz dizim kuralları dışında döngü mantığı diğer diller ile aynıdır. > x = 1:9 if (length(x) <= 10) { x <- c(x,10:20); print(x) } else { print(x[1]) } Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

36 R ile çalışmak Döngüler Söz dizim kuralları dışında döngü mantığı diğer diller ile aynıdır. > for(i in 1:10) { x[i] <- rnorm(1) } j = 1 while( j < 10) { print(j) j <- j + 2 } C gibi temel dillere kıyasla döngüler yavaş çalışır. Vektörler üzerindeki işlemleri vektörel olarak kodlamak önemlidir. Örneğin bir vektörün (a olsun) her elamanını 5 ile çarpak için bir döngü yazmak yerine sonuc=5*a kullanılabilir. lapply, sapply ve apply fonksiyonları önemlidir. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

37 R ile çalışmak Paket yapısı R fonksiyonları ayrı paketler halinde düzenlenmişlerdir.* Böylece gerekli paketlerle çalışarak daha az bellek kullanımı ve hızlı işlem gücü sağlanır. Bu paketlerin bir başka avantajı da yazılan fonksiyonlardan oluşan paketlerin R web sitesinden temin edilerek yüklenebilmesidir. Her paketin bir yaratıcısı ve kendisine ait bir yardım dosyası bulunur. s/index.html *Kaynak: A. F. Özdemir, E. Yıldıztepe ve M. Binar, Akademik Bilişim 2010 Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

38 R ile çalışmak Paket yapısı Paketler ara yüz aracılığıyla yüklenebilir. Terminalden install.packages(paketismi) komutu kullanarak da yüklenebilir. Paketin indirileceği bir sunucu seçilmesi gereklidir. Paketlere ait fonksiyonlar kullanılacağı zaman paket çağrılmalıdır. > require(lpstimeseries) Loading required package: LPStimeSeries LPStimeSeries 1.0 > library(lpstimeseries) Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

39 R ile çalışmak Veri alışverişi Kullanılacak olan veri dosyalarının R ortamına alınabilmesi için farklı seçenekler vardır: metin dosyalarından (txt,csv), gerekli paketleri yükleyerek binary ve dbase (dbf) dosyalarından, hesap tablosu dosyalarından (xls, sav), farklı veri tabanlarından (MySQL, MS Access, Microsoft SQL Server, Postgre SQL, Oracle, IBM DB2) diğer programların çıktılarından (SPSS, SAS, WEKA) web tabanlı json, xml dosyalarından Daha fazla bilgi için: Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

40 R ile çalışmak Paralelleştirme ve Büyük Veri Unix ortamında birden çok çekirdekli işlemcilere sahip bilgisayarda işler farklı işlemcilere dağıtılabilir. domc paketi bunu sağlayan örnek paketlerdendir. Bilgisayar hafızasına sığmayacak büyük veriler ile çalışıldığında çeşitli indeksleme seçenekleri sağlayan paketler kullanılabilir. bigmemory paketi bunu sağlayan örnek paketlerden biridir. Zaman alan ve hafıza tutan işlemlerin bir kısmını daha temel dillerde (C gibi) yapılıp R a entegre edilebilir. R C, Fortran vb. gibi dillere bir ara yüz sağlamaktadır. Detaylı bilgi: Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

41 Sonuç Bu çalışmada, son yıllarda yaygın olarak kullanılan R programlama dilinin tanıtılması hedeflenmiştir. R, ücretsiz olarak temin edilmesi ve birçok araştırmacının bu dilin gelişimine destek vermesi sonucunda, özellikle veri madenciliği alanlarında çalışan uygulamacıların dikkatini çekmiştir. SAS, SPSS ve STATA gibi programlar ile R arasındaki en önemli fark R nin istatistiksel yazılım geliştirme ortamı ve programlama dili olmasıdır. Kişisel olarak hem danışmanlık faaliyetlerinde hem de akademik çalışmalarda oldukça başarılı sonuçlar elde edilmiştir. Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

42 Teşekkürler Sorular Baydoğan, Çetin ve Orbay, R, inet-tr 14, İzmir - 27/11/

43 ile Programlamaya Giriş ve Mustafa Baydoğan Uzay Çetin Berk Orbay

44 Neden R? (Bence) Hızlı, Kolay ve Gelişmiş Hızlı prototip oluşturma ve deneme yapma imkanı" " Kullanım kolaylığı" " Paket sistemi ve CRAN" " Geliştirici sofistikasyonu" " Güçlü güncellemeler" " Müthiş destek (stackoverflow, mail listeleri)" " Açık kaynak

45

46 Neden R değil? (Bence) Muhtelif sudan sebepler Büyük ve bağlantılı projelere uygun değil" " Veri saklamak için sadece memory kullanıyor" " Tek çekirdek kullanıyor (bazı paketlerle üstesinden gelmek mümkün)" " İşlem hızı (bir Java veya C++ değil ama işi oraya atabiliyorsunuz)" " Açık kaynak (bazı şirketlerin sebebi)" " Satır satır kod yazmak (beyaz yaka problemi)" " Döngü (loop; for, while) sevenler uzak dursun

47 Neler Yapacağım? Basit Finansal Uygulama Çeşitli kaynaklardan veri çekmek (Google Finance, Quandl ve dosyadan)" " BIST100, Altın ve Dolar/TL" " Grafik çizdirmek, bazı basit görsel finansal analizler" " Basit aylık performans raporu" Twitter da paylaşma" Döküman haline getirme

48 Neler Yapacağım? Çok Paket, Az Kod Quantmod - Veri çekmek ve grafik oluşturmak" " Devtools ve GitHub - CRAN dışında da paket kullanmak" " Quandl - Büyük veritabanına API yardımıyla bağlanmak" " ggplot2 - Güzel grafikler oluşturmak" " TwitteR - Tweet atmak" " Rmarkdown - Rapor oluşturmak" " OIdata - Veri örnekleri ve haritalandırmak" RColorBrewer - Renk skalası oluşturmak" classint - Aralık oluşturmak

49 Bonus - Dikkat Edilmesi Gereken İnsanlar Andrew Ng - Baidu Baş Bilim İnsanı Eski google çalışanı (Google Brain), Stanford profesörü, yapay zeka, makine öğrenme, deep learning Hadley Wickham - Rice University Yeni Zelandalı, Hadleyverse, veri analizi için pratik paketler, veri görselleştirme

50 RileSosyalAğAnalizineGiriş Uzay Çetin Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü Kasım 2014 Uzay Çetin 1 / 65

51 Karmas ık Ag lar R ile Sosyal Ag Analizi I c erik Karmas ık Ag lar Ag O rnekleri Karmas ık Ag Modelleri R ile Sosyal Ag Analizi Igraph Paketi Co-occurence Ag ı Paul - Bilgiyi go rselles tirmek fotog rafc ılıktan farksız. Uzay C etin R ile Sosyal Ag Analizi 2 / 65

52 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Bilimi Ne işe yarar? Ağlar, modelledikleri sistem hakkında birçok bilgiyi içinde barındırır. Kışkırtıcı Gerçek liderlerin, potansiyel güç odaklarının, sistemin en zayıf noktasının ya da seçimlerde en çok kime oy atılacağının ipuçlarını bize gösterebilir. Ş a ş ı r t ı c ı Birbirinden çok farklı dinamikler neticesinde oluşan ağ modellerinde, şaşırtıcı benzerlikler bulunmuştur. Bunun arkasında yatan sebep ne olabilir? Uzay Çetin 3 / 65

53 Ağ Örnekleri Karmaşık Ağ Modelleri Kimler ağ bilimi ile ilgilenir? Manipulasyonun peşinde olanlar I İnsanları yönlendirmek isteyen politikacılar I İnsanlara bir şeyler satmak isteyen pazarlamacılar Gerçeğin peşinde olanlar I Doğayı anlamak isteyen fizikçiler I İnsan ilişkilerini anlamak isteyen sosyal bilimciler Uzay Çetin 4 / 65

54 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Nedir? Ağ, en basit ifadeyle birbirine bağlı objelerden oluşmaktadır. Ağdaki düğümler objeleri, o düğümler arasındaki kenarlar ise objeler arasındaki ilişkiyi temsil eder. Sosyal Ağ Örnekleri Düğümleri insan olan ağlardır. I Arkadaşlık ağları, romantik ilişki ağları I Film aktörleri ağı, aynı filmde oynama Uzay Çetin 5 / 65

55 Ağ Örnekleri Karmaşık Ağ Modelleri Ndüğümüolanbirbirindenfarklıkaçağvardır? 3 Düğümle oluşabilcek tüm ağlar 2 kenarlı ağlar Tam Ağ Boş Ağ 1 kenarlı ağlar Uzay Çetin 6 / 65

56 Ağ Örnekleri Karmaşık Ağ Modelleri N Düğümlü Tüm Ağlar Tüm ağlar, tam ağdan elde edilebilir. Tam Ağ I N Tam ağdaki bağlantı sayısı, 2 sidir. a I Tam ağdaki, herhangi bir bağlantı(kenar) ya vardır ya da yoktur. I N düğümlü tüm ağların sayısı 2 (N 2) dir. a Tam ağda, herhangi iki düğüm arasında bir bağlantı vardır. Matematikte N düğüm arasından herhangi iki düğüm seçme işlemine N in 2 li kombinasyonu, N 2 si, denir. Uzay Çetin 7 / 65

57 Ağ Örnekleri Karmaşık Ağ Modelleri ln(2 (N 2) ), N ye göre değişimi Karmaşıklık Sadece 24 düğümle oluşturulabilecek tüm ağların sayısı, evrendeki atom sayısı den, fazladır. Uzay Çetin 8 / 65

58 Ağ Örnekleri Karmaşık Ağ Modelleri Kenar Bağlantılar (kenarlar), bütünü oluşturan parçalar arasındaki ilişkilerdir. Yönsüz Bağlantılar I Simetrik ilişkilerdir. I Facebook arkadaşlık ilişkisi I ABilearkadaşsa,BdeAilearkadaştır. Yönlü Bağlantılar I Asimetrik ilişkilerdir. I Twitter takipçileri I B, A yı takip etmese de; A, B yi takip edebilir. Uzay Çetin 9 / 65

59 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ verisi Ağ verisinin gösterimi I Kenar Listesi I Komşuluk Listesi I Komşuluk Matrisi I B,A I B,C I B,D I E,C I B,A I B,C I B,D I C,A I E,C Uzay Çetin 10 / 65

60 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ verisi Ağ verisinin gösterimi I Kenar Listesi I Komşuluk Listesi I Komşuluk Matrisi I A: I B: A,C,D I C: I D: I E: C I A: I B: A,C,D I C: A I D: I E: C Uzay Çetin 11 / 65

61 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ verisi Ağ verisinin gösterimi I Kenar Listesi I Komşuluk Listesi I Komşuluk Matrisi A B C D E 0 1 A B C B C A E A B C D E 0 1 A B C B C A E Uzay Çetin 12 / 65

62 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Örnekleri Saddam ın yerini kim biliyor? I 15 üst rütbeli asker yakalandı, hiçbiri Saddam ın yerini bilmiyordu. I Fotoğraf albümü çok daha alt seviyedeki ikinci seviye bir bodygardı işaret ediyordu Network Science Book Saddam ın fotoğraf albümünden üretilen özel sosyal ağı Uzay Çetin 13 / 65

63 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Örnekleri Moviegalaxies Sitesi I Film karakterlerinin sosyal ağı I Hangi ağ topolojisi filmin başarılı olmasını etkiler? moviegalaxies.com 3kıtada4farklıkonuyubirbirine bağlayan, Babil filminin ana teması, iletişimsizlik. Uzay Çetin 14 / 65

64 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Örnekleri Yeni bir Bach parçası yaratabileceğimiz hiç aklnıza geldi mi? Bach eserindeki ardışık notaların oluşturduğu ağ Chi K. Tse, 88 tuşlu piyano ve 20 farklı zaman aralığı nedeniyle 1760 (nota) düğüm olduğu belirtilmiş. springer Bach Keman Solo Uzay Çetin 15 / 65

65 Ağ Örnekleri Karmaşık Ağ Modelleri Ağ Örnekleri Rönesans ın Godfather ı I Daha az varlık ve politik güçle başladı ama Floransa yı yönetti. Anadolu beyliklerinden Osmanlı nın yükselişini acaba ağ bilimi ile açıklayabilir miyiz? Meidici Ailesi Evlilik ağı: Medici Ailesi ağda arasındalık değeri en yüksek aile. Uzay Çetin 16 / 65

66 Ağ Örnekleri Karmaşık Ağ Modelleri Merkezilik Ağdaki hangi düğümlerin önemli olduğuna dair, ölçüdür. Merkezilik I Derece Merkeziliği I Bağlantı sayısı çok fazla olan, etkilidir. I Öz-vektör Merkeziliği I Güçlü, etkili dostları olan, az sayıda kişi tanısa da, etkilidir. I Arasındalık Merkeziliği I Bilgi akışında köprü vaziyeti gören düğümler. I Yakınlık Merkeziliği I Bilgiyi en kısa sürede yayabilme kapasitesine sahip düğümler. Uzay Çetin 17 / 65

67 Ağ Örnekleri Karmaşık Ağ Modelleri Derece Merkeziliği? =Popülerlik Arkadaşlık ağında tanıdığınız kişi sayısı, ya da internet ağında kaç sitenin sizin sayfanıza link verdiği bu ağ metriği ile ölçülür. Yönlü Ağ I Girdi Derece I Ç ıktı Derece Yönsüz Ağ I Derece Uzay Çetin 18 / 65

68 Ağ Örnekleri Karmaşık Ağ Modelleri Yönlü Ağlarda Çıktı Derecesi Ç ıktı Derecesi, k ç : I Komşulara giden bağlantı sayısı I 2. düğümünçıktıderecesi M = C A kç 2 = 5X j=1 M 2j =3 Uzay Çetin 19 / 65

69 Ağ Örnekleri Karmaşık Ağ Modelleri Yönlü Ağlarda Girdi Derecesi Girdi Derecesi, k g : I Komşulardan gelen bağlantı sayısı I 2. düğümün girdi derecesi M = C A k g 2 = 5X M i2 =0 i=1 Uzay Çetin 20 / 65

70 Ağ Örnekleri Karmaşık Ağ Modelleri Yönsüz Ağlarda Derece Düğümün derecesi I Bağlantılı komşu sayısı I 2. düğümünderecesi M = C A k 2 = 5X M 2j = j=1 5X M i2 =3 i=1 Uzay Çetin 21 / 65

71 Ağ Örnekleri Karmaşık Ağ Modelleri Öz-vektör Merkeziliği Kendini tekrarlayan yapı Sizin ne kadar merkezi olduğunuz, kontaktarınızın ne kadar merkezi olduğuna bağlıdır. Bunun için farklı bir ağ metriği gerekiyor. Derece yetersiz. Pagerank Web sayfanız ne kadar önemli? Bu ona link veren sayfalarının ne kadar önemli olduğuna bağlı. A ij = 1 kç i (Eğer kç i olacak şekilde bir pagerank akış matrisi yaratılır. =0ise,A ii =1olsun). r t =(A T ) t r 0, r =(A T ) r Amatrisinin1özdeğerinekarşılıkgelenr ö z v e k t ö r ü, p a g e r a n k değerlerini taşır. Uzay Çetin 22 / 65

72 Ağ Örnekleri Karmaşık Ağ Modelleri Merkezilik Yakınlık I Her düğüm çifti için aralarındaki en kısa mesafe y ij olsun I i düğümünün diğer düğümlere yakınlığı ya(i) = X j y ij 1 yarıçap = max i ya(i) I Yarıçap ne kadar küçükse ağ üzerinde, bilgi, dedikodu, hastalık vb.. daha hızlı yayılır. Uzay Çetin 23 / 65

73 Ağ Örnekleri Karmaşık Ağ Modelleri Merkezilik Avantaj Arasındalık I Herhangi j, k ikilisini birbirine bağlayan en kısa yolların yüzde kaçı i den geçer? I Disiplenler arası çalışma, yaratıcı fikir geliştirmeye yardımcı olabilir. ar(i) = X j>k y jk (i) y jk Uzay Çetin 24 / 65

74 Ağ Örnekleri Karmaşık Ağ Modelleri Karmaşık Ağ Modelleri Gerçek hayattaki karmaşık ağların nasıl ortaya çıkmış olabileceğine dair, matematiksel fikir yürütme çabasıdır. I Erdös Renyi Ağları, (Rassal Ağ Modeli ) I Watts Strogatz Ağları (Küçük Dünya Modeli ) I Albert Barabasi Ağları (Tercihsel Eklenme Modeli ) Uzay Çetin 25 / 65

75 Ağ Örnekleri Karmaşık Ağ Modelleri Erdös Renyi Ağları - Rassal Ağ Modeli I Düğümler rassal bir şekilde yönsüz bağlantı kurar Derece Dağılımı I Ortalama derece: < k >= p(n 1) I pbağlanmaolasılığı I N 1potansiyekomşu I Bir düğümün derecesinin k olma ihtimali: P(k) = N 1 p k (1 p) N 1 k k I Herhangi k düğüm için N 1 k I bu k düğüme bağlanma ihtimali p k I geri kalan N 1 k düğüme bağlanmama ihtimali (1 p) N 1 k I Simetrik (p t 0.5) I Adaletli? I Popülerlik ve hub kavramını açıklamıyor. Uzay Çetin 26 / 65

76 Ağ Örnekleri Karmaşık Ağ Modelleri Watts Strogatz Ağları - Küçük Dünya Modeli Milgram Deneyi, 1960 I 6derecelikmesafe I 296 kişiden, tanımadıkları fakat adını, yerini bildikleri birine bir kartpostalu ulaştırmaları istendi. I 217si başladı, 64ü tamamladı. Uzay Çetin 27 / 65

77 Ağ Örnekleri Karmaşık Ağ Modelleri Watts Strogatz Ağları - Küçük Dünya Modeli Milgram Deneyi, 1960 I 6derecelikmesafe I 296 kişiden, tanımadıkları fakat adını, yerini bildikleri birine bir kartpostalu ulaştırmaları istendi. I 217si başladı, 64ü tamamladı. Dünyadaki herhangi iki insan şunu söyleyebilir: Benim arkadaşımın arkadaşının arkadaşı, senin arkadaşının arkadaşını tanıyor. Uzay Çetin 27 / 65

78 Ağ Örnekleri Karmaşık Ağ Modelleri Clustering - Kümelenme Rassal ağ modelinin eksikliklerinden biri: A, B ile bağlantılı ve B de C ile bağlantılı ise, A nın C ile bağlantı kurma olasılığı oldukça yüksektir. I ByibarındıranÜçgen: BDE I Bmerkezli,2bağlantısıolanüçlü düğümler: BDC, BAE, BDA, BAC, BEC, BDE I KümB = 1 6 I Küm = 1 5 ( ) = i li Üçgen sayısı Küm i = imerkezliüçlüsayısı Küm = 1 N X Küm i i Uzay Çetin 28 / 65

79 Ağ Örnekleri Karmaşık Ağ Modelleri nature - p: bir bağlantının tek bir ucunu koparıp, başka bir yere bağlama olasılığı. p arttıkça, düğümler arası mesafeler L(p) kısalırken, kümelenme C(p) bellibiryere kadar değişmiyor. Uzay Çetin 29 / 65

80 Ağ Örnekleri Karmaşık Ağ Modelleri Üssel dağılım Üssel dağılım I Uç derecede eşitsizlik durumudur. I Zenginlik I Popülerlik I Ş ehirlerdeki nüfus I Deprem büyüklükleri I Kelime frekansları I Savaşlarda ölen insan sayısı wikipedia 80/20 Pareto kuralı Uzay Çetin 30 / 65

81 Ağ Örnekleri Karmaşık Ağ Modelleri Albert Barabasi Ağları - Tercihsel Eklenme Modeli Yeni düğümlerin eklenmesi nedeniyle, ağlar zaman içinde büyümeye devam eder. I Eklenme rastgele değil, basit bir kurala göre I En çok bağlantısı olana bağlan. I Yeni bağlantı olasılığı, hedef düğümün derecesi ile orantılı I Zengini zenginleştiren model. I Üstsel yasaya göre dağılım Gerçek hayattaki bir çok ağın derece dağılımı, Üstsel yasa ile açıklanır. Satılan kitap sayısı, indirilen şarkı sayısı, link alan web sayfa sayısı, gelen telefon çağrısı sayısı vb.. Uzay Çetin 31 / 65

82 Ağ Örnekleri Karmaşık Ağ Modelleri RDili R yüksek seviyeli bir istatiksel programlama dilidir. (Statistic kelimesinin baş harfine karşılık gelen) S dilini temel alır. I Yeni fonksiyonlarla R dilini siz de genişletebilirsiniz. I Özgür yazılım. I Platform bağımsız. RdilindeVektörler Uzay Çetin 32 / 65