BÜYÜK VERİ. Abdulkadir ŞAN Proje Yöneticisi 7/1/2014 VERİ SİSTEMLERİ. Anayurt Güvenliği Md. Yrd. Metin Madenciliği ve Kaynaştırma Sistemleri

Transkript

1 BÜYÜK VERİ Abdulkadir ŞAN Proje Yöneticisi 1 VERİ SİSTEMLERİ Relational Database DataWarehouse 2 1

2 VERİ TÜRLERİ 3 BÜYÜK VERİ NEDİR? Verinin çok büyük bir kısmı YAPISAL OLMAYAN veridir ve şimdi bu veriyi GERÇEK-ZAMANLI olarak işleme kabiliyetine sahibiz. 4 2

3 NEDEN ŞİMDİ ÖNEMLİ? INTERNET VE GPS BAĞLANTILI AKILLI TELEFONLARDAKİ ARTIŞ AERIAL SENSORS AND SENSOR NETWORKS SOSYAL AĞLARIN BENİMSENMESİ Dünya genelinde 6.8 milyar telefon kullanıcısı ve 2.7milyar internet kullanıcısı bulunmaktadır [1]. NASA Merkezinde iklim ve atmosfer similasyonu için 32 petabayt gözlem verisi kullanılmakatdır [2]. Twitter da her bir dakikada tweet atılmaktadır. Facebook ta her bir dakikada paylaşımda bulunulmaktadır. Her gün tweet atılmakta ve Facebook paylaşımı gerçekleşmektedir [3]. [1] The International Telecommunication Union, [2] [3] "Analytics: The real-world use of Big Data", IBM ve the Said Business School at the University of Oxford; KİMLER KULLANIYOR? LOS ANGELAS POLİSİ VE CALIFORNIA ÜNİVERSİTESİ GOOGLE GRİP TRENDLERİ SEÇİM SONUÇLARI TAHMİNİ KENTSEL PLANLAMA LAPD ve California Universitesi şuçun işlenmeden önce tespit edilmesinde Büyük Veri teknolojilerini kullanıyor [1]. Google Grip Trendleri uygulaması arama kelimelerini kullanarak grip virüsünün yayılımını tespit ediyor [2]. İstatistikçi Nate Silver 2012 yılında senato seçim sonuçlarını her bir bağımsız eyalet için doğru tahmin etti. MIT mobil telefon verisini kullanarak trafik örüntülerinin tespit etmekte ve bu örüntüler kentsel planlama için kullanılmaktadır [4]. [1] [2] [3] [4] 6 3

4 BÜYÜK VERİNİN 4V si BÜYÜK VERİ İLE BAŞ EDEBİLMEK İÇİN YENİ YÖNTEMLERE VE TEKNOLOJİLERE İHTİYACIMIZ VAR! Petabayt ve Zettabayt ölçeğinde veri işlenmeyi beklemektedir. Veri çok hızlı üretilmekte ve sürekli akmaktadır. Bunlara çok hızlı cevap verilmesi gerekmektedir. Veri çok farklı formatlarda olmaktadır. Yapısal, yarı-yapısal, yapısal olmayan, metin, multi-medya Veri içerisinde belirsizlikler vardır. Eksik veri, yanlış girilmiş veri, veride yaşanan gecikmeler, sensör verileri, sosyal medya verileri [1] 7 BÜYÜK VERİ ZORLUKLARI 8 4

5 Hadoop 9 Mimari 10 5

6 HDFS Dağıtık I/O + Birleşik Storage Çok büyük dosyaları saklama imkanı 11 HDFS 12 6

7 Map Reduce 13 Map Reduce 14 7

8 HBase Kolon tabanlı, NoSQL Veritabanı 15 HBase 16 8

9 Pig - Hive Pig: Hadoop da MapReduce işleri oluşturmak için geliştirilen üst düzey platform. Hive: Veri özetleme, sorgulama ve analiz işlemleri için Hadoop üzerinde geliştirilmiş DataWarehouse. 17 MR Pig - Hive MapReduce Pig Hive 18 9

10 Mahout - Giraph Makine öğrenme kütüphanesi Java dilinde Hadoop ile uyumlu Graph Framework Java dilinde Hadoop ile uyumlu Facebook, 1 trilyon kenarı 200 makine ile 4 dakikada işledi. 19 Hadoop Ekosistemi 20 10

11 TEŞEKKÜRLER 21 11