Büyük Veri Analizi. Göksel Okay Kıdemli Sistem Mühendisi

Transkript

1 Büyük Veri Analizi Göksel Okay Kıdemli Sistem Mühendisi 1

2 ipad KAZANMAK için 1 hesabını takip etmelisiniz. 2 - Tweetinizde 4 noktayı belirtmeyi unutmayın! Soru Görseli ( soru ekrana geldiğinde resmini çekiniz) Doğru cevabı ekleyiniz #EMCForum hashtag i diye de belirtmelisiniz Örnek tweet : resim CEVAP #EMCForum@EMCTurkey 3 - EN HIZLI OLAN KAZANIR! İpad alabilmek için, Forum sonunda yapılacak olan ödül tesliminde bizzat bulunmanız gerekmektedir. Kazanan ve teslimat hesabını takip edin 2

3 Mavi Balina Yeryüzünde Yaşayan En Büyük Canlı 90 tona varan depolama kapasitesi Krill, Plankton, Zooplankton ile beslenir 320 çift plaka vasıtası ile besinleri süzer 3

4 Büyük Veri: Endüstri Görünümü Perakende CRM Müşteri Puanlama Mağaza Konumlandırma ve Düzen Sahteciilik Tespiti/ Koruma Tedarik Zinciri Otomasyonu Reklam ve Kurumsal İlişkiler Talep Sİnyali Reklam Hedefi Duygu Analizi Müşteri Kazanımı Finansal Hizmetler Algoritmik Ticaret Risk Analizi Sahtecilik Tespiti Portföy Analizi Medya ve Telekomünikasyon Ağ Optimizasyonu Müşteri Puanlama Müşteri Kaybının Önlenmesi Sahtecilik Önleme Üretim Ürün Araştırma Mühendislik Analizleri Süreç ve Kalite Analizi Dağıtım Optimizasyonu Enerji Smart Grid Arama Kamu Pazar Yönetimi Terörle Mücadele Ekonometrik Sağlık Bilişimi Sağlık ve Yaşam Bilimleri Pharmaco-Genomics Bio-Bilişim İlaç Araştırması Klinik Sonuç Araştırması 4

5 Daha Hızlı ve Büyük Veri için bir sınır yok Veri Hacmi Sensor Verisi Bilginin Değeri Düşük Gecikme= Yüksek Değer Dökümanlar Web Logları Sosyal Medya Yüksek Gecikme= Düşük Değer Zaman Tepki Süresi 5

6 Büyük Veri için Veri Bilimine İhtiyaç Var Analiz için Yeni Yaklaşımlar Yüksek Veri Bilimi Ne olacak? Bununla ilgili ne yapabiliriz? İş Değeri Veri Bilimi İş Zekası Ne oldu? Niçin oldu? İş Zekası Düşük Geçmiş Zaman Gelecek 6

7 3. Platform 1. MAINFRAME 2. İSTEMCİ-SUNUCU VE WEB 3. BULUT Finansal Hesapların Otomasyonu ISAM Mainframe Kağıt İşlerinin Otomasyonu: ERP, CRM, , İlişkisel Veritabanı Sunucu ve PC Yeni Tecrübeler Yeni Servis Modelleri İnternet kullanıcılarından oluşan yeni müşteriler öncülüğünde yeni uygulama ihtiyaçları Yeni Veri Yapıları Bulut Etkin Veri Merkezi 7

8 Yazılım Endüstriyi Değiştiriyor $3.5B Değerinde Finansal Servisler $3.5B Değerinde Ulaştırma $20B Değerinde Eğlence $3.5B Değerinde Seyahat ve Konaklama $3.2B Değerinde (Google satın aldı) Ev Otomasyonu $600M Değerinde Butik Perakendeci 8

9 Etkileşim: Uygulamalar,Veriler,Analizler Uygulamalar işinizi güçlendirir ve yeni veriler yaratır Verilerinizin Analizi yeni uygulama fonksiyonları ve bu uygulama fonksiyonları ile yeni veriler oluşturur Bu döngüyü ne kadar hızlandırırsanız, o derecede hızlı farkındalık, yenilikçilik ve rekabette avantajlı bir pozisyon kazanırsınız 9

10 Kurumsal Veri Ambarı Yapılarında Büyük Veri Analizi Durma Noktası + Büyük Veri + Analiz Sorguları + Geniş Kapsamlı Uygulanması + Gerçek Zamanlı İhtiyaçların Karışıklığa İtilmesi 10

11 Veri Analizi / İşlem Operasyonu Gerçek Zamanlı Gerçek Zamana Yakın Uzun Zamanlı İşlem Analiz İşlem Analiz İşlem Analiz İşlem Operasyona hazır hale getirme Operasyona hazır hale getirme Operasyona hazır hale getirme İçeri Alma Arayüz İçeri Alma Arayüz İçeri Alma Arayüz Veri Özü İşlem Veri Özü İşlem Veri Özü İşlem Sahtecilik Belirlenmesi, Dinamik Fiyatlama, Pazarlama, Analiz Akışı Analiz Modeli Tasarımı, İşlem Analizi, Eğilim Analizi ETL, Arşiv, Eğilim, Haftalık ve Aylık İşler 11

12 Büyük Veri Analizi ve Klasik Veri Ambarının Karşılaştırması Büyük Veri Analizi 10 larca TB tan PB lara Harici + Operasyonel Çoğunlukla Yarı Yapılandırılmış Özel Karşı Veri Hacmi: Tipik Kaynaklar: Veri Yapısı Sorgu Türleri: Klasik İş Zekası GB lardan to 10 larca TB a Operasyonel Kısıtlı Büyük Ölçüde Tekrarlanan 12

13 Pivotal At-a-Glance Yeni Bağımsız Girişim: EMC ve Vmware ortaklığına aittir Çalışan Sayısı: 1250 çalışan Yönetim: Paul Maritz, CEO Global Müşteri Portföyü: Kurumsal Müşteriler Stratejik Yatırımcı: GE tarafından $100M yatırım yapıldı Vizyon: Uygulamalar, büyük veri ve analitik kesişimi üzerine odaklanmış, yeni dönemin yeni platformu 13

14 Pivotal HD Mimarisi Pivotal HD Enterprise HAWQ Advanced Database Services GemFire XD Real- Time Database Services Kaynak Yönetimi & İş Akışı Virtual Extensions Yarn Zookeeper HBas e ANSI SQL + Analytics Xtension Framewor k MADlib Algorithms Catalog Services Dynamic Pipelining Query Optimizer HDFS ANSI SQL + In-Memory Distributed Inmemory Store Query Transactions Ingestion Processing Hadoop Driver Parallel with Compaction Spring Graphlab, Open MPI Pig, Hive, Mahout Map Reduce Yönetim Merkezi Yapılandır, Uygula, İzle, Yönet Oozie Sqoop Spring XD Flume Apache Pivotal 14

15 Hadoop En Hızlı SQL Sorgulama Motoru Hadoop un Hizmet olarak Sunulması Spring XD Büyük Veri Uygulama Geliştirme Veriye Dayalı Ektin Kurumsal Yapı Talep Üzerine Büyük Veri GemFire XD Bellek Üzerinde Gerçek Zamanlı Sorgulama 15

16 Pivotal HD nin Değeri Maliyet Bazlı Sorgu Optimizasyonu ANSI SQL Uyumlu OLAP HDFS OLTP COTS Donanımlar ile, lineer artan bir ölçeklenebilirliğe sahip olması Kapsamlı OLAP Analiz Sorgulamaları Petabyte Seviyesinde Veri Depolama ve Yönetimi SQL Düşük Gecikme Süresi ile güncellemeler ve işlemler Veri Seviyesinde bölümlenmiş etkinlikler WAN üzerinde aktif-aktif yapıda yayılım 16

17 Pivotal Veri Gölü Mimarisi Unified Sources Real-time ingestion Micro batch ingestion Batch ingestion Centralized Management System monitoring System management Unified Data Management Tier Data mgmt. services MDM RDM Workflow Management Processing Tier In-memory MPP database HDFS Audit and policy mgmt. Flexible Actions Real-time insights Interactive insights Batch insights New Data Sources Existing Sources 17

18

19 Büyük veri analizinde, HDFS üzerinde SQL sorgusu yapılabilmesini sağlayan çözüm nedir? #EMCFORUM 19