Ayhan Önder, BigData CTP BÜYÜK VERİ IBM Corporation

Transkript

1 Ayhan Önder, BigData CTP BÜYÜK VERİ

2 Big Data / Büyük Veri Nedir? Daha önce analizi mümkün olmayan muazam büyüklük ve/veya çeşitlilik ve/veya akışkanlıktaki veriler üzerinden bilgiye erişim.

3 Big Data yeni yetkinlikler gerektiriyor Federe veri kaynakları üzerinde arama ve keşif Federated Discovery and Navigation Her çeşit büyük veriyi saklama ve yönetme Hadoop File System MapReduce Yapısal verilerin hızlı analizi, kitlesel paralel işlem Data Warehousing Akışkan verilerin yönetimi Stream Computing Yapısal olmayan verilerin analizi Text Analytics Engine Veri kaynaklarının entegrasyonu ve sahipliği Integration, Data Quality, Security, Lifecycle Management, MDM

4 Yükselen Teknolojilerin Hayat Döngüsü 4

5 Yükselen Teknolojilerin Hayat Döngüsü 5

6 Big Data yeni yetkinlikler gerektiriyor Federe veri kaynakları üzerinde arama ve keşif Federated Discovery and Navigation Her çeşit büyük veriyi saklama ve yönetme Hadoop File System MapReduce Yapısal verilerin hızlı analizi, kitlesel paralel işlem Data Warehousing Akışkan verilerin yönetimi Stream Computing Yapısal olmayan verilerin analizi Text Analytics Engine Veri kaynaklarının entegrasyonu ve sahipliği Integration, Data Quality, Security, Lifecycle Management, MDM

7 Hadoop Nedir? Storage Dağıtık Güvenilir Düşük Maliyetli MapReduce Paralel Programla Hata Toleranslı Ölçeklenebilir Yeni nodelar canlı sisteme eklenebilir Düşük Maliyetli MPP mimariyi standart sunucular ile sağlayabiliyor Esnek Hadoop şema gerektirmez, her türlü veriyi kullanabilirsiniz Hata Toleranslı MapReduce paradigması sayesinde

8 Hadoop hangi Big Data problemleri için düşünülebilir? Büyük Hacimli Verilerin Analizi ve Saklanması Farklı tipteki verilerin bileşiminden elde edilebilecek yeni bilgiler Veri Hacmi Nedeniyle Pahalı Kalan Mevcut Teknolojilerin Bütünlenmesi Veri Kaynaklarının Keşfi

9 Endüstideki ilk Hadoop Sistemleri Değerlendirmesi IBM has the deepest Hadoop platform and application portfolio. IBM, an established EDW vendor, has its own Hadoop distribution; an extensive professional services force working on Hadoop projects; extensive R&D programs developing Hadoop technologies; connections to Hadoop from its EDW. The Forrester Wave : Enterprise Hadoop Solutions, 1Q12

10 Vestas optimizes capital investments based on 2.5 Petabytes of information Need Model the weather to optimize placement of turbines, maximizing power generation and longevity Benefits Reduce time required to identify placement of turbine from weeks to hours Reduces IT footprint and costs, and decreases energy consumption by 40 % -- while increasing computational power Incorporate 2.5 PB of structured and semistructured information flows. Data volume expected to grow to 6 PB 10 Home

11 IBM Araştırma Geliştirme Faaliyetleri 11

12 14 Şubat 2011, IBM Watson yeni bir sayfa açtı

13 IBM Watson yeni bir çağın öncülerinden... System Intelligence Cognitive Tabulation Punch cards Time card readers Programmatic Search Deterministic Enterprise data Machine language Simple outputs Discovery Probabilistic Big Data 1 Natural language Intelligent options

14 1 Doğal dili ve konuşmayı anlama 2 Doğru çıktılar için onbinlerce doküman içerisinden hipotez oluşturumu ve değerlendirmesi 99% 60% 10% 3 Kullanıcı seçimleri ve sonuç başarısına göre adapte olan ve öğrenen bir yapı

15 Örneğin Sağlık Sektöründe Watson bakım maliyetini azaltırken kanıta dayalı kişiselleştirilmiş tıp ile olası tedavi sonuçlarını pozitif etkileyebilir

16 Big Data yeni yetkinlikler gerektiriyor Federe veri kaynakları üzerinde arama ve keşif Federated Discovery and Navigation Her çeşit büyük veriyi saklama ve yönetme Hadoop File System MapReduce Yapısal verilerin hızlı analizi, kitlesel paralel işlem Data Warehousing Akışkan verilerin yönetimi Stream Computing Yapısal olmayan verilerin analizi Text Analytics Engine Veri kaynaklarının entegrasyonu ve sahipliği Integration, Data Quality, Security, Lifecycle Management, MDM

17 Akan Verilerin İşlenmesi Yeni bir Paradigma Geleneksel Veri İşleme Akan Veri İşleme Tarihsel verilerin analizi Disk üzerindeki verilerin taranması ve analizi Gecikmeli Sorgu tetiklemeli, statik görüntünün analizi Anlık gerçeklerin işlenmesi Hareket halindeki verinin, diske yazılmadan analizi Düşek geçikme, anında aksiyon Veri tetiklemeii verinin analitik süreçlerden geçmesi Real-time Analytics 17 17

18 InfoSphere Streams Akan Veri Analizi Mikrosaniyeler Mertebesinde Veri Madenciliği Akustik Analiz Metin (listen, verb), (radio, noun) Basit & Gelişkin Metin Analitiği İleri Düzey Matematiksel Modeller Tahminleme Coğrafi Analizler population R ( s t, a t ) İmaj & Video İşleme İstatistiksel Fonksiyonlar 18

19 Dublin City Centre; Robust and efficient citywide traffic awareness system, enhance rapid action on incidents Need A budget effective solution to improve traffic awareness system. To bring accuracy in event detection, inferring traffic condition (road speed) and prediction of bus arrival. Challenge is to rightly analyze GPS data, which is typically high data throughput and difficult to capture Benefits Monitor 600 buses across 150 routes daily Analyzes 50 bus location updates per second, using InfoSphere Streams Collects, processes, and visualizes location data of all public transportation vehicles 19 Home

20 UCLA relies on breakthrough technology to provide proactive care for patients with traumatic brain injuries Need Integrate patient data from thousands of data points in real-time and apply predictive analytics to identify life threatening changes in a patient's condition Benefits Captures and analyzes streaming physiological data from ICU bedside monitors in real time to alert clinicians and help prevent brain damage Allows medical staff to take immediate action to keep patients safe from rising brain pressure and a help prevent a higher risk health scenario Predicts critical changes in the patient conditions, allowing for life-saving medical responses 20 Home

21 Big Data yeni yetkinlikler gerektiriyor Federe veri kaynakları üzerinde arama ve keşif Federated Discovery and Navigation Her çeşit büyük veriyi saklama ve yönetme Hadoop File System MapReduce Yapısal verilerin hızlı analizi, kitlesel paralel işlem Data Warehousing Akışkan verilerin yönetimi Stream Computing Yapısal olmayan verilerin analizi Text Analytics Engine Veri kaynaklarının entegrasyonu ve sahipliği Integration, Data Quality, Security, Lifecycle Management, MDM

22 Data Explorer Custom Application Custom Application Custom Application User Profiles Application Workbench Federated Sources Authentication/Authorization Query transformation Personalization Display Subscriptions Feeds Web Results Text Analytics Thesauri Clustering Ontology Support Semantic Processing Entity Extraction Relevancy Index Platform Meta-Data Faceting BI Tagging Taxonomy Collaboration Connector Framework CM, RM, DM RDBMS Feeds Web 2.0 Web CRM, ERP File Systems

23 Indexing >> Searching >> Clustering Documents Documents Documents Documents Documents Documents Documents Documents Index Query Processing and Modification List of relevant documents Tokenization Segmentation Stemming Clustering

24 Birden fazla Kaynağı arama Dinamik Kategorizasyon Yapısal ve Yapısal olmayan verilerin kullanımı Arama ile yüksek Ilişkili sonuçlar Yapısal Bilgiler Üzerinden filtreleme Doküman niteleme ve birlikte çalışma

25 US Pharmaceutical leader provides transparent access to enterprise information for 30,000 employees worldwide Need Link to the case study m/common/ssi/ecm/en/i mc14800usen/imc1480 0USEN.PDF Executives wanted to transform information and data sharing capabilities by providing access to huge volumes of customer, patient, and research data stored in systems around the world Benefits Improved R&D efficiency by 90 percent and reduced search time by 50 percent, saving millions of dollars in the first year alone Reduced new staffing requirements by 1.2 percent, saving USD13.4 million yearly Improved sales productivity to increase revenue by 1.4 percent 25 Home

26 Nasıl başlayabilirsiniz? Cloud / Bulut Bilişim Sistemleri RightScale, ya da Amazon, Rackspace, IBM Smart Enterprise Cloud, ya da özel bulut sistemleri üzerinde Sadece kullandığınız kaynak kadar ödersiniz Sanal Sınıf Ücretsiz eğitim : Kendi Sunucularınızda Basic Edition ı ücretsiz indirebilirisiniz Quick Start Edition ı ücretsiz indirebilirsiniz VMWare ortamında hızlı başlangıç Sınıf içi Eğitimler