Yüksek Performanslı Veri Ambarı ve Analitik. Ayhan Önder Pure Data for Analytics CTP

Transkript

1 Yüksek Performanslı Veri Ambarı ve Analitik Ayhan Önder Pure Data for Analytics CTP

2 IBM Pure Data System for Analytics Analitik İhtiyaçlarınız için İş Yükü Optimize Sistem Analitik Uygulamalar BI / Analiz/ Fonksiyonel Endüstri Veri İçerik Raporlama Görselleştirme Uyg. Uyg. Madenciliği BI / Rep Analitiği IBM Big Data Platformu Görselleştirme ve Keşif Uygulama Geliştirme Sistem Yönetimi Hızlandırıcılar Hadoop Sistemi Akışkan veri işleme Veri Ambarı Veri Entegrasyonu ve Sahipliği PureData System for Analytics

3 PureData System for Analytics Kullanıcı deneyimini bütünüyle değiştiriyor ü Amaç optimize Analitik sistem ü Entegre Veri Tabanı, Sunucu ve Veri Saklama Ünitesi ü Standart Arayüzler üzerinden erişim ü Düşük Sahip Olma Maliyeti Hız: Geleneksel çözümlere* göre kat hızlı Basitlik: Minimal yönetim ve optimizasyon Ölçeklenebilirlik: Petabyte ölçeğinde veri kapasitesi Akıllı: Yüksek performanslı ileri düzey analitik * IBM Müşterilerden alınan geri bildirimlere dayanmaktadır,. Geleneksel çözümler ifadesiyle profesyonel olarak bütün olarak imal edilmiş iş yükü optimize sistemler dışındaki sistemler kastedilmektedir.

4 IBM PureData System for Analytics içerisinde neler var? Optimize Donanım ve Yazılım Donanım Hızlandırıcılı AMPP Mimari Disk Ünitesi Kullanıcı verileri, aynalama, swap alanı Yüksek performanslı veri tarama Yüksek performanslı analitik amaçlı tasarım Optimizasyon ihtiyacı yok SMP Host SQL Çözümleyici Sorgu Planları Otomatik Optimizasyon Yönetim Snippet Blades FPGA bazlı donanım temelli sorgu hızlandırıcı Göz alıcı yüksek performans Kompleks analitik fonksiyonlar veriler diskten okunurken işlenir

5 Snippet-Blade (S-Blade) Bileşenleri SAS Expander Module DRAM SAS Expander Module Dual-Core FPGA Intel Quad-Core IBM BladeCenter Sunucu Netezza Veri Tabanı Hızlandırıcısı

6 PureData System for Analytics, AMPP Mimarisi Field Programmable Gate Array Programlanabilir İşlemciler CPU FPGA Memory CPU İleri Düzey Analitik Host FPGA İş Zekası (IBM xseries, Red Hat Linux) Memory ETL CPU FPGA Memory Disk Ünitesi S-Blades Veri Yükleme Network PureData System for Analytics Appliance Uygulamalar

7 PureData System for Analytics i farklı kılan nedir? HIZ BASİTLİK ÖLÇEKLENEBİLİR LİK AKILLI Eskisine nazaran 2000 kat hızlı Her ay %30 büyüme Netezza has allowed us to reduce the complexity of regulatory reporting and processing of exchange data from days down to minutes. Herhangi bir eğitim Allowing the business users almadan 6 ay access to the Netezza box was what sold it. boyunca üretim of IT ortamında Oracle sistemine göre 200 kat - Steve Taff, Executive Dir. Services Daha hızlı, 3 ayda yatırımın geri dönüşü 7 yıllık tarihçe 1 PB lık veri Netezza da saklanıyor % yıllık büyüme oranı SUNY Buffalo araştırmacıları kentilyonlarca hesaplamayı 27 saatten 12 dakikaya indirdi NYSE has replaced an Oracle IO relational database with a data warehousing appliance from Netezza, allowing it to conduct rapid searches of 650 terabytes of data. ComputerWeekly.com Once we -had the data on Netezza we were able to do the same analysis and much more complex analysis in minutes. The research draws on medical records, lab results, MRI scans, and patient surveys. - Dr. Murali Ramanathan, SUNY Buffalo

8 IBM PureData System for Analytics Raporlamanın Ötesinde Derinlemesine Analitik Optimizasyon Tahminleme İş Zekası Raporlama ve Ad-hoc Sorgular En iyi seçim hangisi olur? Ne olacak? Etkisi ne olur? Ne oldu? Ne zaman, nerede? Ne kadar? 2012 IBM Corporation

9 Entegre Analitik IBM Netezza In-Database Analytics Version 2.0 Netezza Veri Tabanı içi Analitik EN GENİŞ Analitik Kütüphane Transformasyonlar Matematik 50 0 Coğrafi Analiz 0 a Tahminleme M ec a m İstatistik Zaman Serileri Veri Madenciliği IBM EMC Netezza Greenplum Oracle Teradata Veriyi yerinden çıkarmadan Derinlemesine ve büyük veri analizi Yüksek performanslı, paralel hesaplama

10 Hazır Veri Tabanı içi Analitik Yetkinlikler Statistics Descriptive Statistics+ Distance Measures* Hypothesis Testing* Chi-Square & Contingency Tables* Univariate & Multivariate Distributions+ Transformation s Data Profiling / Descriptive Statistics+ General Diagnostics Time Series Autoregressive+ Forecasting* Mathematical Basic Math* Permutation and Combination* Statistics+ Greatest Common Divisor and Least Common Multiple* Sampling Conversion of Values* Data prep Exponential and Logarithm* Gamma and Beta Functions Matrix Algebra+ Monte Carlo Simulation* Area Under Curve* Interpolation Methods* Data Mining Predictive Geospatial Association Rules+ Linear Regression+ Geospatial Data Type Clustering+ Logistic Regression+ Geometric Functions Feature Extraction+ Classification Geometric Analysis Discriminant Analysis* Bayesian Sampling Model Testing * Fuzzy Logix DB Lytix yetkinlikleri + Netezza Analytics ve Fuzzy Logix DB Lytix yetkinlikleri

11 IBM Netezza Analytics IBM InfoSphere Streams Tanay GPU Appliance, Fuzzy Logix Geliştirme Kütüphaneleri Kullanıcı Tanımlı Yapıar (UDF,UDA, 3. Parti Analitik Sağlayıcılar Hazır Veri Tabanı içi Yetkinlikler Revolution Transformations Analytics Fuzzy Logix UDTF,UDAP) Mathematical Geospatial IBM SPSS SAS Revolution Analytics SAS IBM InfoSphere BigInsights Cloudera Apache Hadoop Dil Desteği (MapReduce, Java, Python, Lua, Perl, C, C++, Fortran, PMML) Predictive Eclipse Zementis Statistics IBM SPSS Mathworks Time Series Data Mining PureData for Analytics AMPP Platformu İş Zekası Araçları Görselleştirme Ürünleri

12 İleri Düzey Analitik Geleneksel Yöntem Analitik Sistem Veri Ambarı SAS, SPSS Veri ETL Talep Tahminleme SQL ETL SQL R, S+ ET Sahtecilik Algılama L C/C++, Java, Python, Fortran, SQL

13 IBM Netezza Analytics Zorlu Analitik Çalışmaları Basitleştirir Analitik Araçlar Veri Ambarı Veri Analitik Sistem ETL Talep Tahminleme SQL ETL SQL ET SQL L SQL Sahtecilik Algılama C/C++, Java, Python, Fortran,

14 IBM SPSS Modeler & IBM Pure Data for Analytics

15 PureData Farkı Veri Tabanı içi Analitik ile Verimliliğinizi arttırın Daha az Efor PureData Öncesi PureData Sonrası übasit Verileri taşımayın ü Kolay sahip olunabilir ütutarlı Örneklem kullanmak zorunda kalmayın ü Düşük altyapı maliyeti ühızlı Veri Tabanı içi skorlama ü Yüksek Analist verimliliği