Presentation Name. IBM PureData for Analytics. Name Surname. Title. Ayhan Önder Netezza Teknik Uzmanı IBM Corpora.on

Transkript

1 IBM PureData for Analytics Presentation Name Name Surname Ayhan Önder Netezza Teknik Uzmanı Title 2012 IBM Corpora.on

2 Analytic Applications BI / Reporting Visualization Exploration / Functional Industry Predictive App App Analytics Content Analytics BI / Reportin g Visualization & Discovery IBM Big Data Platform Application Development Accelerators Systems Management Simplify your warehouse IBM Warehouse Solutions Hadoop System Stream Computing Data Warehouse Information Integration & Governance

3 Saatlerce süren sorgular - düzenli optimizasyon Mevcut Veri Ambarlarının yaklaşık %70 i farklı tiplerde performans problemleri yaşamakta. Gartner Magic Quadrant yetkin personel gereksinimi aylarca süren geliştirmeler 3

4 OLTP iş yükü ve Analitik iş yükü Verileri saklamak ve işlemek için çok farklı 2 gereksinim Müşteri İşlem OLTP Veri Tabanı Etkileşim Basit Sorgu Ürün: Ayakkabı Maliyet: $34 Müşteri : Ali 2011 Satış İş Analisti Veri Ambarı İş Zekası Raporları Kompleks Sorgular En çok alışveriş Yapan Satışlar & Kar Giyim Yıl >= 2005 SATIIŞLAR

5 İş amacı optimize donanımlar geliştirmek...

6 Information Management IBM Netezza Veri Ambarı ve Analitik Amaçlı tasarım Entegre Veri Tabanı, Sunucu ve Saklama Ünitesi Standart arayüzler Düşük sahip olma maliyeti Hız : Geleneksel sistemlere göre kat daha hızlı Basitlik : Minimal yönetim ve optimizasyon Ölçeklenebilirlik : Petabyte ölçeğinde veriler Yetkinlik : Yüksek performanslı veri tabanı içi analitik 6

7 Information Management Temel Mimari Prensipler Bütünleşik tasarım Gerçek MPP mimari Veri kaynağına yakın SQL işleme Bütünüyle bir Analitik Platform İnovatif Performans arttırıcı özellikler Basitlik, Basitlik, Basitlik 7

8 Netezza Basitlik üzerine birkaç not Dbspace/tablespace konfigürasyonu ve ayarları YOK Redo/fiziksel log konfigürasyonu ve ayarları YOK Journaling/logical log konfigürasyonu ve ayarları YOK Page/block konfigürasyonu ve ayarları YOK Tablolar üzerinde Extent konfigürasyonu ve ayarları YOK Temp space ayrılması ve gözlemlenmesi YOK RAID seviyesinde dbspaces ayarları YOK Dosyalar için logical volume yaratılması YOK OS kernel seviyesinde ayarlar YOK OS bakımı için yama ve yükseltme gereksinimleri YOK Faydaları Zaman ve eforunuzu zorlu veritabanı yönetsel işlerine harcamak yerine İŞ DEĞERİ yüksek işlere yönlendirin: Yeni uygulamalar yaratın Yeni veri modellerini hızlıca yaratın Son kullanıcılarınıza daha fazla fonksiyonu daha performanslı sunun host/network/storage bileşenleri ile mimari tasarımı gereksinimi YOK Basit veri dağıtımı algoritmaları yeterli; HASH veya ROUND ROBIN 8

9 Netezza Basitliğin Toplam Sahip Olmaya Yansıması Bir Telekom Firması Telecom Call Detail Record FACT (6 billion rows) Oracle Object Count Netezza Object Count Tables 1 1 Indexes 12 Table Partitions 47 Index Partitions 564 Table Partitions tablespaces 47 Index Partitions tablespaces 47 Table Data Files 170 Index Data Files 122 TOTAL 1,010 1 Netezza da haftalar/aylar süren veri ambarının dizayn ve yönetsel işlerin hiçbiri yok. Appliance ile iddia edilenler gerçek. 9

10 IBM Netezza 1000 Appliance Disk Katmanı SMP Hosts Snippet Blades (s) Kullanıcı verisi Ek ve Yedekleme Bölümleri Yüksek Hızlı Veri Akışı SQL Derleyici Sorgu Planlayıcı Optimize edici Yönetim İşlemci & Akan veri mantığı Yüksek performanslı veritabanı motoru, streaming joins, aggregations, sorts vb.

11 Netezza AMPP mimarisi IO Stream Processor SQL Snippet Processor FPGA CPU Memory Result Snippet Yüzlerce snippet çalıştırıcısı ile doğrusal ölçeklenebilirlik Advanced Analytics IO Stream Processor SQL Snippet FPGA CPU Processor Memory Result Snippet Snippet Snippet Snippet Host Result SQL Processor Hosts SQL ODBC 3.X JDBC Type 4 OLE-DB SQL/92 ETL BI IO Stream Processor SQL Snippet FPGA Processor CPU Memory Result Snippet Loader Disks Snippet Processors Network Fabric Netezza Appliance Applications

12 Netezza AMPP mimarisi SOLARIS AIX Netezza 1000 Appliance Client TRU64 HP-UX WINDOWS LINUX ODBC 3.X JDBC Type 4 OLE-DB SQL/92 SQL Compiler 1 2 Query Plan Execution Engine 3 Source Systems ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Optimize Admin Front End SMP Host Network Fabric 920 High-Performance Database Engine Streaming joins, aggregations, sorts Massively Parallel Intelligent Storage High Performance Loader

13 Netezza AMPP mimarisi SOLARIS AIX Netezza 1000 Appliance Client TRU64 HP-UX WINDOWS LINUX Snippets 1 SQL SQL Compiler 2 Query Plan Execution Engine 3 Source Systems ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Optimize Admin SQL Front End SMP Host Network Fabric 920 High-Performance Database Engine Streaming joins, aggregations, sorts Massively Parallel Intelligent Storage High Performance Loader

14 Ölçeklenebilir Mimari : IBM Netezza

15 Bileşenleri 24 GB DRAM SAS Expander Module Dual-Core FPGA Intel Quad-Core 2.4 GHz CPU IBM BladeCenter Sunucusu Netezza VT Hızlandırıcısı

16 Netezza Veritabanı Hızlandırıcısı, İş Paylaşımı CPUs Memory FPGA

17 Akan Veri İşlemesi FPGA Core CPU Core Stream via Zone Map From Decompress Project Restrict Visibility SQL & Advanced Analy.cs From Select Where Group by Select Ilce, Yas,, Cinsiyet, count(*) From MilyarlarcaKayitIcerenTablo Where DogumTarihi < < 01/01/1960 And il il in ( Istanbul, Ankara ) Group ) Group by Ilce, by Yas, Ilce, Cinsiyet Yas, Cinsiyet Order Order by Ilce, by Yas, Ilce, Cinsiyet Yas, Cinsiyet

18 Netezza AMPP mimarisi SOLARIS AIX Netezza 1000 Appliance Client TRU64 HP-UX WINDOWS LINUX ODBC 3.X JDBC Type 4 OLE-DB SQL/92 SQL Compiler Consolidate 1 2 Query Plan Execution Engine 3 Source Systems ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Optimize Admin Front End SMP Host Network Fabric 960 High-Performance Database Engine Streaming joins, aggregations, sorts, etc. Massively Parallel Intelligent Storage High Performance Loader

19 Zone Maps Tablodaki alanlara ait min ve maksimum değerler diskteki her extend için hesaplanmaktadır Veri yükleme, güncelleme ve silme işlemlerinde zone maps otomatik olarak güncellenir Yükleme / silme / güncelleme performasından ödün verilmez

20 Analitik Modeller Oluşturma Tüm Datanızı Kullanın Eskiden IBM Netezza data warehouse appliance LARGE DATA SET Analytics Data Mining Client Building başarısız Host Hosts Analytics LARGE DATA SET LARGE DATA SET Analytics s Disk Enclosures

21 Veri Tabanı içi Analitik Modeller Oluşturma Tüm Datanızı Kullanın Yeni Yaklaşım IBM Netezza data warehouse appliance Model LARGE DATA SET Analytics Data Mining Client Building Model Model Host Building Hosts Model Analytics LARGE DATA SET Model LARGE DATA SET Analytics s Disk Enclosures

22 Netezza SPSS Birlikteliği Araç kutusunda bulunan Netezza veri madenciliği fonksiyonları Buradaki mor renkli node lar SQL Push back yapıldığını göstermekte, veriler veritabanından dışarı çıkarılmadan işlemler gerçekleştiriliyor

23 Coğrafi Analitik Yetkinlikler ve Veri Tipi Desteği Geometry Point Curve Geometry Location Surface Multipoint LineString Polygon Multicurve Multistring Multisurface MultiPolygon