İş Zekası Hafta 3 Veri ambarları Business Intelligence and Analytics: Systems for Decision Support 10e isimli eserden adapte edilmiştir
Bölüm Amaçları Veri ambarı tanımını ve temellerini anlamak Farklı veri ambarı mimarilerini anlamak ve bu mimarilerin avantaj ve dezavantajlarını sorgulamak Veri ambarı kurulması sürecini anlayabilmek Veri ambarlama işlemlerini tanımlayabilmek Karar destek süreci içinde Veri ambarının rolünü anlayabilmek Veri entegrasyonu ve ETL (extraction, transformation, load) sürecini kavrayabilmek Gerçek zamanlı veri ambarı kavramını tanımlamak ve anlamak Veri ambarı yönetimi ve güvenlik ile ilgili konuları anlamak 10e isimli eserden adapte edilmiştir 2/58
Açılış Vakası Isle of Capri kumarhaneleri kurumsal veri ambarları (KVA) ile kazanıyor!!! Firma ile ilgili bilgiler Problem Tanımı Önerilen Çözüm Sonuçlar Vaka sorularının cevapları ve genel tartışmalar Bir kurumsal veri ambarı kurmak firma için neden önemlidir? Firmanın karşılaştığı fırsatlar ve engeller nelerdir? Firma KVA hayata geçirme sürecindeki potansiyel engelleri nelerdir, tartışınız? KVA kurmanın firmaya sağladığı faydalar nelerdir? Vaka içinde bahsedilmeyen diğer olası faydaları tartışınız. 10e isimli eserden adapte edilmiştir 3/58
Veri ambarı (VA) tanımı VA karakteristikleri Ana Veri Ambarı Konuları Veri Marketleri (Data Marts) Operasyonel veri depoları (OVD), Kurumsal Veri Ambarı (KVA), Metadata VA çerçevesi VA mimarisi ve Çıkar, Dönüştür ve Yükle (ETL-Extract, transform, load) VA geliştirme süreci VA uygulama problemleri 10e isimli eserden adapte edilmiştir 4/58
Veri Ambarı Nedir? Veri ambarı her bir veri biriminin kalıcı ve zaman ile ilgili boyutu olan çok sayıda konu odaklı bütünleşik veri tabanının karar destek sistemi süreçlerini desteklemek amacıyla birleştirildiği teknolojik altyapıdır. Fiziksel bir depolama alanı olan veri ambarları kurumsal düzeyde belli bir süreçte temizlenmiş verilerden oluşan statik birimdir. 10e isimli eserden adapte edilmiştir 5/58
Veri Ambarı Nedir? Veri Ambarları aslında operasyonel verinin sorgulama ve raporlama amaçlı bir kopyasının alınması ya da kopya halidir. Bir veri, Veri Ambarına girmiş ise artık bu veride değişiklik yapılamaz. Bu verinin güncellenmediği anlamına gelmez. Örneğin siparişlerin durumu; müşterinin aldığı ürün bilgileri operasyonel seviyede değiştirilebilir, fakat en son haliyle Veri Ambarına atıldıktan sonra değiştirilemez. 10e isimli eserden adapte edilmiştir 6/58
Veri Ambarı Nedir? Bir veri ambarının temel özellikleri aşağıdaki gibi sıralanabilir. Veri ambarı, merkezileştirilmiş bir bilgi deposudur. Veri ambarı, şirket için önemli konu alanlarının etrafında bir bütün olarak düzenlenmiştir. Veri ambarı, şirket için sorgulanabilir bir kaynaktır. Veri ambarı, işleme süreçleri için değil analiz için kullanılır. Veri ambarındaki veri kalıcıdır. Veri ambarı, kurum içi ve kurum dışı birden fazla kaynaktan veri entegre etmek için hedef alandır. 10e isimli eserden adapte edilmiştir 7/58
Veri Ambarı Nedir? Veri ambarlarında tutulan verilerde aranan özellikler: Detaylı veriye dayanmalı Bir kuruluşta gerçekleşen en alt düzeydeki işlem detayını depolayabilmelidir. Tarihsel derinliğe sahip olabilmeli Gerek istatistiksel analizler, gerek modellemeler, gerekse zaman içinde karşılaştırmalar yapılabilmesi için yerinin belirli bir geçmişe sahip olması gerekir. Ölçeklenebilir olmalı Hem donanım, hem yazılım olanaklarıyla, zamanla artan ihtiyacı karşılayabilecek esnekliğe sahip olmalıdır. Veriye erişim kolay olmalı Yetkili olan herkesin, Her yerde, Her zaman veriye ulaşabilmesi gerekir. Kolay yönetilebilmeli: Karar vericilerin veri ambarlarından sağlayacakları fayda, bu kaynağı etkin ve verimli kullanmalarına bağlıdır. 10e isimli eserden adapte edilmiştir 8/58
Veri Ambarı Nedir? Entegrasyon: Farklı ve dağıtık verilerin entegrasyonu karar vermeyi kolaylaştırma anlamında önemlidir. Veriye ulaşımın tek kaynaktan olması çok daha avantajlıdır. Kalite: Farklı kaynaklardan aktarılan verilerin doğruluğu her zaman kontrol edilir. Hatalı veriler VA ya giremez. Etkinlik: Bir sorgu, verilerin tutulduğu bir sunucuyu kilitleyebilir. Dolayısıyla, özellikle ihtiyaç duyulan işleme zamanı ve kapasite önem arz ediyor. İZ kullanıcısının herhangi bir anda sorgusunun hızlı elde edilmesini sağlar. Genişletilebilirlik: Operasyonel sistemlerde çok eski bilgiler kullanılmıyorsa bunların yedekleri disklere kaydedilip kenara konur. Fakat VA da veriyi kapsama periyodu geniş olduğu için VA buna imkan sağlıyor. Örneğin 10 yıl öncesinin verileri VA da rahatça tutulabilir ve analize imkan verir. 10e isimli eserden adapte edilmiştir 9/58
VA Tarihsel Süreci - Anabilgisayar (IBM) - Basit veri girişi - Rutin raporlama - İlkel veri tabanı yapıları - Teradata oluşumu - Merkezileşmiş veri depolama - Veri ambarları doğuşu - Inmon, (VA kurmak) - Kimball, (VA Araç takımı) - KVA mimarisi tasarımı - Büyük veri analitiği - Sosyal Medya Analitiği - Metin ve Web analitiği - Hadoop, MapReduce, NoSQL - in-memory / in-database 1970 1980 1990 2000 2010 - Kişisel Bilgisayarlar (PC) - PC için işletme uygulamaları - Dağıtık VTYS - İlişkisel VTYS - Üstel büyüyen veri (Web) - VA / İZ endüstrilerinin birleşimi - VA araçlarının ortaya çıkması - İş zekasının popülerleşmesi - Veri Madenciliği - Açık kaynak kodlu yazılımlar - SaaS, PaaS, Bulut teknolojisi 10e isimli eserden adapte edilmiştir 10/58
VA Karakteristikleri Konu odaklı Bütünleşik Zaman boyutu olan Kalıcı (Statik veya geçici olmayan) Özetlenmiş Normalize edilmemiş Metadata Web tabanlı, ilişkisel ve çok boyutlu İstemci /Sunucu mimarisi Gerçek veya tam zamanlı 10e isimli eserden adapte edilmiştir 11/58
Veri Marketleri Bölüm boyutunda sadece sınırlı sayıda ilgili verilerin tutulduğu veri ambarlarıdır. Üretim veri marketi, İnsan Kaynakları veri marketi vb. Bağımlı veri marketi Bir veri ambarından yaratılmış bir nevi bir alt kümedir. Veri ambarı değişirse Data Mart da değişir. Bağımsız Veri marketi Sadece belli bir bölüm ve stratejik birim için oluşturulmuş, tamamen konu odaklı yeni bir düşük boyutlu veri ambarı Değişiklikler birbirini etkilemez 10e isimli eserden adapte edilmiştir 12/58
Diğer VA Bileşenleri Operasyonel veri depoları (OVD) VA ya tamamen geçişten önce kullanılan ara veri deposudur. Özellikle kısa dönemli kararların alınmasında kullanılmak üzere tutulan geçici bir veri alanıdır. Operasyonel veri deposu güncellenebilir, VA ise statiktir. Oper Marts Operasyonel veri marketi Kurumsal Veri Ambarı VA denince anlaşılması gereken kavramdır. Büyük ölçekli, işletmenin her birimine karar destek amaçlı kurulmuş olan, bütünleşik veri deposudur. 10e isimli eserden adapte edilmiştir 13/58
Metadata (Üst Veri) Veri hakkındaki veri!!! Diğer VA Bileşenleri Verinin kaynağı, türü, elde edilme zamanı gibi bilgileri taşır Veri hakkında veri demektir. Verinin yapısı ve verideki anlama ilişkin bilgilerin tutulduğu bir kütüktür. Kullanımına göre ikiye ayrılır: İşletme perspektifi açısından Meta Veri: Verinin ne anlama geldiğini izah eder ve yapısal değildir. Bir sözlük gibi düşünülebilir. Veri ne anlama geliyor? Nerede bulabilirim? Sorularının cevabıdır. Teknik perspektif açısından Meta Veri: Teknik personel için gerekli bilgilerin bulunduğu kütüktür. 10e isimli eserden adapte edilmiştir 14/58
Diğer VA Bileşenleri Üst Veri Örneğin bir müşterinin tarih bazında aldığı ürün sayıları ve bu ürünlerin birim fiyatları aşağıdaki şekilde bir veri tabanında tutuluyor olsun. Bu veriler VA ya aktarılırken MH=300 şeklinde, ürün sayısı ve birim fiyatı çarpılarak aktarılsın. Ürün Miktarı 30 10 40 20 50 30 Ürün Fiyatı MH 300 800 1500 Meta Veri: MH = Müşteri Hasılatı, hesaplama yöntemi= ürün fiyatı * miktar, Pazarlama Data Martında depolanıyor. 10e isimli eserden adapte edilmiştir 15/58
Diğer VA Bileşenleri Üst Veri Meta Veri Türü Tanım Dönüştürme Yönetim İş perspektifi (Çoğunlukla Yapısal Değil) Teknik perspektif (Çoğunlukla Yapısal) Ne anlama geliyor? Nerede bulabilirim? Biçim Uzunluk Tanım aralığı Veri tabanı Katalog Nasıl hesaplanmış? Kaynakları neler? Hangi iş kuralları uygulanmış? Filtreler Topluluklar Hesaplamalar İfadeler Hangi eğitimler var? Yönlendirme takımında kimler var? En kolay şekilde nasıl ulaşılır? Bilgi ne kadar güncel? Kapasite planlama Boşluk atama İçerik& içerikselleştirmeme Disk kullanımı İş çizelgeleme 10e isimli eserden adapte edilmiştir 16/58
VA vs VT Fark Operasyonel Veri Tabanı Veri Ambarı / Data Mart Amaç Birincil fonksiyonu emirleri işlemek, günlük mesaj girişleri, operasyonel bir görevi tamamlamak Birincil fonksiyonu işi yönetmek için bilgiye erişimde iç görüyü sağlayarak daha fazla getiri sağlamak, düşük maliyetler, kaliteli müşteri hizmeti, stratejik hedeflere uyum Tarih Çok az bir geçmişe sahip güncel bilgi Büyük tarih boyutlarında analizler, geçen yıl ile bu yılın karşılaştırmaları Güncellik Gerçek(eş) zamanlı bilgi Periyodik olarak çıkarılan bilgiler (haftalık, günlük, saatlik). Daha yakın zamanlarda, operasyonel veri deposu gün boyunca gerçek zamanlı veya birkaç kez bilgi elde edebilir. Ayrıntı Seviyesi Detaylı bilgi satır öğesi veya seviyeli veri giriş seviyesi Boyu değişen derecelerde toplu bilgiler 10e isimli eserden adapte edilmiştir 17/58
VA vs VT Fark Operasyonel Veri Tabanı Veri Ambarı / Data Mart Tepki Süresi Tablo Yapısı Hızlı girişler, ama yavaş sorgular Binlerce normalize tablo Sadece okuma, hızlı sorgular için ayarlanmış. Veri ambarı parçaları normalize olabilir, ama parça iş kullanıcıları sorguları normalde normalleştirilmemiş yıldız veya kar tanesi şemaları içerir. Veri ambarı tabloları, kaynak sistemleri tablolarından daha azdır. Boyutlar Nadiren hiyerarşik gruplama Hiyerarşik grupları zaman düzeyi, hesap planı, ürün grupları, müşteri grupları, vb alanlarda gruplar. Raporlama Ve analiz Biri detaylı boyutun Sabit raporları (maliyet merkezi, fabrika, sipariş numarası) Sabit ya da tüm işletme fonksiyonları arasında çok boyutlu tarafından ad hoc raporlama ve analiz. 10e isimli eserden adapte edilmiştir 18/58
Genel bir VA mimarisi Veri Marketi Seçeneği Olmaz ise Veri Kaynakları ERP Önceki Sistemler POS OLTP ve Web Dış Veri ETL Süreci Seç Çıkar Dönüştür Bütünleştir Yükle Meta Data Kurumsal Veri Ambarı Erişim Veri Marketi (Pazarlama) Veri Marketi (Mühendislik) Veri Marketi (Finans) Veri Marketi ( ) API ve Ara Yazılımlar Uygulamalar (Görselleştirme) Rutin İşletme Raporlama Veri/Metin Madenciliği OLAP Göst.Pan. Web Özel Yapım Uygulamalar Replikasyon 10e isimli eserden adapte edilmiştir 19/58
3 tabakalı yapı VA Mimarisi 1. Veri edinme yazılımı (Arka uç) 2. Veri ambarları 3. İstemci Yazılımı (Ön uç) Tabaka 1: İstemci İş İstasyonu Tabaka 2: Uygulama Sunucusu Tabaka 3: Veritabanı Sunucusu Zaman zaman ilk iki aşama birlikte ele alınabilir. Tabaka 1: İstemci İş İstasyonu Tabaka 2: Uygulama ve veritabanı Sunucusu 10e isimli eserden adapte edilmiştir 20/58
Veri Ambarlama Mimarileri Hangi mimari kullanılması sorusunda önce aşağıdaki sorular cevaplanmalıdır? Hangi veri tabanı yönetim sistemi kullanılmalıdır? Paralel işleme ve/veya bölümleme kullanılacak mı? Veri göçü (veri aktarımı) araçları veri ambarlarına yükleme işlemi için kullanılacak mı? Veri kurtarma ve analiz araçlarından hangileri tercih edilmelidir? 10e isimli eserden adapte edilmiştir 21/58
Web tabanlı Veri Ambarı Mimarisi........... Web Sayfaları Uygulama Sunucusu İstemci (Web Tarayıcısı) İnternet/ Intranet/ Extranet Web Sunucusu Veri Ambarları 10e isimli eserden adapte edilmiştir 22/58
Alternatif VA Mimarileri Bağımsız veri marketleri mimarisi ETL Kaynak Sistemler Veri Hazırlama Alanı Bağımsız Veri Marketleri (atomik / özet veri) Son Kullanıcı Erişimi ve Uygulamalar Ölçeklenebilir Veri marketi yolu mimarisi (Kimball Group) ETL Kaynak Sistemler Veri Hazırlama Alanı Boyutsal Bağlı Ölçeklenebilir Veri Mark. (atomik / özet veri) Son Kullanıcı Son Kullanıcı Erişimi ve Uygulamalar 10e isimli eserden adapte edilmiştir 23/58
Alternatif VA Mimarileri Topla Dağıt Veri Mimarisi (Kurumsal Bilgi Fabrikası) ETL Kaynak Sistemler Veri Hazırlama Alanı Normalize edilmiş İlişkisel Veri Ambarı (atomik veri) Son Kullanıcı Erişimi ve Uygulamalar Bağımlı Veri Marketleri (Özet / Bir miktar atomik veri) 10e isimli eserden adapte edilmiştir 24/58
Alternatif VA Mimarileri Merkezi Veri Ambarı Mimarisi ETL Kaynak Sistemler Veri Hazırlama Alanı Normalize edilmiş İlişkisel Veri Ambarı (atomik / Biraz özet veri) Son Kullanıcı Erişimi ve Uygulamalar Birleşik Mimari Varolan Veri ambarları, Veri marketleri ve Sistem Veri tabanları Veri Haritalama / Üst Veri Ortak veri bileşenlerinin fiziksel ve mantıksal entegrasyonu Son Kullanıcı Erişimi ve Uygulamalar 10e isimli eserden adapte edilmiştir 25/58
Alternatif VA Mimarileri Her bir mimarinin avantaj/dezavantajları mevcut!!! Hangisi seçilmeli? Bağımsız Veri Marketleri Ölçekli Veri Yolu Topla Dağıt Merkezi Veri Ambarı Birleşik Mimari Bilgi Kalitesi 4,42 5,16 5,35 5,23 4,73 Sistem Kalitesi 4,59 5,60 5,56 5,41 4,69 Kişisel Etkiler 5,08 5,80 5,62 5,64 5,15 Organizasyonel Etki 4,66 5,34 5,24 5,30 4,77 *Veri ambarı mimarisi kullanan 454 IT yöneticine 7 puan üzerinden sorularla elde edilen sonuçlardır. 10e isimli eserden adapte edilmiştir 26/58
Mimari Seçimini Etkileyen 10 Faktör 1. Organizasyonel birimler arası bilişim bağlılığı 2. Üst yönetimin bilgi gereksinimi 3. Veri ambarı mimarisini kurmaya olan ihtiyacın aciliyeti 4. Son kullanıcı görevlerinin yapısı 5. Kaynak kısıtlamaları 6. Uygulama öncesinde VA stratejik görünümü 7. Var olan sistemler ile uyum 8. Firma içi IT elemanlarının kullanılabilirlik algısı 9. Teknik zorluklar 10. Sosyal ve politik faktörler 10e isimli eserden adapte edilmiştir 27/58
Teradata Kurumsal Veri Tabanı Operasyonel Kullanıcılar İşlem (Transaction) Verisi Veri Dönüşümü Operasyonel Veri Deposu Kurumsal Veri Ambarı Veri Replikasyonu Veri Marketleri Karar Kullanıcıları 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 4545454255522 45454542555224545454255522 45454542555224545454255522 45454542555224545454255522 45454542555224545454255522 45454542555224545454255522 45454542555224545454255522 454545425552245454 54255522 454545425552245454 54255522 Ara Yazılımlar / Kurumsal Mesaj Yolu Üst Veri Mantıksal Veri Modeli Fiziki VT Tasarımı Kurum, Sistem ve Veritabanı Yönetimi İşletme ve Teknoloji Danışmanlık Desteği ve Öğretim Hizmeti Stratejik Kullanıcılar Taktiksel Kullanıcılar Raporlama Kullanıcıları Veri Madencileri Olay Temelli / Kapalı Çevrim 10e isimli eserden adapte edilmiştir 28/58
Veri Entegrasyonu ve ETL Süreci ETL = Extract Transform Load Çıkarım(Extraction): Bir veya daha fazla veri kaynağından verinin çıkarılması, alınmasıdır. İlk defa Veri Ambarı çalışması yapılıyorsa bir başlangıç çıkarımı mevcuttur. Eski sistemlerdeki tüm veriler tümüyle Veri Ambarına aktarılır. Sonra veriler güncellendikçe aktarma yapılır. Dönüşüm (Transformation): Çekilen verinin dönüştürülmesidir. Bu dönüştürmedeki amaç, verinin kalitesini arttırmaktır. Burada tekrarlar, eksiklikler, tutarsızlıklar giderilir, normalleştirme ve konsolidasyon yapılır. Yükleme (Loading): Veriyi fiziksel olarak Veri Ambarına yüklemektir. 10e isimli eserden adapte edilmiştir 29/58
Veri Entegrasyonu ve ETL Süreci Veri Entegrasyonu: Üç temel alt süreci içerir Veri erişimi Veri birleştirme Veri Değişiminin Yakalanması (CDC) Kurumsal Uygulama Entegrasyonu (EAI) Farklı kaynak sistemlerden veri ambarına veri alan teknoloji Kurumsal Bilgi Entegrasyonu (EII) Yeni gelişen bir araç. Farklı veri kaynaklarından (İlişkisel, Çok boyutlu veya web vb.) sürekli ve gerçek zamanlı veri transferi teknolojisi. 10e isimli eserden adapte edilmiştir 30/58
Veri Entegrasyonu ve ETL Süreci Paket Yazılımlar Geçici Veri Kaynağı Veri Ambarı Eski Sistem Çıkar Dönüştür Temizle Yükle Diğer İç Uygulamalar Veri Marketi 10e isimli eserden adapte edilmiştir 31/58
ETL Bir ETL aracını etkileyen temel faktörler Genellikle çok maliyetlidirler Öğrenme eğrileri çok uzundur Temel Seçme Kriterleri Okuyup, yazabileceği veri kaynağı ve mimarisi türleri Üst veriyi otomatik yakalayabilmesi Açık standartlara uygunluk geçmişi Hem geliştirici hem de son kullanıcı için kolay kullanılabilir arayüz imkanları 10e isimli eserden adapte edilmiştir 32/58
Veri Ambarı Geliştirme Veri ambarı geliştirme yaklaşımları Inmon Modeli (Yukarıdan-Aşağıya): Önce büyük veri ambarı tasarlanır. Bu yüzden kurum veri ambarı (EDW: Enterprise Datawarehouse) yaklaşımı da denir. Kimball Modeli (Aşağıdan-Yukarıya):Önce küçük veri marketleri tasarlanır, sonra bunlar veri ambarını oluşturur. Bu yüzden Veri marketi yaklaşımı da denir. Hedefi; mümkün olan en kısa zamanda çok boyutlu veri marketlerinin dağıtılmasıyla iş değerinin oluşturulmasıdır. Bu yaklaşım hem daha esnek hem de kullanıcı dostudur. 10e isimli eserden adapte edilmiştir 33/58
Veri Ambarı Geliştirme Yaklaşımları Kimball Modeli (Veri Marketi) Inmon Modeli (KVA) Amaç Bir konu alanı Çok konu alanı Geliştirme zamanı Aylar Yıllar Geliştirme maliyeti 10.000$-100.000$ arası 1.000.000$ ve üzeri Geliştirme zorluğu Düşük - orta seviye Yüksek seviye Veri paylaşım ön koşulları İş alanı içi yaygın Kurum boyunca Kaynaklar Sadece bazı operasyonel Birçok operasyonel ve dış ve dış sistemler sistemler Boyut Megabyte-Gigabyte Gigabyte-petabyte Zaman aralığı Güncele yakın ve geçmiş veri Geçmiş veri 10e isimli eserden adapte edilmiştir 34/58
Veri Ambarı Geliştirme Yaklaşımları Kimball Modeli (Veri Marketi) Veri dönüştürme Düşük-orta Yüksek Inmon Modeli (KVA) Güncel frekans Saatlik, günlük, haftalık Haftalık, aylık Teknoloji donanımı İş istasyonları ve bölüm Kurum sunucuları ve ana sunucuları bilgisayarlar İşletme sistemi Windows ve Linux Unix, Z/03, 03/390 Veritabanları İş grupları veya standart Kurumsal veri tabanı veri tabanı sunucuları sunucuları Eş zamanlı 10-100 arası 100-1000 arası kullanıcıların sayısı Kullanıcı tipleri İş analistleri ve Kurum analistleri ve tepe yöneticiler yöneticiler Önemli iş odakları İş alanı içindeki Çapraz-fonksiyonel aktivitelerin optimizasyonu optimizasyon verme ve karar 10e isimli eserden adapte edilmiştir 35/58
Faydaları Sunucu Veri Ambarları (CC-DW) Minimum altyapı maliyetlerine gereksinim duyar Firma içi sistemlerin kapasite kısıtları esnetilmiş olur Para akışını serbestleştirir Çok güçlü çözümleri ekonomik kılar Daha kaliteli ekipman ve daha güçlü yazılımları kullanma ve öğrenme imkanı sunar Daha hızlı ve etkin çözümler sunar 10e isimli eserden adapte edilmiştir 36/58
Veri Ambarlarında Veri Temsili Çok Boyutlu Veri Modeli Zaman Vancouver Satış Rakamları Ürün Eğlence Bilgisayar Telefon Güvenlik Ç1 605 825 14 400 Ç2 680 952 31 512 Ç3 812 1023 30 501 Ç4 927 1038 38 580 İki Boyutlu Tablo Üç Boyutlu Tablo Satış Rakamları (Vancouver) Ürün Eğlence Bilgisayar Telefon Güvenlik Ç1 605 825 14 400 Ç2 680 952 31 512 Ç3 812 1023 30 501 Ç4 927 1038 38 580 Satış Rakamları (Montreal) Ürün Eğlence Bilgisayar Telefon Güvenlik 703 888 17 327 777 1025 19 389 827 1212 15 401 903 1301 18 456 10e isimli eserden adapte edilmiştir 37/58
Çok Boyutlu Veri Modeli (Veri Küpü) Ankara 854 882 89 623 İstanbul 1087 968 38 872 İzmir 818 746 43 591 Bursa 854 882 89 623 Zaman Birinci Çeyrek İkinci Çeyrek Üçüncü Çeyrek Dördüncü Çeyrek 854 682 89 623 814 982 69 523 754 872 81 673 894 552 59 62 Ürün Çeşidi 10e isimli eserden adapte edilmiştir 38/58
Çok Boyutlu Veri Modeli (Veri Küpü) Ankara İstanbul İzmir Bursa Tedarikçi 1 Tedarikçi 2 Tedarikçi 3 Birinci Çeyrek Zaman İkinci Çeyrek Üçüncü Çeyrek Dördüncü Çeyrek Ürün Çeşidi Ürün Çeşidi Ürün Çeşidi 10e isimli eserden adapte edilmiştir 39/58
Yıldız Şeması Bir gerçek (Fact) tablosu etrafında yer alan boyut (dimension) tabloları ile gösterilir. 10e isimli eserden adapte edilmiştir 40/58
Kar Tanesi Şeması Yıldız şemasının bir genişletilmiş versiyonudur. 10e isimli eserden adapte edilmiştir 41/58
Galaksi Şeması Sofistike uygulamalarda boyut tablolarını paylaşmak için birden çok gerçek tabloya gerek duyulabilir. Bu tür bir şema yıldızlar topluluğu şeması olarak görülür ve dolayısıyla bunun adına galaksi şeması veya gerçek takımyıldızı (fact constellation)denmiştir. 10e isimli eserden adapte edilmiştir 42/58
Veri Ambarlarında Analiz OLTP vs. OLAP OLTP (online transaction processing) OLTP veri depolama sistemleri genelde ilişkisel verileri tutmak için dizayn edilmiştir. Günlük hayatta kullandığımız uygulamalarımızın veri tabanları çoğunlukla OLTP tarzı sistemlerdir. Firmalar için günlük bütün işlem kayıtları (ERP, CRM, POS vb.) ilişkisel tablolar halinde OLTP veri tabanlarında tutulur. 10e isimli eserden adapte edilmiştir 43/58
Veri Ambarlarında Analiz OLTP vs. OLAP OLAP (Online analytical processing) Online analytical processing yani kısaca OLAP analitik işlemler için tasarlanmış, çok boyutlu ve özet bilgilerin tutulduğu veri tabanlarıdır. Örneğin bir firmanın yaptığı bütün satışlara ait detaylı bilgilerin yer aldığı sistemler OLTP, bu verilerin satış zamanı, yeri gibi özel boyutlar bazında gruplanarak özet olarak tutulduğu sistemler ise OLAP olarak adlandırılır. OLAP temelde OLTP sistemlerinden beslenerek organizasyonun tamamı hakkında çok hızlı bir şekilde bilgi sağlanması amacıyla oluşturulmuş yapılardır. OLAP sistemlerinin en önemli özelliği verilerin mutlaka zaman boyutu olmasıdır. 10e isimli eserden adapte edilmiştir 44/58
Veri Ambarlarında Analiz OLTP vs. OLAP Statik rapor yığınlarını incelemek yerine, OLAP analisti iş sonuçlarını, interaktif olarak inceleyebilir, verinin görünümünü dinamik olarak ayarlayabilir, çok hızlı bir şekilde soru sorup cevap alabilir. OLAP kavramı, paylaşılan çok boyutlu bilginin hızlı analizi (FASMI) olarak da tanımlanır. Fast (Hızlı) Analysis (Analiz) Shared (Paylaşımlı) Multidimensional (Çok Boyutlu) Information (Bilgi) 10e isimli eserden adapte edilmiştir 45/58
Veri Ambarlarında Analiz OLTP vs. OLAP Bir OLAP küpü üzerinde şu işlemler yapılabilir: Dice(Çevir): Satış verisinin bölge-zaman yüzünü incelerken, ürün-zaman yüzüne geçebiliriz. Slice(Dilimle): Bütün aralığı değil de belirli bir aralığı seçebiliriz. Örnek son 1 yıla ait dilim.. Drill Down: Ayrıntı seviyesinde alta in. Örnek yıl bazından ay bazına geç. Drill Up: Ayrıntı seviyesinde yukarı çık. Örnek şehir bazından bölge bazına çık. 10e isimli eserden adapte edilmiştir 46/58
Veri Ambarlarında Analiz OLTP vs. OLAP Kriter OLTP OLAP Amaç Veri kaynağı Raporlama Kaynak ihtiyaçları Uygulama hızı Kullanıcı ve sistem yönelimi Veri tabanı dizaynı Günlük iş fonksiyonlarını yerine getirmek İşlem veri tabanı (etkinlik ve tutarlılığa dayanan normalize edilmiş veri deposu) Rutin, periyodik, odaklanılmış raporlar Olağan ilişkisel veri tabanları Hızlı (işlem ve rutin raporlar kayıtları) Müşteri odaklıdır ve üzerindeki işlemler, sorgular it personeli, müşteriler, tezgahtarlar vs. tarafından yapılır. Varlık-ilişkili (entity-relational ER) veri modeli ile dizayn edilmiş, uygulama odaklı Karar vermeyi desteklemek ve iş ve yönetim sorgularını cevaplamak Veri ambarı veya özel veri tabanı (doğruluk ve tamlığa dayanan normalize edilmemiş veri deposu) Özel amaçlı, çok boyutlu, geniş odaklı sorgular ve raporlar Çok işlemcili, yüksek-kapasiteli, özel veri tabanları Yavaş (kaynak yoğun, karmaşık, yüksek-ölçekli sorgular) Konu odaklıdır ve karar vericiler, yöneticiler, analistler tarafından veri analizi için kullanılır. Genellikle Yıldız veya Kartanesi modeli ile dizayn edilmiş veri tabanı dizaynı kullanılır. 10e isimli eserden adapte edilmiştir 47/58
OLAP Türleri Çok boyutlu OLAP (MOLAP): Çok boyutlu OLAP, klasik OLAP formudur ve bazen sadece OLAP da denir. MOLAP küçük çaptaki veri setleri için uygundur çünkü hızlı hesaplar ve fazla yer kaplamaz. İlişkisel OLAP (ROLAP): ROLAP direkt olarak ilişkisel veri tabanlarıyla çalışır. Temel veri ve boyut tabloları, ilişkisel tablolar olarak depolanır ve yeni tablolar toplu bilgiyi tutmak için oluşturulur. ROLAP daha ölçeklenebilirdir, fakat yüksek hacimli işlemlerin etkili kurulumu zordur, bu yüzden sıkça göz ardı edilir. Hibrid OLAP (HOLAP): Endüstride açık bir tanımı olmamakla birlikte, veriyi ilişkisel ve özel depo olarak bölen OLAP tipidir denilebilir. Örneğin bir HOLAP veri tabanı, yüksek miktarda detaylı veri için ilişkisel tablolarını, daha detaysız ve düşük miktarda veri için özel depoları kullanabilir. 10e isimli eserden adapte edilmiştir 48/58
Başarılı bir VA Uygulaması Nasıl olur? Başarılı bir VA uygulaması için aşağıdakilerden kaçınılmalıdır. Yanlış sponsorluk zinciri ile başlamak Finansal desteğe sahip bir yönetici Diğer yöneticilerin saygısını kazanmış IT proje yöneticisi Karşılanamayacak beklentiler oluşturmak Daha politik ve kabul edilebilir yaklaşım VA sayesinde artık daha iyi kararlar alacaksınız (Daha önce almıyorlar mıydı???) Sadece ulaşılabilir olduğundan her türlü veriyi tutmak Aşırı yükleme = Düşük Etkinlik 10e isimli eserden adapte edilmiştir 49/58
Başarılı bir VA Uygulaması Nasıl olur? Veri ambarı tasarımı ile klasik veri tabanı yönetim sistemi tasarımlarının aynı veya çok benzer olduğuna inanmak Veri ambarı yöneticisini teknoloji yönelimli seçerek, kullanıcı gereksinimlerini anlayamamak Klasik veri tiplerine odaklanıp, harici veri kaynaklarından gelen metin, medya, web verilerini göz ardı etmek Veri ambarı kurulumu ile bütün sorunların ortadan kalktığına inanmak VA ve İZ konuları sürekli gelişmekte, değişime ayak uydurmak şart!!! Konu ve kişi odaklı raporlara odaklanarak uyarı sistemlerinin avantajlarını göz ardı etmek 10e isimli eserden adapte edilmiştir 50/58
Büyük Veri Ambarları ve Ölçeklenebilirlik Ölçeklenebilirlik (Bir sistemin artan kapasite kullanımıyla, performanstan feragat etmeden, baş edebileceğini ifade eden terim) Ölçeklenebilirlik ile ilgili temel konular Veri ambarlarındaki verinin çokluğu Veri ambarının ne kadar çabuk büyüyeceği (büyüme hızı) Eş zamanlı kullanıcı sayısı Kullanıcı sorgularının karmaşıklığı İyi ölçeklenebilirlik, sorguların ve diğer veri erişim işlemlerinin veri ambarı boyutu ile doğrusal olarak büyümesidir. 10e isimli eserden adapte edilmiştir 51/58
Gerçek Zamanlı (Aktif) VA/IZ Gerçek zamanlı veri analizi ve karar verme süreci için gerçek zamanlı veri güncelleyebilen veri ambarlarıdır İtme (Yazılım gönderimli) vs. Çekme (Kullanıcı istekli) Veri toplamada gecikmeler (Klasik VA) Analiz sürecindeki gecikmeler (Gerçek Zamanlı VA) Aksiyona geçme sürecindeki gecikmeler (Yeni nesil Gerçek Zamanlı VA) Gerçek Zamanlı Veri Ambarları ile ilgili bazı problemler Bütün veriler sürekli güncellemeye uygun değildir Dakikalar içinde alınan raporların çelişkili olması ihtimali Çok yüksek maliyetler Uygulaması mümkün olmayabilir (Ölçekleme problemleri) 10e isimli eserden adapte edilmiştir 52/58
Gerçek Zamanlı (Aktif) VA/IZ 10e isimli eserden adapte edilmiştir 53/58
10e isimli eserden adapte edilmiştir 54/58
Geleneksel VA vs. Gerçek Zamanlı VA Geleneksel Veri Ambarları Ortamı Sadece stratejik kararlar Bazen sonuçların ölçülmesi zor olabiliyor Günlük, haftalık hatta aylık veri edinme Kabul edilebilir sayıda eş zamanlı kullanım Daha statik, hazır rapor kullanımı Güçlü kullanıcılar, bilgi çalışanları, iç kullanım Gerçek Zamanlı Veri Ambarları Ortamı Stratejik ve taktiksel kararlar Sonuçlar operasyonlar sayesinde ölçülebiliyor Dakika bazlı (hatta saniye) veri edinme Yüksek sayıda eş zamanlı kullanım Anlık, konu veya kişi odaklı rapor hazırlama Operasyonel çalışanlar, çağrı merkezleri, dış kullanıcılar 10e isimli eserden adapte edilmiştir 55/58
VA Yönetimi ve Güvenlik Veri Ambarı Yöneticisinden beklenen özellikler Yüksek performanslı yazılım, donanım ve ağ teknolojilerine aşina olması Gerekli işletme bilgisine ve öngörüsüne sahip olması Veri ambarı mimarisi ve tasarımı hakkında bilgi sahibi olması Karar destek süreçlerine aşina olması Yüksek iletişim yeteneklerine sahip olması Güvenlik ve mahremiyet en önemli konular Emniyet en önemli varlık Yasal düzenlemeler Şeffaf planlama ve uygulama 10e isimli eserden adapte edilmiştir 56/58
Kaynaklar Veri Ambarlarının Geleceği Web, Sosyal medya ve büyük veri Açık kaynak kodlu yazılımlar SaaS Bulut bilişim Altyapı Dikey Veri tabanı (Kayıtlar satır yerine sütunlarda) Gerçek Zamanlı VA Veri ambarı cihazları Veri yönetimi teknolojileri In-Database / In-Memory İleri analitik 10e isimli eserden adapte edilmiştir 57/58
Ücretsiz VA Portalı www.teradatastudentnetwork.com Şifreyi hocanızdan talep edebilirsiniz!!! 10e isimli eserden adapte edilmiştir 58/58