Veri Ambarina Genel Bir Bakis Haziran 2003 Oguz ASLANTÜRK Hacettepe Üniversitesi Bilgisayar Mühendisligi Bölümü Ahmet MUTLU Hacettepe Üniversitesi Bilgisayar Mühendisligi Bölümü i
IÇINDEKILER DIZINI SEKILLER DIZINI... v 1.Giris...1 2.Veri Ambari Gelisim Süreci...3 2.1 Isletimsel ve Bilisimsel Sistemler...3 2.2 Eski Sistemlerden Gelen Veri...4 2.3 Masa Üstüne Tasinan Bilgi...5 2.4 Karar Destek ve Yönetimsel Bilgi Sistemleri...5 3. Veri Çözümleme Teknikleri...7 3.1. Sorgulama ve Raporlama (Query and Reporting)...8 3.2 Çok Boyutlu Çözümleme...9 3.3 Veri Madenciligi (Data Mining)...10 4. Veri Ambari Çatisi (Data Warehouse Framework)...12 4.1. Veri Ambari Mimarisi...12 4.1.1. Isletimsel Veri Tabani Katmani / Dis Veri Tabani Katmani...13 4.1.2. Bilgi Erisim Katmani...13 4.1.3. Veri Erisim Katmani...14 4.1.4. Veri Kilavuzu (Üstveri) Katmani...15 4.1.5. Islem Yönetim Katmani...15 4.1.6. Uygulama Ileti Gönderme Katmani...15 4.1.7. Veri Ambari (Fiziksel) Katmani...15 4.1.8. Veri Sunma Katmani...16 5. Veri Ambari Için Mimari ve Gerçeklestirme Seçenekleri...17 5.1. Mimari Seçenekler...17 5.1.1. Genel Veri Ambari Mimarisi (Global Data Warehouse Architecture)...18 5.1.2. Bagimsiz Veri Pazari Mimarisi (Independent Data Mart Architecture)...20 5.1.3. Baglantili Veri Pazari Mimarisi (Interconnected Data Mart Architecture)..21 5.2. Gerçeklestirme Seçenekleri...22 5.2.1 Yukaridan Asagiya Gerçeklestirme...22 5.2.2 Asagidan Yukariya Gerçeklestirme...23 5.2.3 Birlestirilmis Yaklasim...25 6. Verinin Biçimlendirilmesi...26 6.1 Verinin Yapilandirilmasi...26 6.1.1 Gerçek Zamanli Veri...27 6.1.2 Türetilmis Veri...27 6.1.3 Uzlasilmis Veri...27 6.2 Kurumsal Veri Modelleme (KVM)...28 6.2.1 Asamali Kurumsal Veri Modelleme...28 6.2.2 Basit Bir Kurumsal Veri Modeli...29 6.2.3 KVM nin Getirileri...30 6.3 Veri Duyarlilik Modeli...31 6.3.1 Veri Ambarindaki Verinin Duyarliligi...31 6.3.2 Birden Çok Duyarlilikla Modelleme...32 6.4 Mantiksal Veri Bölümleme Modeli...32 6.4.1 Verinin Bölümlenmesi...33 6.4.1.1 Bölümlemenin Amaçlari...33 6.4.1.2 Bölümleme Ölçütleri...33 6.4.2 Konu Alani...34 7. Veri Ambari için Veri Modelleme...35 7.1 Veri Modellemenin Önemi...35 ii
7.2 Veri Modelleme Teknikleri...36 7.3 VB Modelleme...37 7.4 Boyutlu Modelleme...37 7.4.1. Temel Kavramlar...37 7.4.1.1 Olay...37 7.4.1.2 Boyut...37 7.4.1.3 Ölçek...39 7.4.2 Boyutlu Modelin Görsellestirilmesi...39 7.4.3 OLAP Için Temel Islemler...40 7.4.3.1 Drill Down ve Roll Up...40 7.4.3.2. Slice ve Dice...41 7.4.4 Yildiz (Star) ve Kar Tanesi (Snowflake) Modelleri...42 7.4.4.1 Yildiz Modeli...43 7.4.4.2 Kar Tanesi Modeli...44 7.4.5 Veri Birlestirme (Data Consolidation)...45 7.5 VB Modelleme ve Boyutlu Modelleme...45 8.Veri Ambari Gelistirme...46 8.1 Proje Yönetimi...47 8.2 Projenin Tanimlanmasi...47 8.3 Gereksinim Toplama...48 8.3.1 Kaynak Yönetiminde Gereksinim Toplama...49 8.3.2 Kullanici Yönetiminde Gerekisinim Belirleme...50 8.4. Veri Ambarinin Modellenmesi...50 8.4.1. VB Modelinin Olusturulmasi...50 8.4.2. Boyutlu Modelin Olusturulmasi...51 8.4.2.1. Boyutlar ve Ölçekler...51 8.4.2.2. Zaman Boyutu Eklenmesi...51 8.4.2.3. Olaylarin (Facts) Olusturulmasi...52 8.4.2.4. Duyarlilik (Granularity), Eklenebilirlik (Additivity) ve Olaylarin Birlestirilmesi...52 8.4.2.5 Var olan Modellerle Bütünlestirme...53 8.4.2.6. Modelin Boyutlandirilmasi...53 8.4.3. Üstveri...53 8.4.4. Modelin Dogrulanmasi...55 8.5. Veri Ambarinin Tasarlanmasi...56 8.5.1. Islevsel Tasarima karsi Veri Ambari Tasarimi...56 8.5.2 Kaynaklarin Tanimlanmasi...56 8.5.3 Veriyi Temizleme...57 8.5.4 Veriyi Dönüstürme...58 8.5.5 Tasarimi Dogrulama...58 8.5.6 Veri Madenciligi...58 8.6. Devingen Veri Ambari Modeli...58 9. Bir Modelleme Araci Seçilmesi...61 9.1. Çizelge Gösterimi (Diagram Notation)...61 9.2. Tersine Mühendislik (Reverse Engineering)...62 9.3. Ileriye Dogru Mühendislik (Forward Engineering)...62 9.4. Kaynaktan Hedefe Eslestirme (Source to Target Mapping)...62 9.5. Veri Sözlügü (Data Dictionary) / Havuz (Repository)...63 9.6. Raporlama (Reporting)...64 9.7. Araçlar...64 10. Veri Ambarinin Üretilmesi...66 iii
10.1. Veri Yakalama (Capture)...66 10.2. Veri Dönüstürme (Transform)...68 10.3. Uygulamaya Koyma (Apply)...68 10.4 Modellemenin Önemi...69 11. Sonuç...70 Kaynaklar...71 iv
SEKILLER DIZINI Sekil 3.1 Veri Çözümleme Teknikleri...7 Sekil 3.2 Sorgulama ve Raporlama. Bu islem sorgu tanimlamayla baslayip rapor teslimi ile biter...8 Sekil 3.3 Inis ve Çikis Çözümlemesi. Çok boyutlu çözümlemede uç kullanici ayrinti düzeyleri arasinda dolasabilir....10 Sekil 3.4 Veri Madenciligi Sorgulara Yanit Vermekten Çok Veri Içeriginin Çözümlemesiyle Ilgilenir...11 Sekil 4.1 Veri Ambari Çatisinda Katmanlar ve Katmanlar Arasi Iliskiler...13 Sekil 5.1 Genel Veri Ambari Mimarisi. Iki ana mimari yaklasimi....19 Sekil 5.2 Veri Pazari Mimarileri. Bagimsiz ya da Baglantili olabilir...21 Sekil 5.3 Yukaridan Asagiya Gerçeklestirme...23 Sekil 5.4 Asagidan Yukariya Gerçeklestirme...24 Sekil 6.1 Asamali Kurumsal Veri Modeli...29 Sekil 6.2 Basit Bir Kurumsal Veri Modeli...30 Sekil 6.3 Verinin Duyarliligi...32 Sekil 7.1 Zaman Boyutu Için Birden Fazla Siradüzen...39 Sekil 7.2 Küp: Boyutlu model için bir benzetme...40 Sekil 7.3 Drill-Down ve Roll-Up örnekleri...41 Sekil 7.4 Slice ve Dice örnekleri...42 Sekil 7.5 Yildiz modeli...43 Sekil 7.6 Kar Tanesi Modeli...44 Sekil 8.1 Veri Ambari Gelistirme Yasam Döngüsü...46 Sekil 8.2 Gereksinim Toplama Yaklasimlari...49 Sekil 8.3 Üretim Veri Ambari Ortaminda Üstverinin Degismesi...59 Sekil 8.4 Veri Ambari Modelinin Yasam Döngüsünde Kullanilisi...60 Sekil 10.1 Veri Ambarinin Üretilmesi...66 v
1.Giris 1990 li yillardan itibaren bilgisayar sistemlerinin hizlanmasi ve ucuzlamasiyla birlikte, devlet kurumlari da dahil olmak üzere farkli büyüklüklerdeki birçok kurulus, büyük miktardaki verileri saklayama ve isleme yoluyla degisen is kosullarina daha kisa sürede tepki verebilmis ve gelecege yönelik çözümleme ve planlama sayesinde basariyi arttirmislardir. Örnegin birkaç sene önce herhangi bir süpermarketten alisveris yapilirken kullanilan yazar kasalar, bugün markette satilan bütün mallara ait bilgileri toplamak üzere kullanilan terminaller haline gelmislerdir. Bu sayede, satisi yapilan mallarin ve müsterilerin bilgileri toparlanarak, zaman içerisinde kurumun yararina olacak iliskilerin ortaya çikarilmasi olanaklidir. Günümüzde bilgi teknolojisi, kurumlarin önemli atilimlar yapmasinda bas rolü oynamaktadir. Ancak herkesin masasinda bulunan güçlü bilgisayarlar ve tüm dünyaya yayilan iletisim aglarina ragmen karar verme isini üstlenen kimseler kurumlarinda zaten bulunmakta olan önemli bilgilere erisememektedirler. Amaç dogrultusunda kullanilamadigi sürece kendi basina degerli olmayan büyük miktardaki verilerin saklanmasinda kullanilan veri ambarlari, geleneksel sorgulama (querying) ve raporlama (reporting) yöntemlerinin yanisira, veri madenciligi (data mining )ve çok boyutlu çözümleme (multi-dimensional analysis) gibi güçlü veri çözümleme teknikleri için altyapi saglar. Bu tekniklerin kullanilmasi sayesinde, karar verme sürecinde gerekli olan bilgiye daha kolay erisim saglanabilmektedir. Veri ambari kurmak için farkli yaklasimlar söz konusudur. Ancak, hangi yaklasim seçilirse seçilsin yapilacak olan arastirma ve planlama çalismalarinin sonucunda görülecek olan, bütün veri ambari çalismalarinin kurumun yapacagi yatirimlara bagli oldugudur. Veri ambari olusturulurken karar verilmesi gereken önemli bir konu verinin nasil yapilandirilacagidir. Verinin yapilandirilmasi, veri ambarciliginda en önemli konulardan biri olmasinin yani sira, veri ambarini islevsel veri tabanlarindan (operational databases) ya da karar destek uygulamalarindan (decision support application) ayiran noktadir. Veri ambarinin ne oldugu sorusuna yanit verebilmek için öncelikle bazi kavramlardan bahsetmek gerekmektedir. Ancak kaba bir tanimla, veri ambari isletimsel sistemlerin çiktisi olan verilerin yönetildigi bilgi ortamidir denilebilir. 1
Bu raporda veri ambarlarinin kisa tarihçesine deginilerek veri ambari kullanilmasinin gerekçeleri ve faydalari vurgulanmaya çalisilacak, daha sonra da veri ambarlarinin yapisi ve ne sekilde kullanildigi incelenecektir. Ayrica ambarciliginda modelleme amaciyla kullanilacak olan araçlarin genel özelliklerine deginilerek var olan araçlardan bahsedilecektir. 2
2.Veri Ambari Gelisim Süreci Veri ambari kavrami, karar vermede kullanilabilecek yapisal kaliteli bilgiye kolay erisimi saglama ihtiyacindan ortaya çikmistir. Is dünyasinin rekabet ortaminda bilginin kurulusa önemli avantajlar saglayacagi genel olarak kabul edilmektedir. Kuruluslarin büyük miktarda verileri olmasina ragmen, ne yazik ki bu verilere erismek ve kullanmak, veri miktari arttikça daha da zorlasmaktadir. Bunun sebebi, degisik zamanlarda ve degisik kimseler tarafindan gelistirilmis veri tabani sistemlerinin ve kütük yapilarinin veriyi tutmak için kullanilmasi, bunun sonucu olarak da çok miktardaki veriye farkli düzlem ve farkli biçimlerden erisme gereksiniminin ortaya çikmasidir. Dolayisiyla kurumlar bilgiyi çözümleyebilmek ve raporlayabilmek için çok sayida farkli program gelistirmek ve bu programlarin bakimini yapmak durumunda kalmaktadirlar. Dogal olarak bu yöntem oldukça maliyetli, etkin olmayan ve zaman alicidir. Bu noktada daha iyi bir yaklasim olarak karsimiza veri ambarlari çikar. Veri ambarlari farkli düzlemlerdeki veri kaynaklarina eriserek veriyi temizleyip, süzüp degistirdikten sonra, anlasilabilir ve kolay erisilebilir bir yapida saklarlar. Bu veri daha sonra sorgulama, raporlama ve veri çözümlemede kullanilir. 2.1 Isletimsel ve Bilisimsel Sistemler Veri ambari kavraminin gelisim sürecini incelemek için ilk olarak veri ambarlarindan önce verinin nasil islendigine bakmamiz gerekir. Veri ambarinin gelisimiyle birlikte ortaya çikan en önemli noktalardan birisi, bütün kuruluslarda temel olarak farkli iki çesit sistem bulundugu gerçegidir :?? Isletimsel (Operational) sistemler?? Bilisimsel (Informational) sistemler Isletimsel sistemler adindan da anlasildigi gibi kurulusun günlük islerini yürütmek için kullanilan sistemlerdir. Siparis girisi, stok takibi, üretim, muhasebe gibi sistemler, kurulusun temel islerini yürüten isletimsel sistemlerdir. Tasidiklari büyük önem nedeniyle, kurulusun otomasyonu gerçeklestirilirken ilk ele alinan kesim, isletimsel sistemler olmaktadir. Yillar geçtikçe bu isletimsel sistemler genisletilmis, yeniden yazilmis ve kurulus tam olarak bütünlestirilmislerdir. Gerçekten de bugün dünyanin farkli yerilerindeki birçok kurulus, isletimsel sistemleri ve bu sistemlerin ürettigi veriler olmaksizin ayakta kalamazlar. 3
Öte yandan, kurulusun planlamasini da ileriye yönelik yönetimsel kararlarin alinmasi ve kestirimlerin yapilmasi için gerekli olan bazi önemli islevler de söz konusudur. Bu islevler ayni zamanda, hizli degisen is dünyasinda kurulusun ayakta kalmasini saglamak açisindan da hayati önem tasir. Pazarlama planlama, Mühendislik planlama ve Finansal Çözümleme gibi islevler isletimsel sistemler tarafindan yerine getirilebilecek islevler degildir. Bu tip islevleri yerine getirebilecek sistemler, bilgi tabanli (knowladge based) bilisimsel sistemler olarak adlandirilirlar. Bilisimsel sistemlerin yapmasi gereken is, veriyi çözümleyip kararlar alarak kurulusun simdiki ve gelecekteki davranislarinin nasil olduguna karar vermektir. Bilisimsel sistemler isletimsel sistemlerden farkli amaçlar gütmelerinin yanisira, bilisimsel veriyi de farkli alanlardan toparlamalari ve büyük miktarda, birbiriyle iliskili isletimsel veriye gereksinim duymalari açisindan da isletimsel sistemlerden farklidir. Sistemlerin gelisiminde en büyük önem isletimsel sistemlere ve onlarin isledigi verilere verilmistir. Ancak isletimsel sistemlerde verinin sonsuza kadar tutulmasi pratik olmadigindan isletimsel sistemlerin ürettigi veriyi saklamak üzere arsivleme sistemleri gelistirilmistir. Isletimsel ve bilisimsel sistemlerin temel gereksinimleri birbirinden farklidir; isletimsel sistemlerde etkinlik ön planda iken, bilisimsel sistemlerde esneklik ve genis bir bakis açisi gereklidir. 2.2 Eski Sistemlerden Gelen Veri 1970 li yillarda hemen hemen bütün is sistemleri IBM ana bilgisayarlari üzerinde COBOL, CICS, IMS, DB2 gibi araçlar kullanilarak gelistiriliyordu. 80 li yillarla birlikte AS/400 ve VAX/VMS gibi bilgisayar sistemleri ortaya çikti. 80 lerin sonu ve 90 larin basinda da istemci sunucu mimarisiyle birlikte popüler bir sunucu düzlemi olarak UNIX kullanilmaya baslandi. Düzlem, mimari, araç ve teknolojideki bütün degsikliklere ragmen çok sayida is uygulamasi 1970 lerin ana bilgisayar ortaminda çalismaya devam etti. 1997 yilinda yapilan kesitirimlere göre büyük sirketlerin is verilerinin %70 inden fazlasi halen ana bilgisayar ortaminda korunmaktadir. Bunun en önemli sebebi sistemlerin yillar içerisinde çok fazla büyümeleri ve buna bagli olarak yeni düzlem ya da uygulamalara tasinmalarinin çok zor olmasidir. 4
Bu sistemler eski (legacy) sistemler olarak adlandirilirlar ve bilisimsel sistemler için gerekli olan en büyük veri kaynagi olma özelliklerini de korumaktadirlar. DB2, IMS ya da VSAM gibi sistemlerde saklanan veriler genellikle teyp kütüphanelerinde arsivlenirler. Eski sistemler tarafindan üretilmis bu verilerden bilgi çikartmak gerektiginde, sayisiz rapor ve program gelistirilmesi gerekmektedir. Çogu durumda, kurulus içerisinde olusturulan bir bilgi islem grubu bu rapor ve programlari olusturma sorumlulugunu üstlenir. Ancak bu is için gerekli olan süre genellikle uç kullanicilarin beklediginden daha uzundur. 2.3 Masa Üstüne Tasinan Bilgi Son on yilda kisisel bilgisayarlarin is sahasinda daha çok kullanilmasi, çözümleme islevlerine yeni seçenekler kazandirmistir. Programciyla uç kullanici arasindaki mesafe, çözümleme isini yapanin, yani Is Çözümleyicisinin (Businnes Analysist), çözümleme için kullanmasi gereken çizelgelere ya da grafik gösterimlere masa üstü araçlari sayesinde kolayca ulasabilmesine bagli olarak kapanmaktadir. Ileri düzey kullanicilar ara sira eski sistemlerden üretilen bilgileri saklamak üzere masa üstü veri tabani uygulamalarini kullanabilirler. Birçok masa üstü raporlama ve çözümleme araci, uç kullanicilarin kullanimina yönelik hazirlanmis olup, önemli oranda yayginlasmaktadir. Bu is çözümleme modelinin sakincasi, verinin parçalanmasi (fragmentation) ve çok özel gereksinimlere yönelik olarak hazirlanmasidir. Her kullanici sadece kendi gereksinimi dogrultusunda bilgi saglamaktadir. Herbir kullanicinin gereksinimlerini karsilamak üzere harcanan süre, maliyeti yükseltir. Bu yaklasim uç kullanicinin çizelge, kütük ya da veri tabaninda tutulan verileri yönetmek için zaman harcayabilecegini varsayar. Kullanicilarin bazilari veri yönetiminde deneyimli olmasina ragmen, birçogu bu isi zorunluluk olarak algilar ve seçenek verilmesi durumunda ellerindeki araçlara ve çözümleme islerine odaklanmayi tercih eder. 2.4 Karar Destek ve Yönetimsel Bilgi Sistemleri Gözde bilisimsel sistemlerin baska bir çesidi de karar destek sistemleri ve yönetimsel bilisim sistemleridir. Karar destek sistemleri detaya odaklanir ve hedef kitlesi alt ve orta düzeyli yöneticilerdir. Yönetimsel bilisim sistemleri ise genellikle daha üst düzeyde birlesimsel veri ve verinin çok boyutlu görünümünü yansitir. Bu benzer, hatta örtüsen sistemler, veri ambari sistemlerinin temelini olusturur. Ancak üretilmeleri için gerekli olan gelistirme ve esgüdüm maliyetlerinin yüksek 5
olmasi nedeniyle bu sistemler, elit ürünler olarak kalmis ve yaygin kullanimlari saglanamamistir. Asagidaki özellikler bu sistemlerin genel özellikleri olarak karsimiza çikmaktadir :?? Veriyi sifreli bilgisayar alan adlari yerine tanimlayici standart is terimleri ile sunarlar,?? Veri adlari ve veri yapilari teknik olmayan kullanicilar için tasarlanmistir,?? Veri genellikle standart is kurallarina göre, önceden islenir. Günümüzün veri ambari sistemleri, karar destek ve yönetimsel bilisim sistemi gibi sistemleri çözümleme araçlari olarak sunmaktadirlar. Ancak tasarimlar, çözümleyici ya da yöneticilerin özel gereksinimlerine göre degil, bütün is yapisini temel alacak sekilde hazirlandiginda veri ambari sistemlerinin daha basarili oldugu söylenebilir. 6
3. Veri Çözümleme Teknikleri Veri ambari, karar verme ve çözümleme amaciyla kullanilacak olan kaliteli veriye kolayca ulasmak üzere kurulur. Çözümleme için günümüzde en çok kullanilan teknikler, sorgulama ve raporlama (query and reporting), çok boyutlu çözümleme (multidimensional analysis) ve veri madenciligi (data mining) teknikleridir (Bkz. Sekil 3.1). Bu teknikler, sorgu sonuçlarini formüllestirmek, içerigi farkli bakis açilarina göre çözümlemek ve verinin içerigindeki örüntüleri ortaya çikartmak için kullanilmaktadir. Görüntüleme, Çözümleme, Bilgi Kesfi Raporlama/ Sorgulama Çok Boyutlu Çözümleme Veri Madenciligi Veri Ambari Sekil 3.1 Veri Çözümleme Teknikleri Veri çözümleme teknikleri, seçilen veri modelini ve içerigi etkileyebilmektedir. Örnegin, amaç sadece sorgulama ve raporlama ise veriyi normalize edilmis bir yapida tutmak en hizli ve kolay erisimi saglayacaktir. Ilgili veri ögelerinin seçilisi ve bu ögelerin belirli ölçütlere göre gruplandirilmasi ve sonuçlarin sunulusu, sorgulama ve raporlama islemlerinin kapasitesini belirlemektedir. Bu tür islemlerin, dogrudan tablo taramalari gerektirdigi durumlarda varlik-baginti (entity-relationship) modeli en uygun modeldir. Eger amaç çok boyutlu veri çözümleme ise en uygun veri modeli çok boyutlu veri modeli olacaktir. Bu çözümleme yönteminin uygulanabilmesi için veri modelinin, veriye farkli boyut kombinasyonlarinda erisimi desteklemesi gerekmektedir. Örnegin, belirli bir günde, belirli bir magazada, belirli fiyat araliginda, belirli bir üründen kaç adet satildigi ögrenilmek istenebilir. Baska bir çözümlemede ise belirli bir ürünü, belirli bir günde, belirli bir fiyat araliginda satan magazalarin sayisi arastiriliyor 7
olabilir. Bu iki sorgu, benzer bilgileri istemesine ragmen, bir tanesi olaya ürün bakis açisindan yaklasirken, digeri magaza açisindan yaklasmaktadir. Çok boyutlu çözümleme, verinin birçok farkli bakis açisindan ve boyuttan kolayca görülebilmesini saglayan bir veri modeli gerektirmektedir. Normalize edilmis bir veri modeli kullanilmasi durumunda, farkli boyutllardaki verileri tutan tablolar arasinda birçok bitistirme islemi yapilacagindan, basarim gözle görülür oranda kötü etkilenecektir. Birçok uygulama veri ambarinin degisen gereksinimlerini karsilayacak olan en uygun veri modelini bulmak için birden fazla veri modeli kullanilabilir. 3.1. Sorgulama ve Raporlama (Query and Reporting) Sorgulama ve raporlama çözümlemesi, bir sorunun yanitlanmak üzere gönderilmesi, veri ambarindan uygun verinin getirilmesi, veri ambarindan uygun verinin getirilmesi, uygun biçime dönüstürülmesi ve okunabilir biçimde görüntülenmesidir. Bu islem sorguyu yönelten çözümleyici tarafindan gerçeklestirilir ve veri madenciliginde oldugu gibi veri tarafindan yürütülmemektedir. Sorgu Tanimlama Veri Erisimi Hesaplama ve Isleme Rapor Hazirlama Rapor Teslimi Sekil 3.2 Sorgulama ve Raporlama. Bu islem sorgu tanimlamayla baslayip rapor teslimi ile biter Sorgular genellikle iki boyutla ya da iki etkenle iliskilidir. Örnegin bu hafta bu üründen ne kadar satildi? ya da bu ürünlerin ne kadarinin belirli bir magazadan satildigi gibi sorgular yapilabilir. Sekil 3.2 de sorgulama ve raporlama is akisi görülmektedir. Sorgu tanimlama isi, isle ilgili bir sorunun ya da hipotezin belirli bir karar destek sistemi tarafindan kullanilabilecek hale getirilmesidir. Sorgu isletildiginde istenen 8
veriye ulasip sonuçlari getirecek uygun komutlar ise karar destek sistemi tarafindan olusturulur. Veri çözümleyicisi istenen sonucu elde etmek için, sorgudan dönen yanit üzerinde gerekli hesaplama ve islemleri gerçeklestirdikten sonra bu sonuçlar uç kullanicinin kolayca anlayabilecegi bir rapor sablonuna göre düzenlenir. Bu sablon metin, grafik, ses ya da video içerebilir. Islemin son asamasi, raporun uygun ortamda, yani yazici çiktisi, ekran görüntüsü, ses.. vs olarak uç kullaniciya ulastirilmasidir. Uç kullanici temelde is sürecinin davranislarini çözümlemek üzere kullanacagi sayisal degerleri (satis gelirleri ya da nakliye giderleri gibi) islemekle ilgilenmektedir. Bununla birlikte müsteri tatmin oranlari, is süreleri, yanlis ya da gecikmis teslimatlar gibi verileri de incelemek isteyebilir ya da is hareketlerinin (business transaction) etkisini ve egilimlerini çözümleyerek gelecekle ilgili tahminlerde bulunabilir. Görüntülenen veri, daha detayli bilgi edinmek ya da yaniti netlestirmek üzere yeni sorgular olusturulmasina neden olabilir. Bu islem, istenen sonuç elde edilene kadar devam eder. 3.2 Çok Boyutlu Çözümleme Çok boyutlu çözümleme, sorgulama ve raporlama becerilerini arttirmak için kullanilan yaygin bir yöntemdir. Çok sayida sorgu göndermek yerine tipik olarak sorulan sorulara hizli ve kolay erisimi saglamak üzere verinin yapilandirilmasidir. Örnegin veri su sorunun yanitini içerecek sekilde yapilandirilabilir : Ürünlerimizin ne kadari belirli bir günde, belirli bir magazada ve belirli bir satici tarafindan satilmistir? Bu sorgunun herbir bölümü bir boyut olarak adlandirilir. Her alt sorgunun yanitlari daha büyük baglamda önceden hesaplanarak birçok yanitin hazir olmasi saglanir. Çünkü her sorgu için yanitlar yeniden hazirlanmayacak, sadece bu yanitlara erisilecek ve görüntülenecektir. Örnegin yukaridaki sorgunun yanitini bilen kimse, bütün alt sorgularin da yanitini bilir. Yani, belirli bir satici tarafindan satilan belirli bir ürünün sayisi gibi bir alt sorgunun yaniti zaten bilinmektedir. Bu gibi farkli etkenlere ya da boyutlara göre verinin kategorilendirilmesi özellikle ise yönelik (business oriented) kullanicilarin veriyi daha kolay anlamasini saglar. Çok boyutlu çözümleme, kullanicilarin bir is problemide bulunan birbirine bagli çok sayidaki etkeni bir arada ele alabilmesini ve veriyi karmasik iliskiler içinde görebilmesini saglar. Uç kullanicilar, veriyi devingen bir sekilde belirlenen farkli ayrinti düzeylerinde incelemek ister. Karmasik iliskiler daha alt düzeyde ayrintiya 9
inilerek ya da özetleme ve iliskilendirme yöntemiyle daha üst ayrinti düzeylerine çikilarak yinelemeli bir islemle çözümlenebilir. Sekil 3.3 de, kullanicinin kurulusun toplam satisiyla basladigi, daha sonra bu satisi, kita, bölge, ülke ve son olarak müsteri düzeyinde ayrintilandirabilecegi veya müsteriden baslayarak degisik ayrinti düzeylerine ulasabilecegi görülmektedir. Çok boyutlu çözümleme, ayrinti düzeyleri arasinda inis çikis gerçeklestirilmeyinceye kadar devam eder. Satislar Ayrinti Düzeyi Inis Avrupa Asya Amerika Bölge Bölge Ülke Ülke Ülke Ayrinti Düzeyi Çikis Müsteri Müsteri Sekil 3.3 Inis ve Çikis Çözümlemesi. Çok boyutlu çözümlemede uç kullanici ayrinti düzeyleri arasinda dolasabilir. 3.3 Veri Madenciligi (Data Mining) Veri madenciligi diger tekniklere oranla daha yeni bir çözümleme teknigidir. Arastirma teknigi (discovery technique) adi verilen bir yöntem kullanmasi nedniyle, raporlamasorgulama ve çok boyutlu çözümleme tekniklerinden çok farklidir. Veriden belirli bir sorunun yanitini çikartmak yerine veriyi çözümleyerek bulunanlari raporlayan özel algoritmalar kullanilir. Kullancilarin hipotezlere dayanarak olusturduklari sorgulari çalistirdiklari sorgulama-raporlama veya çok boyutlu çözümleme tekniklerinden farkli olarak, veri madenciligi çogu henüz sorulmamis sorulara yanit arar. Bu arastirma islemi belirli veri ögeleri arasinda anlamli iliskiler bulunak, belirli veri ögelerinden öbekler olusturarak ya da özel veri öge kümeleri üzerinde çesitli örüntüler kullanilarak gerçeklestirilebilir. Bu örüntüler bulunduktan sonra, kurallar algoritmalar tarafindan çikarilabilir. Bu kurallar, istenen bir davranisi kestirmek, veriler arasindaki iliskileri belirlemek, yeni örüntüler olusturmak veya benzer nitelikteki kayitlari öbeklemek üzere kullanilabilir. 10
Veri madenciligi, tipik olarak istatistiksel veri analizi ve bilgi kesfi (knowladge discovery) için kullanilir. Istatistiksel veri analizi, verideki alisilmamis örüntüleri belirler ve bu örüntüleri açiklamak üzere istatistiksel ve matematiksel modelleme tekniklerini uygular. Bu modeller daha sonra tahmin ve kestirim için kullanilir. Istatistiksel çözümleme teknikleri, dogrusal ve dogrusal olmayan, regresyon, çok degiskenli ve zaman serisi çözümlemelerini kapsar. Bilgi kesfi ise verinin içerisindeki gizli, daha önceden bilinmeyen bilgileri açiga çikartarak, genellikle bilinmeyen is gerçeklerini ortaya çikarir. Veri madenciligi, veri tarafindan yürütülür (Sekil 3.4). Veri ambarinda saklanan veride ve veriler arasi iliskilerde veri madenciligi olmadan bulunmasi zor olan karmasik iliskiler söz konusudur. Veri madenciligi kullaniciya, akla hiç gelmeyen sorularin yanitlarini vererek, sorgulama ve raporlama ya da çok boyutlu çözümleme ile bulunamayacak yeni bakis açilari kazandirir. Çözümleyici Yönetiminde Çözümleyici Yardimi Ile Veri Yönetiminde Raporlama ve Sorgulama Çok Boyutlu Çözümleme Veri Madenciligi Sekil 3.4 Veri Madenciligi Sorgulara Yanit Vermekten Çok Veri Içeriginin Çözümlemesiyle Ilgilenir. 11
4. Veri Ambari Çatisi (Data Warehouse Framework) Veri ambarlarinin oldukça karisik ve ayrintili bir yapisi vardir ve farkli sistemler veri ambari olarak tanimlanabilmektedir. Bu nedenle tek ve standart bir veri ambari mimarisinden söz etmek dogru olmayabilir. Bunun yerine bir veri ambarinda bulunmasi gereken özelliklere deginilmesi ve veri ambari çatisinin incelenmesi daha yerindedir. Bu bölümde, veri ambarlarinin bilesenlerinden bahsedilecektir. 4.1. Veri Ambari Mimarisi Veri ambari mimarisi ifadesi ile uç kullaniciya sunulmak üzere hazirlanan bilgilerin geçtigi sürecin, yani veriler ile verileri üreten ya da kullanan sistemler arasindaki iletisim ve gerçeklestirilen islemlerin tamaminin yapisi anlatilmaktadir. Bu yapi, birbiriyle iliskili birkaç bölümden olusmaktadir:?? Isletimsel Veri Tabani (Operational Database) / Dis Veri Tabani Katmani (External Database Layer)?? Bilgi Erisim Katmani (Information Access Layer)?? Veri Erisim Katmani (Data Access Layer)?? Veri Kilavuzu (Üstveri) Katmani (Data Directory (Metadata) Layer)?? Islem Yönetim Katmani (Process Management Layer)?? Uygulama Ileti Gönderme Katmani (Application Messaging Layer)?? Veri Ambari Katmani (Data Warehouse Layer)?? Veri Sunma Katmani (Data Staging Layer) Sekil 4.1. de katmanlar ve katmanlar arasi iliskiler görülmektedir. 12
Sekil 4.1 Veri Ambari Çatisinda Katmanlar ve Katmanlar Arasi Iliskiler 4.1.1. Isletimsel Veri Tabani Katmani / Dis Veri Tabani Katmani Isletimsel sistemler, önemli isletimsel gereksinimleri karsilamak üzere verileri islerler. Bu amaçla gelistirilen isletimsel veri tabani sistemleri, az sayida olan ve iyi tanimlanmis is hareketleri etkin bir sekilde islemek üzere tasarlanmislardir. Ancak isletimsel sistemlerin sinirli bir amaca hizmet etmek üzere hazirlanmis olmalari nedeniyle, isletimsel veri tabani sistemlerinin yönetimsel ya da bilissel amaçli verilere ulasmasi zor olmaktadir. Bu zorlugun altinda ise halen kullanilmakta olan birçok isletimsel sistemin 10-15 yil önce gelistirilmis olmasi, kisaca yasli olmasi yatmaktadir. Baska bir deyisle, bazi sistemlerin isletimsel veriye ulasmak için kullandiklari teknoloji artik eskimistir. Bilindigi gibi veri ambarinin amaci isletimsel verilerin içine sikisip kalmis olan degerli bilgileri ortaya çikarmak, baska sistemlerden gelen verilerle birlikte yorumlayarak degerlendirmektir. Bugün sayilari gittikçe artan birçok büyük kurulus, dis kaynaklardan, dis veri tabanlarindan gelen nüfus, ekonomi ve ticari egilim.. verilerini kullanmaktadir. 4.1.2. Bilgi Erisim Katmani Veri ambari mimarisinde Bilgi Erisim Katmani uç kullaniciyla dogrudan iletisime geçen katmandir. Daha özellestirirsek, uç kullanicinin hergün kullandigi Excel, Lotus, Focus, Access, SAS.. gibi araçlar Bilgi Erisim Katmaninda yer alir. Ayni zamanda, 13
çözümleme ya da sunum amaciyla kullanilacak olan rapor, çizelge, grafik ya da tablolarin görüntülenmesi ya da çiktilarinin alinmasi gibi islemler için kullanilan yazilim ve donanim da bu katmanda bulunmaktadir. Son yillarda özellikle uç kullanicilarin güçlü kisisel bilgisayarlar ve yerel aglar kullanmaya baslamasiyla birlikte, Bilgi Erisim Katmani oldukça gelismistir. Bugün verinin yönetilmesi, çözümlenmesi ve sunulmasi amaciyla gittikçe daha fazla araç gelistirilmesine ve masa üstündeki yerini almasina ragmen, isletimsel sistemlerdeki verinin uç kullanicilarin araçlari tarafindan kolayca kullanilmasini saglamak açisindan bazi zorluklar söz konusudur. Bu zorluklardan bir tanesi, kurum içerisinde kullanilacak ortak bir veri dilinin bulunmamasidir. 4.1.3. Veri Erisim Katmani Veri Erisim Katmani, Bilgi Erisim Katmani ile Isletimsel Katman in birbiri ile konusmasini saglayan katmandir. Günümüz aglarinda ortak veri dili olarak SQL kullanilmaktadir. IBM tarafindan sorgu dili olarak gelistirilmis olan SQL, geçen 20 yillik sürede veri degisiminde (data interchange) de-facto standart haline gelmistir. Son birkaç yilin en önemli degisikliklerinden birisi, SQL iliskisel olsun ya da olmasin birçok veri tabani yönetim sistemi ya da veri kütük sistemine erisimini saglamak üzere EDA/SQL gibi veri erisim filtre lerinin gelistirilmis olmasidir. Bu filtreler sayesinde, son teknoloji ürünü Bilgi Erisim araçlarinin 20 yillik veri tabani yönetim sistemlerinde tutulan verilere erismesi olanakli hale gelmistir. Farkli veri tabani yönetim sistemleri ve kütük sistemleri için oldugu kadar, farkli üretici ya da protokoller için de Veri Erisim Katmani bulunmaktadir. Veri ambarinin en önemli amaçlarindan bir tanesi, uç kullaniciya evrensel veri erisimi olanagi saglamaktir. Evrensel veri erisimi, uç kullanicilarin Bilgi Erisim araçlarindan bagimsiz olarak kurum içerisindeki verilerin herhangi bir kesimine ya da tamamina erisebilmesi anlamina gelmektedir. Bu durumda Veri Erisim Katmani, Bilgi Erisim ve Isletimsel Veri Tabani katmanlari arasinda bir arayüz olusturmalidir. Bazi durumlarda bu uç kullanicinin gereksinimlerini tam olarak karsilamasina ragmen, kurumlar veri ambarini desteklemek üzere genellikle daha karmasik tasarimlar yaparlar. 14
4.1.4. Veri Kilavuzu (Üstveri) Katmani Evrensel veri erisimini saglamak, bir veri kilavuzu ya da üstveri havuzunun yönetilmesini zorunlu kilmaktadir. Üstveri, kurum içindeki veriyi tanimlayan veridir. Örnegin bir COBOL programindaki kayit tanimlari ya da FORTRAN programindaki DIMENSION deyimleri ya da SQL Create deyimleri üstverilerdir. Tam olarak islevsel bir veri ambari için, uç kullanicinin gördügü veriler ile isletimsel veri tabanindaki veriler hakkinda çesitli üstverilerin olmasi gerekmektedir. Ideal olarak, uç kullanicilar veri ambarindaki (ya da isletimsel veri tabanindaki) verilere, verinin nerede ya da nasil saklandigi hakkinda hiçbirsey bilmeden erisebilmelidir. 4.1.5. Islem Yönetim Katmani Islem Yönetim Katmani, veri ambari ve veri kilavuzu bilgilerinin yönetilmesi ya da olusturulmasi için yerine getirilmesi gereken görevleri planlayan katmandir. Veri ambarini güncel tutmak için gerçeklestirilecek islemleri denetleyen ya da planlayan üst düzeyli bir is olarak düsünülebilir. 4.1.6. Uygulama Ileti Gönderme Katmani Orta katman (middleware) olarak da adlandirilan bu katmanin görevi, kurum içindeki bilgisayar aginda bilginin tasinmasini saglamaktir; ancak sadece ag iletisim kurallarindan olustugu söylenemez. Örnegin isletimsel ya da bilisimsel olsun, uygulamalari herhangi bir uçtaki veri biçiminden soyutlar. Uygulama Ileti Gönderme ayni zamanda hareketleri ya da iletileri biriktirerek belirli bir zamanda belirli bir yere göndermek için de kullanilabilir. Bu katman, veri ambarinin altinda yatan tasima sistemidir denilebilir. 4.1.7. Veri Ambari (Fiziksel) Katmani Veri ambari katmani, verinin ilk olarak bilisimsel amaçla kullanildigi kesimdir. Veri ambari, verinin mantiksal ya da sanal bir görünümü olarak düsünülebilir; çogu zaman veri ambarinda veri saklanmaz. Fiziksel veri ambarinda, isletimsel ya da dis verinin kopyalari oldukça esnek ve kolayca erisilebilecek bir yapida tutulur. Giderek daha çok veri ambarinin istemci/sunucu düzlemlerde saklanmasina ragmen, genellikle birçogu ana bilgisayarlarda tutulmaktadir. 15