Akış. Data SDC. Demo. Tutarsız Veri İş Akışına Etkisi. Bir Çözüm olarak SDC Referanslar ve Kullanımı. Ürün Demo S/C

Transkript

1

2 Akış 2 Data SDC Demo Tutarsız Veri İş Akışına Etkisi Bir Çözüm olarak SDC Referanslar ve Kullanımı Ürün Demo S/C

3 Veri Tutarsızlığı 3 Oluşan Anormallikler BI veya operasyonel veri katmanlarındaki verilerimizin güvenilir, tutarlı ve tam olarak geçerli olduğundan emin olmak istiyoruz. Müşteri memnuniyetsizliklerini önlemek için herhangi bir veri tutarsızlığı olması durumunda uyarılar oluşturmak istiyoruz. Veri tutarlılığını sağlamak için bir disiplin oluşturmak istiyoruz. Güvenilir bir doğrulama aracıyla verileri yönetmek istiyoruz

4 Veri Tutarsızlığı 4 Oluşan Anomaliler Gelişen teknoloji ile her geçen gün giderek daha fazla veri ele alınmaktadır Ana iş akışından bağımsız olarak her gün bir sürü bilgi bir sistemden başkasına transfer edilir ve saklanır. Bu veri yönetimi işlemleri esnasında aşağıdaki anormallikler ortaya çıkabilir : Çoklanmış Veriler Yanlış Verilmiş Veriler Kopmuş ve Eksik Veriler Yanlış Hesaplanmış Veriler Versiyon Problemleri

5 Sürekli Veri Akışı 5 Veriler Büyümeye Devam Ediyor Aynı bilgi çeşitli kullanım durumları için farklı sistemlerde saklanabilir: Müşteri Bilgisi CRM tablolarında Fatura ve raporlama amaçlı Operasyonel tablolarda Hizmet sunmak için Müşterilerin hesaplarını tutmak için mali tablolar vb. saklanabilir Bilginin çeşitlendirilmesi / Veri İşleme: Aynı bilgiden farklı çıktılar elde etme Özel kullanım durumları için bilgi dönüştürme İşletmenin farklı boyutlarının takip edilmesi

6 Verinin Büyümesi 6 Anomali artışı! Büyüyen veriyi yönetmek zordur Çeşitlendirilmiş ve değiştirilmiş verileri yönetmek çok daha zordur Veri büyümesi aşağıdaki gibi anormalliklere neden olur: Müşteriye fatura yansır, ancak hizmeti almamıştır. Müşteri, hizmeti kullanıyordur ancak fatura yansımıyordur. Müşteri kara listeye alınır, ancak yeni hizmet taleplerine red edilmez. Müşterinin hesabında para birimi olmadığı halde teklif alır. Ürün bazındaki toplam sözleşme sayısı, sözleşmelerin toplamından çok daha fazladır. Genel müşteri sayısından daha fazla sayıda sözleşmeli müşteri olur. Ve daha fazlası...

7 İş Akışına Etkisi 7 Veri anormallikleri proje ya da sürelerde hatalı ya da eksik çıktılara sebep olabilir. Yanlış hesaplanmış proje maliyetleri ve müşteri faturaları Bozuk ve kopmuş süreç ve operasyon raporları Veri güvenilir değilse, her çıktının tekrar tekrar kontrol edilmesi gerekir Veri Anormallikleri, işletmede aşağıdaki etkileri gösterebilir: Yinelenen veya bozuk veri nedeniyle faturalandırma ve raporlama sorunları Yanlış hesaplamalar nedeniyle müşteri güvenini ve müşteriyi kaybetme Bozuk verilerle yapılan raporlardan dolayı yanlış aksiyon alınması Yanlış veya eski verilere dayanan yanlış yönetsel kararlar Yanlış hesaplamalar ve çok daha fazlası nedeniyle yüksek proje maliyetleri!

8 SDC 8 SDC, farklı veri kaynakları ve sistemler arasındaki veri doğrulama denetimini otomatikleştirmek ve DW&BI sistemlerinin veri güvenilirliğini ölçmek için özel olarak geliştirilmiştir.

9 Senaryo(Telco) 9 SERVICE_ID CRM Tablosu SERVICE_ID OPERATIONAL (Ağ) Tablosu İki sistem tablosu arasında geçersiz SERVICE_Id leri bul CRM tablosu, müşteri ve hizmet bilgilerini faturalandırma amacıyla tutar. Operasyonel (Ağ) tablosu, müşteri bilgilerini sunulan hizmetle ilişkili olarak tutar. Service_ID, her iki tabloda da benzersiz bir anahtardır. Bu nedenle SDC, Hizmet Kimlik Anormalliklerini analiz eder. Sonuç olarak, SDC bir rapor ekranı oluşturur ve bu sonuç üzerinde tanımlanmış bir eylem gerçekleştirir.

10 Senaryo(Finans) 10 Ürün ile ilişkili MÜŞTERİ BİLGİSİ GENEL MÜŞTERİ BİLGİSİ HATALI ve Güvenilir Olamayan Verilerin Listesi Müşteri bilgileri iki şekilde saklanır: Genel müşteri bilgileri için: isim, soyad, adres gibi.. Her bir müşterinin ürünlerinin depolanması için. SDC tutarsız verilerin tümünü bir Rapor tablosunda listeler ve tutarsız veri sayısı önceden tanımlanmış eşiğin üzerindeyse e-posta gönderir.

11 Senaryo(Perakende) 11 Siparişler Sipariş Ürün Detay Tablosu Hatalı Siparişler Sipariş tablosu, her siparişle ilgili bilgileri tutar. Sipariş Ürün Tablosu, her sipariş için her ürünü listeler. SDC her iki tablodaki sipariş sayısını analiz eder. Her iki tablo için de sipariş sayısı uyuşmuyorsa!! Anormallikleri tespit eder ve hatalı siparişleri listeler,.

12 Senaryo(Holding) 12 Alt Şirketler Şirket Genel Müdürlük Operasyonlar Grup şirketlerin kendi aralarındaki ilişkiler Her gün genel müdürlük kendi içinde ve grup şirketleri ile arasında veri oluşturuyor Ve bu veriler her gün degiştirilebildiği gibi farklı birimler tarafından farklı modellerde tutulabiliyor. Bu farklılıklar gün geçtikçe insan kontrolünü aşıyor ve hatalara ve maddi zararlara sebebiyet veriyor. SDC tablolar arasında verileri analiz eder ve tablo içinde anormallikleri tespit eder ve oluşan hataları size bildirir.

13 Senaryo(Kamu) 13 Genel Müdürlük Bölgeler Alt Birimler Operasyonlar Her gün genel müdürlük kendi için ve alt birimleri ve bölgeler ile veri transferi yapıyor. Ve bu veriler her gün degiştirilebildiği gibi farklı birimler tarafından farklı modellerde tutulabiliyor. Bu farklılıklar gün geçtikçe insan kontrolünü aşıyor ve hatalara ve maddi zararlara sebebiyet veriyor. SDC tablolar arasında verileri analiz eder ve tablo içinde anormallikleri tespit eder ve hatalı siparişleri listeler.

14 Uygulamada SDC 14 Türkiye İş Bankası: (Türkiye nin en büyük bankalarından bir tanesi) Tüm Veri yükleme işlemi IBM anabilgisayar dosyaları ile yapılmaktaydı. Bu spesifik (EBCDIC binary) dosyalar SDC'den önce bireysel olarak kontrol edilmekteydi. Ve SDC den önce, kendi raporları içerisinde ki yanlış verilerin oluşturduğu hataları kontrol edemiyorlardı. SDC ile EBCDIC dosyalarının çıkartılması ve yüklenmesi işlemleri üzerinde tam bir kontrole sahip oldular. SDC ile kontrol işleminden önce, işletme raporlarındaki hatalı veri nedeniyle sistemdeki geçersiz veya yanlis veriyi tanımayabiliyorlar. SDC ile elde ettikleri; DW & BI sistemindeki veri akışının% 100 kontrolü Günlük raporlarda geçersiz verilerin% 98'ini azaltırlar (Raporlar doğrudan müşteri segmentasyonunu, şube performans ölçümünü, karlılık hesaplamasını vb.) Kamu Kurumlari için hazırlanan Yasal Raporlamanın yeniden hazırlanmasını azalttılar (Yasal raporlar tutarsız olarak verildiyse, Hükümet doğrudan bir cezaya başvurur).

15 Uygulamada SDC 15 Migros: (Türkiye nin en büyük marketler zinciri) Şirketteki temel sorunlar, depolarla şubelerin arasında ki karşılıklı raporlarda ki farklılıklar, şubelerde ki fiyat geçerliliği ve harekete geçirilen mali raporlarda geçersiz verilerle ilgili erken uyarı mekanizmasıdır. SDC ile; Kayıt temelli çapraz kontrol mekanizması 23 depo için uygulanmış ve % 100 doğruluk basari sonucu elde edilmiştir. Müşterilerden gelen geçersiz fiyat şikâyeti 99% azalmıştır. 47 adet günlük finansal rapor için kontrol ve uyarı mekanizması SDC tarafından dizayn edilmiştir.

16 Emin Olmak İçin 16 Verilerin manuel testini otomatikleştirmek Milyonlarca veri satırını hızla karşılaştırabiliyor olmak uyumsuzlukları, tutarsızlıkları, patternlere uymayan verileri takip etmek Raporlar ve dashboardlarla süreci gözlemlemek Uyarı ve aksiyon mekanizması oluşturmak Veri testini standartlarla bir döngüde denetlemek Veri testini adresleyebilmek ve sahiplerini gözlemleyebilmek Veri testi versiyon geçmişini analiz edebilmek Verilerinizin% 10 ünü değil % 100 ünü test emek Gerekir...

17 17 Çözüm

18 SDC? 18 SDC, farklı veri kaynakları ve sistemler arasındaki veri doğrulama denetimini otomatikleştirmek ve DW&BI sistemlerinin veri güvenilirliğini ölçmek için özel olarak geliştirilmiştir. SDC, kaynaktan alınan verilerin, herhangi bir farkı analiz ve tespit ederek hedefe bozulmadan ulaştığından emin olmanızı sağlar.

19 SDC 19 Otomatize edilmiş Veri tütarlılığı Kontrolleri Aşağıdaki durumlarda kullanılabilir: ETL (Extract Transform Load) akışlarının beklendiği gibi çalıştığının kontrolü için, Birçok sistemde saklanan Ana veriler(master Data) arasındaki tutarsızlıkların tespiti için, Veri Odaklı proje ortamlarında tutarlılık kontrol sistemi için, Veri populasyonu eğilimlerini izlemek için, Önceden tanımlanmış eşiklerde uyarılar oluşturmak için, Bir proje sırasında veri anormalliklerini kolayca tespit etmek için

20 SDC Architectüre 20 users SDC Mongo DB Source Target Agent Agent Web 2.0 Interface SDC Tomcat Application Server Source Target Web arayüz; Dizayn, kural tanımlama, trendleri takip etme ve anormalliklerin takibi için tasarlanmıştır Agents; Test edilmek istenen sistemler üzerinde kuralları çalıştıran modüldür. Uygulama Sunucusu; Dağıtık mimarisi ile veri tutarlılığı için ihtiyaç duyulan işlemleri gerçekleyen modüldür. NoSQL Database; Performans dolayısıyla kullanılan modüldür. Uygulama sunucusu ve web arayüz ile performanslı çalışır.

21 Kimler Kullanır? 21 Kalite Kontrol Testçileri Fonksiyonel ve Regrasyon Testleri için ETL geliştiriciler Birim Testler için Veri analistleri Verileri analiz edip eşleme kurallarının doğruluğundan emin olmak için Operasyonel ekip Veri kurallarını takip etmek için Yöneticiler Ayrıntılı raporlama Ve Veri güvenilirliğini izlemek için

22 Aşılan Zorluklar 22 Çapraz platformların kontrol edilebilmesi Verilerin Oracle, Microsoft, IBM gibi veri tabanlarında kontrolüne ek olarak; Binary,Ebcdic,txt,cvs vb. farklı veri dosyalarıyla da çapraz kontroller

23 Aşılan Zorluklar 23 Verinin bulunduğu her aşamanın test edilmesi ODS,STG,DW Model,DM Model,BI test entry points test entry points test entry points test entry points SOüRCE DATA STAGING DB TARGET DWH DATA MARTS LEGACY SYSTEM ETL ETL ETL BI

24 Aşılan Zorluklar 24 Farklı ve Kullanılabilir Test Türleri İhtiyaç duyulan tüm testler

25 Aşılan Zorluklar 25 Genişleyebilen Test Kütüphanesi Çapraz karşılaştırmalar ve iç kontroller

26 Aşılan Zorluklar 26 Testlerin Hızlandırılması ve Süreçlerle paralellik Manuellikten kurtulma ve web servis entegrasyonu Tekrar kullanılabilir, paketlenebilir, soyutlanabilir kurallar.

27 Aşılan Zorluklar 27 Esnek alarm ve aksiyon mekanizması Static ve dinamik kural tanımlamaları ve ya SMS gönderme. Shell Script ve ya Web Servis çağırma İşletim Sistemi Seviyesindeki her türlü aksiyon

28 Aşılan Zorluklar 28 Test sonuçların gözlemlenmesi ve paylaşılması Detaylı ve Özet tablolar

29 Referanslar 29 Kurumsal Veri Ambarı Doğrulamaları. Trend İzleme, Veri Güvenilirliğini sağlama Operasyonel Sistemlerde Veri tutarlılığını sağlama. Finansal Raporlar Arasındaki veri Tutarlılığın İzlenmesi, Kontrol Edilmesi Veri Ambarı dönüşüm ve değişim projesinde veri doğrulanması. Anomali tespiti ve Yeni Kurumsal Veri Ambarı doğrulamaları

30 Teşekkürler More Successful Organizations Via Valid Data