11. Çözüm Ortaklığı Platformu Veri Kalitesi ve Verilerin Doğruluğuna Etki Eden Faktörler Oktay Aktolun 10 Aralık 2012

Transkript

1 Veri Kalitesi ve Verilerin Doğruluğuna Etki Eden Faktörler Oktay Aktolun

2 İçerik 1. Veri ve Bilgi ilişkisi 2. Veri Kalitesi 3. Veri Yönetimi 4. Veri Kalitesine etki eden faktörler 5. Kapanış 2

3 Veri =? 3

4 Veri ile ilgili güncel konular Veri Analizi ve Raporlama Veri Güvenliği Veri Kalitesi ve Yönetimi Veri Birleştirme ve Dönüşüm Veri Toplama 4

5 Veri ve Bilgi ilişkisi 5

6 Kaliteli Veri iş süreçlerinin ihtiyacı doğrultusunda doğru verinin doğru formatta, doğru yerde ve doğru zamanda bulunmasıdır Verilere göre bu sonucu beklemiyorduk!... 6

7 Veri Kalitesi Yapılan araştırmaya göre şirketlerin verilerindeki düşük kaliteden dolayı yaşadıkları bazı sorunlar: Farklı sistemlerde farklı bilgilerin bulunması, Hatalı raporlamalar, Kaçırılan satış fırsatları, Zamanında, doğru karar alamama, Mükerrer ödeme, Yanlış vergi ödemeleri, Çift kayıt, vb. 7

8 Veri ve Bilgi ilişkisi Veri : Üzerinde işe yarayan veya yaramayan analizi yapılabilecek, bir araya toplanmış nümerik veya alfanümerik karakterlerden oluşur. (yazı, ses, veya görüntü formatında bulunabilir.) Bilgi : Verinin işlenmiş ve anlamlı hale getirilmiş halidir. 8

9 Veri ve Bilgi ilişkisi Veri, bilgi nin ham halinden oluşur. Veriler, farklı kanallardan toplanarak oluşur, bazen iş süreçlerinden bazen birden fazla iş sürecinden temin edilirler. Bilgiye dönüşmeleri için nasıl toplandıkları en önemli konudur. İş için önemli olan verinin bilgiye çevrilebilmesi ve erişilebilir ve raporlanabilir olmasıdır. 9

10 Veri Bilgi Yaşam Döngüsü Oluştur ve İşlet İş Süreçleri İş Süreçleri BT Süreçleri BT Süreçleri Sürdür Veri Değer Bilgi Bilgi Birikim Dönüştür (information) Dönüştür (Knowledge) Oluştur (information) Birikim (knowledge) 10

11 Veri Kalitesi 11

12 Veri Kalitesi İş süreçleri ihtiyaçlarının karşılanması; doğru bilginin, doğru formatta, doğru zamanda ve doğru yerde bulunmasına bağlıdır. Veri kalitesini etkileyen unsurlara en iyi uygulamaları dikkate alarak bakıldığında aşağıdaki konular öne çıkmaktadır ; Bunlar; Görev ve sorumluluklar İş süreçleri Veri kalitesi tanımı Veri kalitesini belirleyen metrikler 12

13 Veri Değerlendirme Yapılan bir araştırmaya göre Şirket verilerinin her yıl ortalama %50 oranında büyüdüğü belirlenmiştir. (Gartner 2012) Herhangi bir veri, kayıt veya kayıt kümesinin veri kalitesinden bahsedebilmek için farklı değerlendirmeler yapmak gerekir ; Eski verilerin belirlenmiş kriterlere göre analizi Üzerinde anlaşılmış kalite beklentileri, Kalite tanımlaması, riskler ve öncelikler, Kalite için gereken maliyet analizleri, Beklenen veri kalitesine ulaşılması için bilinen engellerin amaç, kullanım ve teyit anlamında değerlendirilmesi 13

14 Veri Kalitesi ne demek? Kriter Prensip Soru Doğruluk (Accuracy) Veri, gerçek hayatta ne olduğunu sunar durumda olmalıdır. Kullanım amacına uygun veriyi içermelidir. Veri ne kadar önemli? Doğruluk seviyesi kullanım amacına hizmet ediyor mu? Tamlık (Completeness) Geçerlilik (Validity) Veri tam olmalıdır, ekstra bilgi içermemeli, hatalı ve eksik içerikte olmamalıdır. Veri mutlaka kayıt altında tutulmalı ve ilgili uyum, kuralları ve zaman tanımlamalarına göre yönetilmelidir. Bu veri mutlaka ihtiyaç duyulan bir veri mi? Zorunlu olarak veri içermesi bir şart mı? Verinin geçerli olmasını sağlayacak uygulamaya özel bir kural seti var mı? Regülasyon vb. Varsa nelerdir? 14

15 Veri Kalitesi ne demek? Kriter Prensip Soru Güvenilir olma (Reliable) Güncellik ( Timeliness) Veri sürekli toplanmalı ve diğer verilerle mantıksal olarak uyumlu bir şekilde işlenmelidir. Verinin toplanarak bir araya getirilmesi iş süreçlerinin ihtiyacını destekleyecek sıklıkta ve hızda olmalıdır. Verinin aynı standartlarda toplanmasını ve değişikliğin istenilen ölçüde yönetilmesini nasıl sürekli kılabiliriz? Verinin hangi sıklıkta oluşturulması ve toplanması gerektiğini belirledik mi? Uygunluk (Relevance) Verinin elde edilme şekli kullanım amacına uygun, olmalıdır. Bu verinin hangi yolla elde edilmesi içerik olarak doğruyu yansıtır? 15

16 Veri Kalite Yönetimi 16

17 Veri (Kalite) Yönetimi Şirketlerin iç ve dış tehlikelere karşı verilerini güvenli olarak işletebilmesi, stratejik kararların alınması amacı ile doğru ve hızlı veriye ulaşabilmesi için, veri (kalite) yönetimi faaliyetlerinin etkin bir şekilde gerçekleştirilmesine ihtiyaç vardır. 17

18 Veri (Kalite) Yönetimi Veri Kalitesi ile ilgili süreçlerin detayı aşağıdaki kriterlerle doğru orantılıdır; Organizasyonun büyüklüğü, Süreçlerin kompleksliği, Altyapı karmaşıklığı, 18

19 Veri (Kalite) Yönetimi Veri Kalite yönetiminin başarısı aşağıdaki 12 temel adımın kalitesi ile birebir örtüşür ; 1.Adım : Üst yönetimin kararlılığı 2.Adım : Sorumluların belirlenmiş olması 3.Adım : Veri Kalitesi farkındalık programının uygulanması 4.Adım : Veri Kalitesi eğitimlerinin varlığı 5.Adım : Veri Kalitesi yönetim süreçlerinin tanımlanması (Örn.Sınıflandırma) 6.Adım : Veri Kalite yönetim sisteminin oluşturulması ve dokümantasyon 7.Adım : Dokümanların kontrol edilmesi 8. Adım : Geliştirme ve Operasyon 9. Adım : Veri Kalitesi denetimleri 10. Adım: Yönetimin gözden geçirme faaliyeti 11. Adım : Uygunluk ve sınıflandırma kural seti değerlendirmesi 12. Adım: Sürekli gelişim için aksiyonların uygulanması 19

20 Veri (Kalite) Yönetimi Verilerin doğru kalitede ve güvenli olduğuna yönelik süreçlerin varlığı önemlidir. Verinin sınıflandırılması bu aşamada hayati önem taşır. 20

21 Veri Kalitesine Etki Eden Faktörler 21

22 Veri Kalitesine Etki Eden Faktörler 1. Veri kalitesini belirlemek, 2. Veri ve bilgi akışlarını belirlemek, 3. Dökümantasyonu yaratmak, 4. Veri kalitesini arttırıcı faaliyetleri belirlemek, 5. Teknoloji çözümlerini yerleştirmek 6. Dış veri kaynaklarını yönetmek 7. Değişen iş ihtiyaçlarının takibi 8. Üçüncü partileri yönetmek 9. Veri kontrolünü sağlamak Kaynak gereksinimi Veri yöneticileriyle yapılan anket çalışmaları neticesinde veri kalitesinin yönetilmesinde yaşanan zorluklardan bazıları aşağıda listelenmiştir. Zorluk 22

23 Veri Kalitesine Etki Eden Faktörler Veri Kalitesini etkileyen faktörlere örnek olarak aşağıdaki konular verilebilir ; Veri tabanında oluşan referans hataları Key ler tek olmaması (unique) Bundan dolayı entegrasyon ve raporlama hataları Veri tipinden kaynaklanan hatalar Format hataları, genellikle en iyi örnek tarih bilgileridir (UK) 1 Mayıs 2013 (TR,UK), 5 Ocak 2013 (US) Uygun olmayan veri tipleri Veri tipi yanlış bilgi girişi kontrolleri (YYYMMDD) Eksik tasarımlar ( sistem tarihi, parametre kullanımındaki standart hataları) Veri modeli tasarım eksiklikleri Normalliğini kaybeden tabloların varlığı Performans ve mükerrer kayıt problemleri 23

24 Veri Kalitesine Etki Eden Faktörler Veri kolonlarının hatalı kullanımı Eski kolonların kullanımdan çıkarılmasına karşın bu kolonları kullanan programların güncellenmemesi Kolon kullanım amacının değişmesi Veri içeriğinden kaynaklanan hatalar Null değerler Opsiyonel alanlarda eksik kontrollerin bulunması Raporlarda eksik bilgilerin bulunması Veri içeriğinde uygun olmayan değerlerin bulunması Alt üst değer kontrollerinin bulunmaması veya yanlış oluşturulması Aynı tipte verinin farklı programlarda farklı kontrollere tabi olması 24

25 Veri Kalitesine Etki Eden Faktörler Veri girişinden kaynaklanan hatalar Eksik veri (Veri transferinde yükleme hataları) Veri girişindeki kontrollerin yetersiz olması Veri ekleme/silme/güncelleme zamanlarının tutulmaması Zaman kontrolü olmaksızın işleme tabi tutma Tutarsız raporlama ile fark edilir. Otomatik veri kontrolü eksikliği Özellikle arka planda ekstra yatırıma gerek olmadan oluşturulan veri kontrol programlarındaki eksiklikler İş akışındaki kontrollerin eksikliği ve tutarsızlığı 3. parti uygulamadan alınan verilerin kontrol açısından aynı standartlarda olmaması, görevler ayrılığı prensiplerine uyumsuzluk Aynı uygulama içinde verilerin farklı yorumlanması 25

26 Veri Kalitesine Etki Eden Faktörler Veri temizleme kalıcı çözüm değildir Veri temizleme çalışmaları veri kalitesi problemlerinde yangın söndürme etkisi olarak görülebilir. Sadece veri temizleme çalışması yapılarak veri kalitesinin sağlanması düşüncesi eksik bir yaklaşımdır. Veri kalitesi bir süreç meselesidir. Veri temizleme çalışmaları tek başına yeterli değildir. 26

27 Veri Kalitesine Etki Eden Faktörler Sadece teknolojik bir mesele değildir Veri kalitesinin sağlanmasına yönelik çalışmalar sadece teknolojik bir mesele de değildir. Veri sahiplerinin sorumluluğunda belirlenecek kriterler, ihtiyaçlar ve kararlar doğrultusunda hem süreç hem de yazılımı geliştiren birimlerle uyumlu olacak şekilde hareket edilmesi en kritik noktadır. Yazılımların uygulamaya alınmadan önce tüm dizaynı dikkate alarak veri kalitesi açısından da test edilmesi yaygın bir uygulama değildir. Yaygınlaşmalıdır. 27

28 Veri Kalitesine Etki Eden Faktörler Operasyonel sistemlerin nasıl kullanıldığı önemlidir Veri kalitesine yönelik yaşanan problemlerin sebebi olarak genelde kullanılan operasyonel sistemler olarak gösterilir. Ancak, problemlerin çoğu operasyonel sistemlerin kullanılmasına yönelik verilerin üretilmesinde, kullanılmasında ve transfer edilmesindeki eksiklik ve hatalardan kaynaklanmaktadır. 28

29 Veri Kalitesine Etki Eden Faktörler Veri girişi kontrolleri önemlidir Özellikle geçmişten gelen verilerde güncel ihtiyaçları karşılaması açısından eksiklikler bulunabilmektedir. Veri girişlerinde yaşanan bazı kontroller nedeniyle ve hızlı çözüm ihtiyaçları sonrasında benzer verilerin birden fazla sefer üretildiği veya birden farklı yerden kopyalanarak oluşturulduğu durumların yaşandığı görülmektedir. 29

30 Veri Kalitesine Etki Eden Faktörler Sonuç olarak; Veri kalitesini etkileyen konuları sadece eksik/hatalı veri olarak yorumlamak, problem farkedildiğinde düzeltme faaliyetlerinde bulunmak hastaya sadece ağrı kesici vermeye benzetilebilir. Veri kontrolleri İş sürecinde veri akış şemaları Uygulama kontrolleri Önerimiz aşağıdaki adımların ihtiyaç duyulması durumunda atılması yönündedir ; Veri (Kalite) Yönetimi sürecinin ve metedolojisinin oluşturulması Önceliklerin ve metriklerin belirlenmesi Veri Kalitesi Problemlerin belirlenmesi, araştırılması ve süreklilik içerecek şekilde çözülmesi Raporlama ve ölçümleme 30

31 Sorularınız? İletişim bilgilerimiz: Oktay Aktolun Risk, Süreç ve Teknoloji Hizmetleri Lideri, Şirket Ortağı Tel: E-posta: 2012 Türkiye. Tüm hakları saklıdır. Bu belgede ibaresi, her bir üye şirketinin ayrı birer tüzel kişilik olduğu PricewaterhouseCoopers International Limited in bir üye şirketi olan Türkiye yi ifade etmektedir. Türkiye, Başaran Nas Bağımsız Denetim ve Serbest Muhasebeci Mali Müşavirlik A.Ş., Başaran Nas Yeminli Mali Müşavirlik A.Ş. ve PricewaterhouseCoopers Danışmanlık Hizmetleri Ltd. Şti. ticari unvanları ile Türkiye'de kurulmuş tüzel kişiliklerden oluşan Türkiye organizasyonunu ifade ve temsil etmektedir.