Veri Madenciliği - Giriş. Erdem Alparslan

Transkript

1 Veri Madenciliği - Giriş Erdem Alparslan

2 Amaçlar İş zekasının önemli bir parçası olan veri madenciliğinin tanımı İş analizi ve veri madenciliğinin amaçlarının anlaşılması Veri madenciliğini kullanan çok çeşitli uygulama alanlarının anlatılması Standart veri madenciliği methodolojilerinin öğrenilmesi CRISP-DM SEMMA KDD

3 Amaçlar Veri önişlemede gerekli adımların öğrenilmesi Veri madenciliğinde kullanılan metod ve algoritmaların öğrenilmesi Mevcut veri madenciliği yazılımlarının gözden geçirilmesi Ticari ya da açık kaynak kodlu

4 Niçin veri madenciliği? Global ölçekte daha iyi rekabet şansı yakalama Veri kaynaklarındaki gizli değerin keşfedilebilmesi Verideki kalitenin artırılması Veri kaynaklarının veri ambarına konsolide edilmesi Maliyeti azalan kabiliyeti artan veri önişleme araçlarının artması Bilgideki elektronikleşme

5 Tanım The nontrivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data stored in structured databases - Fayyad et al., (1996) Anahtar kelimeler: Süreç, hemen farkedilmeyen, geçerli, yenilikçi, kullanım potansiyeli olan, anlaşılabilir Diğer isimleri: knowledge extraction, pattern analysis, knowledge discovery, information harvesting, pattern searching, data dredging

6 Disiplinlerarası çalışma biçimi Artificial Intelligence Statistics Pattern Recognition DATA MINING Machine Learning Mathematical Modeling Databases Management Science & Information Systems

7 Veri madenciliği kısıtlamalar kullanımlar VM kaynak verisi genellikle veri ambarıdır (her zaman değil!) VM için en önemli hammadde veridir. Bu veri her zaman yapısal olmayabilir. Madenci genellikle son kullanıcı olur. Çok iyi modeller kurmak yaratıcı düşünce gerektirir. VM için kullanılan araç ve ürünler genellikle baz yeteneklere sahiptir

8 Veri Madenciliğinde Veri Veri: Gözlemleri, olguların ya da deneylerin sonucunda toplanan yorumlanabilen ölçütlerdir Veri sayılardan, metinlerden, görüntülerden ya da çok farklı formlardan oluşabilir Bilginin oluşabilmesi için yorumlamaya ihtiyaç duyulan hammaddedir Data Categorical Numerical Nominal Ordinal Interval Ratio

9 What Does DM Do? How Does it Work? VM verideki örüntüleri(patern) yakalar Patern nedir? Veri satırları arasında matematiksel, sayısal vb ilintilerden oluşan bir korelasyon bütünüdür Patern çeşitleri Birliktelik Öngörü Küme Sıralı (ya da zamana göre ardışık) ilişkili

10 Veri Madenciliği Görevlerinin Taksonomisi Data Mining Learning Method Popular Algorithms Prediction Supervised Classification and Regression Trees, ANN, SVM, Genetic Algorithms Classification Supervised Decision trees, ANN/MLP, SVM, Rough sets, Genetic Algorithms Regression Supervised Linear/Nonlinear Regression, Regression trees, ANN/MLP, SVM Association Unsupervised Apriory, OneR, ZeroR, Eclat Link analysis Unsupervised Expectation Maximization, Apriory Algorithm, Graph-based Matching Sequence analysis Unsupervised Apriory Algorithm, FP-Growth technique Clustering Unsupervised K-means, ANN/SOM Outlier analysis Unsupervised K-means, Expectation Maximization (EM)

11 Veri Madenciliği Uygulamaları Müşteri İlişkileri Yönetimi Pazarlama kampanyalarında getirinin maksimizasyonu Müşteri sadakatinin artırılması (churn analizi) Müşteri değerinin artırılması(cross- ya da up-selling) Platinum müşteri tespiti Bankacılık ya da finans sektörü Kredi başvurusu sürecinin otomatize edilmesi Sahtekarlık işlemlerinin tespiti Müşteri değerinin artırılması(cross- ya da up-selling) Nakit rezervinin optimize edilmesi

12 Veri Madenciliği Uygulamaları Lojistik ve taşıma Farklı lokasyonlardaki envanter seviyelerinin optimizasyonu Satış promosyanları ve mağaza görünümünün iyileştirilmesi Sezonsal değişimlere göre lojistik optimizasyonu Son kullanma tarihi nedeniyle ürün kaybının azaltılması Üretim ve bakım Makine arızalarının erken tespiti Üretim kapasitesini etkileyecek makine anormalliklerinin önceden tespiti Ürün kalitesini artırıcı yeni paternlerin keşfi

13 Veri Madenciliği Uygulamaları Sigortacılık Sigorta meblalarının daha iyi tahmin edilmesi Optimal sigorta taksitinin belirlenmesi Spesifik müşterilere spesifik pazarlama yapılması Sahtekarlık olabilecek sigorta işlerinin tespiti

14 Veri Madenciliği Uygulamaları Bilgisayar yazılım ve donanımlarında Mühendislik ve fen bilimlerinde Savunma sanayiinde Anayurt güvenliğinde Ulaşım endüstrisinde Sağlıkta İlaçta Eğlence endüstrisinde Sporda Vb. Oldukça popüler alanlardır

15 Veri Madenciliği Süreci En iyi pratiklerin bütününü oluşturmayı hedefler VM projelerini sistematik hale getirmeyi hedefler Farklı etkileşim grupları birbirine benzer ama ayrı süreçler geliştirmiştir En popüler ortak standartlar: CRISP-DM (Cross-Industry Standard Process for Data Mining) SEMMA (Sample, Explore, Modify, Model, and Assess) KDD (Knowledge Discovery in Databases)

16 Data Mining Process Source: KDNuggets.com, August 2007

17 Data Mining Process: CRISP-DM Business Understanding 1 2 Data Understanding Deployment 6 Data Sources Data Preparation Model Building 3 4 Testing and Evaluation 5

18 Data Mining Process: CRISP-DM Adım 1: İş probleminin tespiti Adım 2: Veri nin anlaşılması Adım 3: Veri hazırlama (!) Adım 4: Model oluşturma Adım 5: Test ve iyileştirme Adım 6: Canlı ortama alış Proje süresinin %85 kısmı Süreç hem döngüzel hem de artımsal ilerler

19 Veri Ön hazırlık kritik bir görev Real-world Data Data Consolidation Collect data Select data Integrate data Data Cleaning Impute missing values Reduce noise in data Eliminate inconsistencies Data Transformation Normalize data Discretize/aggregate data Construct new attributes Data Reduction Reduce number of variables Reduce number of cases Balance skewed data Well-formed Data

20 Veri Madenciliği Süreci: SEMMA Sample (Generate a representative sample of the data) Assess (Evaluate the accuracy and usefulness of the models) SEMMA Explore (Visualization and basic description of the data) Model (Use variety of statistical and machine learning models ) Modify (Select variables, transform variable representations)

21 Veri Madenciliği Yöntemleri: Sınıflandırma En çok kullanılan yöntemdir Makine öğrenmesi algoritmaları kullanılır Eğiticili öğrenme yöntemi benimsenir Eski veriden öğren, yeni veriyi sınıflandır Çıkış verisi genelde kategoriktir

22 Sınıflandırmanın Başarı Ölçümü Öngörüsel tutarlılık Hız Hit rate Model oluşturma, öngörüde bulunma Sağlamlık Ölçeklenebilirlik Birlikte çalışabilirlik Anaşılır olmak

23 Sınıflandırma modellerinde tutarlılık Sınıflandırma başarısı konfüzyon matrisi denen matris ile ölçülür Positive True Class Negative Accuracy TP TN TP TN FP FN Predicted Class Positive Negative True Positive Count (TP) False Negative Count (FN) False Positive Count (FP) True Negative Count (TN) TP True Positive Rate TP FN TN True Negative Rate TN FP TP TP Precision Recall TP FP TP FN