Dr. Necati Ercan Özgencil Office: D-235 Seyrek Phone: Dahili: 2329

Transkript

1

2 Dr. Necati Ercan Özgencil Office: D-235 Seyrek Phone: Dahili: 2329 B.S. Yıldız Technical University, 1996 Electronics & Communication Eng. M.S. Syracuse University, NY 2001 Computer Science Ph.D. Syracuse University, NY 2007 Computer & Information Science SMY 535, Veri Madenciliği, Güz 2015, Ders #1 2

3 Date/Time: Perşembe, 19:30 21:30 Room: Çiğli Yerleşkesi SMY 535, Veri Madenciliği, Güz 2015, Ders #1 3

4 Data Mining Concepts and Techniques Third Edition Jiawei Han, Micheline Kamber & Jian Pei The Morgan Kaufmann & Elseiver, 2012 ISBN: SMY 535, Veri Madenciliği, Güz 2015, Ders #1 4

5 Introduction to Data Mining Tan & Steinbach & Kumar Publisher: Prentice Hall, 2007 SMY 535, Veri Madenciliği, Güz 2015, Ders #1 5

6 Giriş Neden Veri Madenciliği? Veri Madenciliğinin tanımı Veri Nedir? Patern (Örüntü) Nedir? Hangi Teknolojiler kullanılır? Uygulama alanları nelerdir? Veri Madenciliğinde karşılaşılan sorunlar. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 6

7 Veriyi tanıyalım Veriyi Önişleme ile Hazırlama Veri Ambarları Veri Küpleri Patern (Örüntü) ve İlişkilerin Çıkarımı Sınıflama Yöntemleri Kümeleme Yöntemleri İstisnaların Bulunması ve Analizi SMY 535, Veri Madenciliği, Güz 2015, Ders #1 7

8 Ölçme Yarıyıl Sınavı 30 Ödevler (3 adet) 24 Proje 16 Yıl sonu sınavı 30 Yüzde SMY 535, Veri Madenciliği, Güz 2015, Ders #1 8

9 Veri patlaması veya seli: Otomatik veri toplama araçları, gelişmiş veri tabanı ve bilgi teknolojileri, yaygın bilgi teknolojileri kullanımı, veri tabanları, veri ambarları ve diğer veri depolarında çok büyük miktarlarda veri ve bilgilerin toplanmasını sağlamakta ve veri miktarı sürekli artmaktadır. Mağazalardaki satış/alış işlemleri Banka ve Kredi kartı işlemleri Bir çok sektördeki veri ve işlemler Bilimsel veriler, uydu ve radarlardaki algılayıcılar gelen veriler Web verileri Bilgi sistemleri birçok açık olmayan ve geleneksel yöntemlerle anlaşılamayan bilgileri içermektedir. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 9

10 Veriler arasında boğuluyoruz, ancak gerçek bilgi için açlık çekiyoruz. Terabaytlardan Petabaytlara Çözüm: Veri Madenciliği (Gereksinim buluşların temel nedenidir.) Veri Madenciliği: verilerden üstü kapalı, çok net olmayan, önceden bilinmeyen ancak potansiyel olarak kullanışlı bilgi ve örüntülerin çıkarılması olarak tanımlanmaktadır. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 10

11 Diğer eşdeğer isimler: Veri tabanlarında bilgi madenciliği (knowledge mining from databases) Bilgi Çıkarımı - Knowledge Extraction Pattern Recognition (veri ve örüntü tanınması) Veri Arkeolojisi Terminoloji- Terimler Data (Veri) Information (bilgi) Knowledge (bilgi) Wisdom (Bilgelik) Vision (uzgörüş) SMY 535, Veri Madenciliği, Güz 2015, Ders #1 11

12 Yapısal olan veriler Transaction verileri Relational databaseler XML files Yapısal Olmayan Veriler Webden gelen html dosyaları Youtube video dosyaları Tweets SMY 535, Veri Madenciliği, Güz 2015, Ders #1 12

13 SMY 535, Veri Madenciliği, Güz 2015, Ders #1 13

14 SMY 535, Veri Madenciliği, Güz 2015, Ders #1 14

15 Increasing potential to support business decisions Decision Making Data Presentation Visualization Techniques Data Mining Information Discovery Decision Maker Business Analyst Data Analyst Data Exploration Statistical Summary, Querying, and Reporting Data Preprocessing/Integration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems DBA Users SMY 535, Veri Madenciliği, Güz 2015, Ders #1 15

16 Veritabanı Teknolojisi İstatistik Makine Öğrenmesi Veri Madenciliği Görselleştirme Örüntü Tanıma Algoritmalar Diğer Disiplinler SMY 535, Veri Madenciliği, Güz 2015, Ders #1 16

17 Veri Temizleme: Gürültülü ve tutarsız verileri çıkarmak Veri Bütünleştirme: Birçok data kaynağını birleştirebilmek Veri Seçme: Yapılacak olan analiz ile ilgili olan verileri belirlemek Veri Dönüşümü: Verinin veri madenciliği yöntemine göre kullanılabilir hale dönüşümünü gerçekleştirmek Veri Madenciliği: Verilerdeki örüntülerin belirlenmesi için veri madenciliği yöntemlerinin uygulanması Örüntü Değerlendirme: Bazı ölçütlere göre elde edilmiş ilginç örüntüleri bulmak ve değerlendirmek Bilgi Sunumu: Elde edilen bilgilerin kullanıcılara sunumunu Veri Temizleme Veri Anbarı İlgili Veriler Veritabanları Örüntü Değerlendirme Veri Madeciliği Veri Seçme Veri Entegrasyonu SMY 535, Veri Madenciliği, Güz 2015, Ders #1 17

18 CRISP-DM (CRoss Industry Process for Data Mining). CRISP- DM detaylı bir veri madenciliği süreci standartı dır. Veri madenciliği projelerinin hızlı, daha verimli ve daha az maliyetli gerçekleştirilmesi için bir rehberdir. Evrimsel, tekrarlı bir süreç SMY 535, Veri Madenciliği, Güz 2015, Ders #1 18

19 İşi Anlama (Business Understanding) Veri Anlama (Data Understanding) Veri Hazırlama (Data Preparation) Modelleme (Modeling) Değerlendirme (Evaluation) Kurulum (Deployment) Determine Business Objectives Background Business Objectives Business Success Criteria Situation Assessment Inventory of Resources Requirements, Assumptions, and Constraints Risks and Contingencies Terminology Costs and Benefits Determine Data Mining Goal Data Mining Goals Data Mining Success Criteria Collect Initial Data Initial Data Collection Report Describe Data Data Description Report Explore Data Data Exploration Report Verify Data Quality Data Quality Report Data Set Data Set Description Select Data Rationale for Inclusion / Exclusion Clean Data Data Cleaning Report Construct Data Derived Attributes Generated Records Integrate Data Merged Data Format Data Reformatted Data Select Modeling Technique Modeling Technique Modeling Assumptions Generate Test Design Test Design Build Model Parameter Settings Models Model Description Assess Model Model Assessment Revised Parameter Settings Evaluate Results Assessment of Data Mining Results w.r.t. Business Success Criteria Approved Models Review Process Review of Process Determine Next Steps List of Possible Actions Decision Plan Deployment Deployment Plan Plan Monitoring and Maintenance Monitoring and Maintenance Plan Produce Final Report Final Report Final Presentation Review Project Experience Documentation Produce Project Plan Project Plan Initial Asessment of Tools and Techniques Kaynak: Laura Squier SMY 535, Veri Madenciliği, Güz 2015, Ders #1 19

20 Genel olarak veri madenciliği yöntemleri iki sınıfa ayrılabilir: Öngörü Yöntemleri (Prediction Methods) Öngörü amacı ile var olan verilerden yorum çıkarılması Tanımlayıcı Yöntemler (Description Methods) Veriyi tanımlayan yorumlanabilir örüntülerin bulunması SMY 535, Veri Madenciliği, Güz 2015, Ders #1 20

21 Veri Madenciliği Yöntemleri Öngörü Yöntemleri Tanımlayıcı Yöntemler Sınıflandırma (Classification) Demetleme (Clustering) Karar Ağaçları (Decision Trees) Bayes Sınıflandırması (Bayesian Classification) En Yakın Komşu (Nearest Neighbour) Yapay Sinir Ağları (Neural Networks) Karar Destek Makineleri (Support Vector Machines) Zaman Serisi Analizi (Time Series Analysis) Birliktelik Analizi (Association Analysis) Sıralı Dizi Analizi (Sequence Analysis) Özetleme (Summarization) Tanımsal İstatistik (Descriptive Statistics) İstisna Analizi (Outliner Analysis) Diğer Yöntemler Diğer Yöntemler Eğri Uydurma (Regression) SMY 535, Veri Madenciliği, Güz 2015, Ders #1 21

22 Girdi: Kayıtlar kümesi (Öğrenme Kümesi ) Her bir kayıt özellikler (Attribute-Bir tablodaki sütunlar) içerir. Bu özelliklerden bir tanesi sınıftır (Class). Diğer özelliklerden sınıf özelliğini öngörebilecek bir model fonksiyon geliştirilir. Amaç: Yeni bir kayıt geldiğinde, bu kayıt geliştirilen model kullanılarak mümkün olduğunca doğru bir sınıfa atanır. Bir deneme kümesi modelin doğruluğunu belirlemek için kullanılır. Genellikle verilen veri kümesi öğrenme ve deneme kümesi olarak ikiye ayrılır. Öğrenme kümesi modeli oluşturulmasında, deneme kümesi modelin doğrulanmasında kullanılır. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 22

23 Öğrenme Kümesi Sınıflandırma Yöntemleri (Algoritmaları) NAM E RANK YEARS TENURED M ike Assistant Prof 3 no M ary Assistant Prof 7 yes Bill Professor 2 yes Jim Associate Prof 7 yes Dave Assistant Prof 6 no Anne Associate Prof 3 no Model (Sınıflandırıcı) IF rank = professor OR years > 6 THEN tenured = yes SMY 535, Veri Madenciliği, Güz 2015, Ders #1 23

24 Sınıflandırıcı Deneme Kümesi NAME RANK YEARS TENURED Tom Assistant Prof 2 no Melisa Associate Prof 7 no George Professor 5 yes Joseph Assistant Prof 7 yes Yeni veri (Jeff, Professor, 4) Tenured? SMY 535, Veri Madenciliği, Güz 2015, Ders #1 24

25 Karar Ağacı Yaygın kullanılan öngörü yöntemlerinden bir tanesidir Ağaçtaki her düğüm bir özellikteki testi gösterir. Düğüm dalları testin sonucunu belirtir. Ağaç yaprakları sınıf etiketlerini içerir. Karar ağacı çıkarımı iki aşamadan oluşur Ağaç inşası Başlangıçta bütün öğrenme örnekleri kök düğümdedir. Örnekler seçilmiş özelliklere tekrarlamalı olarak göre bölünür. Ağaç Temizleme (Tree pruning) Gürültü ve istisna kararları içeren dallar belirlenir ve kaldırılır. Karar ağacı kullanımı: Yeni bilinmeyen örneğin sınıflandırılması Bilinmeyen örneğin özellikleri karar ağacında test edilerek sınıfı bulunur. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 25

26 Düşük Yanıtlamaz Bayan X yüksek gelirli. Düşük Borç Yüksek Yanıtlar Gelir Çok Yanıtlar Yüksek Cinsiyet Bay Bayan Çocuk Az Yanıtlamaz Yanıtlamaz Ağaç bayan X in kredi kampanyasına yanıt vermeyeceğini öngörür. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 26

27 İstatistiksel bir sınıflandırıcıdır. Sınıf üyelik olasılıklarını öngörür. İstatistikteki bayes teoremine dayanır. Basit bir yöntemdir. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 27

28 Girdi : Öğrenme seti C 1, C 2,, C m adlı m sınıfımız olsun. Sınıflandırma maksimum posteriori olasılığını bulmaya dayanır. P(X) is bütün sınıflar için sabittir. olasılığının maksimum değeri bulunmalıdır. Yeni bir örnek X, maximum P(X C i )*P(C i ) değerine sahip olan sınıfa atanır. ) ( ) ( ) ( ) ( X X X P i P C i C P i C P ) ( ) ( ) ( i P C i C P i C P X X ) (... ) ( ) ( 1 ) ( ) ( 2 1 Ci x P Ci x P Ci x P n k Ci x P Ci P n k X SMY 535, Veri Madenciliği, Güz 2015, Ders #1 28

29 Outlook Temperature Humidity Windy Class sunny hot high false N sunny hot high true N overcast hot high false P rain mild high false P rain cool normal false P rain cool normal true N overcast cool normal true P sunny mild high false N sunny cool normal false P rain mild normal false P sunny mild normal true P overcast mild high true P overcast hot normal false P rain mild high true N P(p) = 9/14 P(n) = 5/14 outlook P(sunny p) = 2/9 P(sunny n) = 3/5 P(overcast p) = 4/9 P(overcast n) = 0 P(rain p) = 3/9 P(rain n) = 2/5 temperature P(hot p) = 2/9 P(hot n) = 2/5 P(mild p) = 4/9 P(mild n) = 2/5 P(cool p) = 3/9 P(cool n) = 1/5 humidity P(high p) = 3/9 P(high n) = 4/5 P(normal p) = 6/9 P(normal n) = 1/5 windy P(true p) = 3/9 P(true n) = 3/5 P(false p) = 6/9 P(false n) = 2/5 SMY 535, Veri Madenciliği, Güz 2015, Ders #1 29

30 Yeni örnek X = <rain, hot, high, false> P(X p) P(p) = P(rain p) P(hot p) P(high p) P(false p) P(p) = 3/9 2/9 3/9 6/9 9/14 = P(X n) P(n) = P(rain n) P(hot n) P(high n) P(false n) P(n) = 2/5 2/5 4/5 2/5 5/14 = Örnek X in sınıfı n (don t play) olarak öngörülür. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 30

31 Örnek: Borsa Gelecek menkul kıymet değerleri öngörülür. Zaman içinde benzer örüntüler belirlenir, ve öngörü yapılır. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 31

32 Sürekli değişkenlerin öngörüsü regrasyon (eğri uydurma) olarak adlandırılan bir istatistiksel yöntemle tespit edilebilir. Regresyon analizinin amacı değişik girdi değişkenlerini çıktı değişkeni ile ilişkilendirecek en iyi modelin çıkarılmasıdır. Regresyon analizi bir Y değişkeninin diğer bir veya daha çok X1, X2,, Xn değişkenleri ile ilişkisinin belirlenmesi sürecidir. Y, yanıt çıktısı veya bağımlı değişken olarak adlandırılır. Xi değişkenleri girdi veya bağımsız değişkenler olarak adlandırılır. Bir veri kümesindeki bulunan ilişki regrasyon denklemi (modeli) ile karakterize edilir. En çok yaygın regrasyon modeli denklemi SMY 535, Veri Madenciliği, Güz 2015, Ders #1 32

33 A B Verilen örnek veri setindeki A ve B değişkenleri arasındaki ilişki aşağıdaki denklemle ifade edilebilir. α ve β katsayılarının değerleri matematiksel olarak bulunur. Optimal regresyon denklemi: SMY 535, Veri Madenciliği, Güz 2015, Ders #1 33

34 Kümeleme, veriyi sınıflara veya kümelere ayırma işlemidir. Birbirlerine benzeyen elemanlardan oluşan gruba küme denir. Farklı kümelere ait elemanlar arasında benzerlik azdır. Bir benzerlik ölçütü belirlenir. Değerler süreli ise öklid uzaklığıdır. Kümeleme algoritmaları küme için benzerliğin maksimize edilmesi Kümeler arası benzerliğin minimize edilmesi kavramına dayanır. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 34

35 3-Boyutlu uzayda öklid uzaklığına dayanan kümeleme. Küme içi uzaklıklar minimize edilir. Kümeler arası uzaklıklar maksimize edilir. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 35

36 Assign each objects to most similar center reassign Update the cluster means reassign K=2 Arbitrarily choose K object as initial cluster center Update the cluster means SMY 535, Veri Madenciliği, Güz 2015, Ders #1 36

37 Birliktelik analizi büyük veri kümeleri arasında birliktelik ilişkilerini bulur. Market-Basket analizi ve işlem (transaction) veri analizi olarakta adlandırılır. Birliktelik analizi, belirli bir veri kümesinde yüksek sıklıkta birlikte görülen özellik değerlerine ait ilişkisel kuralların keşfidir. Sonuclar birliktelik kuralları (A B) olarak sunulur. Birliktelik kurallarının kullanıldıgı en yaygın örnek market sepeti uygulamasıdır. Market sepet analizi, müsterilerin yaptıkları alısverislerdeki ürünler arasındaki birliktelikleri bularak müsterilerin satın alma alıskanlıklarını belirlemeye çalışır. SMY 535, Veri Madenciliği, Güz 2015, Ders #1 37

38 SMY 535, Veri Madenciliği, Güz 2015, Ders #1 38

39 Örnek TID Ürünler 1 Ekmek, Kola, Süt 2 Bira, Ekmek 3 Bira, Kola, Çocuk Bezi, Süt 4 Bira, Ekmek, Çoçuk Bezi, süt 5 Kola, Çocuk Bezi, Süt Bulunan kurallar: {Süt} --> {Kola} {Çocuk Bezi, Süt} --> {Bira} SMY 535, Veri Madenciliği, Güz 2015, Ders #1 39

40 Normal davranışlardan ve eğilimlerden çok farklı sapmaları belirlemede kullanılır. Uygulamalar: Kredi Kartı Yolsuzluğu Tesbiti Ağ Saldırı (Intrusion) Tesbiti SMY 535, Veri Madenciliği, Güz 2015, Ders #1 40