Konular. VERİ MADENCİLİĞİ Veri Önişleme. Değer Kümeleri. Veri Nedir? Nitelik Türleri. Konular. Veri Veri Önişleme Benzerlik ve farklılık

Transkript

1 0 VERİ MADENCİLİĞİ Veri Önişleme Yrd. Doç. Dr. Şule Gündüz Öğüdücü Veri Nedir? nesneler ve nesnelerin niteliklerinden oluşan küme kayıt (record), varlık (entity), örnek (sample, instance) nesne için kullanılabilir. Nitelik (attribute) bir nesnenin (object) bir özelliğidir bir insanın yaşı, ortamın sıcaklığı.. boyut (dimension), özellik (feature, characteristic) olarak da kullanılır Nitelikler ve bu niteliklere ait değerler bir nesneyi oluşturur. nesneler nitelikler Tid Geri Medeni Ödeme Durum Gelir Evet Bekar 5K - Hayır Evli 00K - 3 Hayır Bekar 70K - 4 Evet Evli 0K - 5 Hayır Boşanmış 95K 6 Hayır Evli 60K - 7 Evet Boşanmış 0K - 8 Hayır Bekar 85K 9 Hayır Evli 75K - 0 Hayır Bekar 90K Dolan dırıcı Değer Kümeleri Nitelik için saptanmış sayılar veya semboller Nitelik & Değer Kümeleri aynı nitelik farklı değer kümelerinden değer alabilir ağırlık kg, lb farklı nitelikler aynı değer kümesinden değer alabilirler ID, yaş her ikisi de sayısal 3 4 Nitelik Türleri Belli aralıkta yeralan değişkenler (interval) sıcaklık, tarih İkili değişkenler (binary) cinsiyet Ayrık ve sıralı değişkenler (nominal, ordinal, ratio scaled) göz rengi, posta kodu 5 6

2 Problem Problem Uygulamalarda toplanan veri yetersiz, tutarsız ya da gürültülü olabilir. Hata sebepleri hatalı veri toplama gereçleri veri giriş problemleri veri girişi sırasında kullanıcıların hatalı yorumları veri iletim hataları teknolojik sınırlamalar veri isimlendirmede vaya yapısında uyumsuzluk Sonuçları tekrarlanan kayıtlar çelişkili veriler yetersiz veriler güvenilmez madenciliği sonuçlarına güvenilebilir mi? kaliteli ise veri madenciliği uygulamaları ile yararlı bilgi bulma şansı daha fazla. 7 8 Veri Önişleme temizleme birleştirme dönüşümü temizleme eksik veri gürültülü veri birleştirme dönüşümü 9 0 Veri Temizleme Eksik Veri Gerçek uygulamalarda veri eksik, gürültülü veya tutarsız olabilir. temizleme işlemleri Eksik nitelik değerlerini tamamlama Aykırılıkların bulunması ve gürültülü verinin düzeltilmesi Tutarsızlıkların giderilmesi için bazı niteliklerin değerleri her zaman bilinemeyebilir. Eksik veri diğer veri kayıtlarıyla tutarsızlığı nedeniyle silinmesi Bazı nitelik değerleri hatalı olması dolayısıyla silinmesi yanlış anlama sonucu kaydedilmeme veri girişi sırasında bazı nitelikleri önemsiz görme

3 Eksik Veriler nasıl Tamamlanır? Gürültülü Veri Eksik nitelik değerleri olan veri kayıtlarını kullanma Eksik nitelik değerlerini elle doldur Eksik nitelik değerleri için global bir değişken kullan (Null, bilinmiyor,) Eksik nitelik değerlerini o niteliğin ortalama değeri ile doldur Aynı sınıfa ait kayıtların nitelik değerlerinin ortalaması ile doldur Olasılığı en fazla olan nitelik değeriyle doldur Ölçülen bir değerdeki hata Yanlış nitelik değerleri hatalı veri toplama gereçleri veri girişi problemleri veri iletimi problemleri teknolojik kısıtlar nitelik isimlerinde tutarsızlık 3 4 Gürültülü Veri nasıl Düzeltilir? Bölmeleme Gürültüyü yok etme Bölmeleme veri sıralanır, eşit genişlik veya eşit derinlik ile bölünür Demetleme aykırılıkları belirler Eğri uydurma veriyi bir fonksiyona uydurarak gürültüyü düzeltir sıralanır 4, 8, 5,,, 4, 5, 8, 34 Eşit genişlik Bölme sayısı belirlenir. Eşit aralıklarla bölünür Eşit derinlik Her bölmede eşit sayıda örnek kalacak şekilde bölünür. her bölme ortalamayla ya da bölmenin en alt ve üst sınırlarıyla temsil edilir Ortalamayla düzeltme. Bölme 9, 9, 9. Bölme,, 3. Bölme 9, 9, 9 Bölme genişliği3. Bölme 4, 8, 5. Bölme,, 4 3. Bölme 5, 8, 34 Alt-üst sınırla düzeltme. Bölme 4, 4, 5. Bölme,, 4 3. Bölme 5, 5, Demetleme Eğri Uydurma Benzer veriler aynı demette olacak şekilde gruplanır Bu demetlerin dışında kalan veriler aykırılık olarak belirlenir ve silinir bir fonksiyona uydurulur. Doğrusal eğri uydurmada, bir değişkenin değeri diğer bir değişken kullanılarak bulunabilir. Y Y X y =

4 temizleme birleştirme dönüşümü Veri Birleştirme Farklı kaynaklardan verilerin tutarlı olarak birleştirilmesi Şema birleştirilmesi Aynı varlıkların saptanması A.cust_id=B.cust_num meta veri kullanılır Nitelik değerlerinin tutarsızlığının saptanması Aynı nitelik için farklı kaynaklarda farklı değerler olması Farklı metrikler kullanılması 9 0 Gereksiz Veri Farklı veri kaynaklarından veriler birleştirilince gereksiz (fazla) veri oluşabilir aynı nitelik farklı kaynaklarda farklı isimle bir niteliğin değeri başka bir nitelik kullanılarak hesaplanabilir korelasyon hesaplaması =0 nitelikler bağımsız, >0 pozitif korelasyon, <0 negatif korelasyon r A, B ( A A)( B B) A A = = n ( n )σ σ A B σ A ( A A) = n temizleme birleştirme dönüşümü normalizasyon nitelik oluşturma Veri Dönüşümü Bölmeleme ve Demetleme Yöntemleri ile Veri Düzeltme, veri madenciliği uygulamaları için uygun olmayabilir Seçilen algoritmaya uygun olmayabilir belirleyici değil Çözüm düzeltme Bölmeleme Demetleme Eğri Uydurma Bir araya getirme Genelleme Normalizasyon Nitelik oluşturma Veri Eşit derinlik Eşit genişlik demetleme K-ortalama 3 4 4

5 Normalizasyon Nitelik Oluşturma min-ma normalizasyon v mina v ' = ( new _ maa new_ mina) + new_ min maa mina z-score normalizasyon v mean A v ' = stand _ dev A A Yeni nitelikler yarat orjinal niteliklerden daha önemli bilgi içersin veri madenciliği algoritmalarının başarımı daha iyi olsun ondalık normalizasyon v v'= j Ma( v' )< olacak şekildeki en küçük tam sayı j Veri Azaltma temizleme birleştirme dönüşümü nitelik birleştirme nitelik azaltma veri sıkıştırma veri ayrıştırma ve kavram oluşturma veri küçültme miktarı çok fazla olduğu zaman veri madenciliği algoritmalarının çalışması ve sonuç üretmesi çok uzun sürebilir veriyi azaltma başarımı artırır sonucun (nerdeyse) hiç değişmemesi gerekir nitelik birleştirme nitelik azaltma veri sıkıştırma veri ayrıştırma ve kavram oluşturma veri küçültme eğri uydurma demetleme histogram örnekleme 7 8 Nitelik Birleştirme Tarih Qtr Qtr3Qtr4Qtr sum TV PC U.S.A VCR sum Canada Meico Ürün sum Ülke Ürün Sorgulama için gerekli olan boyutlar kullanılıyor. Tarih TV PC U.S.A VCR sum Canada Meico sum Ülke Nitelik Azaltma Nitelik seçme madenciliği uygulaması için gerekli olan nitelikleri seç Nitelikler altkümesi kullanılarak elde edilen sınıfların dağılımları gerçek dağılıma eşit ya da çok yakın olmalı Sezgisel yöntemler kullanılarak nitelikler azaltılabilir. istatistiksel anlamlılık testi (statistical significance) bilgi kazancı (information gain) karar ağaçları

6 Örnek Veri Sıkıştırma Başlangıç nitelikler kümesi {A, A, A3, A4, A5, A6} A4? A? A6? Class Class Class Class nin boyutunu azaltır daha az saklama ortamı veriye ulaşmak daha çabuk Kayıplı ve kayıpsız veri sıkıştırma bazı yöntemler bazı veri tiplerine uygun her veri tipi için kullanılan yöntemler de var Eğer veri madenciliği yöntemi sıkıştırılmış veri üzerinde doğrudan çalışabiliyorsa elverişli Seçilen nitelik kümesi {A, A4, A6} 3 3 Veri Ayrıştırma Kavram Oluşturma Bazı veri madenciliği algoritmaları sadece ayrık veriler ile çalışır Sürekli bir nitelik değerini bölerek her aralığı etiketler nin değeri, bulunduğu aralığın etiketi ile değişir boyutu küçülür Kavram oluşturmak için kullanılır Sayısal veriler çok geniş aralıkta olabilir değerleri çok sık değişebilir Sayısal veriler için kavram oluşturma bölmeleme histogram demetleme entropi kesmeleme Veri Küçültme Histogram ile Veri Küçültme yi farklı şekillerde gösterme parametrik eğri uydurma parametrik olmayan histogram demetleme örnekleme nin dağılımı yi bölerek her bölüm için veri değerini gösterir (toplam, ortalama) eşit genişlik (equi-width) bölmelerin genişliği eşit eşit yükseklik (equi-height) her bölmedeki veri sayısı eşit v-optimal en az varyansı olan histogram Σ(count b *value b ) MaDiff bölme genişliğini kullanıcı belirler

7 Demetleme ile Veri Küçültme demetlere ayrılır demetleri temsil eden örnekler (demet merkezleri) ve aykırılıklar ile temsil edilir Etkisi verinin dağılımına bağlı Hiyerarşik demetleme yöntemleri kullanılabilir. Örnekleme ile Veri Küçültme Büyük veri kümesini daha küçük bir alt küme ile temsil etme Alt küme nasıl seçiliyor? yerine koymadan örnekleme (SRSWOR) yerine koyarak örnekleme (SRSWR) demet örnekleme (yerine koymadan veya koyarak) katman örnekleme (katman nitelik değerine göre grup) Örnek Örnek Örnekleme Demetleme T T T3 T4 T5 T6 T7 T8 SRSWOR SRSWR T5 T T8 T6 T4 T7 T4 T T T0 T90 T0 T0 T300 T70 T Örnek Katman Örnekleme T genç T genç T3 genç T4 genç T5 orta yaşlı T6 orta yaşlı T7 orta yaşlı T8 orta yaşlı T9 orta yaşlı T0 orta yaşlı T orta yaşlı T orta yaşlı T3 yaşlı T4 yaşlı T genç T4 genç T6 orta yaşlı T7 orta yaşlı T9 orta yaşlı T orta yaşlı T3 yaşlı 4 4 7

8 Benzerlik Benzerlik ve Farklılık iki nesnenin benzerliğini ölçen sayısal değer nesneler birbirine daha benzer ise daha büyük genelde 0- aralığında değer alır Farklılık iki nesnenin birbirinden ne kadar farklı olduğunu gösteren sayısal değer nesneler birbirine daha benzer ise daha küçük en küçük farklılık genelde 0 üst sınır değişebilir 43 kümesi Öklid Uzaklığı Uzaklık matrisi Öklid uzaklığı (Euclidean Distance) nesneler arası farklılığı bulmak için kullanılır. p adet niteliği (boyutu) olan i ve j nesneleri arasındaki uzaklık d ( i, j) = i j + i j + + ip jp i n 0 d(,) d(3, ) d ( n,) f if nf 0 d (3,) d ( n,) 0 p ip np 0 44 Örnek Öklid Uzaklığı Minkowski Uzaklığı 3 p p3 p4 p nesne y p 0 p 0 p3 3 p4 5 Öklid uzaklığının genelleştirilmiş hali = i j i j i j q positif tam sayı q q q d ( i, j) q ( ) p p p p p3 p4 p p p p q= Manhattan uzaklığı Uzaklık Matrisi Uzaklık Özellikleri Benzerlik Özellikleri q= Manhattan Uzaklığı q= Euclidean Uzaklığı Uzaklık ölçütünün sağlaması gereken özellikler. d(i,j) 0. d(i,i)=0 3. d(i,j)=d(j,i) 4. d(i,j) d(i,h)+d(h,j) Uzaklıklar ağırlıklı olarak da hesaplanabilir İki nesne arası benzerlik özellikleri. sim(i,j)>=0. sim(i,j)=sim(j,i) d ( i, j) = w i j + w i j + + wp ip jp

9 İkili Değişkenler Arası Benzerlik İkili bir değişkenin 0 veya olarak iki değeri olabilir. Bir olasılık tablosu oluşturulur Nesne i 0 Nesne j 0 M 00 M 0 M 0 M Yalın uyum katsayısı (simple matching coefficient) ikili değişkenin simetrik olduğu durumlarda M+ M00 simi (, j) = M + M + M + M Jaccard katsayısı (İkili değişkenin asimetrik olduğu durumlar) M d( i, j) = M + M + M 00 0 M 00 i nesnesinin 0, j nesnesinin 0 olduğu niteliklerin sayısı M 0 i nesnesinin, j nesnesinin 0 olduğu niteliklerin sayısı M 0 i nesnesinin 0, j nesnesinin olduğu niteliklerin sayısı M i nesnesinin, j nesnesinin olduğu niteliklerin sayısı Örnek p = q = M 0 = M 0 = M 00 = 7 M = 0 Yalın Uyum Katsayısı (M + M 00 )/(M 0 + M 0 + M + M 00 ) = (0+7) / (++0+7) = 0.7 Jaccard Katsayısı (M ) / (M 0 + M 0 + M ) = 0 / ( + + 0) = Kosinüs Benzerliği d ve d iki doküman. Cosine benzerliği cos(d,d )=d d / d d d i d j iki dokümanın vektör çarpımı d i d i dokümanının uzunluğu Örnek d = d = d d = 3* + *0 + 0*0 + 5*0 + 0*0 + 0*0 + 0*0 + * + 0*0 + 0* = 5 d = (3*3+*+0*0+5*5+0*0+0*0+0*0+*+0*0+0*0) 0.5 = (4) 0.5 = 6.48 d = (*+0*0+0*0+0*0+0*0+0*0+0*0+*+0*0+*) 0.5 = (6) 0.5 =.45 cos( d, d ) =