Dr. Hidayet Takçı. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

Transkript

1 İkinci Ders Veri Madenciliği: Veri Dr. Hidayet Takçı Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

2 Veri Nedir? Sayısal veya mantıksal her türlü değer bir veridir. Öznitelik Bir nesneye ait özellik veya onun bir karakteristiğidir Örnek: bir kişinin göz rengi, ağırlığı vb. Öznitelik, değişken veya saha olarak ta bilinir. Nesneler Nesne Bir nesneyi açıklayacak özniteliklerin bir koleksiyonu kayıt olarak bilinir. Nesne; bir kayıt, bir nokta, bir durum, bir varlık veya bir örnek olarak da bilinir. Öznitelikler Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 2

3 Öznitelik Değerleri Öznitelik değerleri; bir özniteliğe atanan sayılar veya sembollerdir. Öznitelikler ve öznitelik değerleri arasındaki fark Aynı öznitelik farklı öznitelik değerlerine eşlenebilir Örnek: yükseklik feet veya metre ile ölçülebilir. Farklı öznitelikler değerlerin aynı kümesi ile eşlenebilirler. Örnek: ID ve yaş için öznitelik değerleri tamsayıdır Fakat öznitelik değerlerinin özellikleri farklı olabilir. ID için bir limit yoktur ama yaş için maksimum ve minimum değerler vardır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 3

4 Özniteliklerin Tipleri Özniteliklerin farklı tipleri vardır, bunlar aynı zamanda ölçüm seviyelerini verirler. Nominal Sayısal büyüklük ifade etmeyen kategorik veri tipi Örnek: ID numarası, göz rengi, posta kodu gibi Ordinal Verilerin belli bir ölçüte göre büyükten küçüğe veya küçükten büyüğe sıralandığı veri tipi Örnek: rütbe, derece, yükseklik {uzun, orta, kısa} gibi sıralı verileri içerir. Interval Bir aralık içerisindeki değerleri sunmak için kullanılan veri tipi Örnek: Tarih, Celsius veya Fahrenheit cinsinden sıcaklıklar. Ratio Gözlemlerin aldığı değerlerin, oransal olarak karşılaştırılabildiği veri tipidir Örnek: Kelvin cinsinden sıcaklık, boyut, zaman ve sayılar Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 4

5 Sürekli ve Süreksiz Öznitelikler Sürekli öznitelik Özellik değerleri gerçek sayılar içerir Örnek: sıcaklık, yükseklik veya genişlik. Sürekli öznitelikler tipik olarak kayan noktalı değişkenlerle sunulurlar. Ayrık veya süreksiz öznitelik Özellik değerleri tam sayılar içerir Örnek: posta kodu, bir doküman koleksiyonundaki kelimelerin kümesi Sıklıkla tamsayı değişkenlerle sunulurlar. Not: ikili öznitelikler ayrık özniteliklerin özel bir durumunu meydana getirir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 5

6 Veri Kümelerinin Tipleri Kayıt (Çizgisel) Veri matrisi Doküman verisi İşlem (Transaction) verisi Grafik World Wide Web Moleküler yapılar Sıralı Uzaysal veri Geçici veri Ardışık veri Genetik dizi verisi Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 6

7 Kayıt Verisi Her biri özniteliklerin bir kümesi olan kayıtların bir koleksiyonu kayıt verisi olarak tutulur. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 7

8 Veri Matrisi Eğer veri nesneleri sayısal özniteliklerin sabit bir kümesine sahipse o zaman veri nesneleri her bir boyutun ayrık bir özniteliği sunduğu çok boyutlu uzayda noktalar olarak düşünülebilir. Böylesi veri setleri m adet satır ve n adet sütunun bulunduğu (m x n) boyutlu matris ile sunulabilir. Her bir nesne için n sütun ve bir satır bulunur. Projection of x Load Projection of y load Distance Load Thickness Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 8

9 Doküman Verisi Her bir doküman bir terim vektörü haline gelir, Her bir terim, vektörün bir bileşenidir (öznitelik), Her bir bileşenin değeri doküman içerisinde ilgili terimin kaç kez tekrarlandığı ile ilgilidir. season timeout lost wi n game score ball pla y coach team Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 9

10 İşlem Verisi Kayıt verisinin özel bir tipidir, Her bir işlem (transaction) elemanların bir kümesini içermektedir. Örneğin, bir dükkan düşünün. Burada, ödemesi yapılan ürünlerin bir kümesi bir işlem kaydını verir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

11 Grafik Verisi Örnek: jenerik grafikler ve HTML linkleri <a href="papers/papers.html#bbbb"> Data Mining </a> <li> <a href="papers/papers.html#aaaa"> Graph Partitioning </a> <li> <a href="papers/papers.html#aaaa"> Parallel Solution of Sparse Linear System of Equations </a> <li> <a href="papers/papers.html#ffff"> N-Body Computation and Dense Linear System Solvers Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

12 Kimyasal Veri Benzen Molekülü: C 6 H 6 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

13 Sıralı Veri İşlemlerin sırasının önemli olduğu veri setleridir. Elemanlar/Olaylar Sıradaki bir eleman Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

14 Sıralı Veri Uzaysal-geçici veri Karaların ve okyanusların ortalama aylık sıcaklıkları Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

15 Sıralı Veri Gen dizisi verisi GGTTCCGCCTTCAGCCCCGCGCC CGCAGGGCCCGCCCCGCGCCGTC GAGAAGGGCCCGCCTGGCGGGCG GGGGGAGGCGGGGCCGCCCGAGC CCAACCGAGTCCGACCAGGTGCC CCCTCTGCTCGGCCTAGACCTGA GCTCATTAGGCGGCAGCGGACAG GCCAAGTAGAACACGCGAAGCGC TGGGCTGCCTGCTGCGACCAGGG Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

16 Veri Kalitesi Bazı faktörler öne çıkmaktadır: Veri kalitesi problemleri hangi çeşitlerdedir? Veri ile ilgili problemleri nasıl tespit edebiliriz? Bu problemlerle ilgili olarak ne yapabiliriz? Veri kalitesi ile ilgili problemler: Gürültü ve taşmalar Kayıp değerler Veri tekrarı Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

17 Gürültü Gürültü orijinal değerlerin bozulması anlamına gelir. Örnekler: düşük kaliteli bir telefonda konuşurken kişinin sesinin biçimin bozulması ve televizyon ekranındaki karlanma gürültü örnekleridir. İki Sinüs Dalgası İki Sinüs Dalgası + Gürültü Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

18 Taşmalar Taşma (outlier), veri kümesinde, diğer nesnelerden ciddi şekilde farklı olan veri nesnelerinin gösterdiği karakteristiktir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

19 Kayıp Değerler Kayıp değerler için çeşitli sebepler vardır: Bilgi toplanamaması (örn., insanlar yaşları ve kiloları ile ilgili bilgi vermeyi istemezler) Öznitelikler bütün durumlar için uygun olmayabilir (örn., yıllık gelir çocuklar için uygun değildir) Kayıp değerlerle mücadele Veri nesnelerinin elenmesi Kayıp değerlerin tahmin edilmesi Analizler sırasında kayıp değerlerin es geçilmesi Bütün olası değerlerle yer değiştirilmesi (onların olasılıkları ile ağırlık verilmesi) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

20 Tekrar Eden Veri Veri seti tekrar eden kayıtlar içerebilir, veya bazı kayıtlar hemen hemen tamamen diğerine eşittir Bu durum genellikle heterojen kaynaklardan gelen veriler birleştirildiğinde meydana gelir. Örnekler: Aynı kişiye ait birden fazla mail adresinin bulunması Veri temizleme Tekrar eden verilerin işlenmesi ile ilgili bir prosestir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

21 Veri Ön İşleme Bir araya getirmek (Aggregation) Örnekleme (Sampling) Boyut Düşürme (Dimensionality Reduction) Altküme özellikleri seçimi (Feature subset selection) Özellik oluşturma (Feature creation) Ayrıklaştırma ve ikili hale getirme (Discretization and Binarization) Öznitelik dönüşümü (Attribute Transformation) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

22 Bir Araya Getirme İki veya daha fazla öznitelik veya nesnenin tek bir öznitelik veya nesne halinde birleştirilmesidir. Amaç Veri azaltma öznitelikler veya nesnelerin sayısının azaltılması Ölçeğin değiştirilmesi şehirler; bölgeler, eyaletler, ülkeler v.b. halinde bir araya getirilir. Daha dayanıklı veri bir araya toplanan veri daha az değişkenliğe sahip olacaktır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

23 Bir Araya Getirme Avustralya da meydana gelen yağışların aylık ve yıllık değişimi: görüldüğü gibi bir araya getirilen verinin standart sapması düşmüştür. Yağışların aylık ortalama standart sapması Yağışların yılık ortalama standart sapması Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

24 Örnekleme Örnekleme veri seçimi için üzerinde çalışılan en temel tekniktir. Örnekleme, sıklıkla hem başlangıç araştırmaları için ve hem de final veri analizleri için kullanılır. Verinin tamamı ile ilgilenmek oldukça masraflı bir iş olduğu için istatistikçiler ve veri madencileri verinin bir kısmını elde etmeye çalışırlar. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

25 Örnekleme Etkili örnekleme için anahtar prensip şöyledir: Eğer örnek temsil edici nitelikte ise örnek ile çalışmak bütün veri seti ile çalışmak kadar iyi sonuç verecektir. Eğer örnek verisi orijinal veri kadar yaklaşık olarak aynı özelliğe sahip ise o veri temsil edici veridir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

26 Örnekleme Tipleri Basit rasgele örnekleme Herhangi bir kısmi elemanın seçilme olasılığı diğer parçaların seçilme olasılığına eşittir. Yer değiştirmeden örnekleme Herhangi bir eleman seçildiğinde o popülasyondan silinir Yer değiştirme ile örnekleme Nesneler örnekleme için seçildiklerinde popülasyondan silinmezler. örneklemede aynı eleman birden fazla sefer çekilebilir Katmanlaşmış örnekleme D veri kümesi tüm kayıtları kapsayacak şekilde katman olarak adlandırılan parçalara bölünmüştür, her katmanda basit rasgele örnekleme yapılarak katmanlaşmış örnekleme yapılabilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

27 Boyutların Fazlalığı Boyutlar artarken, veri uzayda daha seyrek şekilde gözükmeye başlar. Boyutlar fazla olduğu zaman; kümeleme ve taşma bulmada kritik öneme sahip olan iki nokta arasındaki uzaklık ve yoğunluğun tanımları daha az anlamlı hale gelmektedir. Rasgele 500 nokta üretin Nokta çiftleri arasındaki max ve min uzaklıkları bulunuz Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

28 Boyut Düşürme Amaç: Boyut fazlalığın problemlerini çözmek, Veri madenciliği algoritmaları tarafından ihtiyaç duyulan bellek ve zaman miktarını azaltmak, Daha kolaylıkla görselleştirmeye müsaade etmek (Örn. çok boyutlu uzay üç boyuta düşürülerek görselleştirme araçları ile veriler görselleştirilebilir) İlişkisiz özellikleri elemeye veya gürültüyü azaltmaya yardımcı olmak (belli bir eşiğin altında kalan olasılığa sahip veriler dikkate alınmaz) Teknikler Temel bileşen analizi (Principle Component Analysis) Tekil değer ayrışması (Singular Value Decomposition) Diğerleri: denetimli veya doğrusal olmayan teknikler Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

29 Boyut Azaltma: PCA Amaç verideki değişimin en büyük miktarını yakalayacak bir projeksiyonu bulmaktır. Orijinal veriden n tane kayıt alınarak bundan k tanesi seçilir. x 2 e Şekilde iki boyutun (x1 ve x2) tek boyuta (e) düşürülmesi görülmektedir. x 1 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

30 Özellik Alt Kümesi Seçimi Veri boyutu azaltma için bir diğer yol özellik alt kümesi seçimidir. Gereksiz özellikler Çok fazla ikileme veya bilginin tamamının bir veya daha çok öznitelikte tekrar etmesi. Örnek : bir ürünün ödeme fiyatı ve ödeme taksitleri bilgisinin yer alması gibi. İlişkisiz özellikler Veri madenciliği görevi için faydalı hiçbir bilgi içermeyen özelliklerdir. Örnek : öğrencilerin notunu hesaplamada öğrenci numarasının hiçbir katkısı yoktur. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

31 Özellik Oluşturma Orijinal öz niteliklerden daha etkin olarak bir veri kümesindeki önemli bilgiyi yakalayabilmek için yeni öz nitelikler oluşturulur. Üç genel metodoloji vardır: Özellik çıkarma etki alanı özel Verinin yeni uzaya eşleştirilmesi Özellik inşa edilmesi özelliklerin birleştirilmesi Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

32 Öznitelik Dönüşümü Bir fonksiyon bütün veri setindeki değerleri yeni değerlere dönüştürürken ilgili öz niteliklerin yer değiştirmesini, eşleşmesini yapar. Basit fonksiyonlar: x k, log(x), e x, x Standardizasyon ve Normalizasyon Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

33 Benzerlik ve Benzemezlik Benzerlik İki veri nesnesinin birbirine ne kadar benzer olduğunun sayısal ölçümüdür. Nesneler daha benzer olduğunda benzerlik bilgisi büyür mü? Sıklıkla benzerlik bilgisi [0,1] aralığında yer alır. Benzemezlik İki veri nesnesinin birbirinden ne kadar farklı olduğunun sayısal ölçümüdür. Nesneler daha benzer olduğunda değeri düşüktür Minimum benzemezlik sıklıkla 0 dır. Üst limit değişkendir Yakınlık benzerlik veya benzemezlik manasına gelir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

34 Basit Öznitelikler için Benzerlik/Benzemezlik p ve q iki veri nesnesi için öznitelik değerleridir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

35 Öklidyen Uzaklık Öklidyen uzaklık dist = n k= 1 ( p k q k 2 ) burada, n boyutların sayısıdır ve p k ile q k ise p ve q veri nesnelerinin k th özniteliklerinin değerini verir. Eğer ölçek farklı ise standardizasyon gereklidir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

36 Öklidyen Uzaklık p1 p3 p4 p point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 p1 p2 p3 p4 p p p p Uzaklık matrisi Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

37 Minkowski Uzaklığı Minkowski uzaklığı öklidyen uzaklığının genelleştirilmesi ile elde edilir. dist = n ( k= 1 p k q k burada r bir parametredir, n boyutların sayısıdır ve p k ile q k ise p ve q nesnelerinin k th öznitelik değerleridir. r ) 1 r Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

38 Minkowski Uzaklığı: Örnekler r = 1. City block (Manhattan, L 1 norm) uzaklık. Bunun genel bir örneği Hamming uzaklığıdır, hamming uzaklığı iki ikili vektör arasındaki birbirinden farklı bitlerin sayısıdır. r = 2. öklidyen uzaklık r. supremum (L max norm, L norm) uzaklığı. Bu vektörlerin herhangi bir bileşeni arasındaki maksimum farktır. n ile r yi karıştırmamak lazım, bütün bu uzaklıklar boyutların bütün sayıları için tanımlanırlar. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

39 Minkowski Uzaklığı point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 L1 p1 p2 p3 p4 p p p p L2 p1 p2 p3 p4 p p p p L p1 p2 p3 p4 p p p p Distance Matrix Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

40 Bir Uzaklığın Genel Özellikleri Öklidyen gibi uzaklıkların bazı iyi bilinen özellikleri vardır. 1. bütün p ve q nesneleri için d(p, q) 0 dir, sadece p değeri q değerine eşit olduğunda d(p, q) = 0 2. bütün p ve q değerleri için d(p, q) = d(q, p), simetri özelliği 3. d(p, r) d(p, q) + d(q, r) bütün p, q ve r nesneleri için (üçgen eşitsizliği) kuralı geçerlidir. burada d(p, q), p ve q noktaları arasındaki uzaklık veya benzemezliği vermektedir. Bir uzaklık bu özellikleri taşıyorsa bir metriktir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

41 Bir Benzerliğin Genel Özellikleri Benzerliklerin de bazı bilinen özellikleri vardır. 1. Sadece p = q olduğunda s(p, q) = 1 (maximum similarity). 2. Bütün p ve q değerleri için s(p, q) = s(q, p). (Symmetry) burada s(p, q) p ve q noktaları arasındaki benzerliği vermektedir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

42 İkili Vektörler Arasındaki Benzerlik p ve q ikili vektörler olduğunda aşağıdaki kurallar geçerlidir. Takip eden miktarlar kullanılarak benzerlikler hesap edilir. M 01 = p değeri 0 ve q değeri 1 olan öz niteliklerin sayısı M 10 = p değeri 1 ve q değeri 0 olan öz niteliklerin sayısı M 00 = p değeri 0 ve q değeri 0 olan öz niteliklerin sayısı M 11 = p değeri 1 ve q değeri 1 olan öz niteliklerin sayısı Basit eşleştirme ve Jaccard katsayıları SMC = eşlemlerin sayısı / öz niteliklerin sayısı = (M 11 + M 00 ) / (M 01 + M 10 + M 11 + M 00 ) J = 11 eşleşmelerinin sayısı / ikisi birlikte 0 olmayan özniteliklerin sayısı = (M 11 ) / (M 01 + M 10 + M 11 ) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

43 SMC Jaccard a karşı: Örnek p = q = M 01 = 2 (p=0, q=1) M 10 = 1 (p=1, q=0) M 00 = 7 (p=0, q=0) M 11 = 0 (p=1, q=1) SMC = (M 11 + M 00 )/(M 01 + M 10 + M 11 + M 00 ) = (0+7) / ( ) = 0.7 J = (M 11 ) / (M 01 + M 10 + M 11 ) = 0 / ( ) = 0 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

44 Kosinüs Benzerliği eğer d 1 ve d 2 iki doküman vektörü ise, o zaman cos( d 1, d 2 ) = (d 1 d 2 ) / d 1 d 2, burada sembolü nokta çarpım manasına gelir, d ise d vektörünün boyudur. örnek: d 1 = d 2 = d 1 d 2 = 3*1 + 2*0 + 0*0 + 5*0 + 0*0 + 0*0 + 0*0 + 2*1 + 0*0 + 0*2 = 5 d 1 = (3*3+2*2+0*0+5*5+0*0+0*0+0*0+2*2+0*0+0*0) 0.5 = (42) 0.5 = d 2 = (1*1+0*0+0*0+0*0+0*0+0*0+0*0+1*1+0*0+2*2) 0.5 = (6) 0.5 = cos( d 1, d 2 ) =.3150 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

45 Korelasyon Korelasyon, nesneler arasındaki doğrusal ilişkileri ölçer. Korelasyonu karşılaştırmak için, veri nesnelerini standardize ederiz, p ve q, ve daha sonra onların nokta çarpımlarını alırız. p k = ( p mean( p)) / std( p) k q k = ( q mean( q)) / std( q) k correlatio n( p, q) = p q Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

46 Benzerlik Birleştirme için Genel Yaklaşım Bazen birçok farklı tipteki öznitelik ile benzerlik bulunması gerekebilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

47 Benzerlik Birleştirme için Genel Yaklaşım Bütün özniteliklerin aynı ağırlıkta olmasını istemeyebiliriz. w k ağırlıklarını kullanabiliriz, ağırlıkların değeri 0 ile 1 arasındadır ve toplamları 1 değerine eşittir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

48 Yoğunluk Yoğunluk tabanlı kümeleme yoğunluk hakkında bir görüşe ihtiyaç duyar Örnekler: Euclidean yoğunluk Euclidean yoğunluk = her bir birimdeki noktaların sayısı Olasılık yoğunluğu Grafik tabanlı yoğunluk Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

49 Euclidean Yoğunluk Hücre Tabanlı En basit yaklaşım bölgeyi dikdörtgenlere bölmek ve her bir dikdörtgende kaç adet nokta bulunduğunu sayılarla sunmaktır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

50 Euclidean Yoğunluk Merkez Tabanlı Euclidean yoğunluk bir nokta merkez olmak üzere ona yarıçap uzaklığındaki bütün noktaların sayısı sunulur. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/