Dr. Hidayet Takçı. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

Transkript

1 Dr. Hidayet Takçı Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

2 Sayısal veya mantıksal her türlü deer bir veridir. Öznitelik Bir nesneye ait özellik veya onun bir karakteristiidir Örnek: bir kiinin göz rengi, aırlıı vb. Öznitelik, deiken veya saha olarak ta bilinir. Nesneler Nesne Bir nesneyi açıklayacak özniteliklerin bir koleksiyonu kayıt olarak bilinir. Nesne; bir kayıt, bir nokta, bir durum, bir varlık veya bir örnek olarak da bilinir. Öznitelikler Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 2

3 Öznitelik deerleri; bir öznitelie atanan sayılar veya sembollerdir. Öznitelikler ve öznitelik deerleri arasındaki fark Aynı öznitelik farklı öznitelik deerlerine elenebilir Örnek: yükseklik feet veya metre ile ölçülebilir. Farklı öznitelikler deerlerin aynı kümesi ile elenebilirler. Örnek: ID ve ya için öznitelik deerleri tamsayıdır Fakat öznitelik deerlerinin özellikleri farklı olabilir. ID için bir limit yoktur ama ya için maksimum ve minimum deerler vardır. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 3

4 Özniteliklerin farklı tipleri vardır, bunlar aynı zamanda ölçüm seviyelerini verirler. Nominal Sayısal büyüklük ifade etmeyen kategorik veri tipi Örnek: ID numarası, göz rengi, posta kodu gibi Ordinal Verilerin belli bir ölçüte göre büyükten küçüe veya küçükten büyüe sıralandıı veri tipi Örnek: rütbe, derece, yükseklik {uzun, orta, kısa} gibi sıralı verileri içerir. Interval Bir aralık içerisindeki deerleri sunmak için kullanılan veri tipi Örnek: Tarih, Celsius veya Fahrenheit cinsinden sıcaklıklar. Ratio Gözlemlerin aldıı deerlerin, oransal olarak karılatırılabildii veri tipidir Örnek: Kelvin cinsinden sıcaklık, boyut, zaman ve sayılar Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 4

5 Sürekli öznitelik Özellik deerleri gerçek sayılar içerir Örnek: sıcaklık, yükseklik veya genilik. Sürekli öznitelikler tipik olarak kayan noktalı deikenlerle sunulurlar. Ayrık veya süreksiz öznitelik Özellik deerleri tam sayılar içerir Örnek: posta kodu, bir doküman koleksiyonundaki kelimelerin kümesi Sıklıkla tamsayı deikenlerle sunulurlar. Not: ikili öznitelikler ayrık özniteliklerin özel bir durumunu meydana getirir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 5

6 Kayıt (Çizgisel) Veri matrisi Doküman verisi lem (Transaction) verisi Grafik World Wide Web Moleküler yapılar Sıralı Uzaysal veri Geçici veri Ardıık veri Genetik dizi verisi Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 6

7 Her biri özniteliklerin bir kümesi olan kayıtların bir koleksiyonu kayıt verisi olarak tutulur. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 7

8 Eer veri nesneleri sayısal özniteliklerin sabit bir kümesine sahipse o zaman veri nesneleri her bir boyutun ayrık bir öznitelii sunduu çok boyutlu uzayda noktalar olarak düünülebilir. Böylesi veri setleri m adet satır ve n adet sütunun bulunduu (m x n) boyutlu matris ile sunulabilir. Her bir nesne için n sütun ve bir satır bulunur. Projection of x Load Projection of y load Distance Load Thickness Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 8

9 Her bir doküman bir terim vektörü haline gelir, Her bir terim, vektörün bir bileenidir (öznitelik), Her bir bileenin deeri doküman içerisinde ilgili terimin kaç kez tekrarlandıı ile ilgilidir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/2008 9

10 ! Kayıt verisinin özel bir tipidir, Her bir ilem (transaction) elemanların bir kümesini içermektedir. Örnein, bir dükkan düünün. Burada, ödemesi yapılan ürünlerin bir kümesi bir ilem kaydını verir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

11 " # Örnek: jenerik grafikler ve HTML linkleri <a href="papers/papers.html#bbbb"> Data Mining </a> <li> <a href="papers/papers.html#aaaa"> Graph Partitioning </a> <li> <a href="papers/papers.html#aaaa"> Parallel Solution of Sparse Linear System of Equations </a> <li> <a href="papers/papers.html#ffff"> N-Body Computation and Dense Linear System Solvers Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

12 Benzen Molekülü: C 6 H 6 Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

13 lemlerin sırasının önemli olduu veri setleridir. Elemanlar/Olaylar Sıradaki bir eleman Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

14 Uzaysal-geçici veri Karaların ve okyanusların ortalama aylık sıcaklıkları Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

15 Gen dizisi verisi GGTTCCGCCTTCAGCCCCGCGCC CGCAGGGCCCGCCCCGCGCCGTC GAGAAGGGCCCGCCTGGCGGGCG GGGGGAGGCGGGGCCGCCCGAGC CCAACCGAGTCCGACCAGGTGCC CCCTCTGCTCGGCCTAGACCTGA GCTCATTAGGCGGCAGCGGACAG GCCAAGTAGAACACGCGAAGCGC TGGGCTGCCTGCTGCGACCAGGG Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

16 Bazı faktörler öne çıkmaktadır: Veri kalitesi problemleri hangi çeitlerdedir? Veri ile ilgili problemleri nasıl tespit edebiliriz? Bu problemlerle ilgili olarak ne yapabiliriz? Veri kalitesi ile ilgili problemler: Gürültü ve tamalar Kayıp deerler Veri tekrarı Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

17 " Gürültü orijinal deerlerin bozulması anlamına gelir. Örnekler: düük kaliteli bir telefonda konuurken kiinin sesinin biçimin bozulması ve televizyon ekranındaki karlanma gürültü örnekleridir. ki Sinüs Dalgası ki Sinüs Dalgası + Gürültü Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

18 ! Tama (outlier), veri kümesinde, dier nesnelerden ciddi ekilde farklı olan veri nesnelerinin gösterdii karakteristiktir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

19 Kayıp deerler için çeitli sebepler vardır: Bilgi toplanamaması (örn., insanlar yaları ve kiloları ile ilgili bilgi vermeyi istemezler) Öznitelikler bütün durumlar için uygun olmayabilir (örn., yıllık gelir çocuklar için uygun deildir) Kayıp deerlerle mücadele Veri nesnelerinin elenmesi Kayıp deerlerin tahmin edilmesi Analizler sırasında kayıp deerlerin es geçilmesi Bütün olası deerlerle yer deitirilmesi (onların olasılıkları ile aırlık verilmesi) Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

20 $ Veri seti tekrar eden kayıtlar içerebilir, veya bazı kayıtlar hemen hemen tamamen dierine eittir Bu durum genellikle heterojen kaynaklardan gelen veriler birletirildiinde meydana gelir. Örnekler: Aynı kiiye ait birden fazla mail adresinin bulunması Veri temizleme Tekrar eden verilerin ilenmesi ile ilgili bir prosestir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

21 ! Bir araya getirmek (Aggregation) Örnekleme (Sampling) Boyut Düürme (Dimensionality Reduction) Altküme özellikleri seçimi (Feature subset selection) Özellik oluturma (Feature creation) Ayrıklatırma ve ikili hale getirme (Discretization and Binarization) Öznitelik dönüümü (Attribute Transformation) Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

22 % & " ki veya daha fazla öznitelik veya nesnenin tek bir öznitelik veya nesne halinde birletirilmesidir. Amaç Veri azaltma öznitelikler veya nesnelerin sayısının azaltılması Ölçein deitirilmesi ehirler; bölgeler, eyaletler, ülkeler v.b. halinde bir araya getirilir. Daha dayanıklı veri bir araya toplanan veri daha az deikenlie sahip olacaktır. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

23 % & " Avustralya da meydana gelen yaıların aylık ve yıllık deiimi: görüldüü gibi bir araya getirilen verinin standart sapması dümütür. Yaıların aylık ortalama standart sapması Yaıların yılık ortalama standart sapması Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

24 Örnekleme veri seçimi için üzerinde çalıılan en temel tekniktir. Örnekleme, sıklıkla hem balangıç aratırmaları için ve hem de final veri analizleri için kullanılır. Verinin tamamı ile ilgilenmek oldukça masraflı bir i olduu için istatistikçiler ve veri madencileri verinin bir kısmını elde etmeye çalıırlar. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

25 ' Etkili örnekleme için anahtar prensip öyledir: Eer örnek temsil edici nitelikte ise örnek ile çalımak bütün veri seti ile çalımak kadar iyi sonuç verecektir. Eer örnek verisi orijinal veri kadar yaklaık olarak aynı özellie sahip ise o veri temsil edici veridir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

26 Basit rasgele örnekleme Herhangi bir kısmi elemanın seçilme olasılıı dier parçaların seçilme olasılıına eittir. Yer deitirmeden örnekleme Herhangi bir eleman seçildiinde o popülasyondan silinir Yer deitirme ile örnekleme Nesneler örnekleme için seçildiklerinde popülasyondan silinmezler. örneklemede aynı eleman birden fazla sefer çekilebilir Katmanlamı örnekleme D veri kümesi tüm kayıtları kapsayacak ekilde katman olarak adlandırılan parçalara bölünmütür, her katmanda basit rasgele örnekleme yapılarak katmanlamı örnekleme yapılabilir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

27 % u ) Boyutlar artarken, veri uzayda daha seyrek ekilde gözükmeye balar. Boyutlar fazla olduu zaman; kümeleme ve tama bulmada kritik öneme sahip olan iki nokta arasındaki uzaklık ve younluun tanımları daha az anlamlı hale gelmektedir. Rasgele 500 nokta üretin Nokta çiftleri arasındaki max ve min uzaklıkları bulunuz Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

28 % u! Amaç: Boyut fazlalıın problemlerini çözmek, Veri madencilii algoritmaları tarafından ihtiyaç duyulan bellek ve zaman miktarını azaltmak, Daha kolaylıkla görselletirmeye müsaade etmek (Örn. çok boyutlu uzay üç boyuta düürülerek görselletirme araçları ile veriler görselletirilebilir) likisiz özellikleri elemeye veya gürültüyü azaltmaya yardımcı olmak (belli bir eiin altında kalan olasılıa sahip veriler dikkate alınmaz) Teknikler Temel bileen analizi (Principle Component Analysis) Tekil deer ayrıması (Singular Value Decomposition) Dierleri: denetimli veya dorusal olmayan teknikler Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

29 % u&*+& Amaç verideki deiimin en büyük miktarını yakalayacak bir projeksiyonu bulmaktır. Orijinal veriden n tane kayıt alınarak bundan k tanesi seçilir. x 2 e ekilde iki boyutun (x1 ve x2) tek boyuta (e) düürülmesi görülmektedir. x 1 Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

30 &, Veri boyutu azaltma için bir dier yol özellik alt kümesi seçimidir. Gereksiz özellikler Çok fazla ikileme veya bilginin tamamının bir veya daha çok öznitelikte tekrar etmesi. Örnek : bir ürünün ödeme fiyatı ve ödeme taksitleri bilgisinin yer alması gibi. likisiz özellikler Veri madencilii görevi için faydalı hiçbir bilgi içermeyen özelliklerdir. Örnek : örencilerin notunu hesaplamada örenci numarasının hiçbir katkısı yoktur. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

31 Ou!u Orijinal öz niteliklerden daha etkin olarak bir veri kümesindeki önemli bilgiyi yakalayabilmek için yeni öz nitelikler oluturulur. Üç genel metodoloji vardır: Özellik çıkarma etki alanı özel Verinin yeni uzaya eletirilmesi Özellik ina edilmesi özelliklerin birletirilmesi Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

32 .! Bir fonksiyon bütün veri setindeki deerleri yeni deerlere dönütürürken ilgili öz niteliklerin yer deitirmesini, elemesini yapar. Basit fonksiyonlar: x k, log(x), e x, x Standardizasyon ve Normalizasyon Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

33 % % Benzerlik ki veri nesnesinin birbirine ne kadar benzer olduunun sayısal ölçümüdür. Nesneler daha benzer olduunda benzerlik bilgisi büyür mü? Sıklıkla benzerlik bilgisi [0,1] aralıında yer alır. Benzemezlik ki veri nesnesinin birbirinden ne kadar farklı olduunun sayısal ölçümüdür. Nesneler daha benzer olduunda deeri düüktür Minimum benzemezlik sıklıkla 0 dır. Üst limit deikendir Yakınlık benzerlik veya benzemezlik manasına gelir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

34 %,% /% p ve q iki veri nesnesi için öznitelik deerleridir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

35 0 Öklidyen uzaklık dist = n k= 1 ( p k q k 2 ) burada, n boyutların sayısıdır ve p k ile q k ise p ve q veri nesnelerinin k th özniteliklerinin deerini verir. Eer ölçek farklı ise standardizasyon gereklidir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

36 p1 p3 p4 p point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 p1 p2 p3 p4 p p p p Uzaklık matrisi Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

37 10 Minkowski uzaklıı öklidyen uzaklıının genelletirilmesi ile elde edilir. dist = n ( k= 1 p k q k burada r bir parametredir, n boyutların sayısıdır ve p k ile q k ise p ve q nesnelerinin k th öznitelik deerleridir. r ) 1 r Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

38 10 r = 1. City block (Manhattan, L 1 norm) uzaklık. Bunun genel bir örnei Hamming uzaklııdır, hamming uzaklıı iki ikili vektör arasındaki birbirinden farklı bitlerin sayısıdır. r = 2. öklidyen uzaklık r. supremum (L max norm, L norm) uzaklıı. Bu vektörlerin herhangi bir bileeni arasındaki maksimum farktır. n ile r yi karıtırmamak lazım, bütün bu uzaklıklar boyutların bütün sayıları için tanımlanırlar. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

39 10 point x y p1 0 2 p2 2 0 p3 3 1 p4 5 1 L1 p1 p2 p3 p4 p p p p L2 p1 p2 p3 p4 p p p p L p1 p2 p3 p4 p p p p Distance Matrix Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

40 % 0" Öklidyen gibi uzaklıkların bazı iyi bilinen özellikleri vardır. 1. bütün p ve q nesneleri için d(p, q) 0 dir, sadece p deeri q deerine eit olduunda d(p, q) = 0 2. bütün p ve q deerleri için d(p, q) = d(q, p), simetri özellii 3. d(p, r) d(p, q) + d(q, r) bütün p, q ve r nesneleri için (üçgen eitsizlii) kuralı geçerlidir. burada d(p, q), p ve q noktaları arasındaki uzaklık veya benzemezlii vermektedir. Bir uzaklık bu özellikleri taıyorsa bir metriktir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

41 % % " Benzerliklerin de bazı bilinen özellikleri vardır. 1. Sadece p = q olduunda s(p, q) = 1 (maximum similarity). 2. Bütün p ve q deerleri için s(p, q) = s(q, p). (Symmetry) burada s(p, q) p ve q noktaları arasındaki benzerlii vermektedir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

42 . & % p ve q ikili vektörler olduunda aaıdaki kurallar geçerlidir. Takip eden miktarlar kullanılarak benzerlikler hesap edilir. M 01 = p deeri 0 ve q deeri 1 olan öz niteliklerin sayısı M 10 = p deeri 1 ve q deeri 0 olan öz niteliklerin sayısı M 00 = p deeri 0 ve q deeri 0 olan öz niteliklerin sayısı M 11 = p deeri 1 ve q deeri 1 olan öz niteliklerin sayısı Basit eletirme ve Jaccard katsayıları SMC = elemlerin sayısı / öz niteliklerin sayısı = (M 11 + M 00 ) / (M 01 + M 10 + M 11 + M 00 ) J = 11 elemelerinin sayısı / ikisi birlikte 0 olmayan özniteliklerin sayısı = (M 11 ) / (M 01 + M 10 + M 11 ) Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

43 +2 3! p = q = M 01 = 2 (p=0, q=1) M 10 = 1 (p=1, q=0) M 00 = 7 (p=0, q=0) M 11 = 0 (p=1, q=1) SMC = (M 11 + M 00 )/(M 01 + M 10 + M 11 + M 00 ) = (0+7) / ( ) = 0.7 J = (M 11 ) / (M 01 + M 10 + M 11 ) = 0 / ( ) = 0 Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

44 % eer d 1 ve d 2 iki doküman vektörü ise, o zaman cos( d 1, d 2 ) = (d 1 d 2 ) / d 1 d 2, burada sembolü nokta çarpım manasına gelir, d ise d vektörünün boyudur. örnek: d 1 = d 2 = d 1 d 2 = 3*1 + 2*0 + 0*0 + 5*0 + 0*0 + 0*0 + 0*0 + 2*1 + 0*0 + 0*2 = 5 d 1 = (3*3+2*2+0*0+5*5+0*0+0*0+0*0+2*2+0*0+0*0) 0.5 = (42) 0.5 = d 2 = (1*1+0*0+0*0+0*0+0*0+0*0+0*0+1*1+0*0+2*2) 0.5 = (6) 0.5 = cos( d 1, d 2 ) =.3150 Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

45 Korelasyon, nesneler arasındaki dorusal ilikileri ölçer. Korelasyonu karılatırmak için, veri nesnelerini standardize ederiz, p ve q, ve daha sonra onların nokta çarpımlarını alırız. p k = ( p mean( p)) / std( p) k q k = ( q mean( q)) / std( q) k correlatio n( p, q) = p q Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

46 % %!,"4! Bazen birçok farklı tipteki öznitelik ile benzerlik bulunması gerekebilir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

47 % %!,"4! Bütün özniteliklerin aynı aırlıkta olmasını istemeyebiliriz. w k aırlıklarını kullanabiliriz, aırlıkların deeri 0 ile 1 arasındadır ve toplamları 1 deerine eittir. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

48 4 uu Younluk tabanlı kümeleme younluk hakkında bir görüe ihtiyaç duyar Örnekler: Euclidean younluk Euclidean younluk = her bir birimdeki noktaların sayısı Olasılık younluu Grafik tabanlı younluk Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

49 $u4 uu En basit yaklaım bölgeyi dikdörtgenlere bölmek ve her bir dikdörtgende kaç adet nokta bulunduunu sayılarla sunmaktır. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/

50 $u4 uu 5 7 Euclidean younluk bir nokta merkez olmak üzere ona yarıçap uzaklıındaki bütün noktaların sayısı sunulur. Veri Madencilii Dersi GYTE Dr. Hidayet Takçı 10/05/