Konular. VERİ MADENCİLİĞİ Veri Önişleme. Değer Kümeleri. Veri Nedir? Nitelik Türleri. Konular

Transkript

1 0 Koular VERİ MADENCİLİĞİ Ver Öşleme Yrd. Doç. Dr. Şule Güdüz Öğüdücü Öşleme y Taıma Bezerlk ve farklılık Ver Nedr? eseler ve eseler telklerde oluşa küme kayıt (record), varlık (etty), örek (sample, stace) ese ç kullaılablr. Ntelk (attrbute) br ese (object) br özellğdr br saı yaşı, ortamı sıcaklığı.. boyut (dmeso), özellk (feature, characterstc) olarak da kullaılır Ntelkler ve bu telklere at değerler br esey oluşturur. eseler telkler Td Ger Mede Ödeme Durum Gelr Evet Bekar 5K - Hayır Evl 00K - 3 Hayır Bekar 70K - 4 Evet Evl 0K - 5 Hayır Boşamış 95K 6 Hayır Evl 60K - 7 Evet Boşamış 0K - 8 Hayır Bekar 85K 9 Hayır Evl 75K - 0 Hayır Bekar 90K Dola dırıcı Değer Kümeler Ntelk ç saptamış sayılar veya semboller Ntelk & Değer Kümeler ayı telk farklı değer kümelerde değer alablr ağırlık kg, lb farklı telkler ayı değer kümesde değer alablrler ID, yaş her ks de sayısal 3 4 Ntelk Türler Koular Bell aralıkta yerala değşkeler (terval) sıcaklık, tarh İkl değşkeler (bary) Öşleme y Taıma csyet Ayrık ve sıralı değşkeler (omal, ordal, rato scaled) göz reg, posta kodu Bezerlk ve farklılık 5 6

2 Problem Ver Gürültülü Olma Nedeler Gerçek uygulamalarda toplaa ver krl eksk bazı telk değerler bazı eseler ç grlmemş, ver madeclğ uygulaması ç gerekl br telk kaydedlmemş meslek = gürültülü hatalar var maaş= -0 tutarsız telk değerler veya telk smler uyumsuz yaş= 35, d.tarh 03/0/004 öcek oylama değerler,,3, ye oylama değerler A,B,C br kayakta telk değer ad, dğerde sm Eksk ver kayıtlarıı edeler topladığı sırada br telk değer elde edlememes, blmemes topladığı sırada bazı telkler gerekllğ görülememes İsa, yazılım ya da doaım problemler Gürültülü (hatalı) ver kayıtlarıı edeler Hatalı ver toplama gereçler İsa, yazılım ya da doaım problemler letm sırasıda problemler Tutarsız ver kayıtlarıı edeler farklı ver kayaklarıda tutulması İşlevsel bağımlılık kurallarıa uyulmaması 7 8 Souç Ver Öşleme güvelmez madeclğ souçlarıa güveleblr m? Kullaılablr ver madeclğ souçları kaltel ver le elde edleblr kaltel se ver madeclğ uygulamaları le yararlı blg bulma şası daha fazla. Eksk telk değerler tamamlama, hatalı very düzeltme, aykırılıkları saptama ve temzleme, tutarsızlıkları gderme Farklı ver kayağıdak verler brleştrme Normalzasyo ve brktrme Ayı ver madeclğ souçları elde edlecek şeklde ver mktarıı azaltma 9 0 Ver Öşleme Koular Öşleme y Taıma Bezerlk ve farklılık

3 Very Taımlayıcı Özellkler Amaç Very daha y alamak Merkez eğlm (cetral tedecy), varyasyo, yayılma, dağılım dağılım özellkler Ortaca, e büyük, e küçük, sıklık dereces, aykırılık, varyas Sayısal telkler -> sıralaablr değerler ver dağılımı kutu grafğ çzm ve sıklık dereces celemes Merkez Eğlm Ölçme = Ortalama μ = = N w = ağırlıklı ortalama = kırpılmış ortalama Uç değerler kullamada w = hesaplama Ortaca (meda) Ver tümü kullaılarak hesaplaır ver sayısı tek se ortadak değer, çft sayı se ortadak k değer ortalaması / ( f ) meda = L c Mod l + ( ) fmeda çde e sıklıkla görüle değer Umodal, bmodal, trmodal deeysel formül mea mode = 3 ( mea meda) 3 4 Smetrk Asmetrk Dağılım Smetrk ve asmetrk ver ortalama, ortaca ve mod değerler Mea Meda Mode Ver Dağılımıı Ölçme Çeyrek, aykırılıklar, kutu grafğ çzm Çeyrek (quartle) telk değerler küçükte büyüğe doğru sıralaır. Q lk %5, Q3 lk %75 Dörtlü aralık (Iter-quartle Rage) IQR= Q3-Q Fve Number Summary m, Q, meda, Q3, ma Kutu Grafğ Çzm Q ve Q3 aralığıda br kutu kutu çde ortaca oktayı göstere br çzg kutuda m ve ma değerlere brer uzatı Aykırılıklar,5IQR değerde küçük/büyük ola değerler Varyas ve stadart sapma s = = ( ) = = = [ ( ) ] σ = ( μ ) = N = N = μ 5 6 Quatle Plot Scatter Plot bütüüü br telk değere göre görütüleme br telk değere göre küçükte büyüğe doğru sıralaır değer ç % 00 f mktardak ver değerde küçük ya da eşttr İk sayısal telk değer arasıdak lşky görmek 7 8 3

4 Koular Ver Temzleme Öşleme y Taıma Gerçek uygulamalarda ver eksk, gürültülü veya tutarsız olablr. şlemler Eksk telk değerler tamamlama Aykırılıkları buluması ve gürültülü ver düzeltlmes Tutarsızlıkları gderlmes Bezerlk ve farklılık 9 0 Eksk Ver Eksk Verler asıl Tamamlaır? ç bazı telkler değerler her zama blemeyeblr. Eksk ver dğer ver kayıtlarıyla tutarsızlığı edeyle slmes Bazı telk değerler hatalı olması dolayısıyla slmes yalış alama soucu kaydedlmeme ver grş sırasıda bazı telkler öemsz görme Eksk telk değerler ola ver kayıtlarıı kullama Eksk telk değerler elle doldur Eksk telk değerler ç global br değşke kulla (Null, blmyor,) Eksk telk değerler o telğ ortalama değer le doldur Ayı sııfa at kayıtları telk değerler ortalaması le doldur Olasılığı e fazla ola telk değeryle doldur Gürültülü Ver Gürültülü Ver asıl Düzeltlr? Ölçüle br değerdek hata Gürültüyü yok etme Yalış telk değerler Bölmeleme hatalı ver toplama gereçler ver grş problemler ver letm problemler tekolojk kısıtlar telk smlerde tutarsızlık ver sıralaır, eşt geşlk veya eşt derlk le bölüür Demetleme aykırılıkları belrler Eğr uydurma very br foksyoa uydurarak gürültüyü düzeltr http//cotrol.cs.berkeley.edu/abc/ 3 4 4

5 Bölmeleme sıralaır 4, 8, 5,,, 4, 5, 8, 34 Eşt geşlk Bölme sayısı belrler. Eşt aralıklarla bölüür Eşt derlk Her bölmede eşt sayıda örek kalacak şeklde bölüür. her bölme ortalamayla ya da bölme e alt ve üst sıırlarıyla temsl edlr Demetleme Bezer verler ayı demette olacak şeklde gruplaır Bu demetler dışıda kala verler aykırılık olarak belrler ve slr Bölme geşlğ3. Bölme 4, 8, 5. Bölme,, 4 3. Bölme 5, 8, 34 Ortalamayla düzeltme. Bölme 9, 9, 9. Bölme,, 3. Bölme 9, 9, 9 Alt-üst sıırla düzeltme. Bölme 4, 4, 5. Bölme,, 4 3. Bölme 5, 5, Eğr Uydurma Koular br foksyoa uydurulur. Doğrusal eğr uydurmada, br değşke değer dğer br değşke kullaılarak buluablr. Y Y X y = + Öşleme y Taıma Bezerlk ve farklılık 7 8 Ver Brleştrme Gereksz Ver Farklı kayaklarda verler tutarlı olarak brleştrlmes Şema brleştrlmes Ayı varlıkları saptaması A.cust_d=B.cust_um meta ver kullaılır Ntelk değerler tutarsızlığıı saptaması Ayı telk ç farklı kayaklarda farklı değerler olması Farklı metrkler kullaılması 9 Farklı ver kayaklarıda verler brleştrlce gereksz (fazla) ver oluşablr ayı telk farklı kayaklarda farklı smle br telğ değer başka br telk kullaılarak hesaplaablr korelasyo hesaplaması sayısal telkler =0 telkler bağımsız, >0 poztf korelasyo, <0 egatf korelasyo r A, B ( A A)( B B) A = A = ( )σ σ korelasyo hesaplaması ayrık telkler (ch-square test) χ = A B ( Observed Epected Epected σ A ) ( A A) = 30 5

6 Koular Ver Döüşümü Öşleme y Taıma Bezerlk ve farklılık, ver madeclğ uygulamaları ç uygu olmayablr Seçle algortmaya uygu olmayablr belrleyc değl Çözüm düzeltme Bölmeleme Demetleme Eğr Uydurma Brktrme Geelleme Normalzasyo Ntelk oluşturma 3 3 Bölmeleme ve Demetleme Yötemler le Ver Düzeltme Normalzasyo Ver Eşt derlk Eşt geşlk demetleme K-ortalama m-ma ormalzasyo v ma v ' = ( ew _ maa ew_ ma) + ew_ m maa ma z-score ormalzasyo v mea A v ' = stad _ dev odalık ormalzasyo v v'= j Ma( v' )< olacak şekldek e küçük tam sayı j 0 A A Ntelk Oluşturma Koular Ye telkler yarat orjal telklerde daha öeml blg çers ala=boy e ver madeclğ algortmalarıı başarımı daha y olsu Öşleme y Taıma Bezerlk ve farklılık

7 Ver Azaltma mktarı çok fazla olduğu zama ver madeclğ algortmalarıı çalışması ve souç üretmes çok uzu süreblr very azaltma başarımı artırır soucu (erdeyse) hç değşmemes gerekr telk brleştrme telk azaltma ver sıkıştırma ver ayrıştırma ve kavram oluşturma ver küçültme eğr uydurma demetleme hstogram örekleme Ntelk Brleştrme Tarh Qtr Qtr3Qtr4Qtr sum TV PC U.S.A VCR sum Caada Meco Ürü sum Ülke Ürü Sorgulama ç gerekl ola boyutlar kullaılıyor. Tarh TV PC U.S.A VCR sum Caada Meco sum Ülke Ntelk Seçme - Ntelk Azaltma Ntelk Seçme Ntelkler kümes br alt kümes seçlerek ver madeclğ şlem yapılır Ntelk azaltma d boyutlu ver kümes k<d olacak şeklde k boyuta taşıır Ntelk Seçme Ntelk seçme madeclğ uygulaması ç gerekl ola telkler seçlmes Ntelkler altkümes kullaılarak elde edle sııfları dağılımları gerçek dağılıma eşt ya da çok yakı olmalı madeclğ şlem yer ve zama karmaşıklığıı azaltma Sstem başarımıı artırma Sezgsel yötemler kullaılarak telkler seçleblr. statstksel alamlılık test (statstcal sgfcace) blg kazacı (formato ga) karar ağaçları Örek Ntelk Azaltma Başlagıç telkler kümes {A, A, A3, A4, A5, A6} A4? Çok boyutlu very daha küçük boyutlu uzaya taşıma d telkte oluşa adet ver D={,,, } k boyutlu uzaya taşıır A? A6? d k R y R ( k << d) Class Class Class Class kümesde yer ala bütü telkler kullaılır Ntelkler doğrusal kombasyou Ntelkler ayırıcılığıa artırma Seçle telk kümes {A, A4, A6} 4 4 7

8 Ver Sıkıştırma Ver Ayrıştırma boyutuu azaltır daha az saklama ortamı verye ulaşmak daha çabuk Kayıplı ve kayıpsız ver sıkıştırma bazı yötemler bazı ver tplere uygu her ver tp ç kullaıla yötemler de var Eğer ver madeclğ yötem sıkıştırılmış ver üzerde doğruda çalışablyorsa elverşl Bazı ver madeclğ algortmaları sadece ayrık verler le çalışır Sürekl br telk değer bölerek her aralığı etketler değer, buluduğu aralığı etket le değşr boyutu küçülür Kavram oluşturmak ç kullaılır Kavram Oluşturma Ver Küçültme Sayısal verler y farklı şekllerde gösterme çok geş aralıkta olablr parametrk değerler çok sık değşeblr eğr uydurma Sayısal verler ç kavram oluşturma parametrk olmaya bölmeleme hstogram demetleme hstogram demetleme örekleme etrop Hstogram le Ver Küçültme Demetleme le Ver Küçültme dağılımı y bölerek her bölüm ç ver değer gösterr (toplam, ortalama) eşt geşlk (equ-wdth) bölmeler geşlğ eşt eşt yükseklk (equ-heght) her bölmedek ver sayısı eşt v-optmal e az varyası ola hstogram Σ(cout b *value b ) MaDff bölme geşlğ kullaıcı belrler demetlere ayrılır demetler temsl ede örekler (demet merkezler) ve aykırılıklar le temsl edlr Etks ver dağılımıa bağlı Hyerarşk demetleme yötemler kullaılablr

9 Örekleme le Ver Küçültme Örek Büyük ver kümes daha küçük br alt küme le temsl etme Alt küme asıl seçlyor? yere koymada örekleme (SRSWOR) yere koyarak örekleme (SRSWR) demet örekleme (yere koymada veya koyarak) katma örekleme (katma telk değere göre grup) Örekleme T T T3 T4 T5 T6 T7 T8 SRSWOR SRSWR T5 T T8 T6 T4 T7 T4 T Örek Örek Demetleme Katma Örekleme T T00 T0 T90 T0 T0 T300 T70 T geç T geç T3 geç T4 geç T5 orta yaşlı T6 orta yaşlı T7 orta yaşlı T8 orta yaşlı T9 orta yaşlı T0 orta yaşlı T orta yaşlı T orta yaşlı T3 yaşlı T4 yaşlı T geç T4 geç T6 orta yaşlı T7 orta yaşlı T9 orta yaşlı T orta yaşlı T3 yaşlı 5 5 Koular Bezerlk ve Farklılık Öşleme y Taıma Bezerlk ve farklılık Bezerlk k ese bezerlğ ölçe sayısal değer eseler brbre daha bezer se daha büyük geelde 0- aralığıda değer alır Farklılık k ese brbrde e kadar farklı olduğuu göstere sayısal değer eseler brbre daha bezer se daha küçük e küçük farklılık geelde 0 üst sıır değşeblr

10 kümes Ökld Uzaklığı Uzaklık matrs Ökld uzaklığı (Eucldea Dstace) eseler arası farklılığı bulmak ç kullaılır. p adet telğ (boyutu) ola ve j eseler arasıdak uzaklık d (, j) = j + j + + p jp 0 d(,) d(3, ) d (,) f f f 0 d (3,) d (,) 0 p p p Örek Ökld Uzaklığı p p3 p4 p Uzaklık Matrs ese y p 0 p 0 p3 3 p4 5 p p p3 p4 p p p p Mkowsk Uzaklığı Ökld uzaklığıı geelleştrlmş hal = j j j q postf tam sayı q q q d (, j) q ( ) p p q= Mahatta uzaklığı Uzaklık Özellkler q= Mahatta Uzaklığı q= Ökld Uzaklığı Uzaklık ölçütüü sağlaması gereke özellkler. d(,j) 0. d(,)=0 3. d(,j)=d(j,) 4. d(,j) d(,h)+d(h,j) Uzaklıklar ağırlıklı olarak da hesaplaablr d (, j) = w j + w j + + wp p jp Bezerlk Özellkler İkl Değşkeler Arası Bezerlk İk ese arası bezerlk özellkler. sm(,j)>=0. sm(,j)=sm(j,) İkl br değşke 0 veya olarak k değer olablr. Br olasılık tablosu oluşturulur Nese 0 Nese j 0 M 00 M 0 M 0 M Yalı uyum katsayısı (smple matchg coeffcet) kl değşke smetrk olduğu durumlarda M+ M00 sm (, j) = M + M + M + M Jaccard katsayısı (İkl değşke asmetrk olduğu durumlar) M d(, j) = M + M + M 00 0 M 00 eses 0, j eses 0 olduğu telkler sayısı M 0 eses, j eses 0 olduğu telkler sayısı M 0 eses 0, j eses olduğu telkler sayısı M eses, j eses olduğu telkler sayısı

11 Örek p = q = M 0 = M 0 = M 00 = 7 M = 0 Yalı Uyum Katsayısı (M + M 00 )/(M 0 + M 0 + M + M 00 ) = (0+7) / (++0+7) = 0.7 Jaccard Katsayısı (M ) / (M 0 + M 0 + M ) = 0 / ( + + 0) = 0 Kosüs Bezerlğ d ve d k doküma. Kosüs bezerlğ cos(d,d )=d d / d d d d j k dokümaı vektör çarpımı d d dokümaıı uzuluğu Örek d = d = d d = 3* + *0 + 0*0 + 5*0 + 0*0 + 0*0 + 0*0 + * + 0*0 + 0* = 5 d = (3*3+*+0*0+5*5+0*0+0*0+0*0+*+0*0+0*0) 0.5 = (4) 0.5 = 6.48 d = (*+0*0+0*0+0*0+0*0+0*0+0*0+*+0*0+*) 0.5 = (6) 0.5 =.45 cos( d, d ) =