Konular. VERİ MADENCİLİĞİ Temel Sınıflandırma Yöntemleri. Sınıflandırma. Sınıflandırma. Konular. Gözetimli & Gözetimsiz Sınıflandırma

Transkript

1 Konular VERİ MADENCİLİĞİ Temel Sınıflandırma Yöntemler Yrd. Doç. Dr. Şule Gündüz Öğüdücü / Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları Sınıflandırma Sınıflandırma Sınıflandırma (classfcaton) problem: nesnelerden oluşan ver kümes (öğrenme kümes): D={t,t,,t n } her nesne ntelklerden oluşuyor, ntelklerden br sınıf blgs Sınıf ntelğn belrlemek çn dğer ntelkler kullanarak br model bulma Öğrenme kümesnde yer almayan nesneler (sınama kümes) mümkün olan en y şeklde doğru sınıflara atamak sınıflandırma=ayrık değşkenler çn öngörüde (predcton) bulunma Amaç: Br ntelğn değern dğer ntelkler kullanarak belrlemek vernn dağılımına göre br model bulunur bulunan model, başarımı belrlendkten sonra ntelğn gelecektek ya da blnmeyen değern tahmn etmek çn kullanılır model başarımı: doğru sınıflandırılmış sınama kümes örneklernn oranı Ver madenclğ uygulamasında: ayrık ntelk değerlern tahmn etmek: sınıflandırma sürekl ntelk değerlern tahmn etmek: öngörü Sınıflandırma: hang topun hang sepete koyulableceğ Öngörü: Topun ağırlığı 4 Gözetml & Gözetmsz Sınıflandırma Konular Gözetml (Supervsed) sınıflandırma = sınıflandırma Sınıfların sayısı ve hang nesnenn hang sınıfta olduğu blnyor. Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Gözetmsz (Unsupervsed) sınıflandırma = demetleme (clusterng) Karar ağaçları Hang nesnenn hang sınıfta olduğu blnmyor. Genelde sınıf sayısı blnmyor. Yapay snr ağları Ba sınıflandırıcılar Ba ağları 5 6

2 Sınıflandırma Uygulamaları Sınıflandırma çn Ver Hazırlama Kred başvurusu değerlendrme Kred kartı harcamasının sahtekarlık olup olmadığına karar verme Hastalık teşhs Ses tanıma Karakter tanıma Gazete haberlern konularına göre ayırma Kullanıcı davranışları belrleme Ver dönüşümü: Sürekl ntelk değer ayrık hale getrlr rmalzasyon ([-,...,], [0,...,]) Ver temzleme: gürültüyü azaltma gereksz ntelkler slme 7 8 Sınıflandırma İşlem Sınıflandırma şlem üç aşamadan oluşur:. Model oluşturma. Model değerlendrme. Model kullanma Sınıflandırma İşlem: Model Oluşturma. Model Oluşturma: Her nesnenn sınıf etket olarak tanımlanan ntelğnn belrledğ br sınıfta olduğu varsayılır Model oluşturmak çn kullanılan nesnelern oluşturduğu ver kümes öğrenme kümes olarak tanımlanır Model farklı bçmlerde fade edleblr IF THEN ELSE kuralları le Karar ağaçları le Matematksel formüller le 9 0 Sınıflandırma İşlem: Model Değerlendrme Sınıflandırma İşlem: Model Kullanma. Model Değerlendrme: Modeln başarımı (doğruluğu) sınama kümes örnekler kullanılarak belrlenr Sınıf etket blnen br sınama kümes örneğ model kullanılarak belrlenen sınıf etketyle karşılaştırılır Modeln doğruluğu, doğru sınıflandırılmış sınama kümes örneklernn toplam sınama kümes örneklerne oranı olarak belrlenr Sınama kümes model öğrenrken kullanılmaz. Model kullanma: Model daha önce görülmemş örnekler sınıflandırmak çn kullanılır lern sınıf etketlern tahmn etme Br ntelğn değern tahmn etme

3 0 0 Sınıflandırıcı Başarımını Değerlendrme Td Nt Nt Nt Sınıf Büyük 5K 0 0 Orta 00K 0 0 Küçük 70K 0 4 Orta 0K Büyük 95K 6 0 Orta 60K 0 7 Büyük 0K Küçük 85K 9 0 Orta 75K Küçük 90K Öğrenme Kümes Td Nt Nt Nt Sınıf 0 Küçük 55K? Orta 80K? Büyük 0K? 4 0 Küçük 95K? 5 0 Büyük 67K? Sınama Kümes Öğrenme Algortması Öğrenme Uygulama Model Doğru sınıflandırma başarısı Hız model oluşturmak çn gerekl süre sınıflandırma yapmak çn gerekl süre Kararlı olması ver kümesnde gürülltülü ve eksk ntelk değerler olduğu durumlarda da y sonuç vermes Ölçekleneblrlk büyük mktarda ver kümes le çalışablmes Anlaşılablr olması kullanıcı tarafından yorumlanablr olması Kuralların yapısı brbryle örtüşmeyen kurallar 4 Konular Sınıflandırma Yöntemler Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları Karar ağaçları (decson trees) Yapay snr ağları (artfcal neural networks) Ba sınıflandırıcılar (Ba classfer) İlşk tabanlı sınıflandırıcılar (assocaton-based classfer) k-en yakın komşu yöntem (k- nearest neghbor method) Destek vektör makneler (support vector machnes) Genetk algortmalar (genetc algorthms) Konular Karar Ağaçları Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları Akış dyagramı şeklnde ağaç yapısı Ara düğümler br ntelk sınaması Dallar sınama sonucu Yapraklar sınıflar Nt? Nt? Nt? Nt? Cl Cl Cl Cl Cl Cl Cl Cl Nt? 7 8

4 : Karar Ağacı : Karar Ağacı J. Ross Qunlan ın gelştrdğ ID modelne uyarlanmış: hava tens oynamaya uygun mu? Day Outlook Temperature Humdty Wnd Play ball D Sunny Hgh Weak D Sunny Hgh Strong D Overcast Hgh Weak D4 Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak D0 Ran Mld rmal Weak kök düğümden başlanır Outlook? sunny overcast humdty? Outlook Temperature Ran ran wnd? Humdty rmal Wnd Weak? Play ball D Sunny Mld rmal Strong D Overcast Mld Hgh Strong D Overcast rmal Weak D4 Ran Mld Hgh Strong hgh rmal strong weak Hava durumu Vers 9 0 : Karar Ağacı : Karar Ağacı Outlook Temperature Humdty Wnd Play ball Outlook Temperature Humdty Wnd Play ball Ran rmal Weak? Ran rmal Weak? Outlook? Outlook? sunny overcast ran sunny overcast ran humdty? wnd? humdty? wnd? hgh rmal strong weak hgh rmal strong weak : Karar Ağacı : Karar Ağacı Outlook Temperature Humdty Wnd Play ball Outlook Temperature Humdty Wnd Play ball Ran rmal Weak? Ran rmal Weak? Outlook? Outlook? sunny overcast ran sunny overcast ran humdty? wnd? humdty? wnd? hgh rmal strong weak hgh rmal strong weak 4 4

5 : Karar Ağacı sunny humdty? Outlook? overcast ran wnd? hgh rmal strong weak Outlook Ran Temperature Humdty rmal Wnd Play ball Weak? Sınıf= 5 Karar Ağacı Yöntemler Karar ağacı oluşturma yöntemler genel olarak k aşamadan oluşur:. ağaç oluşturma en başta bütün öğrenme kümes örnekler kökte seçlen ntelklere bağlı olarak örnek ynelemel olarak bölünüyor. ağaç budama öğrenme kümesndek gürültülü verlerden oluşan ve sınama kümesnde hataya neden olan dalları slme (sınıflandırma başarımını artırır) 6 Karar Ağacı Oluşturma ler En İy Bölen Ntelk Hangs? Ynelemel şlem Cl Nt? ağaç bütün vernn oluşturduğu tek br düğümle başlıyor eğer örnekler heps aynı sınıfa atse düğüm yaprak olarak sonlanıyor ve sınıf etketn alıyor eğer değlse örnekler sınıflara en y bölecek olan ntelk seçlyor şlem sona eryor örneklern heps (çoğunluğu) aynı sınıfa at örnekler bölecek ntelk kalmamış kalan ntelklern değern taşıyan örnek yok Bölmeden önce: 0 örnek C0 sınıfında 0 örnek C sınıfında C0: 6 C: 4 Own Car? C0: 4 C: 6 C0: C: Car Type? Famly Sports C0: 8 C: 0 Luxury c c 0 C0: C: 7 Hangs daha y? C0: C: 0... Student ID? C0: C: 0 c C0: 0 C: c 0... C0: 0 C: 7 8 En y Bölme Nasıl Belrlenr? En İy Bölen Ntelk Nasıl Belrlenr? Greedy yaklaşım çoğunlukla aynı sınıfa at örneklern bulunduğu düğümler terch edlr Düğümün kaltesn ölçmek çn br yöntem C0: 5 C: 5 kaltes düşük C0: 9 C: kaltes yüksek İylk Fonksyonu (Goodness Functon) Farklı algortmalar farklı ylk fonksyonları kullanablr: blg kazancı (nformaton gan): ID, C4.5 bütün ntelklern ayrık değerler aldığı varsayılıyor sürekl değşkenlere uygulamak çn değşklk yapılablr gn ndex (IBM IntellgentMner) her ntelk kye bölünüyor her ntelk çn olası bütün ky bölünmeler sınanıyor 9 0 5

6 Blg Kazancı Blg / Entrop p, p,.., p s toplamları olan olasılıklar. Entrop (Entropy) H ( p s, p,..., ps ) = p log( p ) = sepettek toplar farklı renklerde belrszlk fazla topların heps aynı renkte se daha belrszlk yok Entrop rastgelelğ, belrszlğ ve beklenmeyen durumun ortaya çıkma olasılığını gösterr Sınıflandırmada olayın olması beklenen br durum entrop=0 Entrop S ver kümesnde 4 örnek: C0 sınıfına at 9, C sınıfına at 5 örnek. Entrop H ( p s, p,..., ps ) = p log( p ) = H(p,p )= - (9/4) Log (9/4) - (5/4) Log (5/4) = log (p) H(p,-p) örnekler aynı sınıfa atse entrop=0 örnekler sınıflar arasında eşt dağılmışsa entrop= örnekler sınıflar arasında rastgele dağılmışsa 0<entrop< 4 Blg Kazancı (ID / C4.5) Blg kuramı kavramlarını kullanarak karar ağacı oluşturulur. Sınıflandırma sonucu çn en az sayıda karşılaştırma yapmayı hedefler. Ağaç br ntelğe göre dallandığında entrop ne kadar düşer? A ntelğnn S ver kümesndek blg kazancı Gan( S, A) = Entropy( S) Sv Entropy( S ) S v Values( A) v Values(A), A ntelğnn alableceğ değerler, S v, A=v olduğu durumda S nn altkümes. Gan( S, A) = Entropy( Blg kazancına göre ntelk seçme s toplam örnek sayısı s=4, k sınıfa ayrılmış H ( p, p,..., ps ) = = s=9(), s=5() Entropy(S) = - (9/4) Log (9/4) - (5/4) Log (5/4) = wnd çn: weak=8, strong=6 weak: =, =6 strong: =, = Entropy(S weak ) = - (6/8)*log(6/8) - (/8)*log(/8) = 0.8 Entropy(S strong ) = - (/6)*log(/6) - (/6)*log(/6) =.00 Entropy wnd (S) = (8/4)*0.8 + (6/4)*.00 Gan(wnd)= (8/4)*0.8 - (6/4)*.00 Gan(Outlook) = 0.46 Gan(Humdty) = 0.5 Gan(wnd)=0.048 Gan(Temperature) = 0.09 S) v p log( p) Sv Entropy( S Values( A) v ) S Day Outlook Temperature Humdty Wnd Play ball D Sunny Hgh Weak D Sunny Hgh Strong D Overcast Hgh Weak D4 Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak D0 Ran Mld rmal Weak D Sunny Mld rmal Strong D Overcast Mld Hgh Strong D Overcast rmal Weak D4 Ran Mld Hgh Strong 5 6 6

7 {D,D,D8,D9,D} [ +, - ] sunny Outlook? overcast {D,D7,D,D} [4 +,0 - ]?? {D,D,...,D4} ran {D4,D5,D6,D0,D4} [ +, - ] S sunny = {D,D,D8,D9,D}, Entropy(S sunny )=0.970 humdty çn: hgh=, rmal= hgh: =, =0 rmal: =0, = Entropy(S hgh ) = 0 Entropy(S rmal ) = 0 Gan(S sunny,humdty)=0.970-(/5)0.0- (/5)0.0=0.970 Day Outlook Temperature Humdty Wnd Play ball D Sunny Hgh Weak D Sunny Hgh Strong D Overcast Hgh Weak D4 Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak D0 Ran Mld rmal Weak D Sunny Mld rmal Strong D Overcast Mld Hgh Strong Gn Index (IBM IntelgentMner) Ver kümes S çnde n sınıf varsa ve p j C j sınıfının olasılığı se n gn( S) = p j j= Eğer ver kümes S ve S altkümelere bölünüyorsa ve her altkümede sırasıyla N ve N örnek varsa: ( ) N ( ) N gn splt S = gn S + gn( S ) N N Gn Index değer en küçük olan ntelk seçlr. 7 D Overcast rmal Weak D4 Ran Mld Hgh Strong 8 C 0 C 6 C C 5 C C 4 GINI ( S) = j [ p j ] C) = 0/6 = 0 C) = 6/6 = Gn = C) C) = 0 = 0 C) = /6 C) = 5/6 Gn = (/6) (5/6) = 0.78 C) = /6 C) = 4/6 Gn = (/6) (4/6) = Sürekl Ntelkler Bölme Bölmeleme: Statk: En başta bölmelenr Bölmeler eşt genşlk, eşt dernlk veya demetleme yöntem le bulunur. Dnamk: Sürekl ntelk A sıralanır. Brbrn zleyen ancak sınıf etket farklı olan ntelk değerler bulunur. En fazla kazanç sağlayan bölme seçlr. Temperature Play tenns Ağaç Oluşturmada Temel Yaklaşımlar Bölme krter: ağacın br düğümünde karşılaştırma yapılacak ntelğn seçlmes farklı algortmalar farklı ylk fonksyonları kullanablr: blg kazancı, gn ndex,... Dallanma krter: br örneğn hang dala at olduğunu belrleme kye dallanma (gn ndex), çoklu dallanma (blg kazancı) Durma kararı: dallanma şlemnn devam edp etmeyeceğne karar verme Etketleme kuralı: yaprak düğüm en çok örneğ olan sınıfla etketlenyor Ağaç Oluşturma: Parçala ve çöz (dvde and conquer) kökten yapraklara düğümü dallara ayır Greedy algortma her adımda en y çözümü bul: her düğümde dallanmak çn en y ntelğ bul her dal çn algortmayı uygula 4 4 7

8 Algortma: ID Bütün ntelkler ayrık Br düğüm oluştur N: Eğer örneklern heps C sınıfına at se, N düğümü C etketl yaprak Eğer karşılaştırma yapılacak ntelk yoksa N düğümü en çok örneğ olan sınıf En büyük blg kazancı olan ntelğ bölmek çn seç N y seçlen ntelk le etketle ntelğn her A değer çn br dal oluştur S, örneklern hepsnn A değer aldığı dal S boş br yaprak oluşturup en çok örneğ olan sınıfla etketle S boş değl algortmayı S düğümü üzernde ynele Yaprak düğümlere kadar Algortma: C4.5 Kökten yapraklara doğru ağaç oluşturma Blg kazancı yöntemn kullanıyor Bütün ver kümesn bellekte tutuyor Büyük ver kümeler çn uygun değl Ayrıntılı blgler: Karar Ağacı Kullanarak Sınıflandırma Karar Ağacı Kullanarak Sınıflandırma Doğrudan sınıflandırmak stenlen örneğn ntelkler ağaç boyunca sınanır ulaşılan yaprağın etket sınıf blgsn verr Dolaylı karar ağacı sınıflandırma kurallarına dönüştürülür kökten yaprakların herbrne gden yollar çn ayrı br kural oluşturulur. IF-THEN şeklnde kuralları nsanlar daha kolay anlıyor : IF Outlook= sunny AND humdty= rmal THEN play tenns Avantajları: Karar ağacı oluşturmak zahmetsz Küçük ağaçları yorumlamak kolay Anlaşılablr kurallar oluşturulablr Sürekl ve ayrık ntelk değerler çn kullanılablr Dezavantajları: Sürekl ntelk değerlern tahmn etmekte çok başarılı değl Sınıf sayısı fazla ve öğrenme kümes örnekler sayısı az olduğunda model oluşturma çok başarılı değl Zaman ve yer karmaşıklığı öğrenme kümes örnekler sayısına (q), ntelk sayısına (h) ve oluşan ağacın yapısına bağlı. Ağaç oluşturma karmaşıklığı fazla, ağaç budama karmaşıklığı fazla ağaç oluşturmak çn zaman karmaşıklığı: O(h q logq) Karar Ağaçlarında Aşırı Öğrenme Aşırı Öğrenme:Gürültülü ler Öğrenme kümesndek örneklern azlığı veya gürültülü olması Aşırı öğrenmey engelleyen k yaklaşım şlem erken sona erdrme şlem sona erdrmek çn eşk değer belrlemek gerekyor karar ağacı oluştuktan sonra ağacı küçültme Overfttng Gürültülü örnekler nedenyle sınıfları ayıran düzlemn bozulması

9 Aşırı Öğrenme: Yetersz Öğrenme Kümes Aşırı Öğrenme Gereğnden fazla karmaşık karar ağaçları aşırı öğrenmeye neden oluyor. Öğrenme kümesndek örnek sayısının yetersz olması nedenyle sınama kümesndek örneklern yanlış sınıflandırılması Karar ağacının yen örnekler üzerndek başarımını tahmn etmek çn öğrenme kümes örnekler yeterl olmuyor. Hatayı tahmn etmek çn farklı yöntemler gerekl Genel Hatayı Tahmn Etme Occam s Razor Yerne koyma (Resubsttuton) Hatası: öğrenme kümes kullanılarak hesaplanan hata (Σ e(t)) Genel (Generalzaton) hata: sınama kümes kullanılarak hesaplanan hata (Σ e (t)) Genel hatayı tahmn etme yöntemler: İymser yaklaşım: e (t) = e(t) Kötümser yaklaşım: Her yaprak düğüm çn: e (t) = (e(t)+0.5) Toplam hata: e (T) = e(t) + N 0.5 (N: yaprak düğüm sayısı) 0 yaprak düğümü olan br karar ağacı, 000 öğrenme kümes örneğnden 0 örneğ yanlış sınıflandırırsa Yerne koyma hatası: 0/000 = % Genel hata: ( )/000 = %.5 Ağaç budama: Genel hatayı tahmn etmek çn geçerleme kümes kullanılır Genel hatası aynı olan k modelden karmaşıklığı daha az olan seçlmel Karmaşık modellern ver çndek gürültüyü öğrenme htmaller daha fazla 5 5 Karar Ağacı Boyutunu Belrleme Karar Ağacı: Erken Durdurma Ver kümes öğrenme ve sınama kümes olarak ayrılır Çapraz geçerleme kullanılır. Ver kümesnn tümü ağacı oluşturmak çn kullanılır statstksel br test le (ch-square) düğüm eklemenn ya da ağacı küçültmenn katkısı sınanır MDL (Mnmum Descrpton Length) yöntem kullanılır: kodlama en aza ndrldğnde ağacın büyümes durdurulur Karar ağacını tam oluşturmadan şlem btrme İşlem sona erdrme çn ek kurallar lern sayısı kullanıcı tarafından belrlenen br eşk değernden daha az se lern sınıf dağılımı ntelklerden bağımsız se (ch-square test le belrleneblr) Ağaca yen br düğüm ekleynce ylk fonksyonu yeternce artmıyorsa

10 Konular Yapay Snr Ağları le Sınıflandırma Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları İnsan beynndek snr hücrelernn şlevn modelleyen br yapı Brbr le bağlantılı katmanlardan oluşur. katmanlar hücrelerden oluşur Katmanlar arasında letm İlet katmanlar arasındak bağın ağırlığına ve her hücrenn değerne bağlı olarak değşeblr : X X X Y Grş X X X Kara kutu Çıkış Y X X X Y Grş nöronları X X X Kara kutu Σ 0. t=0.4 Çıkış nöronu Y En az k grş se çıkış, dğer durumlarda çıkış 0 Y = I ( 0. X + 0. X + 0. X 0.4 > 0) I(z)= eğer z>0 0 dğer Yapay Snr Ağları Çok Katmanlı Brbr le bağlantılı nöronlar ve ağırlıklar Çıkış nöronu kendsne gelen grşler ağırlıklı olarak topluyor Çıkış nöronu br eşk değer le karşılaştırılıyor Grş nöronları X X X Kara kutu w w w Σ t Çıkış nöronu Y Grş Katmanı Gzl Katman x x x x 4 x 5 Grş I w w I w I Nöron Aktvasyon S fonksyonu O g(s ) eşk değer, t Çıkış O Y = I( w X t) Y = sgn( w X t) Çıkış Katmanı y Yapay snr ağını öğrenme: ağırlıkları öğrenme

11 Yapay Snr Ağı le Öğrenme Yapay Snr Ağını Oluşturma Yapay snr ağı oluşturma grş versn modelleme gzl katman sayısını, gzl katmanlardak nöron sayısını belrleme Yapay snr ağını eğtme Snr ağını küçültme Sonucu yorumlama Grş nöron sayısı Öğrenme kümesndek verlern ntelk sayısı Gzl nöron sayısı öğrenme sırasında ayarlanır Çıkış nöron sayısı sınıf sayısı 6 6 Yapay Snr Ağını Eğtme Yapay Snr Ağını Küçültme Amaç: Ver kümesndek örneklern hepsn doğru sınıflandıracak ağırlıkları belrlemek ağırlıklara rasgele değerler ata öğrenme kümesndek grş değerlern teker teker snr ağına uygula çıkışı hesapla hata değern hesapla E = [ Y ] f ( w, X ) ağırlıkları hata fonksyonunu enküçültecek şeklde düzelt Tam bağlı ağın anlaşılması çok güç n grş nöron, h gzl nöron, m çıkış nöronu h(m+n) ağırlık Küçültme: ağırlıklardan bazıları sınıflandırma sonucunu etklemeyecek şeklde slnr 6 64 Yapay Snr Ağları Konular Avantajları doğru sınıflandırma oranı genelde yüksek kararlı öğrenme kümesnde hata olduğu durumda da çalışıyor çıkış ayrık, sürekl ya da ayrık veya sürekl değşkenlerden oluşan br vektör olablr Dezavantajları öğrenme süres uzun öğrenlen fonksyonun anlaşılması zor Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları 65 66

12 Ba (İstatstksel) Modelleme Ba Teorem Ba teoremn kullanan statstksel sınıflandırıcı lern hang sınıfa hang olasılıkla at oldukları Naïve Ba sınıflandırıcı ntelklern heps aynı derecede öneml ntelkler brbrnden bağımsız br ntelğn değer başka br ntelk değer hakkında blg çermyor sınıflandırma ve öğrenme problemler X sınıflandırılacak örnek. Hpotez h, X örneğnn C sınıfına at olduğu h hpoteznn sonrasal olasılığı (posteror probablty ) P ( h X ) = X h) h) X ) MAP (maxmum posteror) hpotez h argmax h D) = argmax D h) h). MAP h H h H Çok sayıda olasılığı önceden kestrmek gerekyor Naïve Ba Sınıflandırıcı + X H H)= ) X)= + ) X H)= se + ) C X=(x,x,...x n ) örneğnn C sınıfında olma olasılığı (C X)) nedr? P ( X C ) P ( C ) değern enbüyütme P ( X ) X C )C ) değern enbüyütme P ( h X ) = X h) h) X ) 69 C )= S / S, S : C sınıfına at örneklern sayısı n P ( X C =, x k C )=s k / s ) P ( x k C ) k = Hesaplama malyetn azaltıyor, sadece sınıf dağılımları hesaplanıyor Naïve: ntelkler bağımsız 70 Hava Durumu Vers çn Olasılıklar Outlook Temperature Sunny Overcast 4 0 Mld 4 Rany Cool Sunny /9 /5 /9 /5 Overcast 4/9 0/5 Mld 4/9 /5 Rany /9 /5 Cool /9 /5 Humdty Wndy Play Hgh 4 False rmal 6 True Hgh /9 4/5 False 6/9 /5 9/4 5/4 rmal 6/9 /5 True /9 /5 Outlook Temp Humdty Wndy Play Sunny Hgh False Sunny Hgh True Overcast Hgh False Rany Mld Hgh False Rany Cool rmal False Rany Cool rmal True Overcast Cool rmal True Sunny Mld Hgh False Sunny Cool rmal False Rany Mld rmal False Sunny Mld rmal True Sunny Overcast Rany Sunny Overcast Rany Hava Durumu Vers çn Olasılıklar Outlook 4 /9 4/9 /9 0 /5 0/5 /5 Temperature Mld Cool Mld Cool 4 /9 4/9 /9 /5 /5 /5 Hgh rmal Hgh rmal Outlook Humdty 6 /9 6/9 Temp. 4 4/5 /5 False True False True Humdty Wndy Yen ver Sunny Cool Hgh True? n P ( C X ) = X C ) C ) = xk C ) C ) k = 6 6/9 /9 Wndy /5 /5 Play 9 9/4 Play İk Sınıf çn olasılık: X) = /9 /9 /9 /9 9/4 = X) = /5 /5 4/5 /5 5/4 = rmalze edlmş olasılıklar: ) = / ( ) = 0.05 ) = / ( ) = /4 Overcast Overcast Rany Mld Mld Hgh rmal Hgh True False True 7 7

13 0 0 Sürekl Verler çn Olasılık Vernn rmal dağılımdan geldğ varsayılıyor. Her sınıf-ntelk çft çn br olasılık hesaplanıyor. A c j ) = e πσ j Gelr çn sınıf=- ortalama=0 varyans=975 Gelr = 0 ) = ( A μj ) σ j e π (54.54) Td Ger Ödeme Meden Durum Gelr Evet Bekar 5K - Hayır Evl 00K - Hayır Bekar 70K - 4 Evet Evl 0K - 5 Hayır Boşanmış 95K 6 Hayır Evl 60K - 7 Evet Boşanmış 0K - 8 Hayır Bekar 85K 9 Hayır Evl 75K - 0 Hayır Bekar 90K (0 0) (975) = Dolan dırıcı X=(Ger Ödeme= Hayır,Meden Durum= Evl,Gelr=0k) Ger Ödeme= Evet -)=/7 Ger Ödeme= Hayır -)=4/7 Ger Ödeme= Evet )=0 Ger Ödeme= Hayır )= Meden Durum= Evl -)=4/7 Meden Durum= Bekar -)=/7 Meden Durum= Boşanmış -)=/7 Meden Durum= Evl )=0 Meden Durum= Bekar )=/ Meden Durum= Boşanmış )=/ Gelr: Sınıf=- ortalama=0 varyans=975 Sınıf= ortalama=90 varyans=5 Td Ger Ödeme Meden Durum Gelr Evet Bekar 5K - Hayır Evl 00K - Hayır Bekar 70K - 4 Evet Evl 0K - 5 Hayır Boşanmış 95K 6 Hayır Evl 60K - 7 Evet Boşanmış 0K - 8 Hayır Bekar 85K 9 Hayır Evl 75K - 0 Hayır Bekar 90K Dolan dırıcı 7 74 X=(Ger Ödeme= Hayır,Meden Durum= Evl,Gelr=0k) Ger Ödeme= Evet -)=/7 Ger Ödeme= Hayır -)=4/7 Ger Ödeme= Evet )=0 Ger Ödeme= Hayır )= Meden Durum= Evl -)=4/7 Meden Durum= Bekar -)=/7 Meden Durum= Boşanmış -)=/7 Meden Durum= Evl )=0 Meden Durum= Bekar )=/ Meden Durum= Boşanmış )=/ Gelr: Sınıf=- ortalama=0 varyans=975 Sınıf= ortalama=90 varyans=5 X Sınıf=-) = Ger Ödeme= Hayır Sınıf=-) Meden Durum= Evl Sınıf=-) Gelr=0K Sınıf=-) = 4/7 4/ = X Sınıf=) = Ger Ödeme= Hayır Sınıf=) Meden Durum= Evl Sınıf=) Gelr=0K Sınıf=) = = 0 X -)-) > X )) - X) > X) => Sınıf = - 75 Olasılığın Sıfır Olması Her sınıfta br ntelğn her değer olmazsa koşullu olasılıklardan br 0 o sınıfa at olma olasılığı 0 Olasılıklar Nc Orgnal : A C) = N Nc + Laplace : A C) = N + k c c k: ntelk sayısı Toplamları olmak zorunda 76 Ba Sınıflandırıcılar Avantajları: gerçeklemes kolay çoğu durumda y sonuçlar Dezavantajları varsayım: sınıf blgs verldğnde ntelkler bağımsız gerçek hayatta değşkenler brbrne bağımlı değşkenler arası lşk modellenemyor Çözüm: Ba ağları Konular Sınıflandırma şlem Sınıflandırma tanımı Sınıflandırma uygulamaları Sınıflandırma yöntemler Karar ağaçları Yapay snr ağları Ba sınıflandırıcılar Ba ağları 77 78

14 Ba Ağları Ntelklern altkümesnn brbr le bağımsız olduğunu varsayıyor Yönlü çevrmsz çzge (drected acyclc graph) ve koşullu olasılık tablolarından oluşur Her değşken A çn br tablo var ntelğn ebeveynlerne olan koşullu olasılıkları Famly Hstory LungCancer Smoker Emphysema LC ~LC (FH, S) (FH, ~S)(~FH, S) (~FH, ~S) X Z Y P düğümler: rasgele değşkenler ayrıtlar: olasılıklı bağlılık X ve Y, Z değşkennn ebeveyn Y, P değşkennn ebeveyn Z ve P arasında bağ yok PostveXRay Ba Ağları Dyspnea LungCancer çn koşullu olasılık tablosu LC= FH=, S= )=0.8 LC= FH=, S= )= Ba Ağlarının Eğtlmes Ağ yapısı ve tüm değşkenler blnyorsa koşullu olasılıklar hesaplanır Ağ yapısı bell ancak bazı değşkenler eksk se ynelemel öğrenme uygulanır gradent descent algortması D. Heckerman. A Tutoral on Learnng wth Baan Networks. In Learnng n Graphcal Models, M. Jordan, ed.. MIT Press, Cambrdge, MA, 999. Also appears as Techncal Report MSR-TR-95-06, Mcrosoft Research, March,