Konular. VERİ MADENCİLİĞİ Temel Sınıflandırma Yöntemleri. Sınıflandırma. Sınıflandırma. Konular. Gözetimli & Gözetimsiz Sınıflandırma

Transkript

1 Konular VERİ MADENCİLİĞİ Temel Sınıflandırma Yöntemler Yrd. Doç. Dr. Şule Gündüz Öğüdücü Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları Sınıflandırma Sınıflandırma (classfcaton) problem: nesnelerden oluşan ver kümes (öğrenme kümes): D={t,t,,t n } her nesne ntelklerden oluşuyor, ntelklerden br sınıf blgs Sınıf ntelğn belrlemek çn dğer ntelkler kullanarak br model bulma Öğrenme kümesnde yer almayan nesneler (sınama kümes) mümkün olan en y şeklde doğru sınıflara atamak sınıflandırma=ayrık değşkenler çn öngörüde (predcton) bulunma Sınıflandırma Amaç: Br ntelğn değern dğer ntelkler kullanarak belrlemek vernn dağılımına göre br model bulunur bulunan model, başarımı belrlendkten sonra ntelğn gelecektek ya da blnmeyen değern tahmn etmek çn kullanılır model başarımı: doğru sınıflandırılmış sınama kümes örneklernn oranı Ver madenclğ uygulamasında: ayrık ntelk değerlern tahmn etmek: sınıflandırma sürekl ntelk değerlern tahmn etmek: öngörü Sınıflandırma: hang topun hang sepete koyulableceğ Öngörü: Topun ağırlığı Gözetml & Gözetmsz Sınıflandırma Konular Gözetml (Supervsed) sınıflandırma = sınıflandırma Sınıfların sayısı ve hang nesnenn hang sınıfta olduğu blnyor. Sınıflandırma şlem Sınıflandırma yöntemler Gözetmsz (Unsupervsed) sınıflandırma = demetleme (clusterng) Hang nesnenn hang sınıfta olduğu blnmyor. Genelde sınıf sayısı blnmyor. Yapay snr ağları 5 6

2 Sınıflandırma Uygulamaları Sınıflandırma çn Ver Hazırlama Kred başvurusu değerlendrme Kred kartı harcamasının sahtekarlık olup olmadığına karar verme Hastalık teşhs Ses tanıma Karakter tanıma Gazete haberlern konularına göre ayırma Kullanıcı davranışları belrleme Ver dönüşümü: Sürekl ntelk değer ayrık hale getrlr rmalzasyon ([-,...,], [0,...,]) Ver temzleme: gürültüyü azaltma gereksz ntelkler slme 7 8 Sınıflandırma İşlem Sınıflandırma şlem üç aşamadan oluşur:. Model oluşturma. Model değerlendrme. Model kullanma Sınıflandırma İşlem: Model Oluşturma. Model Oluşturma: Her nesnenn sınıf etket olarak tanımlanan ntelğnn belrledğ br sınıfta olduğu varsayılır Model oluşturmak çn kullanılan nesnelern oluşturduğu ver kümes öğrenme kümes olarak tanımlanır Model farklı bçmlerde fade edleblr IF THEN ELSE kuralları le le Matematksel formüller le 9 0 Sınıflandırma İşlem: Model Değerlendrme Sınıflandırma İşlem: Model Kullanma. Model Değerlendrme: Modeln başarımı (doğruluğu) sınama kümes örnekler kullanılarak belrlenr Sınıf etket blnen br sınama kümes örneğ model kullanılarak belrlenen sınıf etketyle karşılaştırılır Modeln doğruluğu, doğru sınıflandırılmış sınama kümes örneklernn toplam sınama kümes örneklerne oranı olarak belrlenr Sınama kümes model öğrenrken kullanılmaz. Model kullanma: Model daha önce görülmemş örnekler sınıflandırmak çn kullanılır lern sınıf etketlern tahmn etme Br ntelğn değern tahmn etme

3 0 0 Sınıflandırıcı Başarımını Değerlendrme Td Nt Nt Nt Sınıf Büyük 5K 0 0 Orta 00K 0 0 Küçük 70K 0 Orta 0K Büyük 95K 6 0 Orta 60K 0 7 Büyük 0K Küçük 85K 9 0 Orta 75K Küçük 90K Öğrenme Kümes Td Nt Nt Nt Sınıf 0 Küçük 55K? Orta 80K? Büyük 0K? 0 Küçük 95K? 5 0 Büyük 67K? Sınama Kümes Öğrenme Algortması Öğrenme Uygulama Model Doğru sınıflandırma başarısı Hız model oluşturmak çn gerekl süre sınıflandırma yapmak çn gerekl süre Kararlı olması ver kümesnde gürülltülü ve eksk ntelk değerler olduğu durumlarda da y sonuç vermes Ölçekleneblrlk büyük mktarda ver kümes le çalışablmes Anlaşılablr olması kullanıcı tarafından yorumlanablr olması Kuralların yapısı brbryle örtüşmeyen kurallar Konular Sınıflandırma Yöntemler Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları (decson trees) Yapay snr ağları (artfcal neural networks) (Bayes classfer) İlşk tabanlı sınıflandırıcılar (assocaton-based classfer) k-en yakın komşu yöntem (k- nearest neghbor method) Destek vektör makneler (support vector machnes) Genetk algortmalar (genetc algorthms) Konular Karar Ağaçları Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları Akış dyagramı şeklnde ağaç yapısı Ara düğümler br ntelk sınaması Dallar sınama sonucu Yapraklar sınıflar Nt? Nt? Nt? Nt? Cl Cl Cl Cl Cl Cl Cl Cl Nt? 7 8

4 : Karar Ağacı : Karar Ağacı J. Ross Qunlan ın gelştrdğ ID modelne uyarlanmış: hava tens oynamaya uygun mu? Day Outlook Temperature Humdty Wnd Play ball D Sunny Hot Hgh Weak D Sunny Hot Hgh Strong D Overcast Hot Hgh Weak D Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak sunny humdty? Outlook? overcast yes ran wnd? D0 Ran Mld rmal Weak D Sunny Mld rmal Strong D Overcast Mld Hgh Strong hgh normal strong weak D Overcast Hot rmal Weak D Ran Mld Hgh Strong Hava durumu Vers no yes no yes 9 0 Karar Ağacı Yöntemler Karar Ağacı Oluşturma Karar ağacı oluşturma yöntemler genel olarak k aşamadan oluşur:. ağaç oluşturma en başta bütün öğrenme kümes örnekler kökte seçlen ntelklere bağlı olarak örnek ynelemel olarak bölünüyor. ağaç budama öğrenme kümesndek gürültülü verlerden oluşan ve sınama kümesnde hataya neden olan dalları slme (sınıflandırma başarımını artırır) Ynelemel şlem Cl Nt? ağaç bütün vernn oluşturduğu tek br düğümle başlıyor eğer örnekler heps aynı sınıfa atse düğüm yaprak olarak sonlanıyor ve sınıf etketn alıyor eğer değlse örnekler sınıflara en y bölecek olan ntelk seçlyor şlem sona eryor örneklern heps (çoğunluğu) aynı sınıfa at örnekler bölecek ntelk kalmamış kalan ntelklern değern taşıyan örnek yok ler En İy Bölen Ntelk Hangs? En y Bölme Nasıl Belrlenr? Bölmeden önce: 0 örnek C0 sınıfında 0 örnek C sınıfında C0: 6 C: Own Car? C0: C: 6 C0: C: Car Type? Famly Sports C0: 8 C: 0 Luxury c c 0 C0: C: 7 C0: C: 0... Student ID? C0: C: 0 c C0: 0 C: c 0... C0: 0 C: Greedy yaklaşım çoğunlukla aynı sınıfa at örneklern bulunduğu (homojen) düğümler terch edlr Düğümün kaltesn ölçmek çn br yöntem C0: 5 C: 5 homojen değl kaltes düşük C0: 9 C: homojen kaltes yüksek Hangs daha y?

5 En İy Bölen Ntelk Nasıl Belrlenr? İylk Fonksyonu (Goodness Functon) Farklı algortmalar farklı ylk fonksyonları kullanablr: blg kazancı (nformaton gan): ID, C.5 bütün ntelklern ayrık değerler aldığı varsayılıyor sürekl değşkenlere uygulamak çn değşklk yapılablr gn ndex (IBM IntellgentMner) bütün ntelklern sürekl değerler aldığı varsayılıyor her ntelk çn farklı bölme değerler olduğu varsayılıyor bölme değerlern belrlemek çn başka yöntemlere (demetleme gb) htyaç var ayrık değşkenlere uygulamak çn değşklk yapılablr Blg Kazancı sepettek toplar farklı renklerde belrszlk fazla topların heps aynı renkte se daha belrszlk yok 5 6 Blg / Entrop Entrop p, p,.., p s toplamları olan olasılıklar. Entrop (Entropy) H ( p s, p,..., ps ) = p log( p ) = Entrop rastgelelğ, belrszlğ ve beklenmeyen durumun ortaya çıkma olasılığını gösterr Sınıflandırmada olayın olması beklenen br durum entrop=0 log (p) H(p,-p) örnekler aynı sınıfa atse entrop=0 örnekler sınıflar arasında eşt dağılmışsa entrop= örnekler sınıflar arasında rastgele dağılmışsa 0<entrop< 7 8 Blg Kazancı (ID / C.5) S ver kümesnde örnek: C0 sınıfına at 9, C sınıfına at 5 örnek. Entrop H ( p s, p,..., ps ) = p log( p ) = H(p,p )= - (9/) Log (9/) - (5/) Log (5/) = 0.90 Blg kuramı kavramlarını kullanarak karar ağacı oluşturulur. Sınıflandırma sonucu çn en az sayıda karşılaştırma yapmayı hedefler. Ağaç br ntelğe göre dallandığında entrop ne kadar düşer? A ntelğnn S ver kümesndek blg kazancı Gan( S, A) = Entropy( S) Sv Entropy( S ) S v Values( A) v Values(A), A ntelğnn alableceğ değerler, S v, A=v olduğu durumda S nn altkümes

6 Blg kazancına göre ntelk seçme toplam örnek sayısı s=, k sınıfa ayrılmış s=9(yes), s=5(no) Entropy(S) = - (9/) Log (9/) - (5/) Log (5/) = 0.90 wnd çn: weak=8, strong=6 weak: no=, yes=6 strong: no=, yes= Entropy(S weak ) = - (6/8)*log(6/8) - (/8)*log(/8) = 0.8 Entropy(S strong ) = - (/6)*log(/6) - (/6)*log(/6) =.00 Gan(wnd)= (8/)*0.8 - (6/)*.00 Gan(Outlook) = 0.6 Gan(Humdty) = 0.5 Gan(wnd)=0.08 Gan(Temperature) = 0.09 Day Outlook Temperature Humdty Wnd Play ball D Sunny Hot Hgh Weak D Sunny Hot Hgh Strong D Overcast Hot Hgh Weak D Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak D0 Ran Mld rmal Weak D Sunny Mld rmal Strong D Overcast Mld Hgh Strong D Overcast Hot rmal Weak D Ran Mld Hgh Strong {D,D,D8,D9,D} [ +, - ] sunny Outlook? overcast {D,D7,D,D} [ +,0 - ]? yes? {D,D,...,D} ran {D,D5,D6,D0,D} [ +, - ] S sunny = {D,D,D8,D9,D}, Entropy(S sunny )=0.970 humdty çn: hgh=, normal= hgh: no=, yes=0 normal: no=0, yes= Entropy(S hgh ) = 0 Entropy(S normal ) = 0 Gan(S sunny,humdty)=0.970-(/5)0.0- (/5)0.0=0.970 Day Outlook Temperature Humdty Wnd Play ball D Sunny Hot Hgh Weak D Sunny Hot Hgh Strong D Overcast Hot Hgh Weak D Ran Mld Hgh Weak D5 Ran Cool rmal Weak D6 Ran Cool rmal Strong D7 Overcast Cool rmal Strong D8 Sunny Mld Hgh Weak D9 Sunny Cool rmal Weak D0 Ran Mld rmal Weak D Sunny Mld rmal Strong D Overcast Mld Hgh Strong D Overcast Hot rmal Weak D Ran Mld Hgh Strong Gn Index (IBM IntelgentMner) Ver kümes S çnde n sınıf varsa ve p j C j sınıfının olasılığı se n gn( S) = p j j= Eğer ver kümes S ve S altkümelere bölünüyorsa ve her altkümede sırasıyla N ve N örnek varsa: ( ) N ( ) N gn splt S = gn S + gn( S ) N N C 0 C 6 C C 5 GINI ( S) = j [ p j ] C) = 0/6 = 0 C) = 6/6 = Gn = C) C) = 0 = 0 C) = /6 C) = 5/6 Gn = (/6) (5/6) = 0.78 Gn Index değer en küçük olan ntelk seçlr. C C C) = /6 C) = /6 Gn = (/6) (/6) = 0. Sürekl Ntelkler Bölme Bölmeleme: Statk: En başta bölmelenr Bölmeler eşt genşlk, eşt dernlk veya demetleme yöntem le bulunur. Dnamk: Sürekl ntelk A sıralanır. Brbrn zleyen ancak sınıf etket farklı olan ntelk değerler bulunur. En fazla kazanç sağlayan bölme seçlr. Temperature Play tenns Ağaç Oluşturmada Temel Yaklaşımlar Bölme krter: ağacın br düğümünde karşılaştırma yapılacak ntelğn seçlmes farklı algortmalar farklı ylk fonksyonları kullanablr: blg kazancı, gn ndex,... Dallanma krter: br örneğn hang dala at olduğunu belrleme kye dallanma (gn ndex), çoklu dallanma (blg kazancı) Durma kararı: dallanma şlemnn devam edp etmeyeceğne karar verme Etketleme kuralı: yaprak düğüm en çok örneğ olan sınıfla etketlenyor 5 6 6

7 Ağaç Oluşturma: Parçala ve çöz (dvde and conquer) kökten yapraklara düğümü dallara ayır Greedy algortma her adımda en y çözümü bul: her düğümde dallanmak çn en y ntelğ bul her dal çn algortmayı uygula Algortma: ID Bütün ntelkler ayrık Br düğüm oluştur N: Eğer örneklern heps C sınıfına at se, N düğümü C etketl yaprak Eğer karşılaştırma yapılacak ntelk yoksa N düğümü en çok örneğ olan sınıf En büyük blg kazancı olan ntelğ bölmek çn seç N y seçlen ntelk le etketle ntelğn her A değer çn br dal oluştur S, örneklern hepsnn A değer aldığı dal S boş br yaprak oluşturup en çok örneğ olan sınıfla etketle S boş değl algortmayı S düğümü üzernde ynele Yaprak düğümlere kadar Ayrıntılı blgler: Algortma: C.5 Karar Ağacı Kullanarak Sınıflandırma Kökten yapraklara doğru ağaç oluşturma Blg kazancı yöntemn kullanıyor Bütün ver kümesn bellekte tutuyor Büyük ver kümeler çn uygun değl Doğrudan sınıflandırmak stenlen örneğn ntelkler ağaç boyunca sınanır ulaşılan yaprağın etket sınıf blgsn verr Dolaylı karar ağacı sınıflandırma kurallarına dönüştürülür kökten yaprakların herbrne gden yollar çn ayrı br kural oluşturulur. IF-THEN şeklnde kuralları nsanlar daha kolay anlıyor : IF Outlook= sunny AND humdty= normal THEN play tenns 9 0 Karar Ağacı Kullanarak Sınıflandırma Karar Ağaçlarında Aşırı Öğrenme Avantajları: Karar ağacı oluşturmak zahmetsz Küçük ağaçları yorumlamak kolay Anlaşılablr kurallar oluşturulablr Sürekl ve ayrık ntelk değerler çn kullanılablr Dezavantajları: Sürekl ntelk değerlern tahmn etmekte çok başarılı değl Sınıf sayısı fazla ve öğrenme kümes örnekler sayısı az olduğunda model oluşturma çok başarılı değl Zaman ve yer karmaşıklığı öğrenme kümes örnekler sayısına (q), ntelk sayısına (h) ve oluşan ağacın yapısına bağlı. Ağaç oluşturma karmaşıklığı fazla, ağaç budama karmaşıklığı fazla ağaç oluşturmak çn zaman karmaşıklığı: O(h q logq) Öğrenme kümesndek örneklern azlığı veya gürültülü olması Aşırı öğrenmey engelleyen k yaklaşım şlem erken sona erdrme şlem sona erdrmek çn eşk değer belrlemek gerekyor karar ağacı oluştuktan sonra ağacı küçültme Overfttng 7

8 Aşırı Öğrenme:Gürültülü ler Aşırı Öğrenme: Yetersz Öğrenme Kümes Gürültülü örnekler nedenyle sınıfları ayıran düzlemn bozulması Öğrenme kümesndek örnek sayısının yetersz olması nedenyle sınama kümesndek örneklern yanlış sınıflandırılması Aşırı Öğrenme Genel Hatayı Tahmn Etme Gereğnden fazla karmaşık karar ağaçları aşırı öğrenmeye neden oluyor. Karar ağacının yen örnekler üzerndek başarımını tahmn etmek çn öğrenme kümes örnekler yeterl olmuyor. Hatayı tahmn etmek çn farklı yöntemler gerekl. Yerne koyma (Resubsttuton) Hatası: öğrenme kümes kullanılarak hesaplanan hata (Σ e(t)) Genel (Generalzaton) hata: sınama kümes kullanılarak hesaplanan hata (Σ e (t)) Genel hatayı tahmn etme yöntemler: İymser yaklaşım: e (t) = e(t) Kötümser yaklaşım: Her yaprak düğüm çn: e (t) = (e(t)+0.5) Toplam hata: e (T) = e(t) + N 0.5 (N: yaprak düğüm sayısı) 0 yaprak düğümü olan br karar ağacı, 000 öğrenme kümes örneğnden 0 örneğ yanlış sınıflandırırsa Yerne koyma hatası: 0/000 = % Genel hata: ( )/000 = %.5 Ağaç budama: Genel hatayı tahmn etmek çn geçerleme kümes kullanılır 5 6 Occam s Razor Karar Ağacı Boyutunu Belrleme Genel hatası aynı olan k modelden karmaşıklığı daha az olan seçlmel Karmaşık modellern ver çndek gürültüyü öğrenme htmaller daha fazla Ver kümes öğrenme ve sınama kümes olarak ayrılır Çapraz geçerleme kullanılır. Ver kümesnn tümü ağacı oluşturmak çn kullanılır statstksel br test le (ch-square) düğüm eklemenn ya da ağacı küçültmenn katkısı sınanır MDL (Mnmum Descrpton Length) yöntem kullanılır: kodlama en aza ndrldğnde ağacın büyümes durdurulur 7 8 8

9 Konular Yapay Snr Ağları le Sınıflandırma Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları İnsan beynndek snr hücrelernn şlevn modelleyen br yapı Brbr le bağlantılı katmanlardan oluşur. katmanlar hücrelerden oluşur Katmanlar arasında letm İlet katmanlar arasındak bağın ağırlığına ve her hücrenn değerne bağlı olarak değşeblr 9 50 : X X X Y Grş X X X Kara kutu Çıkış Y X X X Y Grş nöronları X X X Kara kutu Σ 0. t=0. Çıkış nöronu Y En az k grş se çıkış, dğer durumlarda çıkış 0 Y = I ( 0. X + 0. X + 0. X 0. > 0) I(z)= eğer z>0 0 dğer 5 5 Yapay Snr Ağları Çok Katmanlı Brbr le bağlantılı nöronlar ve ağırlıklar Çıkış nöronu kendsne gelen grşler ağırlıklı olarak topluyor Çıkış nöronu br eşk değer le karşılaştırılıyor Grş nöronları X X X Kara kutu w w w Σ t Çıkış nöronu Y Grş Katmanı Gzl Katman x x x x x 5 Grş I w w I w I Nöron Aktvasyon S fonksyonu O g(s ) eşk değer, t Çıkış O Y = I( w X t) Y = sgn( w X t) Çıkış Katmanı y Yapay snr ağını öğrenme: ağırlıkları öğrenme 5 5 9

10 Yapay Snr Ağı le Öğrenme Yapay Snr Ağını Oluşturma Yapay snr ağı oluşturma grş versn modelleme gzl katman sayısını, gzl katmanlardak nöron sayısını belrleme Yapay snr ağını eğtme Snr ağını küçültme Sonucu yorumlama Grş nöron sayısı Öğrenme kümesndek verlern ntelk sayısı Gzl nöron sayısı öğrenme sırasında ayarlanır Çıkış nöron sayısı sınıf sayısı Yapay Snr Ağını Eğtme Yapay Snr Ağını Küçültme Amaç: Ver kümesndek örneklern hepsn doğru sınıflandıracak ağırlıkları belrlemek ağırlıklara rasgele değerler ata öğrenme kümesndek grş değerlern teker teker snr ağına uygula çıkışı hesapla hata değern hesapla E = [ Y ] f ( w, X ) ağırlıkları hata fonksyonunu enküçültecek şeklde düzelt Tam bağlı ağın anlaşılması çok güç n grş nöron, h gzl nöron, m çıkış nöronu h(m+n) ağırlık Küçültme: ağırlıklardan bazıları sınıflandırma sonucunu etklemeyecek şeklde slnr Yapay Snr Ağları Konular Avantajları doğru sınıflandırma oranı genelde yüksek kararlı öğrenme kümesnde hata olduğu durumda da çalışıyor çıkış ayrık, sürekl ya da ayrık veya sürekl değşkenlerden oluşan br vektör olablr Dezavantajları öğrenme süres uzun öğrenlen fonksyonun anlaşılması zor Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları

11 Bayes (İstatstksel) Modelleme Bayes Teorem Bayes teoremn kullanan statstksel sınıflandırıcı lern hang sınıfa hang olasılıkla at oldukları Naïve Bayes sınıflandırıcı ntelklern heps aynı derecede öneml ntelkler brbrnden bağımsız br ntelğn değer başka br ntelk değer hakkında blg çermyor sınıflandırma ve öğrenme problemler X sınıflandırılacak örnek. Hpotez h, X örneğnn C sınıfına at olduğu h hpoteznn sonrasal olasılığı (posteror probablty ) P ( h X ) = X h) h) X ) MAP (maxmum posteror) hpotez h argmax h D) = argmax D h) h). MAP h H h H Çok sayıda olasılığı önceden kestrmek gerekyor 6 6 Naïve Bayes Sınıflandırıcı + X H H)= ) X)= + ) X H)= se + ) C X=(x,x,...x n ) örneğnn C sınıfında olma olasılığı (C X)) nedr? P ( X C ) P ( C ) değern enbüyütme P ( X ) X C )C ) değern enbüyütme P ( h X ) = X h) h) X ) 6 C )= S / S, S : C sınıfına at örneklern sayısı n P ( X C =, x k C )=s k / s ) P ( x k C ) k = Hesaplama malyetn azaltıyor, sadece sınıf dağılımları hesaplanıyor Naïve: ntelkler bağımsız 6 Hava Durumu Vers çn Olasılıklar Outlook Temperature Sunny Hot Overcast 0 Mld Rany Cool Sunny /9 /5 Hot /9 /5 Overcast /9 0/5 Mld /9 /5 Rany /9 /5 Cool /9 /5 Humdty Wndy Play Hgh False rmal 6 True Hgh /9 /5 False 6/9 /5 9/ 5/ rmal 6/9 /5 True /9 /5 Outlook Temp Humdty Wndy Play Sunny Hot Hgh False Sunny Hot Hgh True Overcast Hot Hgh False Rany Mld Hgh False Rany Cool rmal False Rany Cool rmal True Overcast Cool rmal True Sunny Mld Hgh False Sunny Cool rmal False Rany Mld rmal False Sunny Mld rmal True Sunny Overcast Rany Sunny Overcast Rany Outlook Hava Durumu Vers çn Olasılıklar /9 /9 /9 0 /5 0/5 /5 Temperature Hot Mld Cool Hot Mld Cool /9 /9 /9 /5 /5 /5 Hgh rmal Hgh rmal Humdty Outlook Temp. False True False True Humdty Wndy Wndy Yen ver Sunny Cool Hgh True? n P ( C X ) = X C ) C ) = xk C ) C ) k = 6 /9 6/9 /5 /5 6/9 /9 /5 /5 Play 9/ 5/ İk Sınıf çn olasılık: yes X) = /9 /9 /9 /9 9/ = no X) = /5 /5 /5 /5 5/ = rmalze edlmş olasılıklar: yes ) = / ( ) = 0.05 no ) = / ( ) = Play 5 Overcast Overcast Rany Mld Hot Mld Hgh rmal Hgh True False True 65 66

12 j j 0 0 Sürekl Verler çn Olasılık Vernn normal dağılımdan geldğ varsayılıyor. Her sınıf-ntelk çft çn br olasılık hesaplanıyor. ( A ) μ σ P ( A c ) = e j πσ Gelr çn sınıf=- ortalama=0 varyans=975 Gelr = 0 ) = j e π (5.5) Td Ger Ödeme Meden Durum Gelr Evet Bekar 5K - Hayır Evl 00K - Hayır Bekar 70K - Evet Evl 0K - 5 Hayır Boşanmış 95K 6 Hayır Evl 60K - 7 Evet Boşanmış 0K - 8 Hayır Bekar 85K 9 Hayır Evl 75K - 0 Hayır Bekar 90K (0 0) (975) = Dolan dırıcı X=(Ger Ödeme= Hayır,Meden Durum= Evl,Gelr=0k) Ger Ödeme= Evet -)=/7 Ger Ödeme= Hayır -)=/7 Ger Ödeme= Evet )=0 Ger Ödeme= Hayır )= Meden Durum= Evl -)=/7 Meden Durum= Bekar -)=/7 Meden Durum= Boşanmış -)=/7 Meden Durum= Evl )=0 Meden Durum= Bekar )=/ Meden Durum= Boşanmış )=/ Gelr: Sınıf=- ortalama=0 varyans=975 Sınıf= ortalama=90 varyans=5 Td Ger Ödeme Meden Durum Gelr Evet Bekar 5K - Hayır Evl 00K - Hayır Bekar 70K - Evet Evl 0K - 5 Hayır Boşanmış 95K 6 Hayır Evl 60K - 7 Evet Boşanmış 0K - 8 Hayır Bekar 85K 9 Hayır Evl 75K - 0 Hayır Bekar 90K Dolan dırıcı X=(Ger Ödeme= Hayır,Meden Durum= Evl,Gelr=0k) Ger Ödeme= Evet -)=/7 Ger Ödeme= Hayır -)=/7 Ger Ödeme= Evet )=0 Ger Ödeme= Hayır )= Meden Durum= Evl -)=/7 Meden Durum= Bekar -)=/7 Meden Durum= Boşanmış -)=/7 Meden Durum= Evl )=0 Meden Durum= Bekar )=/ Meden Durum= Boşanmış )=/ Gelr: Sınıf=- ortalama=0 varyans=975 Sınıf= ortalama=90 varyans=5 X Sınıf=-) = Ger Ödeme= Hayır Sınıf=-) Meden Durum= Evl Sınıf=-) Gelr=0K Sınıf=-) = /7 / = 0.00 X Sınıf=) = Ger Ödeme= Hayır Sınıf=) Meden Durum= Evl Sınıf=) Gelr=0K Sınıf=) = = 0 X -)-) > X )) - X) > X) => Sınıf = - 69 Olasılığın Sıfır Olması Her sınıfta br ntelğn her değer olmazsa koşullu olasılıklardan br 0 o sınıfa at olma olasılığı 0 Olasılıklar Nc Orgnal : A C) = N Nc + Laplace: A C) = N + c c c c: sınıf sayısı Toplamları olmak zorunda 70 Bayes Sınıflandırıcılar Avantajları: gerçeklemes kolay çoğu durumda y sonuçlar Dezavantajları varsayım: sınıf blgs verldğnde ntelkler bağımsız gerçek hayatta değşkenler brbrne bağımlı değşkenler arası lşk modellenemyor Çözüm: Konular Sınıflandırma şlem Sınıflandırma yöntemler Yapay snr ağları 7 7

13 Bayes Ağları Ntelklern altkümesnn brbr le bağımsız olduğunu varsayıyor Yönlü çevrmsz çzge (drected acyclc graph) ve koşullu olasılık tablolarından oluşur Her değşken A çn br tablo var ntelğn ebeveynlerne olan koşullu olasılıkları Famly Hstory LungCancer Smoker Emphysema LC ~LC (FH, S) (FH, ~S)(~FH, S) (~FH, ~S) X Z Y P düğümler: rasgele değşkenler ayrıtlar: olasılıklı bağlılık X ve Y, Z değşkennn ebeveyn Y, P değşkennn ebeveyn Z ve P arasında bağ yok PostveXRay Bayes Ağları Dyspnea LungCancer çn koşullu olasılık tablosu LC= yes FH= yes, S= yes )=0.8 LC= no FH= no, S= no )= Bayes Ağlarının Eğtlmes Ağ yapısı ve tüm değşkenler blnyorsa koşullu olasılıklar hesaplanır Ağ yapısı bell ancak bazı değşkenler eksk se ynelemel öğrenme uygulanır gradent descent algortması D. Heckerman. A Tutoral on Learnng wth Bayesan Networks. In Learnng n Graphcal Models, M. Jordan, ed.. MIT Press, Cambrdge, MA, 999. Also appears as Techncal Report MSR-TR-95-06, Mcrosoft Research, March,