Dr. Hidayet Takçı. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

Transkript

1 Besinci Saat Sınıflandırma: Alternatif Teknikler Dr. Hidayet Takçı Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 1

2 Kural tabanlı Sınıflayıcı if then şeklinde ifade edilebilecek kurallarının bir koleksiyonu kullanılarak kayıtlar sınıflandırılır. Kural: (şart) y burada şart; öznitelikler birleşimidir y sınıf etiketidir LHS: kural öncesi veya şart (kuralın sol tarafı) RHS: kural sonrası (kuralın sağ tarafı) Sınıflandırma kurallarına örnekler: (kan tipi=sıcak) (yassı yumurta=evet) Birds (vergiye tabi gelir < 50K) (geri ödeme=yes) hileci=hayır Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 2

3 Kural tabanlı Sınıflayıcı(örnek) Name Blood Type Give Birth Can Fly Live in Water Class human warm yes no no mammals python cold no no no reptiles salmon cold no no yes fishes whale warm yes no yes mammals frog cold no no sometimes amphibians komodo cold no no no reptiles bat warm yes yes no mammals pigeon warm no yes no birds cat warm yes no no mammals leopard shark cold yes no yes fishes turtle cold no no sometimes reptiles penguin warm no no sometimes birds porcupine warm yes no no mammals eel cold no no yes fishes salamander cold no no sometimes amphibians gila monster cold no no no reptiles platypus warm no no no mammals owl warm no yes no birds dolphin warm yes no yes mammals eagle warm no yes no birds R1: (doğurganlık = no) (uçabilme = yes) Birds R2: (doğurganlık = no) (suda yaşama = yes) Fishes R3: (doğurganlık = no) (uçabilme = no) Reptiles (sürüngenler) R4: (suda yaşama = sometimes) Amphibians (hem suda hem dışarıda yaşayanlar) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 3

4 Kural Tabanlı Sınıflayıcının Uygulaması Eğer örneğe ait öznitelikler kuralın şartını sağlıyorsa r kuralı bir x örneğine karşı gelir. R1: (doğurganlık = no) (uçabilme = yes) Birds R2: (doğurganlık = no) (suda yaşama = yes) Fishes R3: (doğurganlık = yes) (kan tipi = warm) Mammals R4: (doğurganlık = no) (uçabilme = no) Reptiles R5: (suda yaşama = sometimes) Amphibians Name Blood Type Give Birth Can Fly Live in Water Class hawk warm no yes no? grizzly bear warm yes no no? R1 kuralı sayesinde atmaca => Bird olarak bulunur R3 kuralı gri ayı => Mammal olarak bulunur Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 4

5 10 Kurala Ayrılan Yer/Zaman ve Doğruluk Bir kuralın kapsamı: Kayıtların bir bölümü kuralın sol tarafını verir Bir kuralın doğruluğu: Kayıtların bir bölümü ise kuralın hem öncesini hem de sonrasını verir Coverage : Single değerlerinin, bütün içindeki oranı Accuracy : single olanlar içinde single=yes olanların oranı Tid Refund Marital Status Taxable Income Class 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes (Status=Single) No Coverage = 40%, Accuracy = 50% Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 5

6 Kural Tabanlı Sınıflayıcı Nasıl Çalışır? R1: (doğurganlık = no) (uçabilme = yes) Birds R2: (doğurganlık = no) (suda yaşama = yes) Fishes R3: (doğurganlık = yes) (kan tipi = warm) Mammals R4: (doğurganlık = no) (uçabilme = no) Reptiles R5: (suda yaşama = sometimes) Amphibians Name Blood Type Give Birth Can Fly Live in Water Class lemur warm yes no no? turtle cold no no sometimes? dogfish shark cold yes no yes? Bir lemur (maymun) 3. kuralı tetikler, böylece o mammals olarak sınıflandırılır Bir kaplumbağa hem 4. kuralı hem de 5. kuralı tetikler Bir köpek balığı kuralların hiçbirini tetiklemez Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 6

7 Kural Tabanlı Sınıflayıcının Karakteristikleri Karşılıklı özel kurallar Eğer kurallar birbirinden bağımsız ise sınıflayıcı karşılıklı özel kurallar içerir Her bir kayıt en fazla bir kural tarafından kapsanır Ayrıntılı kurallar Eğer sınıflayıcı öznitelik değerlerinin olası bütün kombinasyonları için hesaplama yaparsa sınıflayıcının ayrıntılı kuralları vardır Her bir kayıt en az bir kural tarafından kapsanır Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 7

8 Karar Ağaçlarından Kurallara Classification Rules Yes NO Refund {Single, Divorced} Taxable Income No Marital Status < 80K > 80K {Married} NO (Refund=Yes) ==> No (Refund=No, Marital Status={Single,Divorced}, Taxable Income<80K) ==> No (Refund=No, Marital Status={Single,Divorced}, Taxable Income>80K) ==> Yes (Refund=No, Marital Status={Married}) ==> No NO YES Kurallar karşılıklı olarak özel ve ayrıntılıdır Kural kümesi ağaç kadar fazla bilgi içerir Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 8

9 10 Kurallar Basitleştirilebilir Yes NO NO Refund {Single, Divorced} Taxable Income No Marital Status < 80K > 80K YES {Married} NO Tid Refund Marital Status Taxable Income 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Cheat 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Başlangıç Kuralı : (Refund=No) (Status=Married) No Basitleştirilmiş Kural : (Status=Married) No Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/2008 9

10 Sıralı Kural Kümesi Kurallar önceliklerine bağlı olarak düzenlenmiş sıradadır Bir sıralı kural kümesi karar listesi olarak bilinir Bir test kaydı sınıflayıcıya sunulduğunda O kayıt, en yüksek sıra değerini veren tetiklenmiş kuralın sınıf etiketine atanır Eğer kuralların hiç biri tetiklenmiyorsa o kayıt geçerli sınıfa atanır. R1: (doğurganlık = no) (uçabilme = yes) Birds R2: (doğurganlık = no) (suda yaşam = yes) Fishes R3: (doğurganlık = yes) (kan tipi = warm) Mammals R4: (doğurganlık = no) (uçabilme = no) Reptiles R5: (suda yaşam = sometimes) Amphibians Name Blood Type Give Birth Can Fly Live in Water Class turtle cold no no sometimes? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

11 Kural Sırası Şemaları Kural tabanlı sıralama Bireysel kurallar onların kalitesine dayalı olarak sıralıdır Kural kalitesi önemli olduğu için sınıf sırası {No,No,Yes,No} Sınıf tabanlı sıralama Aynı sınıfa ait kurallar birlikte meydana gelir Sınıf bilgisi önemli olduğu için sınıf sırası {No,No,No,Yes} Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

12 Sınıflandırma Kuralları İnşası Doğrudan Metot: Kurallar doğrudan veriden çıkarılır Örnek: RIPPER, CN2, Holte s 1R Dolaylı Metot: Kurallar diğer sınıflandırma modellerinden çıkarılır (örnek: karar ağaçları, yapay sinir ağları v.s.) Örnek: C4.5 kuralları Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

13 Kural Genişlemesi İki genel strateji Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

14 Kural Budama ve Durma Kriteri Durma kriteri Bilgi kazancı hesap edilir Eğer bilgi kazancı önemli değilse yeni kural devre dışı bırakılır Kural budama Azaltılmış hata budama: Kuraldaki kümelerden birini sil Budama öncesi ve sonrası doğrulama kümesindeki hata oranını karşılaştır Eğer hata artıyorsa kümeyi buda Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

15 Kural Tabanlı Sınıflayıcıların Avantajları Karar ağaçları kadar anlaşılırdır Yorumlama kolaydır Genelleştirme kolaydır Yeni örnekler hızlıca sınıflanabilir Karar ağaçları ile karşılaştırma mümkündür Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

16 Örnek Tabanlı Sınıflayıcılar Set of Stored Cases Atr1... AtrN Class A B B C A C B Eğitim kayıtlarını depola Önceden görülmeyen olayların sınıfını tahmin için eğitim kayıtlarını kullan Unseen Case Atr1... AtrN Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

17 Örnek Tabanlı Sınıflayıcılar Örnekler: Ezber-öğrenici Ezberler eğitim verisine girer ve eğitim örneklerinden mükemmel şekilde eşleşen biri ile sınıflandırma yerine getirilir. En yakın komşu Sınıflandırmayı yerine getirmek için k adet en kapalı nokta (en yakın komşular) kullanılır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

18 En yakın Komşu Sınıflayıcılar Temel fikir: Eğer bilinmeyen bir canlı, bir ördeğe benzer şekilde hareket eder ve sesi de ördeğinkine benzerse onun ördek olma ihtimali vardır. Uzaklığı hesap et Test kaydı Eğitim kayıtları En yakın komşulardan k tanesini seç Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

19 En yakın Komşu Sınıflayıcılar Unknown record Üç şeye ihtiyaç vardır: Kaydedilmiş veriler Kayıtlar arasındaki mesafeyi ölçme için bir uzaklık ölçümü k değeri, alınıp getirilecek komşuların adedi Bilinmeyen bir kaydı sınıflandırmak için : Diğer eğitim kayıtlarına uzaklık hesaplanır k tane en yakın komşu belirlenir Bilinmeyen kaydın sınıfını belirlemek için en yakın komşuların sınıf etiketleri kullanılır Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

20 En yakın Komşu Tanımı X X X (a) 1-nearest neighbor (b) 2-nearest neighbor (c) 3-nearest neighbor Bir x kaydının k-en yakın komşusu; x değerine en küçük mesafede yer alan k tane veri noktasıdır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

21 1 en yakın komşu (k=1) Voronoi Diyagram Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

22 En yakın Komşu Sınıflandırması İki nokta arasındaki mesafe hesabı: Öklidyen uzaklık d( p, q) = i ( p q i i ) 2 En yakın komşu listesinden sınıfı belirle k-en yakın komşu arasından çoğunluk oylaması yoluyla sınıf etiketini al Mesafeye göre oylara ağırlık ver ağırlık faktörü, w = 1/d 2 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

23 En yakın Komşu Sınıflandırması k değerinin seçimi: Eğer k çok küçük ise gürültülü noktalara karşı duyarlı olmak lazım Eğer k çok büyük ise, komşuluk diğer sınıflardan noktaları içerebilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

24 En yakın Komşu Sınıflandırması Ölçekleme konuları Özniteliklerden birisi tarafından diğerlerinin pasif bırakılmaması için özniteliklerde ölçek uygulamak gerekebilir. Örnek: bir kişinin boyu genellikle 1.50 metre ile 1.90 metre arasında değerler alır ağırlık 40 kg ile 100 kg arasında değerler alır bir kişinin geliri ise yıllık dolar ile 1 milyon dolar arasında değişebilir Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

25 En yakın Komşu Sınıflandırması Ökllidyen ölçümü ile ilgili problem: Yüksek boyutlu veri boyutların aşırı fazlalığı Sezgisel sonuçlar elde edilebilir vs d = d = Çözüm: birim boyut ile vektörler normalize edilir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

26 En yakın Komşu Sınıflandırması k-nn sınıflayıcılar tembel öğrencilerdir Modeller belirgin olarak inşa edilemez Kural tabanlı sistemler ve karar ağacı tümevarımı gibi istekli öğrenici değildir Bilinmeyen kayıtların sınıflandırılması bağıl olarak maliyetlidir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

27 Örnek: PEBLS PEBLS: paralel örnekleyici tabanlı öğrenim sistemi (Cost & Salzberg) Sürekli ve nominal özelliklerin her ikisi ile birden çalışır nominal özellikler için, iki nominal değer arasındaki mesafe düzeltilmiş değer fark ölçümü ile hesaplanır (MVDM) Her bir kayıt bir ağırlık faktörüne eşlenir En yakın komşuların sayısı, k = 1 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

28 1 0 Örnek: PEBLS Class Yes Tid Refund Marital Status Single 2 Marital Status Married 0 Taxable Income 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Divorced 1 Cheat 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Class Yes Nomimal öznitelik değerleri arasındaki mesafe : d(single,married) = 2/4 0/4 + 2/4 4/4 = 1 d(single,divorced) = 2/4 1/2 + 2/4 1/2 = 0 d(married,divorced) = 0/4 1/2 + 4/4 1/2 = 1 d(refund=yes,refund=no) = 0/3 3/7 + 3/3 4/7 = 6/7 Yes 0 Refund No 3 d ( V1, V2 ) = n 1i n i 1 n n 2i 2 No No 3 4 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

29 10 Örnek: PEBLS Tid Refund Marital Status Taxable Income Cheat X Yes Single 125K No Y No Married 100K No X ve Y kayıtları arasındaki mesafe: where: ( X w X =, Y ) = w X w Y d i= 1 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/ d ( X i, Y Number of times X is used for prediction Number of times X predicts correctly w X 1 eğer X genellikle doğru tahmin sonuçları veriyorsa w X > 1 eğer X tahmin için güvenilir sonuçlar vermiyorsa i 2 )

30 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/ Bayes Sınıflayıcı Sınıflandırma problemlerini çözmek için bir olasılık tabanlı bir çerçeve. Şartlı olasılık: Bayes teoremi: ) ( ) ( ) ( ) ( A P C P C A P A C P = ) ( ), ( ) ( ) ( ), ( ) ( C P A C P C A P A P A C P A C P = =

31 Bayes Teoreminin Örneği Veriler: Bir doktor, menenjit hastalığına yakalanan hastaların % 50 sinde boyun tutulması meydana geldiğini biliyor. Herhangi bir hastanın menenjit olma olasılığı ise bütün hastalar içinde 1/50,000 Herhangi bir hastanın boyun tutulması hastalığına sahip olma olasılığı 1/20 Eğer bir hasta boyun tutulması ise onun menenjit olma olasılığı nedir? P( S M ) P( M ) 0.5 1/ P( M S) = = = P( S) 1/ Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

32 Bayesian Sınıflayıcılar Her bir öznitelik ve sınıf etiketinin rasgele değişkenler olduğunu varsayalım, Verilen bir kayıt için öznitelikler (A 1, A 2,,A n ) olsun Hedef C sınıfını tahmin etmek. Özellikle, biz P(C A 1, A 2,,A n ) değerini maksimize edecek değeri bulmak istiyoruz. Doğrudan veriden P(C A 1, A 2,,A n ) değerini tahmin edebilir miyiz? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

33 Bayesian Sınıflayıcılar Yaklaşım: Bayes teoremi kullanarak C nin bütün değerleri için P(C A 1, A 2,, A n ) öncel olasılıkları hesap edilir. P ( C A 1 A 2 Κ A ) = n P ( A A Κ 1 2 P ( A A C ) P ( C ) n A Κ A ) P(C A 1, A 2,, A n ) değerini maksimize edecek C değerini seçilir. Karşılık olarak P(A 1, A 2,, A n C) P(C) değerini maksimize edecek C değerini seçin. 1 2 n Nasıl P(A 1, A 2,, A n C ) değerini tahmin ederiz? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

34 Naïve Bayes Sınıflayıcı Sınıf verildiğinde A i öznitelikleri arasında bağımsızlık olduğunu varsayalım: P(A 1, A 2,, A n C) = P(A 1 C j ) P(A 2 C j ) P(A n C j ) Bütün A i ve C j değerleri için P(A i C j ) değerlerini hesap edebilir miyiz. Eğer P(C j ) Π P(A i C j ) çarpımları maksimum ise yeni nokta C j sınıfına atanır. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

35 10 Veriden Olasılıkları Nasıl Tahmin Ederiz? categorica l Tid Refund Marital Status categorica l Taxable Income continuous 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Evade 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes class Sınıf: P(C) = N c /N Örnek, P(No) = 7/10, P(Yes) = 3/10 Ayrık öznitelikler için: P(A i C k ) = A ik / N c A ik, C k sınıfı ve A i özniteliğine sahip örneklerin adedidir. Örnekler: P(Status=Married No) = 4/7 P(Refund=Yes Yes)=0 k Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

36 Veriden Olasılıkları Nasıl Tahmin Ederiz? Sürekli öznitelikler için: Aralık kutulara ayrıklaştırılır her bir kutu için bir sıralı öznitelik kullanılır İki yollu bölünme: (A < v) veya (A > v) sadece iki bölünmeden birisi yeni öznitelik için seçilir. Olasılık yoğunluk tahmini: Bir normal dağılımı takip eden öznitelik varsayalım Dağılımın parametrelerini tahmin için veri kullanılır (örnek, ortalama ve standart sapma) önce olasılık dağılımı bilinir, bu bilgiyi şartlı olasılığı tahmin için kullanabilir miyiz? P(A i c) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

37 1 0 Veriden Olasılıkları Nasıl Tahmin Ederiz? categorical Tid Refund Marital Status categorica l Taxable Income continuous 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Evade 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes P( Income = 120 No) class = Normal dağılım: P( A Her bir (A i,c i ) çifti için bir tane (Income, Class=No) için: Eğer sınıf=no 1 2 2πσ örnek ortalaması = 110 örnek varyansı = 2975 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/ i c 1 2π (54.54) j ) e = ( ) 2 ( 2975) 2 = ij e ( A i µ ) 2σ ij 2 ij 2

38 Naïve Bayes Sınıflayıcı için Örnek Verilen bir test kaydı: X = ( Refund = No,Married,Income = 120K) naive Bayes Classifier: P(Refund=Yes No) = 3/7 P(Refund=No No) = 4/7 P(Refund=Yes Yes) = 0 P(Refund=No Yes) = 1 P(Marital Status=Single No) = 2/7 P(Marital Status=Divorced No)=1/7 P(Marital Status=Married No) = 4/7 P(Marital Status=Single Yes) = 2/7 P(Marital Status=Divorced Yes)=1/7 P(Marital Status=Married Yes) = 0 For taxable income: If class=no: sample mean=110 sample variance=2975 If class=yes: sample mean=90 sample variance=25 P(X Class=No) = P(Refund=No Class=No) P(Married Class=No) P(Income=120K Class=No) = 4/7 4/ = P(X Class=Yes) = P(Refund=No Class=Yes) P(Married Class=Yes) P(Income=120K Class=Yes) = = 0 P(X No)P(No) > P(X Yes)P(Yes) O yüzden P(No X) > P(Yes X) => Class = No Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

39 Naïve Bayes Sınıflayıcının Örneği Name Give Birth Can Fly Live in Water Have Legs Class human yes no no yes mammals python no no no no non-mammals salmon no no yes no non-mammals whale yes no yes no mammals frog no no sometimes yes non-mammals komodo no no no yes non-mammals bat yes yes no yes mammals pigeon no yes no yes non-mammals cat yes no no yes mammals leopard shark yes no yes no non-mammals turtle no no sometimes yes non-mammals penguin no no sometimes yes non-mammals porcupine yes no no yes mammals eel no no yes no non-mammals salamander no no sometimes yes non-mammals gila monster no no no yes non-mammals platypus no no no yes mammals owl no yes no yes non-mammals dolphin yes no yes no mammals eagle no yes no yes non-mammals A: öznitelikler M: memeliler N: memeli olmayanlar P( A M ) = = P( A N) = = P( A M ) P( M ) = 0.06 = P( A N) P( N ) = = Give Birth Can Fly Live in Water Have Legs Class yes no yes no? P(A M)P(M) > P(A N)P(N) => Memeliler Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

40 Yapay Sinir Ağları (ANN) X 1 X 2 X 3 Y Eğer üç girişten en az ikisi 1 değerine eşit ise Y çıkışı 1 değerine eşit olur. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

41 Yapay Sinir Ağları (ANN) X 1 X 2 X 3 Y Y = I ( 0.3 X X X > 0) 1 if z is true where I ( z) = 0 otherwise Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

42 Yapay Sinir Ağları (ANN) Model; bağlı düğümler ve ağırlık ile yüklenmiş bağlantıların bir toplamıdır Çıkış düğümü, onun giriş bağlantı ağırlıklarına bağlı olarak giriş değerlerinin her birini toplar. Perceptron Model Çıkış düğümü bazı eşik (t) değerleri ile karşılaştırılır Y Y = I( wi X i t) i = sign( wi X i t) i veya Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

43 Yapay Sinir Ağlarının Genel Yapısı ANN eğitimi nöron ağırlıklarının öğrenilmesi manasına gelir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

44 ANN Öğrenimi için Algoritma Ağırlıklara başlangıç değerleri ver (w 0, w 1,, w k ) Çıkışı; eğitim örneklerinin sınıf etiketleriyle uyumlu ANN nin ağırlıklarını ayarla. Amaç fonksiyonu: = Yukarıdaki amaç fonksiyonunu minimize edecek ağırlıkları (w i ) bul. E örnek, backpropagation algoritması i [ Y f ( w, X )] 2 i i i Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

45 Destek Vektör Makineleri Veriyi ayıracak doğrusal bir hiper düzlem bul (karar sınırı) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

46 Destek Vektör Makineleri Bir olası çözüm Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

47 Destek Vektör Makineleri Diğer bir olası çözüm Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

48 Destek Vektör Makineleri Diğer olası çözümler Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

49 Destek Vektör Makineleri Hangisi daha iyidir? B1 veya B2? Daha iyi nasıl tanımlanabilir? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

50 Destek Vektör Makineleri Margin değerini maksimize edecek hiper düzlemi bul => B1, B2 den daha iyidir. Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

51 Destek Vektör Makineleri w ρ x ρ + b = 0 w ρ x ρ + b = 1 w ρ x ρ + b = + 1 ρ ρ ρ 1 if w x + b 1 ( x ) = ρ ρ 1 if w x + b 1 2 Margin = w ρ f 2 Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

52 Destek Vektör Makineleri Margin değerini maksimize etmek istiyoruz 2 ρ 2 Margin = 2 w ρ w L( w) = 2 Fakat aşağıdaki kısıtlar geçerlidir: ρ ρ ρ 1 if w x i + b 1 f ( x i ) = ρ ρ 1 if w x i + b 1 bu bir kısıtlanmış optimizasyon problemidir. Problemi çözmek için sayısal yaklaşımlar vardır (örnek, quadratic programlama) Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

53 Destek Vektör Makineleri Eğer doğrusal olarak ayırım mümkün değilse ne yapmak lazımdır? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

54 Destek Vektör Makineleri Eğer doğrusal olarak ayırım mümkün değilse ne yapmak lazımdır? Başka değişkenler kullanırız ρ 2 N w minimizasyon ihtiyacı: = + k L( w) C ξi 2 i= 1 Subject to: f ( ρ x i ) = 1 1 ρ ρ if w x i + b 1 - ξ i ρ ρ if w x + b 1 + ξ i i Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

55 Doğrusal Olmayan Destek Vektör Makineleri Doğrusal olmayan durumlarda karar sınırı nedir? Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/

56 Doğrusal Olmayan Destek Vektör Makineleri Veri daha yüksek boyutlu bir uzaya dönüştürülür Veri Madenciliği Dersi GYTE Dr. Hidayet Takçı 10/05/