Makine Öğrenmesi 10. hafta

Transkript

1 Makne Öğrenmes 0. hafta Lagrange Optmzasonu Destek Vektör Maknes (SVM) Karesel (Quadratc) Programlama Optmzason Blmsel term olarak dlmze geçmş olsa da bazen en leme termle karşılık bulur. Matematktek en bast kullanımıla br fonksonun alableceğ en büük ve en küçük değerler metodolok olarak bulablme şlemdr. Yerel mnmum ve maksmumu bulablmek çn blnen en temel öntem fonksonun brnc dereceden türevnn alınmasıdır.

2 Yerel Mnmum-Maksmum erel maksmum f() f f ' 0 erel mnmum 3 Yerel Mnmum-Maksmum Her erel mnmum ve maksmum noktasında brnc dereceden türev sıfırdır fakat türevn sıfır olduğu her nokta erel mnmum vea maksmum olmaablr. Bunun çn knc derece türev ncelenmeldr. Eğer f ''( ) < 0 erel maksmum Eğer f ''( ) > 0 erel mnmum 4

3 Lagrange Optmzasonu Br fonksonun en büük vea en küçük değerlern br kısıta bağlı olarak bulmak gerektğnde ugulanan en temel öntemdr. Lagrange fonksonu optmze edlecek olan amaç (obectve) f() fonksonuna kısıt (constrant) g() termnn br katsaısı oranında eklenmesle hazırlanır. L( ) f ( ) + g( ) 5 Lagrange Optmzasonu Tek değşkenl fonksonlarda erel mn-ma değerlernn bulunmasında olduğu gb Lagrange fonksonunun da bağlı değşkenlere göre türevler sıfıra eştlenerek çözüm aranır. ) 0 ) 0 6 3

4 4 7 Örnek f()5- - denklemnn 4--0 şartını sağlaan mnmum değern bulalım. ( ) 0 4 ) ( 0 ) ( 0 ) ( 4 5 ) ( L L L L 8 Örnek f()5- - denklemnn 4--0 şartını sağlaan mnmum değern bulalım. bulunur ) ( f

5 Destek Vektör Maknes (SVM) Destek Vektör Maknes (support vector machne - SVM) ver sınıflandırırken sınıfların brbrlerne en akın örneklern bularak bu örneklern (k sınıfı aıracak olan) aırıcı üzee dk uzaklıklarını maksmze etme amaçlar. Aırıcı üzen ver kümes üzerndek başarısı değşmeden brçok farklı alternatf olablr. SVM saesnde aırıcı üze her k sınıfa da anı mesafede ve maksmum uzaklıktadır. 9 Destek Vektör Maknes (SVM) Dğer sınıflaıcılar aırıcı üze çn brçok alternatf bulablr. + sınıfı - sınıf w + b 0 0 5

6 Destek Vektör Maknes (SVM) Bunların br kısmı sınıflar arası uzaklığı maksmze edemez. + sınıfı - sınıf w + b 0 Destek Vektör Maknes (SVM) SVM aırıcı üze se her k sınıfa da anı maksmum uzaklıktadır. + sınıfı - sınıf w + b 0 6

7 Destek Vektör Maknes (SVM) + sınıfı - sınıfı d + çn d çn w w + b + + b m m w + b + m d w w w w ( w) ( w + b) f mn w + b w + b 0 w. w L( w ) ( d ( w + b) ) 3 Destek Vektör Maknes (SVM) w. w L( w ) ( d ( w + b) ) Yukarıdak Lagrange denklemnn bazı ver kümeler çn geleneksel çözümü belk de çok kola olablr. Fakat bu denkleme blgsaar destekl br çözüm üreteblmek çn farklı br ol zlenmeldr. 4 7

8 Destek Vektör Maknes (SVM) w ) w ) w ) w b Lagrange denklemnn geleneksel ugulamasına göre ukarıdak üç eştlğ ortak br hesaplamada değerlendrmek gerekmektedr. Bunun erne teork olarak ortak br lşk keşfedlerek çözüm öntemndek üç değşkene bağımlılık bre ndrgeneblr. 5 Destek Vektör Maknes (SVM) Klask çözüm ugulanarak Lagrange denklemn tek değşkene bağımlı hale getrmelz. w ) 0 w w ) 0 b w d bulunur. Bu fadeler Lagrange denklemnde erne azılır. d 0 6 8

9 Destek Vektör Maknes (SVM) Lagrange denklem bu saede tek değşkene bağımlı hale getrlr. w. w L( w ) L( ) ( d ( w + b) ) d d 7 Hartalama Doğrusal olmaan ver kümeler seçlen br çekrdek (kernel) fonksonu le br üst uzaa hartalandıktan sonra doğrusal SVM çözümü ugulanablr. L ( ) dd K( ) 8 9

10 Hartalama En sık kullanılan çekrdek fonksonları doğrusal (lnear) polnom (polnomal) ve RBF fonksonlarıdır. lnear p K( ) ( + ) polnomal ep RBF 9 Karesel (Quadratc) Programlama Tek değşkene bağlı Lagrange denklemn çözmek çn geraılım benzetml tavlama ve EM gb öntemler kullanılablr. Yne de en çok terch edlen çözüm Karesel (Quadratc) Programlamadır. u mn T u Ru T + d u + c Karesel (Quadratk) term 0 0

11 Karesel Programlama Karesel Programlama optmzason teknğn tek değşkenl Lagrange denklemne uarlanırsa; L( ) R D T D X T X ve d d u Karesel Programlama Karesel Programlamanın temel aslında geraılıma benzeen terasonal br aklaşımdır. Rastsal başlangıç değerlern sürekl güncelleerek optmum u matrs bulunmaa çalışılır. Kısıtlar saesnde ger-aılımdak başlangıç değerlerne bağımlılık kaldırılmıştır. u mn T u Ru T + d u + c

12 MATLAB Ugulaması >edt SVM_ornek.m Hazırlanmış olan farklı datasetler üklenerek Destek Vektör Maknes ardımıla sınıflandırılmaktadır. Matlab svmtran ve svmclassf komutlarını kullanarak farklı örnekler apılmalıdır. 3 ÖDEV Karesel Programlama erne ger-aılım teknğn kullanarak herhang br ver kümes üzernde tek değşkenl Lagrange denklemn mnmze eden değerlern bulunuz. 4