DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER, YENİ BİR GÜRBÜZ SINIFLAYICI VE REGRESÖR TASARIMI

Transkript

1 .C. IRA ÜNİVERSİESİ EN BİİMERİ ENSİÜSÜ DESEK VEKÖR MAKİNE ABANI BUANIK SİSEMER, YENİ BİR GÜRBÜZ SINIAYICI VE REGRESÖR ASARIMI Aşegül UÇAR ez Yönetler Pro. Dr. Yaup DEMİR Pro. Dr. Cünet GÜZEİŞ DOKORA EZİ EEKRİK-EEKRONİK MÜHENDİSİĞİ ANA BİİM DAI EAZIĞ, 6

2 .C. IRA UNİVERSİESİ EN BİİMERİ ENSİÜSÜ DESEK VEKÖR MAKİNE ABANI BUANIK SİSEMER, YENİ BİR GÜRBÜZ SINIAYICI VE REGRESÖR ASARIMI Aşegül UÇAR Dotora ez Eletr-Eletron Mühendslğ Ana Bl Dalı Bu tez, 8 Kası 6 tarhnde aşağıda belrtlen ür taraından obrlğ le başarılı olara değerlendrlştr. Danışan: Pro. Dr. Yaup DEMİR Danışan: Pro. Dr. Cünet GÜZEİŞ Üe: Pro. Dr. ert Aar SAVACI Üe: Pro. Dr. Mustaa POYRAZ Üe: Doç. Dr. Erhan AKIN Üe: Yrd. Doç. Dr. Selçu YIDIRIM Bu tezn abulü, en Bller Ensttüsü Yönet Kurulu nun.../.../... tarh... saılı ararıla onalanıştır. ve

3 EŞEKKÜR Önelle Pro. Dr. Cünet Güzelş ve Pro. Dr. Yaup Der e onların denet altında dotora çalışaa ırsat verdler çn teşeür ete storu. ü çalışaları bouna Pro. Dr. Yaup Der n aın lgs, önerler, sabrı ve anlaışı he aade he de sosal açıdan gelşe çn sürel olara ben teşv etştr. Onunla çalışa ırsatını aaladığı çn her zaan ço şanslı olduğuu düşünürü. Son beş ıl bouna uza esaee ve oğun çalışalarına rağen, deste ve öğütlerle her zaan anıda olan Pro. Dr. Cünet Güzelş saesnde aade baış açı değşştr. Dr. Hate Doğan a aın aradaşlığı, tez çalışaları haında önerler ve progralarıı gelştrede atıları çn ço teşeür eder. Eğt haatı bouna ben desteleen alee nnettarı. Aşegül UÇAR

4 ÖZE Dotora ez DESEK VEKÖR MAKİNE ABANI BUANIK SİSEMER, YENİ BİR GÜRBÜZ SINIAYICI VE REGRESÖR ASARIMI Aşegül UÇAR ırat Ünverstes en Bller Ensttüsü Eletr-Eletron Mühendslğ Anabl Dalı 6, Saa: 3 Bu tezde; grş uzaında Deste Vetör Manelere (DVM lere) seçene sınılaııların ve regresörlern tasarıı apılıştır. Bu aaçla, eğ nş önteler ullanılara çözüü apılablen enlee algortaları sunuluştur. Bu çalışada l olara, grş uzaında DVM lerde gb he apısal hata he de denesel hata prensbne daanara arar üzeler üre ve elpsot bçl olan sınılı sınılaıı algortaları önerlştr. Bu algortalar ço sınılı sınılaa problelerne bast olara genşletlştr. Önerlen tü algortaların, gürültü ve aırı verlere arşı gürbüzlüğünü artıra çn, her vere arlı br üel değer atanara en bulanı üre ve elpsot bçl sınılaıılar elde edlştr. İn olara, üre ve elpsot bçl arar üzelernn dışında, Radal abanlı İşlev Ağlarının (RİA ların) vea las br gzl atanlı Yapa Snr Ağlarının (YSA ların) üzeler gb daha araşı arar üzeler ullanılara sınılaa başarıını arttıraı aaçlaan br algorta önerlştr. Önerlen algorta, regreson estr çn de genşletlştr. Üçünü olara, RİA lar ullanılara elde edlen sınılaıı ve regresör orülasonları, çerde ullanılara enden türetlştr. Son olara, bulanı sstelern genellee eteneğn artıra aaıla, DVM nn statsel öğrene algortasına benzer br öğrene algortası sunuluştur. Önerlen tü algortalarda, penaltı paraetres uarlanır seçlere gürültü ve aırı verlere arşı daha az duarlı ola özellğ sağlanıştır. Algortaların, blsel azında brço öntee göre başarıı arlı ver üeler üzernde eğt süres le eğt ve test hataları açısından arşılaştırılıştır. Anahtar Keleler: Deste vetör aneler, bulanı antı, penaltı şlev alaşıı, eğ nş algortaları, sınılaa ve regreson estr.

5 ABSRAC PhD hess SUPPOR VECOR MACHINES BASED UZZY SYSEMS, A NEW CASSIIER AND REGRESSOR DESIGN Aşegül UÇAR rat Unverst Graduate Shool o Natural and Appled Senes Departent o Eletral and Eletrons Engneerng 6, Page: 3 In ths thess, ne lassers and regressors n the nput spae as alternatves to Support Vetor Mahnes are desgned. or ths a, ne optzaton algorths that an be solved usng gradent desent ethods are proposed. rstl, based on the strutural and epral error prnples suh as SVMs, to lass lassaton algorths th spheral and ellpsodal deson suraes are proposed. he lassers are etended spl to ult-lass lassaton. o nrease robustness aganst nose and outlers o all proposed algorths, ne uzz spheral and ellpsodal lassers are onstruted b assgned a ebershp to eah pont. Seondl, b usng ore ople deson suraes suh as that o Radal Bass unton Netor (RBN) or one hdden laer Artal Neural Netors (ANN) eept ro sphere and ellpse deson suraes, an algorth nreasng the lasser perorane s proposed. he algorth s etended to regresson estaton. hrdl, lasser and regressor orulatons obtaned b usng RBN are agan derved b usng ernel untons. nall a slar learnng algorth to statstal learnng algorth o SVM s ntrodued to nrease the generalzaton perorane o uzz odels. In all proposed algorths, penalt paraeter s deterned teratvel. hus less senstvt aganst nose and outler data s aheved. he peroranes aordng to an ethods n the lterature o the algorths are evaluated n ters o tranng te and tranng and testng orretness on derent benhar data sets. Keords: Support vetor ahnes, uzz log, penalt unton approah, gradent desent ethods, lassaton, and regresson estaton.

6 İÇİNDEKİER ABOSU Saa İÇİNDEKİER ŞEKİER İSESİ v ABOAR İSESİ v KUANIAN BAZI ERİMER İSESİ KISAMAAR İSESİ SEMBOER İSESİ ÖZE ABSRAC. GİRİŞ.. ezn Organzasonu 8. GİRİŞ UZAYINDA KÜRE ve EİPSOİ BİÇİMİ AYRIŞIRICI YÜZEYER KUANARAK SINIAMA.. Deste Vetör Manelern Bazı Esller... Küre ve Elpsot Bçl Çerde Kullanara Sınılaa.. Önerlen Küre ve Elpsot Bçl Sınılaııların anıı 5... Mateatsel eel 7... Uarlanır Öğrene Oranlı Eğ İnş Yönte 9... Moentu er İçeren Uarlanır Öğrene Oranlı Eğ İnş Yönte...3. Ölçelenş Eşlen Eğ İnş Yönte...4. Yarı-Neton Yönte.3. Önerlen İ Aşaalı orülason Aşaa-I: Küre Bçl Sınılaıılar Önerlen Küre Bçl Sınılaıılar İçn Çözü Yönte Aşaa-II: Elpsot Bçl sınılaıılar Önerlen Elpsot Bçl Sınılaıılar İçn Çözü Yönte Penaltı Paraetresnn Seç 6.4. Ugulaalar 7.4..Ver Küeler İ Sınılı Sınılaıılar İçn Ugulaalar Önerlen Sınılaııların arlı Yöntelerle Eğtlere Başarıının 9 İnelenes

7 .4.3. Zaba Ççeğ Ver Kües le İ Sınılı Sınılaa Proble CKH, BUPAKB, İonoser, WGK ve GYA Ver Küeler le Sınılaa 39 Proble.5. Ço Sınılı Sınılaa Aşaa-I: Küre Bçl -Sınılı Sınılaıılar Önerlen Küre Bçl -Sınılı Sınılaıılar İçn Çözü Yönte Aşaa-II: Elpsot Bçl -Sınılı Sınılaıılar Önerlen Elpsot Bçl Sınılaıılar İçn Çözü Yönte Ço Sınılı Sınılaa İçn Ugulaalar BUANIK KÜRE ve EİPSOİ BİÇİMİ SINIAYICIAR Önerlen Bulanı Küre ve Elpsot Bçl Sınılaa Problenn anıtıı Aşaa-I: Bulanı Küre Bçl Sınılaıılar Bulanı Küre Bçl Sınılaıılar İçn Çözü Yönte Aşaa-II: Bulanı Elpsot Bçl Sınılaıılar Bulanı Elpsot Bçl Sınılaıılar İçn Çözü Yönte Sınılı Bulanı Küre ve Elpsot Bçl Sınılaıılar Aşaa-I: Küre Bçl -Sınılı Bulanı Sınılaıılar Aşaa-II: Elpsot Bçl -Sınılı Bulanı Sınılaıılar Ugulaalar Yapa Ver Kües le Sınılaa Proble Zaba Ççeğ Ver Kües le İ Sınılı Sınılaa Proble Kanser Ver Küeler le Sınılaa Proble 6 4. RADYA ABANI İŞEVERİ KUANARAK SINIAMA ve 63 REGRESYON KESİRİMİ 4.. Proble anıtıı Rİ Dönüşüü Kullanara Sınılaa Rİ Dönüşüü Kullanara Sınılaa İçn Çözü Yönte Rİ Dönüşüü Kullanara Regreson Kestr Rİ Dönüşüü Kullanara Regreson Kestr İçn Çözü Yönte Ugulaalar WGK, CKH ve İonoser Ver Küeler le Sınılaa Proble İ Sprall ve Dört Sprall Ver Küeler le Sınılaa Proble Sn İşlev le Regreson Kestr ÇEKİRDEK İŞEVERİ KUANARAK SINIAMA ve REGRESYON 78 KESİRİMİ

8 5.. Doğrusal Olara Arıştıra Yapan Sınılaıı İçn Önerlen orülason Önerlen Doğrusal Sınılaıı orülasonunun Çözü Yönte Çerde abanlı Sınılaıılar İçn Önerlen orülason Çerde abanlı Sınılaıılar İçn Önerlen orülasonun Çözü 8 Yönte Sınılı Sınılaa İçn Önerlen Çerde abanlı orülason Regreson Kestr İçn Önerlen Çerde abanlı orülason Regreson Kestr İçn Önerlen Çerde abanlı orülasonun 84 Çözü Yönte 5.5. Ugulaalar CKH, BUPAKB ve İonoser Ver Küeler le Sınılaa Proble Zaba Ççeğ Ver Kües le İ Sınılı Sınılaa Proble YAPISA ve DENEYSE RİSKİ ENAZAYAN BUANIK MODEER Bulanı abanlı Modeller Ele Alınan Bulanı abanlı Modeln Yapısı Regreson Kestr İçn Bulanı abanlı Modellerde Önerlen Öğrene 96 Algortası 6.4. Ugulaalar Sn İşlev le Regreson Kestr Proble Mae-Glass Zaan Sers le Öngörü Proble 7. SONUÇAR KAYNAKAR 6 EK-. İSAİSİKSE ÖĞRENME KURAMI E- E.. Örnelerden Öğrene Kavraı E- E... Denesel Rsn Enazlanası E- E.. Öğrenee else Yalaşı E-3 E.3. eel Nellern anıı E-4 E.3.. Öğrene İşlenn utarlılığı E-4 E.3.. Öğrene İşlenn Yaınsaa Hız Oranı E-5 E.3.3. VC-boutu E-6 E.3.4. Öğrene İşlenn Genellee Yeteneğ E-7 E.3.5. Yapısal Rsn Enazlanası E-8 EK-. DESEK VEKÖR MAKİNEERİ E- E.. DVM lere Grş E- E.. En Ugun Arıştırıı Ço Boutlu Düzle E-

9 E... Doğrusal Olara Arılablen Durular E- E... Doğrusal Olara Arılaaan Durular E-4 E.3. Çerde abanlı DVM ler E-5 E.4. Ço Sınılı DVM ler E-9 E.5. Regreson Kestr İçn DVM ler E- E.6. Ugulaa Notaları E- EK-3. DESEK VEKÖR MAKİNE ÇEŞİERİ E3- E3.. Mangasaran ın Deste Vetör Mane orülasonları E3- E3... Doğrusal Deste Vetör Mane Sınılaıılar E3- E3... DVM, NDVM, DDVM ve NDVM Sınılaıılar E3-4 E3... agrangan Deste Vetör Mane (DVM) Sınılaıılar E3-4 E3... Sonlu Neton agrangan Deste Vetör Mane (NDVM) E3-5 Sınılaıılar E Düzgün Deste Vetör Mane (DDVM) Sınılaıılar E3-6 E Sonlu Neton Deste Vetör Mane (NDVM) Sınılaıılar E3-7 E Yaınsal Deste Vetör Mane (YDVM) Sınılaıılar E3-8 E3.. Joahs n Deste Vetör Mane orülasonu E3- ÖZGEÇMİŞ v

10 ŞEKİER İSESİ Saa Şel. (a) Rİ çerde ve (b) n dereeden polnosal çerde çn öz ntel uzaında esaelere arşı grş uzaında esae. Şel. (a) Dare bçl çerde ve (b) elps bçl çerde çn grş 4 uzaında esaelere arşı öz ntel uzaında esae. Şel.3 sher n zaba ççeğ test üesnn sadee l araterstğne at 6 verlern göster. İl sınıa at verler ıldızlar le dğer sınıa at verler üçgenler le gösterlştr. Şel.4 Dare bçl sınılaıı. 6 Şel.5 Elps bçl sınılaıı. 7 Şel.6 Aşaa-I de önerlen sınılaıının MUÖEİ algortası le eğt 33 başarıı ve arar üzeler. Şel.7 Aşaa-II de önerlen enlee problenn MUÖEİ algortası le 35 eğt başarıı ve arar üzeler. Şel.8 Rİ çerdel DVM sınılaıının arar üzeler. 37 Şel.9 Aşaa-I de önerlen enlee problenn MUÖEİ algortası le 44 eğt başarıı. Şel. Aşaa-II de önerlen enlee problenn MUÖEİ algortası le 45 eğt başarıı. Şel. Aşaa-I de önerlen ço sınılı enlee problenn eğt başarıı ve 5 arar üzeler. Şel. Aşaa-II de önerlen ço sınılı enlee problenn eğt başarıı 5 ve arar üzeler. Şel.3 Aşaa-I de önerlen ço sınılı enlee problenn eğt başarıı ve 5 arar üzeler. Şel.4 Aşaa-II de önerlen ço sınılı enlee problenn eğt başarıı 5 ve arar üzeler. Şel.5 Aşaa-I de önerlen ço sınılı enlee problenn eğt başarıı ve 5 arar üzeler. Şel.6 Aşaa-II de önerlen ço sınılı enlee problenn eğt başarıı 5 ve arar üzeler. Şel 3. Üel şlevlernn elde edles çn erez öntenn geoetr göster. 58 v

11 Şel 3. YV, apa ver ües çn bulanı elpsot bçl sınılaııların 59 sonuçları. Şel 3.3 MUÖEİ algortası le önerlen bulanı sınılaıının eğt başarıının 59 değş. Şel 4. (a) Dört sprall ver ües ve (b) sprall ver ües çn r=57 ve le RİA üze ullanara oluşturulan sınılaııların arar üzeler ve eğt başarıı. Eğt notaları * (br sını ) ve + (dğer sını) le gösterlştr. Şel 4. (a) Dört sprall ver ües ve (b) sprall ver ües çn genel 75 DVM sınılaııların arar üzeler. Eğt notaları * (br sını ) ve + (dğer sını) le gösterlştr. Elde edlen deste vetörler se dare çersne alınıştır. Şel 4.3 (a) r= le RİA üze ullanara oluşturulan regreson estr 77 orülasonunun alaşı sonuçları: ε-duarsız bölges (-.-), gürültülü eğt verlerle elde edlen eğr (-.) ve test verlern ullanara hesaplanan eğr alın düz çzg le gösterlştr, (b) eğt başarıı. Şel 5. (a) İonoser, (b) BUPAKB ve () CKH ver üeler üzernde, önerlen 87 önten atlı eğt başarılarından rasgele alınan br sonuç. Şel 5. Zaba ççeğ versnn (a).sınıı, (b). sınıı ve () 3. sınıı üzernde 9 önerlen çerde tabanlı sınılaııların eğt ve test başarıları Verlen br sınıa at eğt notaları (*) ve test notaları () le gösterlren, dğer sınıa at eğt notaları ( ) ve test notaları se le gösterlştr. Şel 6. Bulanı tabanlı odeln arar vere düzen. 93 Şel 6. Yagın olara ullanılan üç bulanı odel apısı [83]. 94 Şel 6.3 Ele alınan aag-sugeno bulanı tabanlı odel. 95 Şel 6.4 Önerlen bulanı tabanlı odeln öğrene algortası. 97 Şel 6.5 Önerlen bulanı tabanlı sste le regreson estr, (a) eğt sonuçları, eğt verler düz çzg, ε-duarsız bölge esl çzg, hesaplanan eğr alın düz çzg le gösterlştr (b) test sonuçları. Şel 6.6 Blnen bulanı tabanlı sste le regreson estr, (a) eğt sonuçları, eğt verler düz çzg, hesaplanan eğr alın düz çzg le gösterlştr (b) test sonuçları. Şel 6.7 Kaot Mae-Glass zaan sers. v

12 Şel 6.8 (5)~() zaan sersnn benzet sonuçları (a) ε=. ve öbelee algortası ullanara uralla oluşturulan bulanı odeln eğt ve test başarıları, ε-duarsız bölge (:), hesaplanan (-.) ve gerçe değerler düz çzg le gösterlştr. (b) eğt ve öngörü hataları. 3 v

13 ABOAR İSESİ Saa ablo. arlı eğt algortalarının ıaslanası. 3 ablo. arlı eğt algortalarının ıaslanası. 3 ablo. Önerlen sınılaııların eğt başarıının üre bçl ve Rİ 36 çerdel DVM le ıaslanası. ablo.3 Önerlen sınılaııların ve DVM nn atlı eğt ve test doğruluları 38 le eğt sürelernn ıaslanası. ablo.4 Önerlen sınılaııların, arlı eğt algortaları ullanılara elde 4 edlen atlı eğt ve test doğruluları le eğt sürelernn ıaslanası. ablo.5 Önerlen sınılaııların dğer sınılaıılar le atlı eğt ve test 4 doğruluları le eğt sürelernn ıaslanası. ablo.6 Denetaşı ver üeler üzernde BKB, BKD ve önerlen önten 49 ıaslanası. ablo 3. Önerlen sınılaııların atlı eğt ve test doğruluları le eğt 6 sürelernn ıaslanası. ablo 3. Denelerde ullanılan ver üesnn özet 6 ablo 3.3 Kanser ver üeler çn önerlen sınılaıının ve DVM nn 6 doğrulularının ıaslanası. ablo 4. RİA üze ullanara oluşturulan sınılaııların ve DVM 7 sınılaııların denetaşı ver üeler üzernde başarıları. ablo 4. RİA üze ullanara oluşturulan sınılaııların, DVM sınılaııların 7 ve RİA sınılaııların denetaşı ver üeler üzernde başarıları. ablo 5. Önerlen çerde tabanlı sınılaıı le NDVM, DVMlght ve 86 DVM nn atlı eğt ve test doğruluları le eğt sürelernn ıaslanası. ablo 5. Zaba ççeğ ver ües üzernde önerlen çerde tabanlı sınılaıı 88 le DVM nn atlı eğt ve test doğruluları le eğt sürelernn ıaslanası. ablo 6. Önerlen bulanı odeln sn şlev üzernde eğt ve test başarıı. ablo 6. Mae-Glass zaan sersnn son 3 versnn öngörüü proble üzernde, arlı öntelern başarılarının ıaslanası. v

14 KUANIAN BAZI ERİMER İSESİ terature Margn Kernel eature spae Hperplane Mnzaton Mazaton Optzaton Optal Support vetor Epral error Robust Clusterng Global Blsel azın Pa Çerde Özntel uzaı Ço boutlu düzle Enazlaa Ençolaa Enlee En ugun Deste vetör Denesel (apr) hata Gürbüz Öbelee üel

15 KISAMAAR İSESİ Deste Vetör Mane Vapn-Chervonens boutu Radal abanlı İşlev Radal abanlı İşlev Ağları Yapa Snr Ağları Genel Eğ İnş Uarlanır Öğrene Oranlı Eğ İnş Moentu terl Uarlanır Öğrene Oranlı Eğ İnş Eşlen Eğ İnş Ölçelenş Eğ İnş Ortalaa Karesel Hatanın Kareöü Yarı-Neton önte Bre Karşı Br önte Bre Karşı Dğerler önte agrangan Deste Vetör Mane Sonlu Neton agrangan Deste Vetör Mane Düzgün Deste Vetör Mane Sonlu Neton Deste Vetör Mane Yaınsal Neton Deste Vetör Mane Küre Çerdel Deste Vetör Mane Bulanı Deste Vetör Mane -En aın Koşulu algortası İstatsel Öğrene tabanlı Bulanı Modeller Bulanı Elpsot bçl Sınılaıılar Genel Elpsot bçl Sınılaıılar Karush-Kuhn-uer teore DVM VC boutu Rİ RİA YSA GEİ UÖEİ MUÖEİ EEİ ÖEİ OKHK YN önte BKB önte BKD önte DVM NDVM DDVM NDVM YDVM KÇDVM BDVM -EK algortası İÖBM BES GES KK teore

16 SEMBOER İSESİ R A (.) (.) Grş vetörü Etet vetörü Yarıçap Merez vetörü ers ovarans atrs Penaltı paraetres Aaç ölçütü Kaıp şlev (.) Karar şlev M (.) b K (.) C H s Eğt ver saısı Sını saısı Gauss şlevnn genşlğ Yapa hata değşen Pa agrangan şlev Gerçel ağırlı vetörü Ornden aılı oranı agrange çarpanı Çerde atrs Özntel uzaına dönüşü şlev DVM çn düzenlleştre sabt Duarsız bölgenn genşlğ Öğrene oranı Graden atrs Hessan atrs Bulanı üel değer Ölçelenş ağırlılar

17 . GİRİŞ Ölçü verlerne ugun odellern urulası, etetl vea etetsz verlern arşı düştüğü sınıların belrlenes ve örne verlere, seçlen br uzada, en uan şaretn vea şlevn belrlenes; örüntü tanıa, şaret şlee ve ontrol gb brço alanın en teel problelerdr. Belrtlen probleler, verlerle tanılı br bağıntıa bç blnen vea öğrenlen br şlevn paraetrelernn belrlenes olula alaşılası problene dönüştürüleblr. İstatstsel önteler, şaret dönüşü önteler, Yapa Snr Ağlarına (YSA lara) daalı önteler, bulanı antığa daalı önteler arlı türden bağıntılar sağlarlar. Bu tezde nelenen Deste Vetör Maneler (DVM ler), var olan öntelere etn seçeneler sunan ve günüüzde apı, tasarı ve ugulaa açılarından sürel gelş çnde olan doğrusal olaan ebr odellerdr. DVM ler apısal olara, düşü boutlu br grş uzaından alınan vetörler, üse boutlu br dğer uzaa doğrusal olaan br bçde taşıan br dönüşüdür. Dönüşüü gerçeleen ane, sste a da ağ, dönüşüü belrleen br çerde le tanılanır. Sınılaa problelernde, eter adar üse boutlu uzaa taşınan vetörler doğrusal arıştırılablr durua gelr. En ugun doğrusal arıştırıı, arıştıran düzleler arasından sınılara uzalığı en ço olanıdır. Pa olara adlandırılan en aın uzalı; üzee en aın olan vetörlern belrlenes le bulunur. DVM e de adını veren ve deste vetörler olara adlandırılan bu vetörler, arıştıran düzle belrler ve DVM lern tasarıı çn etn br ol sunarlar. eeller statstsel öğrene uraına daanan DVM ler, örüntü tanıa ve regreson problelernn çözüünde sağla ve etn br önte olara ullanılata ve brço ugulaa alanında üt veren br önte olara duratadır [5]. Örüntü tanıa alanının gelenesel önteler, eğt ües üzernde başarıın ençolanasına ve bölee denesel rsn enazlanasına daanırlar. DVM ler denesel ve apısal rslern sn de enazlaaa şelde eğtlrler. DVM lern tasarıında genellee hatası çn verlen br üst sınır enazlanır. Yagın ullanı bulan ve etn br önte sunan DVM lern, apısal olara gelştrle süre deva etete ve artan br eğlle en ugulaa alanlarında denenetedr. DVM lern ugulanasında, aşağıda belrtlen dolaısıla gelştrles gereen 5 zaı an bulunatadır. Brns, DVM lern asıl olara gelştrldler sınılı problelern [, ], ço sınılı problelere etn olara genşletlesdr. Br sınıa arşı dğer sını, br sınıa arşı dğer sınılar ve önlendrlş çevrsz çzge DVM ler bu önde genşletelere örne olara verleblr [46, 65, 76]. DVM lern ço sınılı sınılaa başarıını arttıra çn,

18 önelle l sınılaa apan DVM lern başarıını arttıra gerer. Ço sınılı problelere doğrudan çözü öneren orülasonlar genelde br başarı vereetedr [6]. İn an, sınılı sınılaada aşırı ugunlu probledr. [47] de belrtldğ gb, DVM ler gürültü ve aırı verlere ço duarlıdır. Üçünü an, hesaplaa ve belle geresnnn eğt üesnn elean saısı le orantılı büües ve bu nedenle çözüün ço avaş olasıdır [, 5]. Büü boutlu br aresel progralaa problenn çözüünü geretrdğ çn, DVM lern büü ver üelerne ugulaaları sınırlı alır. Dördünü an, verler ço boutlu uzaa atarılıren uzalı sırasının orunası çn, çerde ve çerde paraetresnn seçnde sorunlarla arşılaşılasıdır [7, 7, ]. DVM ler, üse boutlu uzada en aın ver arasında uzalığı ençolaara sınılaa apar, ana brço çerde uzalı sırasını oruaz, çerde paraetres de hesaplanan uzalığın büülüğünü değştrr. Bu nedenle ugun çerde ve çerde paraetres seçledğnde, üse boutlu uzada uzalı sırası orunadığından vea uzalılar arası arlar üçüldüğünden hatalı sınılaaa ol açılır. Bu proble gdere çn [3] te en br çerde önerlştr. Beşn br an, DVM lern enlee proble olara orüle edlen tasarı öntelernde, aaç ölçütü çersnde bulunan penaltı atsaısının ugun değernn belrlenesnn başarıı ço etleesdr [88]. Bu tezde DVM nn uarıda adı geçen zaı anlarının ol açtığı problelern 5 n de çözee önel arlı çalışa apılıştır. Brn çalışa, statstsel öğrene uraına daanan DVM lere seçene olaa en sınılaıılar oluşturatır. İns se; bu probleler gdere çn DVM lern tasarıının daandığı enlee orülasonunda ve arşı düşen eğt algortasında değşller apatır. Brn çalışada, DVM e seçene olaa sınılaııların özntel uzaı erne grş uzaında oluşturulasıla, ver apısının orunası problenn çözüles aaçlanıştır. Çalışada, arıştıra üzeler olara, geçşten ber agın olara ullanılan ve brço ugulaada üse doğrulula arar vere sağlaan üreler ve elpsotler ullanılıştır. Küre ve elpsode daalı sınılaıılar, blsel azında brço araştıraa onu oluş ve brço sınılaa problende başarıla ugulanışlardır. [74, 8] de gelştrlen üre bçl sınılaıılarda, her br sını çn brden azla üre ullanılıştır. Rosen 965 te, arıştıra üzeler olara elpsotler ullanış, en ugun sınılaıının tasarıını br enlee proble olara önerştr [84]. Çalışasında her br sınıın örne örüntülern çeren en üçü hal elpsot bulaı aaçlaıştır. Elpsodn ovarans atrsnn pozt arı tanılılığı üzernde hçbr ısıt ullanaıştır. Barnes 98 de, Rosen n orülasonu üzernde agrange

19 çarpanları önten ullanara end önten oluşturuştur [5]. Açı br şelde elpsodn ovarans atrs üzerne pozt arı tanılılı ısıtını eleştr. Vernn aıra sınırının dışında olables çn herhang br şart vereş vea herhang apa değşen tanılaaıştır. İ boutlu 7 örüntü çeren üçü boutlu br örne üzernde ugulaa apıştır. 999 da a ve Dun, verlen br ver üesn tanılaa çn öz ntel uzaında en üçü hal br üre oluşturuştur [95, 96]. Burada; penaltı alaşıı ullanılara, hata ve en üçü ha arasında br denge uruluştur. Önerlen orülason, aırı ver bula vea te sınılı sınılaaa ugulanıştır. 5 te Wang ve dğerler, a ve Dun n çalışasından ola çıara te br üre le öz ntel uzaında daresel sınılaa apıştır [4]. Ha enazlanasının anında paın ençolanasının aaçlandığı bu çalışada: Calorna, Irvne Ünverstes nn (UCI) ane öğrene vertabanları arşvnden [7] Wsonsn sl göğüs anser verler (WGK), İonoser radar ansıaları vers (İonoser), Hndstan da Pa erller çersnde şeer hastaları verler (Pa), ver ve Sonar verler üzernde elde ettler denesel sonuçlar verlştr. Glneur 998 de, elpsotler ullanara örüntü aıra proble çn orülasonlar önerştr [39]. Bu orülasonların, ardışıl aresel doğrusal on progralaa tenğ (SQ on) le çözülebles çn proble, n+ boutlu uzada br problee dönüştürüştür. En Büü Aıra Oranı (EBAO) orülasonunda, anı erezl elpsot oluşturuştur, a a ve b b. İn elpsot, brnsnden aıra oranı adar genş seçlş ve arıştırıı elpsotlern ües üzernden aıra oranı en büü apıla steştr. Oluşturulan elpsodn ortasından geçen anı erezl elpsot arıştırıı üze olara alınıştır. Bu önten dezavantaı, hçbr arıştırıı elpsot bulunadığında (elpsodn dışında olası gereen verler çnde se vea çnde olası gereen verler dışında se), önten tü örüntü uzaını apsaaa şelde br arıştırıı elpsot, an, ~ n n nn sonuunu bulasıdır. Bu dezavantadan urtula çn, En Küçü Hal Elpsot (EKHE) orülasonunu önerştr. EKHE de br elpsodn hane den olan arı esenlernn uzunluğunun ares enazlanıştır. EKHE nn başarısızlığı, sadee a a ısıtının ullanılası ve tü b lern elpsodn dışında bulunasının gerellğdr. Sadee br b örüntüsünün, elpsodn çnde olası, algortanın anlış br çözü apası çn eterldr. Bu dezavantadan açına çn, bastçe b lern çoğunun elpsodn dışında olası ısıtını çeren en br önte önerştr. Kısıtı odellee çn, a ler ve her br b arasında aıra oranları arı arı hesaplanış, bu aıra oranlarının 3

20 artet ortalaasının üün olduğu adar büü olası sağlanıştır. Bu, ρ lern toplaını vea onların arelernn toplaını en büü apaa dentr. Bu önten se gerçete hçbr arıştırıı elpsot oladığı zaan, sonuç bulaadığı ve özellle arelernn toplaı alındığında, üçü aıra oranlarını en ço apatan zade, daha ço olanları en ço apara aıra oranlarını artırdığını gösterştr. Bölee Kares alınış Aıra Oranlarının oplaını Enazlaan (KAOE) en br önte önerştr. Bu öntede, tü b lern elpsodn dışında bulunasını geretren ısıt ullanılasının br dezavanta olduğunu belrtştr. UCI ane öğrene arşvnden Zaba ççeğ verler, WGK, Pa, Boston Housng verler üzernde önten başarıı ve blsel azında çalışalarla arşılaştıralı sonuçlar verştr. 3 te Astorno ve dğerler, he öz ntel uzaında he grş uzaında, B gb br üeden A gb br üe aıran (A nın tü notalarını çeren ve B nn notalarını çereen) en üçü hal üre bulaı aaçlaışlardır []. Burada; erez sabtlenere, orülason doğrusal progralaa proble olara önerlştr. Arıa dönüştürülüş üe üzernde çalışara, öz ntel uzaında da anı algortanın ugulanableeğ gösterlştr. Verler her zaan üreler le arıladığı çn, proble daa ugulanablr ıla üzere, sınılaa hatasının aaç ölçütü le han enazlana ölçütünü brleştrştr. Bölee B nn bazı verlernn, A üesnn verlern apsaan üre çersnde olablesn sağlaa ve aırı verler taraından oluşturulan et de azalta steştr. Burada; UCI ane öğrene arşvnden WGK vers, Cleveland sl alp hastaları (CKH) vers, İonoser vers, Mantar vers, -a-oe Endgae (-a-oe) vers ve [75] de galas ıldız arıştıra (GYA) vers ullanılara elde edlen sonuçlar, blsel azında DVM teell alaşılarla arşılaştıralı olara verlştr. Anı azarlar taraından 5 te, sadee elpsotlerle arılablr verlern grş uzaında arılası aaçlanıştır []. Bu nedenle elpsod tanılaan paraetrelere bağlı olan hata şlev enazlanıştır. Bölee arıştıra ta olara gerçeleştğ zaan, sııra eşt olan br aaç ölçütü elde edlştr. Sınılaada aıp şlev olara, as alınıştır. Enlee proble, düzgün olaan enleeden de adalanılara erel araa türünden br algorta le çözülüştür. Merezler önelle sabt alınış, daha sonra en d nş tenğ ullanan br algorta le günellenştr. Algorta, UCI ane öğrene arşvnden WGK vers, CKH verler, BUPA Karağer bozuluları (BUPAKB) vers ve Aera Brleş Devletler Kongre Olaa Kaıtları örneler üzernde denenştr. Konno ve dğerler de, arı-tanılı progralaa proble olara ade edlen başarısızlı aırtaı analz çn en br düzle ese algortası önerştr [54]. Burada nansal ver, nansal oru adar ateatsel özelller olan elpsot bçl üze le arılıştır. orülasonda sınılaa hatasının ağırlılı toplaı (an elpsot bçl üzeden 4

21 sapaları da çeren) esne elpsot arıştırıı ısıtlar üzernden enazlanıştır. Elpsot bçl arıştıranın ço boutlu düzlele arışadan, belrgn olara daha sonuçlara götürdüğü, özellle DVM alaşıında ullanılan önte gb aresel üzelerle oluşturulan arıştıradan daha sonuç verdğ gösterlştr Khareho ve dğerler 4 te, Gra-Shdt dleştre tenğ ullanara ve Glneur un çalışasına benzer olara anı erezl elpsot arasında aıra oranını en büü apa önte ullanara, öz ntel uzaında elpsot bçl aıra gerçeleştrşlerdr [5]. Bu arıştırıı elpsotler n+ boutlu uzada, anon hooen ordadır [5], (an aıra oranı anıdır ve de bast orüller ullanara hesaplanablr). Reuters-578 ver üesnn ategors üzernde aıra sonuçları, DVM le arşılaştıralı olara verlştr. Potra ve dğerler 4 te, öngörü aaı çn arı-tanılı progralaa ullanara benzer eşerezl elpsotler vea doğrusal progralaa ullanara paralel ço boutlu düzle uruştur [79]. Elpsot bçl arıştıraı aşaalı olara apıştır. İl aşaada, Glneur un öntene benzer olara eş erezl elpsot uruş ve aıra paını ençolaıştır. Bu aşaanın Glneur unnden arı, elpsot denlen polnosal olara verere İç Nota öntelerle [88, 8] polnosal zaanda çözüleblesdr. İn aşaada, anlış sınılandırılış notaların saısının enazlanası çn l bölüde bulunan elpsot arasında üçünü br elpsot buluştur. Bu tezde önerlen üre bçl ve elpsot bçl sınılaıılar, blsel azında evut olanlardan taaen arlıdır. Önerlen orülasonlarda, ha ve sınılaa hatası anı anda enazlanıştır. DVM gb agrange çarpanları önte ullanara öz ntel uzaında sınılaa apan öntelern tersne, önerlen önte penaltı paraetres ullanara grş uzaında sınılaa apatadır [8]. Bölee azladan hçbr apa değşen ullanılaatadır. Çözü, eğ nş önte le apıldığı çn genş ver üelerne ugulanablr. Karesel progralaadan ve [39] da on progralaadan daha hızlıdır. Bunun dışında, Mangasaran ve dğerlernn [34-36, 58, 66-69] da doğrusal denle taıları le çözüü apılablen DVM tabanlı algortalarına he hız he de doğrulu olara aındır. İn çalışada, DVM nn genş ver üelerne hızlı br şelde ugulanablesn sağlaa çn, penaltı alaşıı ullanara, brnl orülason tabanlı en br enlee proble sunuluş ve çözüü çn eğ nş önteler önerlştr. DVM probleler çn eğ nş öntelernn ugulanası en değldr. DVM nn doğrudan eğtnde, şde adar apılan çalışalar nl progralaa teelne daanır [, 34]. Bu duruda da ver saısı azla olan sstelerle lglenldğnde, eğt süres ve hesapsal probleler evuttur. Chapelle de, oğunlu estr probleler çn; en üçü hal dare problelernde, 5

22 paraetre hesaplaasında ve sınır tanılaalarında eğ nş öntelern ullanıştır [4]. Chapelle bu tez çalışası le eş zaanlı olara l dea, [5] de çalışasında brnl bç ullanara sınılaa probleler çn orülason önerştr. Bu tezde ve bu tez sonuçlarının ısen aınlandığı [] de [5] den arlı olara, orülasonlar he sınılaa ve he regreson çn önerlştr. Arıa apısal hata ve denesel hata arasında ödünleş sağlaan penaltı sabt her özneleede uarlanır olara elde edlştr. Bölee he DVM lerde seç önel olan bu paraetrenn seçnden açınılış he de gürültü ve aırı verlere arşı daha az duarlı olası sağlanıştır. Bunun dışında, ço sınılı sınılaa probleler çn tebr orülason önerlştr. Bulanılaştıra, nsan atörünün etl olduğu sstelerde ararlı sonuçlar veretedr. Deransel denleler gb las ateatsel aletler ullanara sste odellee, belrsz ssteler ve braç çözüü olan ssteler le lglene çn ugun değldr. Karaşı ssteler bastleştre çn ullanılan öntelerden br, odellee aşaasında belrszl ve şüphenn antılı br tarını ptal etetr. Bu duruda sonuç sste esnlle usursuz değldr, aat brço duruda oluşturulan ugun odeller proble çözer. Böle br belrszl, Zadeh n bulanı antı ssteler le arşılanablr. Zadeh 96 ta, gelenesel sste analznn brço gerçe aşa ugulaasında gereğnden ço usursuz olduğu dugusunu belrtştr. Ardından 96 ılında br aalesnde, blnen br olasılı dağılıına daalı olaan taaen br öne blg ve prat dene ansıtan bulanı antığın teellern açılaıştır [83]. İl olara ssteat br şelde, aag ve Sugeno taraından eşedlen bulanı odellee vea tanıa; ontrol, öngörü ve çıarı gb brço önel ugulaada ullanılıştır [55, 57, 83, 5]. Bulanı antı snn ade ettğ gb, ta olatan zade alaşı antıtır. Bulanı antığın öne, nsan antığının urduğu çoğu odeln doğal olara alaşı olası gerçeğnde atar. Bulanı uraı, ssten analz las tenler le ço azla araşı se evut blg anaları belrsz, ta olaan ve ntel olara orulanırsa adalı görünür. Bölee bulanı arar odel las ta ateatsel arar ve nsana benzer arar vere arasında uzlaşaa doğru br adı olara baılablr. Bulanı odel tanılaa şle, apı tanıa ve paraetre hesaplaa olara genellle aşaaa arılır [4, 8,, 57, 83]. Yapı tanıa aşaasında; ugun grş değşenler, grş değşenler arasında lş, uralların saısı, grş çıış uzaının bölülere arılası, odel paraetrelernn başlangıç değerler gb braç apı öğes belrlenr. Paraetre hesaplaa aşaasında se odel paraetreler, denesel rs enazlanara aarlanır. Blsel azında öbelee önte, genet önte, arar ağaı önte, dgen en üçü areler önte ve 6

23 QR-tel değer arışı önte gb brço önte düşünülesne rağen, apı tanıa güçtür ve ço saıda çözüü vardır [, 83]. Bu nedenle nsan üdahales apı tanıada genellle gereldr. Blsel azında bulanı antı ve DVM, sınılaa vea regreson estr çn arlı şelde brleştrletedr. Brn şelde, her br ver arlı br üel değerne atanıştır. [47, 48-5, 6, 7, 97, 7]. İnsnde se bulanı sstelern apısının oluşturulası hedelenştr. Chen ve dğerler 3 te, üel şlevlernn genel varsaıları altında toplasal bulanı ssteler le çerde anelernn lşsn gösterere, verlen eğt örnelernden, deste vetör öğrene alaşıı le bulanı ural tabanlı sınılaıı ssteler oluşturuştur [8]. Uçar ve dğerler 3 te sıırını ve brn dereeden bulanı tabanlı ssteler le DVM nn eştlğn çıarara bulanı sstelern başlangıç apısını oluşturuş, başarıı arttıra aaıla bulanı sstelern ara öğrene algortasını ullanıştır [98]. Uçar ve dğerler [99] da öbelee algortası ullanara bulanı ssteler oluşturuştur. Hao ve dğerler [4] de, [98] e benzer olara DVM tabanlı br bulanı odellee çerçeves tanılaışlardır. Sıırını dereeden bulanı tabanlı ssteler le DVM lern eştlğnden adalanılara, DVM öğrene algortasıla bulanı eğer-se urallarını çıarışlardır []. aat bulanı ssteler terar eğteşlerdr. K ve dğerler 6 da, ölçe gürültüsü çeren grş ve çıış vers teelne daanan doğrusal olaan dna sstelern odellenes çn, olasılı Baes öğrene çatısına sahp genşletlş lgll vetör aneler ullanara, eş zaanlı olara enlee ugulaan en br bulanı tabanlı sste önerştr [53]. Bu ssten eğt ara öğrene algortası le apılıştır. n ve dğerler 6 da, sınılaa çn deste vetör tabanlı bulanı apa snr ağı gelştrştr. n n çalışasında, YSA lar ullanılara bulanı uarlanır çerde önerlştr [63]. asarı üç aşaalı olara gerçeleştrlştr. İl aşaada, başlangıç ural apısı ve ağ apısının üelğ, bulanı öbelee algortası le otoat olara oluşturuluştur. İn aşaada, bulanı ssten atanları arasında ağırlılar bulanı çerdel DVM nn eğt sonuunda elde edlen paraetreler ullanılara hesaplanıştır. Üçünü aşaada, geresz bulanı urallar elenere ugun bulanı urallar belrlenştr. Ana oluşturulan bulanı sstelerde, he denesel he de apısal hata enazlanaıştır. Bu tezde arlı alaşıla, bulanı antı avraları ullanılıştır. Önerlen sınılaıı ve regresörlern br şelde genelleştre eteneler ve bulanı üe uraının nsanın düşünesne benzer ola özelllernn brleştrles aaçlanıştır. Bu tezde bulanı antığın çerldğ l çalışada, önerlen üre ve elpsot bçl sınılaııların gürültü ve aırı verlere arşı gürbüzlüğünü artıra çn Bulanı Deste Vetör Manelere (BDVM lere) benzer olara her br vere ugun br üel değer 7

24 atanıştır. Bölee, önten özellle aırı verlere arşı ets azaltılıştır. İnsnde se, bulanı tabanlı sstelern genelleştre eteneğn artıra, gürültü ve aırı verlere arşı gürbüz olasını sağlaa aaıla başlangıç apısı blnen bulanı ssteler çn DVM nn statsel öğrene algortası tanıtılıştır... ezn Organzasonu Bölü : Önelle grş uzaında arıştıra apılasının neden nelenere, en üre ve elpsot bçl çerdeler önerlş, başarıı ve geçerllğ tartışılıştır. Daha sonra grş uzaında aşaalı sınılaıılar önerlştr. İl aşaada, arar üzenn üre bçl olduğu abul edlere, DVM lerde gb he apısal hataı he denesel hataı enazlaa lesne daanan en br enlee proble önerlştr. Çözü önte olara eğ nş önteler önerlştr. arlı eğ nş önteler, önerlen problen çözüünde ullanıldığı zaan başarıın ne olaağı örneler le tartışılıştır. İn aşaada se elde edlen başarıı artıra çn arar üze elpsotlere genşletlştr. Bunun çn l aşaadan elde edlen erez ve arıçap değerler ullanılara, n aşaanın başlangıç değerler oluşturuluştur. Son olara, ço sınılı sınılaa probleler çn te br orülason, çözü önte he üre he elpsot bçl arar üzeler çn verlştr. Önerlen tü orülasonların başarıı eğt, test hataları ve eğt süres açısından arlı ver üeler üzernde elde edlş ve blsel azında brço önte le arşılaştırılıştır. Önerlen üre vea elpsot bçl sınılaııların, özellle eğt süres açısından, aresel progralaa le çözüü apılan genel DVM sınılaıılar le arasında büü ar olduğu gösterlştr. Arıa üre vea elpsot bçl arar üzelernn, DVM lern gb araşı olasına rağen abul edleblr br başarı verdler gösterlştr. Bölü 3: Br öne bölüde önerlen üre ve elpsot bçl sınılaıılar, denesel ve apısal rs arasında br ödünleş sağlaara sınılaa aptıları çn gerçete gürbüz öntelerdr. Bunun ötesnde ödünleş paraetres de her özneleede uarlanablr olduğu çn, genel DVM lere göre gürültü ve aırı verlere arşı ço gürbüz olduğu düşünüleblr. Ana ele alınan ver ües, önerlen arar üzelernn erezlernden ve her sınıtan ço uzata olan aırı verler çerdğ duruda, sınılaa başarıını artıra çn en bulanı üre ve elpsot bçl sınılaıılar bu bölüde tanıtılıştır. arlı ver üeler ve üel şlevler ullanılara sınılaa başarıları test edlp tartışılıştır. Bölü 4: Her ver, üre vea elpsot bçl arar üzeler le arışaablr. Bu nedenle bu bölüde gzl atan uzaı olara slendrlen Radal abanlı İşlev Ağların (RİA ların) oluşturduğu üzelern ullanıı aaçlanıştır. Bu aaçla sınılaa ve 8

25 regreson estr çn en br orülason önerlştr. Örne ugulaalar üzernde las RİA ve Rİ çerdel DVM nn başarıları arşılaştırılış ve tartışılıştır. Bölü 5: Bu bölüde, br öne bölüde önerlen önte ve orülasonlar φ dönüşüü erne, çerde ullanılara enden türetlştr. Elde edlen orülasonlar eğ nş önteler le çözülüştür. Bölee araşı üzeler le genş ver üelerne hızlı br şelde ugulanable olu açılıştır. İn olara, apısal hata ve denesel hata arasında ödünleş sağlaan penaltı sabt her özneleede uarlanablr olara elde edlere, he DVM lerde seç önel olan bu paraetrenn anlış seçnn oluşturduğu sorunlardan açınılış he de gürültü ve aırı verlere arşı daha az hassas olası sağlanıştır. Üçünü olara, oentu terl uarlanır öğrene oranlı eğ nş önte ullanılara, las DVM e göre hızlı olası sağlanıştır. Dördünü olara, ço sınılı sınılaa probleler çn te br bast orül önerlere, DVM lerde halen çözülee çalışılan zor br proble aşılıştır. Bölü 6: Bu bölüde, bulanı sstelern genelleştre eteneğn artıra ve gürültü ve aırı verlere arşı gürbüz olasını sağlaa çn, DVM nn statsel öğrene algortasına benzer br öğrene algortası önerlştr. Bölü 7: Sonuç bölüünde, bu tezn ble aptığı atılar özetlenş ve gelee çalışalar çn önerler ortaa onuştur. EK-: Bu bölüde, öğrene problenn orülasonu tanıtılış ve eğt örnelernn sınırlı saısı le öğrene çn statstsel öğrene uraının teel sonuçları açılanıştır. EK-: Sınılaa ve regreson estr çn, aresel progralaa le çözüü apılan genel DVM orülasonları bu bölüde tanıtılıştır. Her orülason çn, he doğrusal he doğrusal olaan duruda DVM nn brnl ve nl progralaaları ısaa tanıtılıştır. EK-3: Bu bölüde, ugulaaları arşılaştıra aaıla ullanılan, blsel azında önteler tanıtılıştır. 9

26 . GİRİŞ UZAYINDA KÜRE ve EİPSOİ BİÇİMİ AYRIŞIRICI YÜZEYER KUANARAK SINIAMA.. Deste Vetör Manelern Bazı Esller n EK- de detaları verlen DVM ler;,,...,,,, -, eğt örnelernn örneğ verldğ zaan, verler üse boutlu uzaa taşıara, o uzada (.) le verlen düzle oluşturup sınılaa apa üzere tasarlanıştır,. (.) Burada; b n ve b ço boutlu düzle oluşturan paraetreler ve φ() verler grş uzaından üse boutlu uzaa dönüştüre çn ullanılan dönüşü şlevdr []. DVM ler (.) le verlen brnl enlee problen çözere eğt hatasını (brn ter) ve genellee hatasını (n ter) anı anda enazlar. C, (.) b -ξ, (.3) Burada; C paraetres genellee ve eğt hatası arasında ödünleş nteleetedr, se b ve arasında utla hataı gösteretedr. (.) de nn enazlanası, öz ntel uzaında zıt sınıın en aın vers arasında esae olara blnen paın ençolanasına arşılı gelr [EK-]. Çoğu zaan verler üse boutlu uzaa dönüştüren φ() blnedğnden, hesaplaalarda olalı sağlaa çn verler bu şlev ullanadan br çerde ardııla örtü olara üse boutlu uzaa taşınır. Bu aaçla brnl enlee proble, agrange çarpanları önte ullanara nl ora çevrlr, Burada; nl K, (.4), C ısıtları:,,,...,. (.5) agrange çarpanlarını ve K, çerdeğ K hesaplanan ç çarpıı gösteretedr. Sonuç arar şlev se çerde ve agrange çarpanları ullanara, le

27 (.6) sgn K, b deste vetörler le hesaplanır. Burada; deste vetörler agrange çarpanlarına arşılı gelen değerlerdr. Yüse boutlu öz ntel uzaında her br örüntü, br nota olara düşünülür ve grş uzaında notaların bağıl ern gösterr. Öz ntel uzaında arıştıra apılıren ver apısının da orunası gerer. Ver apısı, örneler arasında esae tanılar ve vernn teeln oluşturan doğal br özell olara düşünülür [7]. Ver apısının orunası DVM sınılaıılarda önel br rter olara düşünülür []. Çünü DVM, öz ntel uzaında en aın verler arasında paı ençolaaı aaçlar. Eğer verler öz ntel uzaında grş uzaındane göre arlı erlerde bulunursa hatalı sınılaa apılır. Bu bölüde; grş ve öz ntel uzaında ver apısı nelenere, DVM lern hatalı sınılaa apıp apadığı ontrol edlştr. Bu aaçla DVM ugulaalarında en ço ullanılan Rİ ve polnosal çerdeler ele alınıştır. Rİ çerde duruunda öz ntel uzaında esae, K,. K, K, ep le bulunur [6-8]. Burada; grş uza esaes le lgl duarlılığı düzenlleştrr ve seç öneldr. Polnosal çerde duruunda se, öz ntel uzaında esae grş uzaında utla esaee bağlıdır [56].. (.7) Şel. de Rİ ve polnosal çerdeler çn, grş uzaında br notaa dğer notaların esaes le anı notanın öz ntel uzaında dğer notalara esaes arasında lş verlştr. Şel.a dan görüldüğü gb Rİ çerde duruunda, sga paraetres ugun seçlez se, grş ve özntel uzaında esae arasında doğrusal lş, esae artaren bozulara öz ntel uzaında ver notalarını brbrne alaştırdığı çn sınılaanın hatalı ola olasılığı artar. Polnosal çerde duruunda se, öz ntel ve grş uzaı esaeler arasında lş doğrusal değldr. Şel.b den görüldüğü gb, grş uzaında zıt sınıın en aın vers ve öz ntel uzaında en aın ver olaablr. Dolaısıla pa arlı olablr. Bölee grş uzaında, gerçe pa ençolanadığı çn sınılaa hatalı olablr.

28 Öz ntel uzaında esae Öz ntel uzanda esae.5.5 sga= sga=.5 sga= Öz ntel uzaında esae Öz ntel uzanda esae Grs uzanda esae Grş uzaında esae (a) Grs uzanda esae Grş uzaında esae (b) (b) Şel. (a) Rİ çerde ve (b) n dereeden polnosal çerde çn öz ntel uzaında esaelere arşı grş uzaında esae. Sonuç olara, üse boutlu uzada sınılaa apa saınalı olablr. Bunun dışında DVM lern dğer esller se teel olara; çerde paraetrelernn seç, düzenlleştre sabt C nn seç, büü saıda verler le lglendğnde DVM nn n dereeden progralaa ullanılara bu probleler çözeees vea aşırı hesaplaa geretğ çn uzun zaan alası, gürültü ve aırı ver çeren ver üelernde doğru çözü apaası ve başlangıçta l sınılaa problelern çözee önel tasarlanası olara gösterleblr [64]. Bu tezde, bahsedlen problelerden urtula çn DVM e en düzelteler önere vea seçene sınılaıılar oluştura hedelenştr. Bunun çn l olara en br çerde oluşturuluştur.... Küre ve Elpsot Bçl Çerde Kullanara Sınılaa Vapn Chervonens [EK-] boutunu enazlaan dolaısıla genellee hatasını enazlaan arıştırıı üzeler, özelde dareler (üreler) genelde elpslerdr (elpsotlerdr). [7,, 8, 87, 94, 8] de öbelee ve te sınılı sınılaa probleler çn üre ve elpsot bçl üzeler ullanılıştır. DVM se arlı arar üzeler oluşturara sınılaa apablr. Ana üre vea elpsot bçl arar üzelerne sahp arıştırıı üzeler ola orulanablr olduları çn bolo, tıp ve benzer alanlarda öngörü aaçları çn ullanılırlar. Polnosal çerdelern denleler, üre denlene aın olala brlte ta olara br üre oladığı çn grş uzaında üree benzer arıştırıı üzeler vereezler. Bu bölüde, DVM sınılaıılarda ullana çn Merer şartını sağlaan en üre ve elpsot bçl çerdeler

29 bulara, anlalı üzeler elde ete aaçlanıştır. Önelle arıştırıı üze üre olara alınırsa, üze denle a R le verlr. Burada; a ölçelee sabtn, gösteretedr. Denle açılırsa, a a n ürenn erezn ve (.8) R ürenn arıçapını R R n n n (.9) n (.) elde edlr. İ boutlu grş çn dare bçl arar üze a (.) a a a a ar olara bulunur. (.), DVM nn b üzene benzetleblr. Burada b eşğ, atsaılı ter olara düşünülere sıır alınablr. Ana bu duruda oluşaa çerde şlev Merer şartını sağlaaz. Merer şartının sağlanası çn (.) 3 4 b b (.) olara değştrlr. (.), EK- de doğrusal çerdel DVM sınılaıı çn verlen n dereeden progralaa proble le çözülere, ve b paraetreler hesaplanır. Bu değerler ullanılara arıştırıı üzen R ve değerler 3 a,,, (.3) a a R a a b a (.4) 4 olara elde edlr. Çözü ço boutlu grş çn benzer şelde genşletleblr. Arıştırıı üze elpsot bçl alınırsa, üze denle a n le verlr. Burada; elpsodn erezn ve (.5) nn elpsod tanılaan pozt tanılı ters ovarans atrsn gösteretedr. İ boutlu grş çn elps bçl arıştırıı denle a (.6) 3

30 olara azılablr. Bu üze, DVM nn arıştırıı üze olara ullanılırsa ve b eşğ elenrse b b (.7) elde edlr. Küre bçl arıştırııa benzer olara DVM nn n dereeden aresel progralaa proble çözülürse, paraetreler elde edlr. Bu değerler ullanılara arıştırıı üzen paraetreler 3 4 5, 43 4, (.8) a, a ve (.9) a olara hesaplanır. 6 4 Öz ntel uzaında esae eature spae dstane Input spae dstane Grş uzaında esae (a) (a) Öz ntel uzaında esae eature spae dstane Input spae dstane Grş uzaında esae (b) (b) Şel. (a) Dare bçl çerde ve (b) elps bçl çerde çn grş uzaında esaelere arşı öz ntel uzaında esae. Önerlen üre ve elpsot bçl çerdeler ullanılara oluşturulan DVM ler, genel DVM lerden hesapsal olara daha oladır. Şel. de, dare ve elps bçl çerdeler çn grş uzaında br notaa dğer notaların esaes le anı notanın, öz ntel uzaında dğer notalara esaes arasında lş verlştr. Şel.a dan görüldüğü gb dare bçl çerde duruunda, grş ve özntel uzaları arasında esae lşs ta olara doğrusal 4

31 değldr. Ana polnosal çerde adar doğrusal olaan br lş otur. Şel.b de se elps bçl çerdeğn, taaen doğrusal olaan br şlev verdğ görülür. Bundan dolaı ullanılası ugun değldr ve seçene sınılaıılar oluşturulası gerer... Önerlen Küre ve Elpsot Bçl Sınılaııların anıı Blnen en bast ve az hata le arıştıra apan sınılaıılar genelde elpsotlerdr. Bölü.4 te detaları verlee olan sher n Zaba ççeğ test üesnn sınıı, Şel.3 de görületedr. Bu sınılar dare bçl üze ullanılara arıştırıla stenrse, sınıın tü verler dare olara arıştırılaaaağı çn Şel.4 de gb br ço ver arar üzenn dışında alır. Ana arar üze elps bçl olursa, Şel.5 de gb verler ta olara arılablr. Dolaısıla bu tezde, grş uzaında sınıların arıştırıı üzeler öne üre bçl olara düşünülüş, sonra daha başarı elde ete çn sınılaıı elpsot bçl göstere genşletlştr. Bölee sınıları arıştıra çn, sadee üre ve elpsot bçl üzeler ullana aaçlanıştır []. Yüzelern çne at notalar br sını, dışındaler se dğer br sını alınara, üre ve elpsot bçl sınılaıılar oluşturuluştur. Proble aşaalı olara düşünülüştür. Öne arar üze üre alınış enlee proble önerlştr. Önerlen orülason eğer proble üre olara arıştırılablorsa, orülason % doğrulula çözülee şelde oluşturuluştur. As duruda se verlern hatalı sınılaasına da olana verere önerlen enlee problenden belenlen en sonuu veres sağlanıştır. Bu duruda elde edlen doğrulu azalaatır. Bu nedenle n aşaada, verlern hatalı sınılaasına zn vereden elpsotler ullanara arıştırılable olasılığı düşünülere, l aşaaa benzer şelde arar üze elpsotler olan sınılaıılar tasarlanıştır. Burada l aşaada elde edlen ürenn erez ve arıçapları, elpsodn erez ve ters ovarans atrsnn başlatılası çn ullanılıştır. Bölee erez ve özellle elpsodn ters ovarans atrsnn başlatılasında ve günellenesnde ortaa çıan problelerden açılıştır. Elpsodn ters ovarans atrsnn pozt tanılılığı her adıda ontrol edlştr. Kötü şartlana saısına baılara atsaılarda düzelte önerlştr [4, 4]. Ana örnelerde, brn aşaadan elde edlen erez verler ullanıldığı çn, bu düzelte adıına gere duuladığı görülüştür. 5

32 4 3 Çana aprağı genşlğ Çana aprağı uzunluğu Şel.3 sher n zaba ççeğ test üesnn sadee l araterstğne at verlern göster. İl sınıa at verler ıldızlar le dğer sınıa at verler üçgenler le gösterlştr. 4 3 Çana aprağı genşlğ Çana aprağı uzunluğu Şel.4 Dare bçl sınılaıı. 6

33 4 3 Çana aprağı genşlğ Çana aprağı uzunluğu Şel.5 Elps bçl sınılaıı.... Mateatsel eel Bu tezde önerlen, üre ve elpsot bçl sınılaıılar gerçete ısıtlı enlee probledr. Bu nedenle, penaltı şlev önte ullanara, ısıtlı enlee problenn ısıtsız enlee proble halne dönüştürüles gerer. Bu bölüde, gerel ateatsel teel sunuluştur. Genel ısıtlı enlee proble (.) de gb ade edlr [6,, 3] n (.) ısıt g,,..., n Burada;..., n R h a l, l,..., b, n, ve eştl ısıtlarıdır. a ve br aaç ölçütü, g ve b se çn araa uzaı alt ve üst sınırlarıdır. (.) h l sırasıla eştszl ve Penaltı alaşıı ullanara, ısıtlı proble bastçe aşağıda gb ısıtsız problee dönüştürüleblr. 7

34 Burada, G, g, hl AG : (.) g h : (.3) l l A R genel br penaltı paraetresn gösteretedr. Bu dönüşü sonuunda, tü aaç ölçütü () oluştur. (.4) de ısıtsız proble çözülere () enazlaan n R bulunur. n (.4) A> Bu alaşı le ortaa çıan soru vardır. Brns ısıtsız enlee problenn, asıl ısıtlı problee ne adar alaşaağı, ns de önerlen ısıtsız problen nasıl çözüleeğdr [3]. Önelle l sorunun evabı üzernde düşünülürse, penaltı paraetresnn bu alaşıın doğruluğunu belrleebldğ gösterleblr. A paraetres sonsuza doğru artaren, bu alaşı artan br şelde ararlı olur. Yan ısıtlı problen çözüü ısıtsız problen çözüüne alaşır. Penaltı paraetresnn nasıl seçleeğ düşünülürse, () n ve G() n değer büü se A nın üçü olası geretğ görülür. Küçü değerde A düzgün br araa le sonuçlanara, () n değern aşağıa çeeetr. Arıa eğer tern değer de üçüse, A nn araa önü çnde tüel en ugunu sağlaa çn eterne büü olası gerer. Bununla brlte çoğu durularda, değer önel olan penaltı paraetresnn seç problee bağlıdır ve penaltı şlevnn seç çn genel br ural da otur [9]. Çapraz geçerll test, -eğrs test vea ugun br değer bulununaa adar denee ve anıla önte ullanılara bu paraetre seçleblr [6]. Çapraz geçerll test, düzenlleştre paraetresnn seç çn ugun br öntedr. Çapraz lşnn daana notası, vernn geçerll ve eğt ües çne bölünesdr. Çalışılan algortada, blneen paraetrenn sabtlenş değer ver üesne ugulanır. Daha sonra geçerll ües, çapraz geçerll hatasını hesaplaara paraetre seçnn ugunluğunu test ete çn ullanılır. İşle, paraetrenn arlı değerler çn terarlanır ve en düşü çapraz geçerll hatasını veren paraetrenn en ugun olduğu düşünülür. Bu antıta, çapraz geçerll üesn orulaan vea en ugunu hesaplaa çn eğt üesne zn veren paraetre seçer. Eğer ver sadee alt üee bölünürse hold-out test olara, ā eşt ölçülü alt üelere bölünür ve her br at çn anı şleler apılırsa ā atlı çapraz geçerll test olara, ā eğt ver saısına eşt se bu önte leave-one-out test olara adlandırılır [77, 78]. 8

35 Penaltı paraetres, vere uzunluğu ve br öne blg arasında ödünleş ontrol eder. Eğer ço üçü seçlrse düşü ezalandıraa, ço büü seçlrse aşırı ezalandıraa götürür. () ve AG() n logart olara çz, -eğrs olara adlandırılır. Eğer aşırı düzenlleştre (ezalandıra) varsa eğr gerçete atadır, ters duruunda se eğr dedr. Böle br çz şell br araterstğe sahptr. Düşü ve aşırı ezalandıra arasında geçş, -eğrsnn öşesdr ve bu öşede penaltı paraetresnn değer en olara düşünülür. Bu önte, terar eden brço şle geretrdğ çn azla hesapsal ü getren br ş olara düşünülür [43, 44]. Önerlen ısıtsız problen çözüü çn, [3] de gb ener şlev olara düşünülüp, eğ nş öntelernden br ullanılara enlee problenn çözüü apılablr [3]. Ener şlevnn enazlana proble, eğ nş önteler ugulanara ad deransel denlel sstee dönüştürülür. d dt,a, η, (.5) A> (.6) n t ve,t ugun olara seçlen nn setr pozt tanılı ntegrason adııdır. (.5) de deransel denle sste, teel graden sste olara adlandırılır ve bu önte sürel zaanlı en d nş öntedr. önü, herhang br notada ener şlevnn en büü negat değşnn önüdür. Elde edlen bu ssten arı zaanlı eşdeğer (.7) de ar denleler ües le gösterlr., A (.7) η =,,, Burada; η() öğrene oranı genellle sabt alınır. Sıırdan büü ana aınsaaı sağlaa çn sınırlı br bölge çersnde seçles gerer. Her enlee proble çn öğrene oranını doğru seçe zordur. Yaınsaa oranını artıra çn önerlen bazı önteler aşağıda anlatılıştır [3].... Uarlanır Öğrene Oranlı Eğ İnş Yönte Öğrene oranı üçü br değer le başlatıldıtan sonra, (.8) de gb öznel denle le değştrleblr. aη se, bη se, (.8) η dğer. 9

36 Burada; paraetrelern tp değerler a=.5, b=.7 ve =.4 olara seçlştr [3].... Moentu er İçeren Uarlanır Öğrene Oranlı Eğ İnş Yönte Uarlanır öğrene oranı ve oentu ter ullanılara, aınsaa hızlandırılablr. Moentu ve uarlanır öğrene oranı le eğ nş algortasının ullanıı, br parabol le hata üze üzernde enaza alaşatır [3, 83]. Paraetre değşler çn (.9) da ural ullanılır: (.9) Paraetrenn değş üç atöre bağlıdır. Bunlar; paraetree göre hata şlevnn türev, paraetrenn gerçe değer ve paraetrenn br öne değşdr. γ atsaısı (tp olara γ -4 ) paraetrenn aşırı büüesn engeller. [83] de arlı oentulu eğ nş önte sunuluştur. Bunlar arasında arlılı, η öğrene oranı ve α oentu ternn seçnden dolaıdır. Brnde oentu ter sabt alınır (tp olara α.9) ve öğrene oranı (.8) de gb aarlanır. Dğernde se öğrene oranı, (.3) da gb değerden brn alır, vea n (.3) dger. Moentu ter α her br adıda her paraetre çn aarlanır, Burada; S vea S a dger. a ve S S (.3) (.3) S olara hesaplanır. Moentu ve uarlanır öğrene oranı le eğ nş algortası, standart eğ nşten daha hızlıdır ve erel enaza taıla eğl daha azdır.