ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ

Transkript

1 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ DOKTORA TEZİ Gül TABAKAN YARI PARAMETRİK REGRESYONDA TAHMİN METODLARI İSTATİSTİK ANABİLİM DALI ADANA, 9

2 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YARI PARAMETRİK REGRESYONDA TAHMİN METODLARI Gül TABAKAN DOKTORA TEZİ İSTATİSTİK ANABİLİM DALI Bu tez //9 Tare Aşağıa Jür Üyeler Taraıa Oybrlğ/Oyçoluğu İle Kabul Elmştr İmza İmza İmza Pro Dr Fr AKDENİZ Pro Dr Hamza EROL Pro Dr Alta ÇABUK DANIŞMAN ÜYE ÜYE İmza Pro Dr Olcay ARSLAN ÜYE İmza ProDr Hülya ÇINGI ÜYE Bu tez Esttümüz İstatst Aablm Dalıa azırlamıştır Ko No Pro Dr Azz ERTUNÇ Esttü Müürü İmza ve Müür Bu çalışma ÇÜ Blmsel Araştırma Projeler Brm Proje No: FEF7D4 taraıa estelemştr Not: Bu teze ullaıla özgü ve başa ayata yapıla blrşler, çzelge, şel ve otoğraları aya gösterlmee ullaımı, 5846 sayılı Fr ve Saat Eserler Kauua üümlere tabr

3 ÖZ DOKTORA TEZİ YARI PARAMETRİK REGRESYONDA TAHMİN METODLARI Gül TABAKAN ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ İSTATİSTİK ANABİLİM DALI Daışma: Pro Dr Fr AKDENİZ Yıl: 9, Saya: Jür: Pro Dr Fr AKDENİZ Pro Dr Hamza EROL Pro Dr Alta ÇABUK Pro Dr Olcay ARSLAN Pro Dr Hülya ÇINGI Bu teze parametr moel varsayımlarıı sağlamaması urumua parametr ve parametr olmaya yalaşımları e y yöler ala yarı parametr regresyo moel taıtılmıştır Yarı parametr regresyo moele parametre tam ç üç arlı yalaşım ele alımıştır İl olara, cezalı e üçü areler temele ayaa eğrsel çzg üzeltme yötem taıtılmıştır ve bu yöteme ayalı olara yarı parametr moel eğerlerlmes ç üzeltme parametres seçm problem ele alımıştır İc olara, yarı parametr regresyo moele parametre tam ç algacı tabalı tam yötem taıtılmıştır So olara yarı parametr moele parametre tam ç ar alma r ele alımıştır ve yarı parametr moele çolu ç lş varlığı urumua ara ayalı rge tam ec olara alaırıla ye br tam ec öerlmştr Fara ayalı rge tam ec le ara ayalı tam ec ata areler ölçütüe göre arşılaştırılmıştır Aatar Kelmeler: Eğrsel çzg üzeltme, Düzeltme parametres, Far alma, Yarı parametr regresyo, Dalgacı tam I

4 ABSTRACT PD THESIS ESTIMATION METHODS IN SEMIPARAMETRIC REGRESSION Gül TABAKAN DEPARTMENT OF STATISTICS INSTITUTE OF NATURAL AND APPLIED SCIENCES UNIVERSITY OF ÇUKUROVA Supervsor: Pro Dr Fr AKDENİZ Year: 9, Pages: Jury: Pro Dr Fr AKDENİZ Pro Dr Hamza EROL Pro Dr Alta ÇABUK Pro Dr Olcay ARSLAN Pro Dr Hülya ÇINGI I ts tess, te semparametrc regresso moel tat combes te best eatures o te parametrc a te oparametrc approaces are trouce we te parametrc moel assumptos are volate Tree eret approaces or te semparametrc regresso moel estmato are cosere Frstly, te smootg sple estmato proceure base o pealze least squares s trouce a or te evaluato o a semparametrc moel base o ts proceure te smootg parameter selecto crtera are cosere Secoly, a wavelet base approac s trouce or estmatg a semparametrc regresso moel Fally te ea o erecg to te parameter estmato semparametrc regresso moel s cosere a a ew erece-base estmator wc s calle erece-base rge estmator we te presece o multcollearty te semparametrc regresso moel s suggeste Te erecg estmator a erece-base rge estmator are aalyze a compare te sese o mea-square error crtero Key Wors: Derecg, Semparametrc regresso, Smootg parameter, Sple smootg, Wavelet estmato II

5 TEŞEKKÜR Dotora çalışmam sırasıa vermş oluğu er türlü este ve atı ç aışma ocam, Sayı Pro Dr Fr AKDENİZ e ve çalışmalarıma be esteleye bölüm ocalarıma teşeürlerm suarım Ayrıca, otora süres boyuca baa este olara, er a yaıma ola sevgl araaşım Gülse KIRAL a teşeür eerm Çalışmalarım sırasıa er a yaıma ola, çalışmam boyuca be ama yürelere ve büyü özvere bulua brc aem Güsel ve babam Necat TABAKAN a teşeürlerm br borç blrm III

6 İÇİNDEKİLER SAYFA ÖZ I ABSTRACT II TEŞEKKÜR III İÇİNDEKİLER IV ÇİZELGELER DİZİNİVII ŞEKİLLER DİZİNİ VIII SİMGELER VE KISALTMALAR IX TANIMLAR XI GİRİŞ REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ6 Parametr Regresyo 6 Parametr Olmaya Regresyo8 Yarı Parametr Regresyo 4 Parametr Olmaya Regresyoa Düzeltme Kavramı 5 Pürüzlülü Cezaları 5 Br Eğr Pürüzlülüğüü Ölçme 5 Cezalı E Küçü Kareler Regresyou 4 6 Eğrsel Çzgler (Sples) 5 6 Küb Eğrsel Çzgler 5 6 İc Türev-Değer Gösterm 7 7 Parametr Olmaya Regresyoa Düzeltme Yötemler (Doğrusal Düzeltcler) 8 IV

7 7 Kerel (Çere) Düzeltc 7 Yerel (Local) Regresyo Düzeltc 5 7 -E Yaı Komşu Tam Ec 74 Eğrsel Çzg Düzeltme (Sple Smootg) Yötem 5 74 Eğrsel Çzg Düzeltme Tam Ecs Ele Elmes 7 8 Doğrusal Düzeltcler İstatstsel Özelller 8 8 Hata Kareler Ortalaması (MSE) 8 8 Serbestl Dereces 4 9 Hata Varyasıı Tam 4 9 Hata Kareler Yalaşımı 4 9 Yerel Far Alma Yalaşımı 4 YARI PARAMETRİK MODELDE EĞRİSEL ÇİZGİ DÜZELTME YÖNTEMİNE DAYALI PARAMETRE TAHMİNLERİ VE PARAMETRELER İLE İLGİLİ SONUÇLAR 46 Yarı Parametr Moeller ç Cezalı E Küçü Kareler Yalaşımı 48 Bacttg Yötem 5 Kısm Eğrsel Çzg (Partal Sple) Yalaşımı 5 Specma Yalaşımı 5 Varyas-Kovaryas Tam 56 4 Yarı Parametr Moele at Çıarımlar 57 4 Parametr Bleşe ç Çıarım 57 4 Parametr Olmaya Bleşe ç Çıarım 6 4 DÜZELTME PARAMETRESİ (BANT GENİŞLİĞİ) SEÇİM YÖNTEMLERİ6 4 Çapraz Geçerll Ölçütü (Cross Valato-CV) 6 4 Geelleştrlmş Çapraz Geçerll Ölçütü (Geeralze Cross Valato- GCV) 64 4 Mallows u C p Ölçütü (Mallows C p Crtero) 66 4 GCV Ölçütü ve Mallows u C p Ölçütü Arasıa İlş 68 V

8 44 Aae Blg Ölçütü (Improve Aae Iormato Crtero-AIC) 7 45 Klas Plotları Kullaa Rs Tam (Rs Estmato usg Classcal Plots-RECP) 7 46 Tam Kat Düzeltme (Eact Double Smootg-EDS) 7 47Yerleştrme (Plug-) Yötemler 7 5 YARI PARAMETRİK MODELLERİN DALGACIK TAHMİNİ 79 5 Parametr Olmaya Regresyoa Dalgacı Tam8 5 Yarı Parametr Moele Dalgacı Tam 8 6 YARI PARAMETRİK MODELDE FARK ALMA YÖNTEMİNE DAYALI TAHMİNLER 9 6 Far Matrs ve Özelller 94 6 Yarı Parametr Moel Fara Dayalı Tam 96 6 Düzeltme ve Far Alma Arasıa İlş 64 Deeysel Uygulama 4 64 Kaaa Hae Bez Taleb 4 65 Yarı Parametr Moele Parametreler Fara Dayalı Rge Tam Ecs 7 65 Öerle Fara Dayalı Rge Tam Ec 8 65 Fara Dayalı Tam Ec ve Fara Dayalı Rge Tam Ec Karşılaştırılması 9 65 Fara Dayalı Rge Tam Ec βˆ ( ) R Üstülüğü 654 Deeysel Uygulama 4 7 SONUÇLAR VE ÖNERİLER 9 KAYNAKLAR ÖZGEÇMİŞ 5 EK 6 VI

9 ÇİZELGELER DİZİNİ SAYFA Çzelge Kerel osyoları Çzelge 6 E uygu ar alma ağırlıları Çzelge 6 Bez taleb ç parametre tamler5 Çzelge 6 Fara ayalı tam ec ve ı çeştl eğerlere arşılı gele ara ayalı rge tam ec tam ele varyas ve mse eğerler6 VII

10 ŞEKİLLER DİZİNİ SAYFA Şel Doğrusal regresyo ve terpolasyo Şel Etaol verse at saçılım grağ 9 Şel Bazı erel osyoları Şel 4 üzeltme parametres arlı eğerler ç etaol ver sete at erel regresyo üzeltme 4 Şel 5 Etaol ver ümes ç ormal (Gaussa) ve üçge (tragle) erel osyolarıı ullaımı 4 Şel 6 Trcube osyou 9 Şel 7 ç yerel regresyo üzeltme Şel 8 Gözlem eğerler saçılım grağ Şel 9 ç -NN tam ec 4 Şel ç -NN tam ec 4 Şel ç -NN tam ec 5 Şel 9 ç -NN tam ec 5 Şel 6 Bez ç ae taleb 6 Şel 6 Bez ç ae taleb: Aylı etler 6 Şel 6 Yarı parametr moel: Eletr ağıtımıa parametr olmaya bleşe ç uyum eğrs 5 Şel 64 ı çeştl eğerler ç ( ) βˆ R ve βˆ tam ecler tam ele mse eğerler 7 Şel 65 ı çeştl eğerler ç ( ) βˆ R ve βˆ tam ecler tam ele örelem varyas eğerler 7 VIII

11 SİMGELER VE KISALTMALAR DİZİNİ ADD AIC C Crtero) CEKK CV :Ayrı algacı öüşüm :Gelştrlmş Aae blg ölçütü (Improve Aae Iormato : Cezalı e üçü areler : Çapraz geçerll (Cross Valato) C P : Mallow u C P ölçütü (Mallows C p Crtero) D DD EDF EDS E(RSS) : EKK : Far alma matrs : Dalgacı öüşümü : Serbestl ereces : Eşeğer serbestl ereces : Tam at üzeltme (Eact Double Smootg) Hata areler toplamıı belee eğer : Alışılmış e üçü areler (OLS) : Düzgü osyo C [ a b] :İl türev [ b], ümes : osyouu türev & ( ) : tasarım otalarıı yoğuluğu GCV a, apalı aralığıa sürel ola tüm osyolarıı : Geelleştrlmş çapraz geçerll (Geeralze Cross Valato) opt : E uygu (optmum) üzeltme parametres H H P H S K -NN L : Şapa matrs : Kısm eğrsel çzg tam ecs ç üzeltme matrs : Specma tam ecs ç üzeltme matrs : Kerel osyou : Rge regresyo tam ecs ç yalılı parametres : -E yaı omşu tam ec : Gecme matrs IX

12 log m mse MSE MSSE N NCS ORR PRESS PS R RECP Classcal Plots) RSS SE sg S tr(a) p : Logartma : Far alma ereces : Saler eğerl ata areler ortalaması : Hata areler ortalaması : Ortalama ata areler toplamı : Terarlama matrs : Doğal üb eğrsel çzg : Alışılmış rge regresyo tam ec : Ö tam ata areler toplamı : Pürüzlülü cezası : Rs osyou : Klas plotları ullaa rs tam (Rs Estmato usg : Hata areler toplamı : Staart ata : İşaret (sgum) osyou : Parametr olmaya regresyo ç şapa matrs (üzeltme matrs) : A matrs z : Düzeltme parametres (bat geşlğ), eş eğer : Düzeltme parametres plot tam V p V s : Kısm eğrsel çzg yalaşımı ç varyas-ovaryas matrs : Specma yalaşımı ç varyas-ovaryas matrs : So etler arç eşttr : Yalaşı olara eşttr X

13 TANIMLAR Bat matrs: Saece sıır olmaya elemaları öşege etraıa br batta ola br are matrse bat matrs er Böylece eğer ( ) a j A are matrs j oluğua a şartıı sağlarsa, o zama A br bat matrstr 4 4 tpe br A bat j matrse öre olara aşağıa matrs vereblrz: a a A a a a a a a 4 a 4 a44 İterpolasyo: İl ez Uygulamalı Matemat blm br alt ategors ola sayısal aalz yötemlere taımlaa ve ele var ola eğer otalarıa yola çıara, arlı br yere ve eğer blmeye br ğer otaa olası eğer bulmaya/tam etmeye yaraya yötemler tümüe verle geel smr E bast taımı le var ola sayısal eğerler ullaara, boş otalara eğerler tam elmes olara açılamataır terpolasyo sözcüğü yere baze tam sözcüğü ullaılmataır İterpolasyo geele müesl ve eeylere/ölçümlere ayalı bezer blm allarıa, toplaa verler br osyo eğrse uyurulması amacı le ullaılmataır Ele toplaa ver ağıı ve özellle aşırı eteroje oluğu urumlara terpolasyo le boş otalara eğerler buluması öem azamataır Matrs z : Br A ( a j ) are matrs z A matrs esas öşege elemalarıı toplamı olara taımlaır ve z(a) le gösterlr Ya, z( A) a XI

14 olara yazılır Pozt taımlı matrs: Smetr A matrs ç A aresel ormu ele alısı ç A aresel ormu a büyü se A matrse pozt taımlı (p) matrs er (Graybll, 98) Pozt yarı taımlı matrs: Smetr A matrs ç A aresel ormu ele alısı E az br ç A aresel ormu a büyü ya a a eşt se A matrse pozt yarı taımlı (ps) matrs er (Graybll, 98) Negat taımlı olmaya matrs: Br A matrs pozt taımlı ya a pozt yarı taımlı se A matrse egat taımlı olmaya () matrs er (Graybll, 98) o-üçü: ϕ ( ) ve ( ) taımlamış ve ( ) ( ) g osyoları, otasıı erag Ω cvarıa g oşuluu sağlaya osyolar olsu ( otasıa g olablr) Bu ota solu veya sosuz olablr ϕ lm g ( ) ( ) oluşu, ϕ ( ) o( g( ) ), şele yazılmata ve oumataır (Hallov ve ar, 999) a ϕ ( ) osyou g ( ) e göre o-üçütür ye Te yalı yölü türev (Oe-se rectoal ervatve): L, m R e br osyo ve solu L ( ) e br ota olsu Br yöü le lgl L e L te yalı yölü türev varsa, XII

15 L ( ;) lm α L ( α) L( ) α bçmer Buraa, L ( ; ) lm α L ( α) L( ) α oluğua at ez Böylece te yalı yölü türev L ( ;), aca ve aca L ( ; ) varsa ve L ( ; ) L ( ;) se yalı yölü türevr Yölü türev: Belrl br brm vetör oğrultusua ele ele türev XIII

16 GİRİŞ Gül TABAKAN GİRİŞ İstatst blm e öeml oularıa br regresyo aalz oluşturmataır Regresyo aalz matemat, as, eoom, tıp, zraat, müesl gb blm allarıa ço yaygı olara ullaılmataır Gözlee br olayı eğerlerlre ag olayları ets altıa oluğuu araştırılması regresyo aalz temel oluşturur Regresyo aalz le bağımlı ve bağımsız (açılayıcı) eğşeler arasıa br lş var mıır? Eğer br lş varsa bu lş gücü er? Değşeler arasıa e tür br lş varır? Belrl oşulları otrol elmes urumua özel br eğşe veya eğşeler grubuu ğer eğşe veya eğşeler üzere ets er ve asıl eğşr? gb sorulara cevap aramaya çalışılır Regresyo aalz yapılıre gözlem eğerler ve etlele olayları br matematsel göstermle ya br osyo yarımı le ae elmes gerer Regresyo aalz bağımlı ve bağımsız eğşeler arasıa ortalama lş matematsel br osyola ae elmese, bağımsız eğşelerle bağımlı eğşe oğrusal br lş çerse oluğuu varsayar Br te bağımsız eğşe ullaılığı regresyo aalz te eğşel regresyo aalz, bre azla bağımsız eğşe ullaılığı regresyo aalz e ço eğşel regresyo aalz olara alaırılır Regresyo aalz bazı varsayımlara ayaır Bu varsayımları e öemls, bağımlı ve bağımsız eğşeler arasıa lş şel blyor olmasıır Varsayımları sağlamaığı urumlara yapıla tamler y br tam olma telğe sap olamazlar Bu uruma aa y tam yapablme amacıyla parametr regresyoa oğrusallı varsayımıı esetlmese olaa sağlaya regresyo yötemlere tyaç uyulur Bu yötemler parametr olmaya (oparametrc) ve yarı parametr (semparametrc) regresyo yötemler olara ble regresyo moellerr Yarı parametr regresyo moel ç var ola yalaşımları tümü arlı parametr olmaya regresyo yötemlere bağlıır Yarı parametr regresyo moeller armaşı ver ümeler bzm alayableceğmz bçme özetleyp, uygulamaa verler öemsz etaylarıı göz arı eere öeml ola özelller

17 GİRİŞ Gül TABAKAN muaaza eer ve böylece sağlam ararlar verlmes sağlarlar (Ruppert, Wa ve Carroll, ) Zamaa bağlı olara ele ele verler aalze yarı parametr regresyo yötem yaygı olara ullaılmataır Geellle tarım, tıp ve bometr alalarıa eemelere ele ele boylamsal (logtual) verler zamaa bağlı olara sürel br ölçele ölçülür ve ayı eeme ütese (breye) arlı zamaa ele ele ölçümler arlı eğerler alırlar Aca verler brbrleryle lşlr Bu verler bre azla avraışı brbr zleyece şele ayı eeme ütelere uygulaması soucu ele ele ölçümlerr (Lar ve Ware, 98) Boylamsal çalışmaları çoğua, lglele souç eğşe üzere zamaı ve sürel bağımsız eğşe etler moele yer alır Ayı brey üzere yer ve zamaa bağlı olara bre azla gözlem yapılığı zama ata eğşeler arasıa orelasyo (otoorelasyo) söz ousu olmataır Bu gb urumlara bazı varsayımlar geçerl olmaz Bua olayı zamala lgl eğerlermeler yapma parametr yötemler ç geel br soru olmataır Bu gb urumlara parametr olmaya yötemler ullaılablr Aca parametr olmaya yötemlerle bağımsız eğşe sayısı e azla oluğu zama aalzler yapılması ve graler yorumlaması zor olmataır Alterat br yötem olara yarı parametr moeller ullaılablr Yarı parametr moellere şasa bağlı etler ve zama ets parametr olmaya yötemlerle, sürel bağımsız eğşe etler se parametr ola yötemlerle moele al elr Yarı parametr regresyo moel parametr ve parametr olmaya regresyo osyouu brleşme oluşması ee le ısm oğrusal moel olara a alaırılmataır Bu çalışmaa ısm oğrusal moel yere yarı parametr moel aes ullaılacatır Yarı parametr regresyo moel, parametr eğşeler etler sıır olması ya a bu tür eğşeler aalze yer almaığı urumlara parametr olmaya regresyo moel olara ele alıır Ayrıca yarı parametr moeller e az eselte (üşü erecel br polom) e ço eselğe (yüse erecel br polom-terpolasyo) oğru br geşletmes ola, br üzeltme parametrese ( ) sap az sayıa parametre le özetleemeye

18 GİRİŞ Gül TABAKAN br parametr olmaya regresyo osyou çerr Bu eele parametr regresyo moellere ço aa esetr Bu çalışmaa parametr regresyo yötemler le çözümleemeye regresyo problemler çözümüe oluça apsamlı uygulama alaıa sap ola ve temele parametr olmaya br yötem ola yarı parametr regresyo moel ele alımış, yarı parametr regresyo moele parametre tam yötemler celemş ve bu moelle lgl çıarımlar yapılmıştır Çalışmaa yarı parametr regresyo moele parametreler tam ç üç arlı yalaşım ele alımıştır Bu yalaşımlara l rezü tabalı tam ecler, c yalaşım algacı tabalı tam yalaşımı, üçücü yalaşım se osyoua ayalaa vere eğlm elme etmey amaçlaya ar alma yalaşımıır Basele bu yalaşımlar temele parametr olmaya regresyo yötemler ç ullaıla yalaşımlarır İl yalaşım ola rezü tabalı tam eclere, parametr olmaya ve yarıparametr regresyo moellere parametre tam ç çoğulula üzeltme (smootg) yötemler ullaılır Düzeltme yötemlere br eğrsel çzg üzeltme (sple smootg) yötemr Bu yötem temel, cezalı e üçü areler regresyoua ayaır Parametr olmaya ve yarı parametr ola regresyo moeller estrme ullaıla cezalı e üçü areler yöteme alışılmış e üçü areler yöteme arlı olara ata areler toplamıa br üzeltme parametrese ( ) sap ola br ceza osyou eler Ceza osyouu elemese amaç ese eğml uyumlar le sabt eğml uyumlar arasıa br uzlaşma sağlamatır Rezü tabalı tam ecler üzeltme mtarıa bağlıır ve üzeltme parametres seçm pratte zor br problemr (Ruppert ve ar 997) Bu çalışmaa parametr olmaya ve yarı parametr regresyo moellere üzeltme parametres seçm ç, çapraz geçerll ölçütü (CV), geelleştrlmş çapraz geçerll ölçütü (GCV), gelştrlmş Aae blg ölçütü (AIC c ) ve Mallows u (C p ) ölçütü olara ble las yötemler, plot tamler seçm geretre rs tam yötemler EDS ve RECP, yerel oğrusal üzeltmee (local lear smootg) ullaıla alışılmış yerleştrme (plug-) yötemler ele alımıştır

19 GİRİŞ Gül TABAKAN Ele alıa c yalaşıma yarı parametr moel parametre tam; parametr olmaya bleşe algacı atsayılarıı l ormuu cezalaırılıp, rezü vetörüü l ormuu ares mmze elmes le ele elmştr Parametre tam ç ele alıa üçücü yalaşıma se () türevleeblr ve oratlarıı brbre yaı olması le parametr olmaya ve yarı parametr regresyo moellere osyouu elme elmes sağlaır Parametr olmaya ve yarı parametr regresyo moellere parametr olmaya et elme elmes sağlaya ar alma r yarı parametr moele A ve Powell (99), Yatcew (997) taraıa ele alımıştır Souç olara yuarıa basele tam yötemler aracılığı le yarı parametr regresyo moel le ço aa tutarlı tamler yapılır So yıllara las regresyo yötemler yetersz alığı göz öüe alıara parametr olmaya ve yarı parametr regresyola lgl br ço çalışma yapılmıştır; Egle, Grager, Rce, Wess (986) Hava urumu ve eletr satışları arasıa lş yarı parametr tamler, Hecma (986) Kısm oğrusal moele eğrsel çzg üzeltme (sple smootg), Robso (988) Yarı parametr regresyo moel tam, Specma (988) Kısm oğrusal moellere erel üzeltmes, Waba (99) Gözleme ayalı verler ç eğrsel çzg moeller, Cuzc (99) Yarı parametr toplamsal regresyo, Carroll ve ar (997) Geelleştrlmş ısm oğrusal sgle e moel, Yatcew (997) Kısm oğrusal moel br temel tam ecs, Euba, Kambour, Km, Klpple, Reese (998) Kısm oğrusal moellere tam, Härle ve ar (998) Geelleştrlmş ısm oğrusal moele parametre tam ve tam ele moel eğerlere br test statstğ, Lag ve ar (999) Yarı parametr ısm oğrusal ata ölçümlü moele tam, Scme () Eğrsel çzg üzeltme le ısm oğrusal moellere tam ve çıarımlar, Yatcew () eletr ağıtımıa ölçe eoomler, Lee () Eğrsel çzg üzeltmee üzeltme parametres seçm le lgl br smülasyo çalışması, Lag ve Wag (5) Kısm oğrusal sgle e ölçüm atalı moeller, Klpple ve Euba (7) Kısm oğrusal moeller ç ara ayalı varyas tam ecler ve buu gb ou le lgl br ço çalışma yapılmıştır 4

20 GİRİŞ Gül TABAKAN Bu çalışma 7 bölüme oluşmataır Brc bölüm ola grş bölümüe tez ousu ve öem, bu oua yapılmış çalışmalar, tez çerğ aıa blgler verlmştr İc bölüme parametr, parametr olmaya ve yarı parametr regresyo moeller taıtılmış, regresyoa üzeltme avramı, pürüzlülü ceza yalaşımı ve parametr olmaya regresyoa üzeltme yötemler celemştr Üçücü bölüme bu çalışmaı temel ousu ola yarı parametr regresyo moel ele alımış, bu moel parametreler tam ç, pürüzlülü ceza yalaşımı ve Specma (988) taraıa öerle Specma yalaşımı ele alımıştır Dörücü bölüme parametr olmaya ve yarı parametr regresyo uyumuu y br şele yapılablmes ç gerel ola ve bat geşlğ olara a alaırıla üzeltme parametres seçm yötemler, las yötemler, rs tam yötemler ve yerel oğrusal üzeltme yöteme ullaıla yerleştrme (plug-) yötemler olara celemştr Beşc bölüme, Cag ve Qu (4) taraıa yarı parametr moele parametre tam ç gelştrle br algacı tabalı tam yalaşımı ele alımıştır Bu yalaşım eğrsel çzg üzeltme, erel ve parçalı polom yalaşımları gb yarı parametr moeller ç var ola geleesel üzeltme yötemlere parametr olmaya osyou ısıtlayıcı pürüzsüzlüğüe açıa, parametr olmaya regresyo yötemler ç algacı yalaşımıı br uzamasıır Altıcı bölüme parametr olmaya ve yarı parametr regresyo moellere yaygı olara ullaıla ar alma yötem taıtılıp bu yöteme ayalı olara parametre tam ele elmştr Ayrıca regresyo problemlere çolu ç lş varlığı urumua öerle rge regresyo avramı ele alımış, yarı parametr moele çolu ç lş varlığı urumua ara ayalı rge tam ec olara alaırıla ye br tam ec öerlmştr ve ara ayalı rge tam ec le ara ayalı tam ec ata areler ölçütüe göre arşılaştırılmıştır Yec bölüme se souçlar ve öerler verlmştr 5

21 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Regresyo, ele alıa eğşelere br bağımlı ve ğerler bağımsız (açılayıcı) olması urumua bağımlı eğşe (y ) bağımsız eğşeler ( z, z,, z p ) br osyou olara ae elmesr Br osyoel bağıtı ola regresyo aalz; bağımsız eğşelere eğşmeler bağımlı eğşe ag yöe ve ag oraa etleğ belrtr Regresyo aalz asıl amacı; eğşeler arasıa osyoel bağıtıyı e y şele ae eece matematsel elem urma ve bu elem bağımlı eğşe eğerler tam elmese ve statstsel aalze ullamatır Regresyo aalz ( z z,, z, p) bağımsız eğşelere göre (y ) bağımlı eğşe oşullu ortalamasıı osyoel bağımlılığıı ortaya oyar Bu bölüme bağımsız eğşelere göre bağımlı eğşe osyoel bağımlılığıı belrleye parametr regresyo, parametr olmaya regresyo ve yarı parametr regresyo moeller taıtılmış, parametr olmaya regresyoa üzeltme (smootg) avramı ele alımış ve üzeltme yötemler celemştr Parametr Regresyo Parametr regresyo bağımlı ve bağımsız eğşeler le bu eğşeler arasıa ortalama lş matematsel br osyola ae elmes ve bu osyoa parametre vetörler açı br şele gösterlmesr Parametr regresyo, regresyo osyouu z,,, z z p bağımsız eğşeler br oğrusal osyou olara yazılablğ varsayar E ( y Z ) oşullu belee eğer Z blyore y ortalama ağılımıı Z le osyoel lşs gösterr Başa br ae le Z z, z,, z ) bağımsız eğşelere eğşme arşılı y ( p bağımlı eğşe ortalama teps ae eer ve 6

22 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ( y Z ) Zβ E () bçme veya, y Zβ ε () bçme yazılır Buraa ε y E( y Z ) aes ( y Z ) E oşullu belee eğer y e sapması olara taımlaır (Härle ve ar, 4) Moel () e gözlem sayısı, bağımsız eğşe sayısı p olma üzere; y ( ) boyutlu bağımlı eğşe vetörü, Z ( p) boyutlu ve p ralı bağımsız eğşeler matrs, β ( p ) boyutlu blmeye regresyo atsayıları vetörü, ε se gözleemeye ortalamalı ve sabt varyaslı rasgele ataları ( ) boyutlu vetörüür Parametr regresyo moele amaç moel uyurulması ve moel uyguluğuu araştırılmasıır Doğrusal regresyo moel belrleme ç blmeye β parametreler tam etme gerer Eştl () e ( y, z ) gözlem eğerlere arşılı gele ota le bu otaı e üçü areler yötem le ele elmş ola oğru üzere züşümler toplamı ya ε y yˆ sıır olmalıır Ayrıca bu arı areler toplamı mmum olmalıır Bu uruma () le verle moele parametre tamler, ε ( ) ( ) y yˆ y z β ˆ eştlğe ele elr Parametr yalaşım tümüyle varsayımlara ayalıır Eştl () e Z bağımsız eğşeler arasıa osyoel yapıı Z β bçme oğrusal oluğu ve β parametreler solu oluğu varsayılmataır Aca buraa eğşeler 7

23 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN arasıa oğrusal olmaya lşler varsa parametr yötemler yere parametr olmaya yötemler ullaılması gerer Güümüze parametr ola statstsel yötemlere arşılı olara parametr olmaya yötemler gelştrlmştr Parametr olmaya yalaşıma β parametre vetörüe baselmemete ve bağımsız eğşeler arasıa osyoel yapı a blmemeter Hçbr varsayım geretrmeğe olayı bu yalaşımı uygulamalara aa azla terc elmes gerere, brço problem le arşılaşılmasıa olayı are ullaılmataır Bu problemler çe e azla at çee, bağımsız eğşe sayısıı azla olması urumua tam ve yorumlamaa güçlü çelmesr (Härle ve ar, 4) Bağımlı eğşe bağımsız eğşelere bazıları le oğrusal lş çe aat bazıları le e lşs olayca parametreleştrlemeğ urumlar varır Bu gb urumlara parametr ve parametr olmaya regresyo yötemler yeterl olamayacağı açıtır Bu eele, em parametr em e parametr olmaya regresyo moeller çere ve bu moeller özel br urumu ola ısm oğrusal moel olara a alaırıla yarı parametr regresyo moel parametre tame aa uygu br souç verecetr Parametr Olmaya Regresyo Br y bağımlı eğşe ve bu eğşele e tür br lş çerse oluğu blmeye br bağımsız eğşe yer alığı bast 'parametr olmaya regresyo moel, y ( ) ε,,, () bçmer Buraa C [ ab, ] ola br üzgü osyo, parametr olmaya bağımsız eğşelere at gözlem eğerler, y bağımlı eğşee at gözlem eğerler, ε ortalamalı ve ağıla rasgele ata termlerr σ sabt varyaslı, bağımsız özeş olara 8

24 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Parametr olmaya regresyo aalz amacı parametreler tam etmete ço blmeye yaıt osyou (ortalama osyo) ola ( ) tam etmetr ( ),,, bağımsız eğşeler ve y bağımlı eğşe ölçümler arasıa lşy açılaya e yaygı yötem, E ( y ) ( ) oşullu belee osyouu tam etmetr Bu lşy açılaya geel parametr olmaya regresyo moel, ( y ) ε y E (4) ( ) ε bçme ae elr (4) eştlğe ( ) y y,, y, ( ) ( ( ) ( )),,,, ve ( ε,,ε ) ε olup belrg br şele sap olmaya açılayıcı eğşeler br osyouur Ayrıca c mertebee sürel türeve sap ola osyolar uzayıı br elemaıır ve C [ a, b] moel üzeltme ısmıır osyouu tam etme ç alt bölüm 7 e verle üzeltme yötemler ullaılır Parametr olmaya tam ec yaısama oraı geellle parametr tam eclere aa yavaştır Bu eele parametr tam le ıyaslamaa parametr olmaya yötemler ço büyü örelem acmler geretrr (Yatcew, 998) Aca parametr moellere oluğu gb bu tür moellere e statstsel oğrulu örelem acme eğl tam ecler varyas ve ovaryaslarıa bağlıır (Heere ve ar, ; Yatcew, 998) Parametr olmaya regresyo yötem tam yapare ısıtlayıcı varsayımları olmamasıa rağme bazı saıcaları varır Bağımsız eğşe sayısı azla oluğu zama tam yapma zor olmata ve ele ele graler armaşı br yapıa olmataır Bu urum boyutlulu soruu (curse o mesoalty) olara alaırılır Ayrıca parametr olmaya yötemle esl bağımsız eğşeler ate alma ve bağımsız eğşe sayısıa artışa bağlı olara y eğşee at breysel etler yorumlama zor olmataır Parametr olmaya bu yötem saıcaları yarı parametr regresyo moel ullaılara gerlmeter Yarı 9

25 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN parametr regresyo moel em parametr em e parametr olmaya regresyo moel er s brlte ullaır Bu eele yarı parametr regresyo moel parametr moeller ısıtlayıcı varsayımlarıa etlememele brlte parametr olmaya yötemler cazp özelller br araya getrmeter Parametr olmaya regresyo ayırı gözlemler (outlers) buluuğu ver setler ç öeml br aalz yötemr İstatstsel çalışmalara ayırı gözlemler etler arlı bçmlere ele ala güçlü (robust) parametr yötemler bulumataır Buula brlte, ayırı gözlemlere olayı parametreler bozuluğu ç bu güçlü yötemler ble uygu çözümler üretemeyeblr ve ver gerçe yapısı moele yasıtılamaz Bu uruma parametr olmaya regresyo, ö blg sağlamataır (Härle, 994) Parametr yalaşıma ço azla varsayım yapılığıa olayı souçları güvelrlğ gere azalmataır Parametr olmaya yalaşıma se çbr varsayım yapılmamata aat bağımsız eğşe sayısıı azla olması urumua moel tam ele elmes zor olmataır Yarı parametr yalaşım, parametr ve parametr olmaya yalaşım arasıa br orta yol bulmayı amaçlamataır Yarı Parametr Regresyo Yarı parametr regresyo moeller bağımlı eğşe bağımsız eğşelere bazıları le lşs parametreleştrleblğ aat ğer bağımsız eğşe veya eğşelerle lşs olayca parametreleştrlemeğ moellerr Değşeler saler oluğu ve osyouu parametr br ale çerse bulumaığı yarı parametr regresyo moel, y E ( yz, ) y Zβ ε ( ) ε (5) bçmer (5) eştlğe y, Z, ve ε öcee taımlaığı gbr (5) moele z parametr eğşeler vetörüü parametr olmaya

26 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ( ),,, eğşe le üzgü br regresyo lşse sap oluğu varsayılır (Yatcew, ) ve bu moelle parametre tam yapılıre ormall varsayımıa gere uyulmaz (Zeger ve Dggle, 994) Parametr olmaya moel tame yorumlaablr souçlar ele etme ç e azla açılayıcı eğşe le çalışma mümü e, yarı parametr yöteme tae açılayıcı eğşe bağımlı ets celeme mümüür Ayrıca parametr moele aar varsayım yapılmaması ee le bu yalaşımı uygulamalı çalışmalara ullaılması öerlmeter (Horowtz, 99) 4 Parametr Olmaya Regresyoa Düzeltme Kavramı Parametr olmaya regresyo moele y ye arşı ağılım grağ celeğe açılaması mümü br regresyo lşs er zama urulamaz Çüü ver ümese ayırı eğerler uygu olmaya yorumlamalara ee olablr Parametr olmaya regresyo aalz amacı blmeye yaıt osyou ola ( ) uygu aalz ele etmetr Gözlee ataları azaltılması le y e göre ortalama bağımlılığıı öeml ayrıtılarıı verme yorumu olaylaştırır Bu eğr yalaştırma şlem geel olara üzeltme (smootg) olara alaırılır Düzeltme r temele verler br eğrye uyurma ve aa bast osyoları brleşm olable ese osyoları ullama yatar Düzeltc (smooter) ˆ( ) w y se,,, olma üzere br ya a bre azla bağımsız eğşe osyou ola y bağımlı eğşe sap oluğu eğlm ae etme ç ullaıla br araçtır ve bağımlı eğşe ese aa az eğşe ola br eğry tam etmey amaçlamataır Br üzeltc e öeml özellğ, eğşeler arasıa lş şel es br bçme belrlememesr (br oğru gb) ve bu özellğe olayı parametr olmaya regresyoa sı ullaıla br araçtır (Haste ve Tbsra, 99) Parametr regresyoa ele ele oğru es parametr br bçme sap oluğu ç üzeltc eğlr

27 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Düzeltme yötem souç eğşe ya br üzeltc taraıa oluşturula tam üzgü (smoot) olara alaırılır (Härle, 994) Eştl (4) ve (5) e osyou yalaşı olara oğrusal se osyouu tam etme ç ullaıla las yötemlere br oğrusal regresyo yalaşımıır Bu yalaşıma ata areler toplamı mmum yapılara osyou tam elmeye çalışılır Faat osyou oğrusal eğl se bu yalaşım başarısız olablr ve bu uruma oğrusal regresyo uyumu saece eğşeler arasıa br lş varlığıı ae eer (Baıız Şel ) Şel Doğrusal regresyo ve terpolasyo Şel e görülüğü gb regresyo osyouu ğer br tam ( y ),, verler terpolasyou le ele eleblr İterpolasyo ele,, varola (ble) eğer otalarıa yola çıara, arlı br yere ve eğer blmeye br ğer otaa olası eğer tam etmeye yaraya yötemler tümüe verle geel smr E bast taımı le var ola sayısal eğerler ullaara, boş otalara eğerler tam elmes olara açılaır Bu tam ec ç oğrularla brleştrle gözlemlere breysel eğmler le sabt eğmll sağlaır Bu tam ec ç ata areler toplamı ( ) RSS olur Doğrusal regresyo uyumu vere blg ço azıı ullaıre, bu uyuma vere blg aa azla çerlr aca verler yararlı br özet sağlamaa başarısız olur ve aa

28 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN öemls moel rasgele ata avramıa ayalaa ve (4) eleme regresyo osyoua bağlı olable verlere özelller veya esas eğlm oyurucu br şele açılamasıı gerçeleştrmez Bu uruma parametre tame oğrusal regresyo ve terpolasyo uyumlarıı esetlmes sağlaya aa ese yalaşımları ullaılması zorulu ale gelr Alt bölüm 5 ve 6 a parametr olmaya osyou tam ç statstsel çalışmalara ço sı olara ullaıla ve üzeltme yötemler başlığı altıa alt bölüm 74 e ele alıa eğrsel çzg üzeltme yötem ç temel avramlar verlmştr 5 Pürüzlülü Cezaları E bast şelyle pürüzlülü ceza yalaşımı, regresyo oğrusu boyuca las oğrusal regresyoa moel varsayımlarıı esete br yötemr Bast oğrusal regresyo Şel e görüle verler ç uygu eğlr Şel e gözlem eğerlere tamamıyla ese eğml uyumlar (terpolasyo) le sabt eğml uyumlar (br oğru) arasıa br uzlaşmaya geresm oluğu görülmeter Buu sağlamaı br yolu, moele regresyo osyou eğm le bağlatılı ola ceza osyouu elemesr Pürüzlülü ceza yalaşımıı esas amacı ızlı olara algalaa br eğr eğlm ölçme ve aa sora eğr tame sabt eğml uyumlar le ese eğml uyumlar arasıa gerel uzlaşmayı sağlayaca şele tam problem ortaya oymatır (Gree ve Slverma, 994) 5 Br Eğr Pürüzlülüğüü Ölçme Br [ a, b] aralığıa taımlı eğrs e aar pürüzlü ve algalı oluğuu ölçme brço arlı yolu varır İ ez sürel türevleeblr eğrs pürüzlülüğüü ölçme br sezgsel cazp yolu osyouu c türev ares tegral { ( ) } b a almatır Bu ölçüme göre saece oğrusal ( )

29 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN osyoları sıır pürüzlülüğe sape ğer C [a,b] sıııa tüm osyolar pozt br pürüzlülüğe saptr Pürüzlülüğü esaplama ç çeştl yötemler bulumataır Özellle regresyo ousua, moele br sabt veya oğrusal br osyou elemes pürüzlülüğü ölçümüü etlemez Öyle eğer osyo saece br sabt veya br oğrusal osyoa göre arlı se oları pürüzlülüğü bezer olmalıır Bu oğal olara göz öüe alıa eğr c türeve bağlı ola br osyoel pürüzlülü re yol açar (Gree ve Slverma, 994) 5 Cezalı E Küçü Kareler Regresyou Parametr olmaya regresyoa büyü br öeme sap ola ve 74 alt bölümüe ele alıa eğrsel çzg üzeltme (sple smootg) yötem temel cezalı e üçü areler regresyoua ayaır [ a, b] aralığıa ez türevleeble erag br osyou ve br üzeltme parametres le cezalı areler toplamı, S ( ) { y ( )} ( ) { } b (6) a olara taımlaır (6) eştlğe ele ele cezalı e üçü areler (CEKK) tam ec ˆ ez türevleeble tüm osyoları sıııa S ( ) osyouu mmum yapa eğer olara taımlaır Buraa üzeltme parametres belrlemş br sabt olup, eğr pürüzlülüğüü ölçe { ( ) } b a le ver uyumuu ölçe { y ( )} aeler arasıa br uzlaşma sağlar ve esel üzere oula öem br ölçüsü olara görüleblr S ( ) mmze elmes uyum ylğ ve üzeltme arasıa e y uzlaşmayı verecetr Eğer b { } büyüse S ( ) e aa bleşe ( ) a pürüzlülü ceza term olaca ve 4

30 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN bua olayı mmum ˆ ço az eğrl gösterecetr Lmt urumua se sosuza gtme eğlme se term sııra yalaşacatır ve ˆ eğrs oğrusal regresyo uyumu üretecetr Eğer oluça üçüse S ( ) ye aa atı, ata areler toplamı (RSS) olacatır ve ˆ tam eğrs very yaıa zleyecetr Lmt urumua sııra yalaşma eğlme se, ˆ Şel e gösterle ese eğml uyum (terpolasyo) eğrse yalaşacatır Buraa öeml ola ota verler e y temsl ee br eğr tam ele etme ç e uygu eğer seçmr (Gree ve Slverma, 994) eğer seçm le lgl olara üzeltme parametres seçm yötemler 4 Bölüme ayrıtılı olara ele alımıştır 6 Eğrsel Çzgler (Sples) Bu ısıma (6) cezalı areler toplamıı mmum yapa eğrs belrlemese öeml avramlar ola eğrsel çzgler (sple), üb eğrsel çzgler ve oğal üb eğrsel çzgler ele alımıştır Eğrsel çzg (sple) br z ver otalarıa polom br eğr uyurma veya bu otalar arasıa geçe ve br ço parçaa oluşa ese br eğrr İstatst alaıa eğrsel çzgler statstsel özelllere ço sayısal çözümlemeler aıa ço geş çalışmalar yapılmıştır (De Boor, 978; Scumaer, 99) 6 Küb Eğrsel Çzgler Br [, ] ab aralığıa a< < < < b oşuluu sağlaya,,, reel sayılarıı verlğ varsayalım [ ab, ] aralığıa taımlaa osyou aşağıa oşullar sağlaıyorsa br üb eğrsel çzg olara alaırılır: (, ),(, ),(, ),,(, ) a b alt aralılarıı er bre br üb polom, 5

31 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN es, brc ve c türevler er br otasıa, böylece [ ab, ] aralığıı tümü üzere sürelr Buraa otaları üğüm otaları olara alaırılır Br üb eğrsel çzgy belrleme çeştl yolları varır Bulara e açı şele olaı er br üb parçaı ört polom atsayısı le; Öreğ verle a, b, c,,,, sabtler ç, ( ) ( ) ( ) ( ) ( ) c b a, (7) bçme belrlemesr Buraa a ve b olara taımlaır ve l türev üzere sürell oşulları atsayılar arasıa eğş bağıtıları ae eer Öreğ,,, ç üğüm otasıa sürellğ, ( ) ( ) c ( ) b ( ) a a olup, ( ) ( ) e eşt oluğua aşağıa eştl ele elr: ( ) ( ) ( ) ( ) c b a a [ ab, ] aralığıa br üb eğrsel çzg a ve b otalarıa c ve üçücü türevler sıır oluyorsa oğal üb eğrsel çzg (atural cubc sple: NCS) olara alaırılır Bu oşullar oğal sıır oşulları olara alaırılır c c aes uç aralı ola [ a, ] ve [ ] olmasıı ae eer (Gree ve Slverma, 994) b aralılarıa osyouu oğrusal, 6

32 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN 6 İc Türev-Değer Gösterm Gerçete (7) oğal üb eğrsel çzgy esaplama ç uygu br gösterm eğlr Br oğal üb eğrsel çzg er br üğüm otasıa eğer ve türev verlmes le belrleeblr Bu gösterm c türev-eğer gösterm olara alaırılır üğüm otaları le br oğal üb eğrsel çzg oluğuu varsayalım ( ) ve ( ), γ olsu Doğal üb,, eğrsel çzg taımı gereğ ve e türev γ γ bçmer ( ) ve ( γ,, ) γ,, γ vetörler verls Buraa γ (-) elemaı varır ve γ vetörler eğrs tamame belrler ve erag br otasıa türevler ve eğer ç ve γ termlere açı br ormül verme mümüür Verle üğüm otalarıa vetörler br oğal üb eğrsel çzg göstermes ç gere ve yeter oşul Q ve R matrsler olara taımlayacağımız matrse bağlıır Buraa Q ve R < < üğüm otalarıa ele ele bat matrsler olup ( ) (),,, osyolarıır Daa geel olara Q,,,; j,, ç, q j, j j, q jj j j, q j, j j ve j ç qj elemalarıa sap ( ) tpe br matrs olup Q u sütuları γ grşlere bezer bçme j le başlayara umaralaırılmıştır ve Q u l elemaı q r R elemaları j,, ç, r r, ( ) r,,,,,,, 6 ve j ç r j 7

33 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ola ( ) ( ) tpe smetr br matrstr (bz E) R matrs er br ç r > r j j olması alamıa es öşege omattır Nümer oğrusal cebre staart celemeler R matrs pozt taımlı (p) oluğuu gösterr Böylece, K QR Q olaca şele br K matrs taımlaablr (Gree ve Slverma, 994) Teorem ve γ vetörler oğal üb eğrsel çzg belrtmes ç gere ve yeter oşul aşağıa gbr: Q Rγ (8) (8) sağlaırsa bu uruma pürüzlülü cezası, b a ( ) γ Rγ K (9) bçme yazılablr (İspat ç bz Gree ve Slverma, 994) Teorem pürüzlülü cezasıı (9) bçme yazılmasıa olayı eğrsel çzg üzeltme yötem le tam yapmaa gerel br teoremr 7 Parametr Olmaya Regresyoa Düzeltme Yötemler (Doğrusal Düzeltcler) Parametr regresyo ousua ver ümelere at graler çzlğe bağımlı eğşe le bağımsız eğşeler arasıa oğrusal br lş oluğu açı olara görülmeter Böyle verler ç oğrusal moel verler olay ve bast olara aalz ee br moelr İlglele ver ümes oğrusal br bağımlılı serglemeğ urumlara bu moel ullaımı uygu eğlr Öreğ, Şel 8

34 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN e verle saçılım grağ ele alalım Şele bağımsız eğşe E (etaol) ve bağımlı eğşe NO (tr ost) arasıa br lş oluğu aat bu lş oğrusal br uyum olmaığı açı olara görülmeter NO E Şel Etaol verse at saçılım grağ Şel e saçılım grağe uygu br moel asıl olmalıır? Klas oğrusal moele polom termler eleyp e üçü areler yötem uygulaması ya polom regresyou uygulaması br yalaşım olablr Polom regresyo br ço urumlara ullaışlı olablr Buula brlte termler seçm er zama açı eğlr ve üçü etler öeml erecee büyü olablr veya termler yalış seçm le tamame aybolablr Doğrusal olmaya verler aalz ç br başa yalaşım, moel şel belrleme ç verlere ayalıır Bu yalaşım verlere uygu br eğr ç yerel otaları ullaa cazp br yalaşımır Bu yöteme, erag br otaa eğr saece bu otaa gözlemlere ve bazı belrlemş omşuluta otalara bağlıır Böyle br uyum orjal gözlee yaıtta ço arlı olmaya yaıtı tam ele ettğe olayı ele ele souç alt bölüm 4 e belrtlğ gb üzgü (smoot) olara alaırılır Bu şele uyumları ele etme ç ullaıla yötemler saçılım grağ üzeltme (scatterplot smooters) olara alaırılır 9

35 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Düzeltme yötemler arlı ölçümler arasıa osyoel lşler bulmaya yaraya yötemlerr Parametr regresyo çerçevese oluğu gb verler br ya a aa azla bağımsız eğşe ve br bağımlı eğşe ölçümlere oluştuğu varsayılır Parametr regresyo yötemler bağımsız ve bağımlı eğşeler arasıa lşy taımlama ç osyoel br şel (br oğru gb) belrlerler Düzeltme yötemler se uyurulmuş eğrler şel belrleme ç eler ver otaları sağlaya aa ese br yalaşım sağlarlar (Loaer, 4) Bu bölüme e yaygı üzeltme yötemlere bazıları ele alıacatır Ele alacağımız üzeltcler eps, ( ) ˆ w y () yazılışıa olayı oğrusal üzeltclerr Buraa { } vetörü { } w vetörüe bağlı olara esaplaa ağırlı vetörüür Eştl () a ˆ ( ) regresyo tam ecs üzeltc olara alaırılır Düzeltme yötemler amacı ( ) ortalama osyou ç parametr br moel belrleme eğl verler sağlayaca uygu br osyoel şel belrlemetr (Loaer, 4) 7 Kerel (Çere) Düzeltc Düzeltme yötemler e bast erel üzeltcr Bu yöteme br otası ortalama osyo ( ) taım bölgese yer almıştır ve br üzeltme peceres bu otaı etraıa belrlemştr E sı ullaıla üzeltme peceres bastçe ( ), aralığı olara gösterlr Kerel tam üzeltme peceres çe gözlemler br ağırlılaırılmış ortalamasıır ve aşağıa şele gösterlr:

36 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ( ) j j K y K ˆ () Buraa üzeltme peceres yarıçapıa arşılı gele ve bat geşlğ olara a ble br üzeltme parametres, gözlem sayısıır () le verle erel üzeltc aşağıa bçme e gösterleblr (Loaer, 4): ( ) j j y w y K K ˆ () () eştlğe w uzalığıa bağlı gözlem y ye ataa ağırlı olara ya gözlem w ağırlığı uzalığıı br osyou olara taımlaır Bu yöteme e bağlı w ağırlıları yarımı le y bağımlı eğşeler br ağırlılı ortalaması olara otasıa regresyo osyou tam elr ve w atsayıları, ( ) j j K K w w () bçme olup w r Br oğrusal üzeltc uygu olara taımlamış w ağırlıları ç () e gb gösterle br üzeltcr Br erel üzeltc er br ee otaa tam üretme ç erel olara taımlaa yerel ağırlıları açıça taımlamış br ümes ullaır Br erel üzeltc ee otaa uzağa

37 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN taşıığıa olayı üzgü br bçme azala ağırlıları ullaır Geellle uzalı üçüse ağırlı yüse ve uzalı büyüse ağırlı üşü olur Ağırlılar K taraıa belrtlr ve üzeltme parametres (bat geşlğ) olara ble taraıa otrol elr () erel tam baze Naaraya-Watso tam olara a alaırılır (Härle ve ar, 4) Bu yalaşım ağırlıları açıça belrtme ç K erel osyouu ullaığıa olayı br erel üzeltc olara alaırılır Kerel osyoları aşağıa özelllere sap osyolarır: ) ( u ), K u ç ) K ( u ) u ) K ( u ) K ( u ) smetrtr Bu özelller ayı zamaa smetr br olasılı yoğulu osyouu özelllerr (Motgomery ve Pec 99) Uygulamaa ullaıla bazı erel osyoları Çzelge e verlmştr; Çzelge Kerel osyoları Kerel K ( u) Düzgü (Uorm) I ( u ), u [,] Üçge (Tragle) ( u ) I ( u ) ( u ), u [,] Epaecov ( u ) I ( u ) ( u ), u [,] erecee (Quartc, Bwegt) ( u ) I( u ) ( u ), u [,] erecee (Trwegt) ( u ) I( u ) ( u ), u [,]

38 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Normal (Gaussa) 4 ep u u [, ] Cosüs cos u I( u ) cos u, u [, ] 4 Çzelge e verle tüm osyolar yuarıa verle erel osyolarıı 5 K( u) u u 6 özelller sağlar Öreğ 4erecee erel osyou ( ) yuarıa verle özelllere sap oluğuu gösterelm: 5 K, 6 ) ( u) ( u ), u [,] ) ( ) u ( u u ) 6 u u, 6 ) ( u) ( u) 5 ( ) ( u ) K( u) 5 K 6 6 Şel e bazı erel osyoları gösterlmştr Şel 4 e etaol ver sete at erel regresyo tam arlı üzeltme parametres eğerlere bağlı bçme grasel olara gösterlmştr: Şel Bazı erel osyoları: Düzgü (sol üst), Epaecov (sağ üst), Üçge (sol alt), 4 erecee (sağ alt) (Härle ve ar, 4)

39 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN NO E Şel 4 üzeltme parametres arlı eğerler ç etaol ver sete at erel regresyo üzeltme Çzelge e verle erel osyolarıa, üçge (tragle) ve ormal (Gaussa) erel osyoları br ço ver ümes ç bezer üzeltme sağlamata olup bu bezerl grasel olara Şel 5 e gb gösterlmştr: NO 4 (ormal) (üçge) 6 8 E Şel 5 Etaol ver ümes ç ormal (Gaussa) ve üçge (tragle) erel osyolarıı ullaımı Haste ve Tbsra (99) erel osyouu seçm üzeltme parametres seçme göre aa öemsz oluğuu ortaya oymuştur () erel tame üzeltme parametres rolü öemlr Şöyle : Büyü eğerler ç eğr ço yavaş eğşr ve üzeltme öemlr Bu uruma tam varyası sıırlı aat tam oluça sapmalıır eğer üçü oluğua se eğr 4

40 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN oluça üzeszr ve sapmalar sıırlı aat tam varyası büyütür Bu eele parametres sapmalar ve tam oğruluğu arasıa br uzlaşma sağlar (Härle ve ar, 4) 7 Yerel (Local) Regresyo Düzeltc Yerel regresyo tam statstsel çalışmalara 97 ler solarıa öem azamış br yötem olup bu yöteme göre br üzgü osyo erag br otasıı omşuluğua üşü erecel br polom taraıa ço y tam eleblr Öreğ br yerel oğrusal tam ç, ( ) a a ( ) (4) bçmer Buraa a ve a yerel parametre ve yerel omşuluları büyülüğüür Br yerel c erecee tam, a (5) ( ) a a ( ) ( ) bçme taımlaır (Loaer, 4) p erecee geel br polom, ( ) p ( ) a! (6) bçmer (6) le verle osyou br otasıa yerel regresyo eğer tam eleblmes ç a le gösterle atsayıları buluması gerer Buu ç aşağıa (7) le verle eştl ullaılır 5

41 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN 6 ( ) Wy X X WX a a p ˆ ˆ (7) Buraa X tasarım matrs, W öşege elemaları K ola br öşege matrs ve ( ),,y y y yaıt eğşelere oluşa br matrs olup aşağıa bçme gösterlrler: ( ) ( )!! X, K K W, y y y Yerel tam yerel olara ağırlılaırılmış e üçü areler le uyurulablr Ya aa uza gözlemlere aa üşü ve aa yaı gözlemlere aa yüse ağırlılar ataya ağırlılı regresyo yapılablr Ağırlı osyou ve üzeltme parametres erel regresyoa oluğu gb taımlaığıa, bu şlem baze erel regresyou olara a ae elr erecee yerel br polom (6) eştlğe p alıırsa, ( ) ( ) ( ) ( ) 6 a a a a (8) bçme yazılıp atsayı tamler,

42 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN 7 ( ) ( ) ( )! a a a a y K (9) aes mmum yapaca bçme seçlr Her br yerel EKK problem br otasıa ( ) ˆ taımlar; Eğer eğştrlrse üzeltme ağırlıları K eğşece ve böylece ˆ, ˆ, ˆ, ˆ a a a a tamler eğşecetr (9) ağırlılaırılmış EKK oluğua atsayı tamler, ˆ ˆ ˆ ˆ a a a a X y W X ormal elemler çözülmes le ele eleblr Buraa yerel erecee regresyo ç X tasarım matrs aşağıa bçmer: ( ) ( ) ( ) ( ) ( ) ( ) X Öre: Bat geşlğ alara, aşağıa verle A matrs yarımı le erecee yerel br polomu otasıa tam ele eelm

43 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN A Çözüm ç l öce erecee yerel polomu ˆ, ˆ, ˆ, ˆ a a a a le gösterle atsayılarıı ele etmemz geremeter Buu ç yuarıa taımlaa X tasarım matrs, W öşege matrs ve ( ),,y y y y aşağıa bçme ele eerz: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , y X ( ) K K K K K K K K K K W

44 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Buraa ağırlılara oluşa W öşege matrs oluşturmaa Şel 6 le gösterle, K ( u) ( u ) u u veya u trcube osyou ullaılmıştır Şel 6 Trcube osyou Yuarıa verle W matrse otasıa aa uza gözlemlere aa üşü ve otasıa aa yaı gözlemlere aa yüse ağırlılar ataığı görülmeter Öreğ ve 4 5 ç ataa ağırlı 484 e ve 4 ç ataa ağırlı 899 ur Ele ele X ve W matrslere areetle, X, ( WX ) X Wy ele elp buraa, 9

45 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ( X WX ) X Wy aˆ aˆ aˆ aˆ ele elr O ale erecee yerel polom, (8) eştlğe atsayıları eğerler yerleştrlmes le, 45 6 ( ) ( ) ( ) ( ) 6 olara ele elr Böylece ç otası etraıa yerel regresyo eğer, ( ) 45 ˆ olara ele elr Eğer otasıa eğer ele eerse bu souç ç bulua souca yaı br eğer olacatır oluğua ( ), a ı esaplama ç mmze elr (7) eştlğ yerel regresyo tam ( ) w ( ) y ola br oğrusal tam oluğuu ae eer ve ˆ le taımlamış w atsayıları, w w ( ) e ( X WX ) X W w () bçme açı olara verlr (Loaer, 4) Buraa ( ) vetörür Yuarıa örete e p-sütulu brm eğerler -77 ç e ( X WX ) X W olara ele elmştr Şel 7 e ç yerel regresyo üzeltme gösterlmştr

46 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Şel 7 Yerel regresyo üzeltme () 7 -E Yaı Komşu Tam Ec (-Nearest Negbor Estmator: -NN) E yaı omşu tam ec yapısı erel tam ece arlıır Şmye aar görüğümüz gb, erel regresyo tam otası cvarıa belrlemş br omşuluta bağımlı eğşeler ağırlılı ortalamalarıı esaplaması yötem olara üşüüleblr Bu omşuluğu geşlğ üzeltme parametres ve K erel osyou taraıa yöetlr ( ), y ε,, moele (, y ),,(, y ) gözlem eğerler göz öüe alalım Buraa { }, eğşe [ a, b] e alığı arlı eğerler gösterr Ayrıca otasıa tam ecs ye e yaı tae omşuya at ola y eğerler ortalamasıır -e yaı omşu tam eğşe omşululara ağırlılı br ortalamaır Bu omşulu öl (Euclea) uzalığıa e yaı omşular arasıa bulua eğşeler aracılığı le taımlaır Bçmsel olara, -e yaı omşu tam, ( ) ( ) ˆ w y ()

47 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN { } olara yazılablr Buraa w ( ) ağırlı zs, J {:, e e yaı tae gözleme br } es zs le, w ( ), J se, asurumase olara taımlaır Buraa bu tam ec üzeltme parametresr ve tam ele eğr pürüzlülüğüü ereces üzeler ve erel üzeltcler üzeltme parametrese (bat geşlğe) bezer br rol oyar Ağırlıları oluşturulması aıa r sab olablme ç aşağıa öreler ele alalım {(, )} 5 y gözlemler {(,5), ( 7,),(, ), (,),( 5,4) } ç ˆ ( ) -NN tam esaplayalım olsu 4 ve e e yaı gözlem so üç ver otasıır, böylece J 4 {,4,5} ve bua olayı w ( ) w ( ) w ( ) w ( ) w ( ) olup ( ) 4, 4, 4 /, 4 /, 4 / 4 5 ˆ -NN tam ve 4 ç () le verle eştlte, J ( 4) ( 4) / 5/ ˆ olara ele elr (Härle, 994) Karyovasüler astalılar ç rs atörler le lgl olara yapıla l br çalışmaa, yaşları 8 ve 4 arasıa eğşe 9 astaya at gözlem eğerler verlmş olsu Bu gözlem eğerlere 8 gözlem eğer (, y ) göz öüe alalım Buraa bağımsız eğşe astaı bel çevres, y bağımlı eğşe se astaı ç arı yağ ousuur Şel 8 e 8 gözlem eğere at saçılım grağ verlmştr

48 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN (6885, 5578) 5 (7, 8) (785, 68) 6 (7, ) (79, 8) 7 (78, 45) 4 (76, 589) 8 (745, 4) Şel 8 Gözlem eğerler saçılım grağ ü omşuluğu, ( 7 ) { 5} le 7 J olup, 8 ˆ ( 7 ) 8 ele elr le 7 ü omşuluğu, ( 7 ) { 5, 6} J olup, 8 ( 7) 5 5 ˆ ele elr 5 le 7 ü omşuluğu, ( 7 ) {, 4, 5, 6, 7} J olup

49 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN ( 7) 598 ˆ5 ele elr Şel 9 ve a sırasıyla ve ç -e yaı omşu osyouu uyum eğrler verlere ele elmştr Şel 9 ç -NN tam ec Şel ç -NN tam ec Bezer şele ve 9 ç verlere ele ele -e yaı omşu osyouu uyum eğrler Şel ve Şel e gbr 4

50 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN Şel ç -NN tam ec Şel 9 ç -NN tam ec Yuarıa şellere omşuluları sayısı üçü se souç osyouu oluça eğşe, büyü se souç osyouu aa üzgü oluğu görülmeter Belrlemş br sabt ç geel olara; Eğer verler yoğu br şele ağılmış se omşulular arasıa uzalılar üçü, tam ters olara verler ağıı br şele ağılmış se omşulular arasıa uzalılar büyü olur 74 Eğrsel Çzg Düzeltme (Sple Smootg) Yötem Parametr olmaya regresyoa osyouu bçmsel olara eğerlerlmese ullaıla eğrsel çzg üzeltme yöteme osyouu ˆ le gösterle tam ecs uyum ylğ ç br ölçüm ola RSS göz öüe 5

51 REGRESYON MODELLERİ, REGRESYONDA DÜZELTME KAVRAMI VE PARAMETRİK OLMAYAN REGRESYONDA DÜZELTME YÖNTEMLERİ Gül TABAKAN alıması le ele elr Parametr olmaya regresyo moel ullaılara ata areler toplamı, { ( )} y RSS () le esaplaır Pürüzlülü cezası olara ble, { ( ) } osyou le eğrsel çzg üzeltme tam ecs (6) le verle, ( ) { y ( )} { ( ) } S () cezalı areler toplamıı mmum yapılması le ele elr (Härle ve ar, 4) Eştl () e l term ata areler toplamıı (RSS) ae etmeter ve parametr regresyoa oluğu gb uyumu verlere yaılığıı ölçer, c term se pürüzlülü cezasıı (rougess pealty) gösterp pürüzlüğe br ceza yüler ya osyoa eğrlğ cezalaırır İc terme yer ala alt bölüm 5 e taımlaa üzeltme parametres olup eğrs pürüzlülüğü ve rezü ata arasıa eğşm oraıı gösterr Cezalı areler toplamıı mmum yapa eğrse eğrsel çzg üzeltme tam ecs er ve,,, üğüm otaları le br oğal üb eğrsel çzg olara blr ˆ 'ı oğal üb eğrsel çzg özelller pürüzlülü cezasıı özel seçme ayalaa özelller oluğua at elmelr Buraa basele eğrsel çzg üzeltme tam ecs, ˆ ( I K ) y S y 6