ANALYSIS OF INFLUENTIAL OBSERVATION IN SEMIPARAMETRIC REGRESSION MODEL

Transkript

1 YARI PARAMERİK REGRESYON MODELİNDE EKİLİ GÖLEM ANALİİ ANALYSIS OF INFLUENIAL OBSERVAION IN SEMIPARAMERIC REGRESSION MODEL SEMRA ÜRKAN Hacettepe Üverstes Lsasüstü Eğtm Öğretm ve Sıav Yöetmelğ İSAİSİK Aablm Dalı ç Ögördüğü DOKORA Eİ olarak aırlamıştır 0

2 Fe Blmler Esttüsü Müdürlüğü'e, Bu çalışma ürm tarafıda İSAİSİK ANABİLİM DALI 'da DOKORA Eİ olarak kabul edlmştr Başka : Prof Dr Memet Akf BAKIR Üe Daışma : Prof Dr Ö OKAMIŞ Üe : Prof Dr Hüse ALIDİL Üe : Doç Dr Meral Cada ÇEİN Üe : Doç Dr Serpl Gökçe CULA ONAY Bu te Hacettepe Üverstes Lsasüstü Eğtm-Öğretm ve Sıav Yöetmelğ lgl maddeler uarıca ukarıdak ür üeler tarafıda //0 tarde ugu görülmüş ve Esttü Yöetm Kuruluca //0 tarde kabul edlmştr Prof Dr Fatma SEVİN DÜ Fe Blmler Esttüsü Müdürü

3 YARI PARAMERİK REGRESYON MODELİNDE EKİLİ GÖLEM ANALİİ Semra ürka Ö e çalışmasıı amacı, doğrusal regreso modelde etkl gölemler belrlemek ç öerle ölçütler arı parametrk regreso model ç gelştrlmes ve gelştrle ölçütler etkl gölemler belrlemede başarılı olup olmadıklarıı gerçek br ver kümes kullaılarak ve smülaso çalışması apılarak celemesdr Bu çalışmada arı parametrk regreso modelde parametreler tam etmek ç kullaıla ötemler taıtılmış, sora doğrusal regreso modelde etkl gölemler belrlemek ç so ıllarda sıkça kullaıla Cook Uaklığı, Had Ölçütü, Pea ı Ölçütü ve COVRAIO gb ölçütler celemş ve bu ölçütlerde Had Ölçütü, Pea ı Ölçütü ve COVRAIO ölçütü arı parametrk regreso model ç gelştrlmştr Gerçek br ver kümes ve apa br ver kümes kullaılarak öerle ölçütler etkl gölemler ortaa çıkarmadak başarıları araştırılmıştır Smülaso çalışması apılarak farklı öreklem büüklüklerde öerle ölçütler etkl gölemler ortaa çıkarmadak başarıları celemştr ve karşılaştırılmıştır Aatar Kelmeler: Yarı parametrk regreso model, etkl gölemler, Cook Uaklığı, Had Ölçütü, Pea ı Ölçütü, COVRAIO Daışma: ProfDr Ö oktamış, Hacettepe Üverstes, İstatstk Bölümü

4 ANALYSIS OF INFLUENIAL OBSERVAION IN SEMIPARAMERIC REGRESSION MODEL Semra ürka ABSRAC e am of tess s to develope dagostcs, used to detect fluetal observatos lear regresso model, for semparametrc regresso model ad eame weter te developed dagostcs are successful or ot determg fluetal observatos usg a real data set ad smulato I ts stud, metods used for estmato of parameters semparametrc regresso are troduced, te, dagostcs suc as Cook s Dstace, Had s dagostc, Pea s dagostc ad COVRAIO wc are frequetl used recet ears are eamed ad Had s dagostc, Pea s dagostc ad COVRAIO are developed for semparametrc regresso model It s vestgated weter developed dagostcs detect or ot te fluetal observatos b usg real data ad artfcal data It s eamed ad compared te success of developed dagostcs determg fluetal observatos dfferet sample ses va smulato stud Ke Words: Semparametrc regresso model, fluetal observatos, Cook s Dstace, Had s dagostc, Pea s dagostc, COVRAIO Advsor: Prof Dr Ö oktamış, Hacettepe Uverst, Depertmat of Statstcs

5 EŞEKKÜR Çalışmamı er aşamasıda blgs ve maev desteğ le er ama aımda ola, katkı ve eleştrler le çalışmama ö vere değerl daışmaım Saı ProfDr Ö OKAMIŞ a teşekkür ederm Arıca değerl katkı ve görüşler ç ProfDr Hüse ALIDİL e ve Prof Dr MAkf BAKIR a teşekkür ederm e çalışması süresce olumlu katkı ve görüşler ve değerl öledrmeler ç DoçDr Meral ÇEİN e ve DoçDr Serpl CULA a teşekkür ederm Çalışmamı er aşamasıda maev desteğ le baa güç vere değerl arkadaşım Arş Gör Esra POLA a, blgs ve maev desteğ ç esrgemee değerl arkadaşım Öğr Gör Game ÖEL e çtelkle teşekkür ederm e çalışmam süresce gösterdkler sevg ve sabırla er ama aımda ola AİLEM e teşekkür ederm

6 İÇİNDEKİLER DİİNİ Safa Ö ABSRAC EŞEKKÜR İÇİNDEKİLER DİİNİ v ŞEKİLLER DİİNİv ÇİELGELER DİİNİ v GİRİŞ REGRESYON MODELLERİ 5 Parametrk Regreso 5 Parametrk Olmaa Regreso 6 Düleştrme Kavramı ve Pürülülük Ceası Yaklaşımı 8 3 Düleştrme Yötemler 3 Çekrdek Kerel düleştrme ötem 3 Yerel polom düleştrcs 5 33 Eğrsel çg düleştrme sple smootg ötem 9 34 Cealadırılmış Pealed eğrsel çg regresou 4 35 Cealadırılmış eğrsel çg regresouda karışık doğrusal model aklaşımı le düleştrme 7 35 Karışık doğrusal model 7 35 Karışık doğrusal modelde tam Parametrk olmaa regresoda cealadırılmış eğrsel çgler pealed sples ç BLUP tamler 3 36 Düleştrme Parametres Seçm Çapra geçerllk Cross-valdato, CV Geelleştrlmş çapra geçerllk Geeraled cross-valdato, GCV Mallows u C p ölçütü Akake blg ölçütü Akake formato crtero 40 4 Yarı Parametrk Regreso 4 v

7 4 Yarı parametrk regreso model ç cealadırılmış e küçük kareler ötem 43 4 Yarı parametrk regreso modelde Gree ve Slverma aklaşımı Yarı parametrk regreso modelde çekrdek düleştrme ötem Yarı parametrk regreso modelde erel polom regreso local polomal düleştrme ötem Yarı parametrk regresoda karışık doğrusal model aklaşımı 5 3 DOĞRUSAL REGRESYON MODELİNDE EKİ ANALİİ 54 3 Cook Uaklığı 55 3 Had Ölçütü Pea ı Ölçütü COVRAIO Ölçütü 63 4 YARI PARAMERİK REGRESYON MODELİNDE EKİ ANALİİ 66 4 Yarı Parametrk Regresoda ç βˆ Cook Uaklığı 66 4 Yarı Parametrk Regresoda ç mˆ Cook Uaklığı Yarı Parametrk Regresoda ç ŷ Cook Uaklığı Yarı Parametrk Regreso Model ç Had Ölçütü Yarı Parametrk Regreso Model ç Pea Ölçütü Yarı Parametrk Regreso Model ç COVRAIO Ölçütü 8 5 UYGULAMA 83 5 Gerçek Br Ver Kümes Üerde Ugulama 83 5 Yapa Br Ver Kümes Üerde Ugulama 9 53 Smülaso Çalışması 93 6 SONUÇ VE ARIŞMA 97 KAYNAKLAR 99 ÖGEÇMİŞ 06 v

8 ŞEKİLLER DİİNİ Safa Şekl İstatstksel modelleme sürec Şekl Ver oktalarıı saçılım grafğ ve udurula doğru 9 Şekl Ver oktaları doğrusal çgler le brleştrlerek elde edle tam 0 Şekl 3 Ver oktaları eğrler le brleştrldğde elde edle tam 0 Şekl 4 Yerel doğrusal düleştrc 5 Şekl 5 e ve e saçılım grafğ 85 Şekl 5 saçılım grafğ 86 e Şekl 53 saçılım grafğ 86 Şekl 54 saçılım grafğ 86 Şekl 55, saçılım grafğ 87 Şekl 56 C saçılım grafğ 89 Şekl 57 * C saçılım grafğ 89 Şekl 58 Şekl 59 Şekl 50 Şekl 5 Şekl 5 Şekl 53 Şekl 54 Şekl 55 Şekl 56 Şekl 57 C saçılım grafğ 89 S saçılım grafğ 90 C R saçılım grafğ 90 H saçılım grafğ 90 C saçılım grafğ 9 * C saçılım grafğ 9 C saçılım grafğ 9 S saçılım grafğ 9 C R saçılım grafğ 93 H saçılım grafğ 93 v

9 ÇİELGELER DİİNİ Safa Çelge Çekrdek foksoları 3 Çelge 5 Dabet verse lşk artık değerler ve kaldıraç değerler 84 Çelge 5 Dabet verse lşk etkl gölem ölçüt değerler 88 Çelge 53 Çeştl öreklem büüklükler ç öerle ölçütler akırı değer olmaa acak büük kaldıraç değer ola gölemler belrleme üdeler 95 Çelge 54 Çeştl öreklem büüklükler ç öerle ölçütler em akırı değer em de büük kaldıraç değer ola gölemler belrleme üdeler 95 Çelge 55 Çeştl öreklem büüklükler ç öerle ölçütler em akırı değer em de kaldıraç değer ola gölemler belrleme üdeler96 v

10 GİRİŞ Ver modelleme, moder statstksel aal arılma br parçasıdır İstatstksel modelleme sürec aşağıdak adımlarda oluşmaktadır Brc adım model belrlemes, kc adım model kestrm, üçücü adım se model geçerllğ araştırılmasıdır Modelleme sürec adımları Şekl de aşağıdak gb gösterleblr: Model belrlemes Model kestrm Dögü Model geçerllğ araştırılması Model geçerl kestrm se süreç değlse tamamlaır Model geçerl değlse Şekl İstatstksel modelleme sürec Şekl de model belrlemes aşamasıda, lglele ver kümese ugu olablecek modeller seçlr Model kestrm aşamasıda, seçle modeldek blmee parametreler kestrmler ver kümesde ararlaılarak elde edlr ve bulua kestrm değerler modelde ere koulur Model geçerllğ araştırılması aşamasıda belrlee ve kestrle model vere ugu olup olmadığı araştırılır Kestrle model vere ugu olup olmadığı araştırılırke etk

11 aal apılır Etk aal ardımı le aal souçlarıı etklee gölemler akırı değer, etkl gölem ve büük kaldıraç değer olup olmadığı araştırılır Dllae, 005; ürka, 008 Doğrusal regreso aalde etk aal le lgl brçok ktap ve makale vardır Cook 977, Catteree ve Had 986, Had 99 ve Pea 005 makaleler, Belsle vd 980 ve Cook le Wesberg 98 ktapları bularda baılarıdır Yapıla çalışmalarda, doğrusal regreso modelde aal souçlarıı etklee gölemler ortaa çıkarmak ç çeştl ölçütler gelştrlmştr Bu ölçütlerde e çok kullaılaı Cook uaklığı ölçütüdür So ıllarda Had ölçütü ve Pea ı ölçütü de etkl gölemler belrlemede sıkça kullaılmaktadır Parametrk olmaa regreso modellerde ve arı parametrk regreso modellerde etk aal le lgl doğrusal regreso modelde olduğu kadar çok saıda çalışma oktur Öellkle arı parametrk regreso modellerde etk aal le lgl çalışmalar so o ılda başlamıştır Parametrk olmaa ve arı parametrk regreso modeller kestrmde kullaıla pürülülük cea aklaşımıda ata kareler toplamıa br cea foksou ekler Cea foksouu eklemesdek amaç esek eğml uumlar le sabt eğml uumlar arasıda br ulaşma sağlamaktır Bu ulaşma düleştrme parametres le belrler ve düleştrme parametres seçm pratkte or br problemdr abaka, 009 Bu te çalışmasıda em parametrk em de parametrk olmaa bleşeler çere arı parametrk regreso modelde etk aal celemştr Yarı parametrk regreso model, doğrusal parametrk bleşe ve parametrk olmaa bleşeler er ks de çerdğde, bu modele kısm doğrusal model partall lear model de der Yarı parametrk regreso model so ıllarda çok kullaıla statstksel br modeldr Çükü bu model em parametrk kısmı, em de parametrk olmaa kısmı brleştrdğde doğrusal regreso modele göre çok daa esektr Yarı parametrk regreso modelde etk aal le lgl lteratürde sıırlı saıda çalışma vardır Bu te amacı, arı parametrk regreso modelde aal souçlarıı etklee gölemler ortaa çıkarmak ç doğrusal regreso modeldeke beer ölçütler gelştrmektr

12 Bu çalışma altı bölümde oluşmaktadır Brc bölüm olarak ele alıa grş bölümüde te kousu, öem, bu kouda apıla öcek çalışmalar, te çerğ ve leecek düe aa atları le verlmştr İkc Bölüm de parametrk, parametrk olmaa ve arı parametrk regreso modeller akkıda geel blgler verlmş ve regresoda düleştrme kavramı ve pürülülük cea aklaşımı açıklamıştır Bu bölümde düleştrme parametres seçm ç kullaıla ötemler üerde de durulmuştur Üçücü Bölüm de doğrusal regreso modelde etk aal üerde durulmuş, regreso modelde aal souçlarıı etklee gölemler ortaa çıkarmak ç öerle ölçütlerde agı olarak kullaıla Cook uaklığı, Had ölçütü, Pea ı ölçütü ve COVRAIO ölçütü taıtılmıştır Dördücü Bölüm de arı parametrk regreso modelde erel polom düleştrcs kullaıldığıda etkl gölemler ortaa çıkarmak ç öerle Cook uaklığı ölçütü celemştr Arıca bu bölümde daa öce arı parametrk regreso modellerde ugulamamış ola doğrusal modellerdek etkl gölemler ortaa çıkarmak ç öerle Had ölçütü, Pea ı ölçütü ve COVRAIO ölçütü, arı parametrk regreso modellerde erel polom düleştrcs ç gelştrlmştr Beşc Bölüm de lk olarak gerçek br ver kümes kullaılarak arı parametrk regreso modelde erel polom düleştrcs ç lteratürde var ola Cook uaklığı ölçüt değerler ve bu te çalışmasıda gelştrle Had, Pea ve COVRAIO ölçüt değerler elde edlmştr İcelee ver kümes ç gelştrle ölçütler etkl gölemler ortaa çıkarmada başarılı olup olmadıkları araştırılmıştır Daa sora em büük kaldıraç değer em akırı değer ola gölemler olduğu apa br ver kümes türetlmştr Doğrusal regresoda bu gölemler ortaa çıkarmada öellkle büük öreklemlerde dğer ölçütlere göre daa başarılı ola Pea ölçütüü arı parametrk regreso model ç de aı soucu verp vermedğ araştırılmıştır Yapıla smülaso çalışması le farklı öreklem büüklüklerde oluşturula etkl gölemler öerle ölçütler tarafıda 3

13 belrleme üdeler elde edlmştr Ölçütler etkl gölemler belrleme üdelere göre karşılaştırılmıştır Altıcı Bölüm de se br öcek bölümde elde souçlar tartışılmıştır Yapıla çalışmalar soucuda arı parametrk regreso modelde polom düleştrcs kullaıldığıda büük öreklemlerde em büük kaldıraç değer em de akırı değer ola gölemler ortaa çıkarmada gelştrle Pea ölçütüü dğer ölçütlere göre daa başarılı olduğu görülmüştür Dğer durumlarda öerle ölçütler, ver kümelerde oluşturula etkl gölemler belrlemede brbre beer souçlar vermştr 4

14 REGRESYON MODELLERİ Brçok blm dalı ç k değşke arasıdak lşk öeml br koudur İk değşke arasıdak lşk açıklamak ç çok saıda model gelştrlmştr Regreso model, değşkeler arasıdak lşk açıklamak ç gelştrle br modeldr Regreso model le bağımsı değşkeler verle öel değerler ç bağımlı değşke ortalama değer tam edlmee çalışılır Regreso model geel olarak E ε,,, şeklde aılablr Bu eştlkte, bağımlı değşke,, k boutlu gölem ç bağımsı değşkeler vektörüü, E, bldğde koşullu beklee değer ve ε ataı göstermektedr Bu bölümde bağımlı ve bağımsı değşkeler arasıdak foksoel bağımlılığı belrlee parametrk regreso, parametrk olmaa regreso ve arıparametrk regreso ötemler taıtılmış, düleştrme kavramı, pürülülük cea aklaşımı ve düleştrme ötemler celemştr Parametrk Regreso Parametrk regreso aklaşımıda, bağımlı ve bağımsı değşkeler arasıdak ortalama lşk, matematksel apısı ble br foksola fade edlr ve bu foksoda er ala parametreler verde tam edlp, model deklemde ere koularak model belrler Yagı olarak kullaıla modellerde brs doğrusal modeldr Doğrusal regreso modelde, bağımlı değşke le bağımsı değşkeler arasıdak lşk parametrelere göre doğrusal olduğu varsaılır Bldğ gb Eş dek model klask doğrusal regreso model olarak matrs vektör bçmde β ε 5

15 şeklde aılır Eş de, boutlu gölemler vektörüü,, p boutlu tasarım matrs, β, p boutlu parametreler vektörüü ve ε, boutlu atalar vektörüü göstermektedr Doğrusal regreso model kestreblmek ç Gauss- Markov varsaımları olarak ble baı varsaımları sağlaması gerekr Bu varsaımlar, ε ler ortalamasıı sıfır ve tüm ler ç ε u sabt varasa sap olması, sabt olması, le ε arasıda lşk olmaması, ε ler arasıda lşk olmamasıdır Gauss-Markov varsaımları altıda e küçük kareler kestrcs βˆ, e doğrusal ası tam edcdr Best Lear Ubased Estmator; BLUE Bu varsaımlar sağlamadığıda regreso aal souçları güvelr olmaacaktır Varsaımlar sağlasa ble ver oktalarıı saçılım grafğ doğrusal br apı göstermorsa, doğrusal regreso model lglele ver kümes ç ugu olmaacaktır Regresoda doğrusal olmamaı üstesde gelme e agı olu, üksek derecel polomları kullaılmasıdır Bu modeller, polom regreso modeller olarak blmektedr p derecede polom regreso model, p α β β βp ε 3 şeklde fade edlr Eş 3 dek modelde polom dereces arttıkça ver temsl edeblecek ugu polomu seçlmes or ve ama alıcıdır Doğrusal regreso ve polom regreso modeller parametrelere göre doğrusal modellerdr Değşkeler arasıdak lşk foksoel apısıı temsl ede, parametrelere göre doğrusal olmaa modeller de bulumaktadır Bu modeller foksoel apı bldğ ç parametrk modellerdr Acak bu modellerde parametre kestrmler teratf ötemler le elde edldğ ç ordur Bu durumda parametrk olmaa regreso ötemler kullaılablr S, 009 Parametrk Olmaa Regreso Regreso model foksoel apısıı bldğ varsamak ere daa br aklaşım, ugu foksoel apıı verlerde kestrmektr Foksoel apıı verlerde tam etmek ç geel tamler ere erel tamler kullaılır Parametrk olmaa regreso ötem le, bağımlı değşke ve bağımsı 6

16 değşke arasıdak doğrusal olmaa lşk foksoel apısı belrtlmede vere ugu br model, erel kestrmler br ds olarak elde edlr Keele, 008 Br bağımlı değşke le alı br bağımsı değşke buluduğu bast parametrk olmaa regreso model, m ε,,, 4 şeklde gösterlr Bu eştlkte m, ve arasıdak foksoel lşk gösterr ve belrg br şekle sap olmaa blmee br foksodur Parametrk olmaa regreso ötem amacı, m foksouu dügü smoot ve sürekl olduğu, ata termler ε ler ortalaması 0 ve varası σ ola ödeş br dağılıma sap olduklarıı varsaarak, m foksouu verlerde tam etmektr Parametrk olmaa bast regreso model, geel olarak saçılım grafğ düleştrcs scatterplot smootg olarak da adladırılır Çükü, parametrk olmaa bast regreso ötem le saçılım grafğdek oktalar olabldğce dügü br eğr le temsl edlmee çalışılır İk a da daa fala bağımsı değşke olduğuda, parametrk olmaa regreso model udurmak ve geometrk olarak göstermek ordur Bu soruu çömek ç daa kısıtlaıcı modeller gelştrlmştr oplamsal regreso model, bu modellerde brsdr ve ε,,, 5 α m m,,mk k şeklde gösterlr Eş 5 de m foksolarıa kısm regreso foksoları der ve dügü oldukları varsaılır Fo, 00 Parametrk olmaa regreso model, regreso foksouda doğrusallık varsaımı ere regreso foksouu dügülük varsaımıı dkkate aldığı ç doğrusallık varsaımıı esetmş olur Doğrusallık varsaımıı esetlmes daa çok esaplama gerektrr ve baı durumlarda orumlaması or souçlar 7

17 elde edlr Acak regreso foksou daa doğru br şeklde kestrlr Keele, 008; Fo, 00 Lteratürde öerle brçok parametrk olmaa regreso model a da düleştrcler vardır: Bular çekrdek Kerel düleştrcler, eğrsel çg Sple Smootg düleştrcler, cealadırılmış eğrsel çg düleştrcler vb Eğrsel çg ve cealadırılmış eğrsel çg düleştrcler temel, pürülülük cea aklaşımıa daaır Bu edele buda sorak alt bölümde regresoda düleştrme kavramı ve pürülülük ceası aklaşımı akkıda geel br blg verlmştr Düleştrme Kavramı ve Pürülülük Ceası Yaklaşımı Regreso aal amacı, blmee regreso foksou ç ugu br tam elde etmektr Brçok durumda ülerce oktada oluşa eğrler çok karmaşık br şekle sap olması edele parametrk modellerle temsl etmek olaaksı ale gelr Parametrk olmaa regreso foksou eğrs dügü br şeklde elde edlmes şleme düleştrme smootg der Bu edele parametrk olmaa regreso foksouu tam etmek ç kullaıla ötemlere, düleştrme ötemler de delmektedr m regreso foksouu tam etmek ç kullaıla klask ötemlerde br doğrusal regreso aklaşımıdır Bu ötemle,,,,, ver ds ç artık kareler toplamı AKm AKm m olup, mmum apılarak m foksou tam edlr Verler saçılım grafğ br doğru le temsl edleblecek gb se, m foksouu tam etmek ç doğrusal regreso aklaşımı ugu olacaktır Verler gerçek apısı doğrusal değl se bu aklaşım başarısı olur Saçılım grafğ ve udurula doğruu verldğ böle br 8

18 örek, Şekl de görülmektedr Bu kestrc ç doğru le brleştrle oktalarda sabt eğmllk sağlaır Brçok kestrm problem ç doğrusal modeller verle ver kümese uma ve bu durumlarda, doğrusal olmaa uum eğrler oluşturulması orululuğu ortaa çıkar Oma, 007 Şekl de m foksouu elde etmek ç verle oktalar, doğrular le brleştrlp, terpolaso le m foksouu tam apılmıştır Aı ver oktaları ç Şekl 3 de m foksou üere dügülük kısıtı koularak elde edle başka br kestrm verlmektedr Şekl 3 de verle eğr sürekl kc mertebede türevlere saptr ve tüm ver oktalarıda geçer Şekl ve Şekl 3 dek tamler ks de ver oktaları ç br uum göstermektedr amler, Şekl ve Şekl 3 de görüldüğü gb çok pürülüdür Bu kestrcler ç eğrler le brleştrle oktalarda esek eğmllk vardır Her k kestrm ç de AKm0 dır Acak eğr udurmada tek amaç br uum elde etmek değldr Çoğu ke, bua akırı düşe ver udurmadak başka br amaç, çok ılı değşm göstermee br eğr kestrm elde etmektr Pürülülük ceası aklaşımıdak aa fkr, ılı olarak dalgalaa br eğr eğlm ölçmek ve daa sora eğr kestrmde sabt eğml uumlar le esek eğml uumlar arasıda gerekl ulaşmaı sağlaacak bçmde tam problem ortaa komaktır Şekl Ver oktalarıı saçılım grafğ ve udurula doğru Gree ve Slverma, 000 9

19 Şekl Ver oktaları doğrusal çgler le brleştrlerek elde edle tam Gree ve Slverma, 000 Şekl 3 Ver oktaları eğrler le brleştrldğde elde edle tam Gree ve Slverma, 000 Br [ a, b] aralığıda taımlaa m eğrs e kadar pürülü a da e kadar dalgalı olduğuu ölçme brçok olu vardır İkc mertebede türev alıable m eğrs pürülülüğüü ölçme e agı olu m foksouu kc 0

20 b m a '' mertebede türev kares tegral ola { t} dt tegral esaplamaktır Bu ölçüme göre sadece doğrusal m foksoları sıfır pürülülüğe sapke, sürekl foksolar sııfıdak tüm foksolar potf pürülülüğe saptrler İkc mertebede türev kares tegral, öeml esaplama avatalarıa sap olduğu ç e agı kullaıla pürülülük ölçüsüdür Br [ a, b] aralığıda taımlaa kc mertebede türev alıable erag br m foksou ve düleştrme parametres λ >0 ç cealadırılmış kareler toplamı, Sm b '' { m } λ { m t} dt a 6 şeklde taımlaır Eş 6 dak lk term ata kareler toplamıdır, kc term se pürülülük ceası olarak adladırılır Cealadırılmış e küçük kareler tam edcs mˆ ı elde etmek ç Sm foksou mmum apılır Bu şlem, pürülülük ceası kısıtı altıda le m arasıdak farkları kareler toplamıı mmum apılması problemdr Pürülülük ceası k kısımda oluşur Brcs düleştrme parametres olarak ble λ dır İkcs m foksouu kc mertebede türev kares tegraldr İkc mertebede türev, br foksou eğm değşm oraıı a da eğrlğ ölçer Kares alımış m '' t foksouu taım aralığıdak tegral, esase parametrk olmaa tam taım aralığı bouca eğrlğ br ölçüsüü verr Bu tegral değer büük olması, m foksouu pürülü dalgalı olduğuu; küçük olması m foksouu daa dügü olduğuu göstermektedr Gree ve Slverma, 000; Keele, 008 Negatf değer almaa λ düleştrme parametres se, m foksouu e kadar düleştğ br ölçüsü ola kc mertebede türeve verle ağırlığı büüklüğüü kotrol eder λ parametres 0 da a değerler alır λ0 olması esek eğlml br model uumuu, λ olması doğrusal regreso modele uguluğu gösterr Keele, 008 Eğer λ büük se, Sm dek asıl bleşe pürülülük ceası term olacaktır ve Sm mmum apa m foksouu tam çok a eğrlk gösterecektr Eğer λ küçük se Sm dek asıl bleşe ata kareler toplamı

21 olacaktır ve bu durumda m foksouu tam, ver saçılım grafğdek oktalara akı buluacaktır Gree ve Slverma, Düleştrme Yötemler Bağımlı değşke ve bağımsı değşke arasıdak lşk vere blmee m foksouu dügü br şeklde tam edlmes ç kullaıla ötemlere düleştrme ötemler der Düleştrme ötemler le parametrk olmaa regreso ötemler aı alamda kullaılmaktadır Bu çalışmada Çekrdek Kerel Yerel Local polom Eğrsel çg Sple Smootg Cealadırılmış eğrsel çg Cealadırılmış eğrsel çgde karışık doğrusal model aklaşımı düleştrme ötemler celemştr 3 Çekrdek Kerel düleştrme ötem Düleştrme ötemler e bast olaı çekrdek düleştrme ötemdr ek değşkel br dağılımda alıa,,, gölemler bağımsı, ödeş blmee br dağılıma sap olduğu varsaılsı Bu gölemler alıdığı ktle dağılımıı olasılık oğuluk foksou f ç lk çekrdek kestrcs Roseblatt 956 tarafıda, fˆ - K 7 şeklde öerlmştr Olasılık oğuluk foksouu çekrdek kestrmde er ala K foksou, çekrdek foksou olarak adladırılır Her br oktasıdak çekrdek kestrm Eş 7 de görüldüğü gb br ağırlıklı ortalamadır ve çekrdek foksou K, ağırlıkları esaplamasıda ardımcı olmakta bat geşlğ se çekrdek foksouu dağılımıı belrlee br ölçekleme etke rolüü

22 oamaktadır Olasılık oğuluk foksouu çekrdek kestrm, K ve ı farklı seçmlere göre değşmektedr Çekrdek foksou ve bat geşlğ araştırmacı tarafıda seçlmektedr Gökme, 00; Cula, 998 Çekrdek foksoları geellkle sıfır merkel, smetrk br olasılık oğuluk foksou olarak seçlmektedr Ugulamada çekrdek foksouu seçm bat geşlğ seçm kadar öeml değldr Brçok çekrdek foksou vardır Ugulamada kullaıla baı çekrdek foksoları Çelge de verlmektedr: Çelge Çekrdek Foksoları Gaussa çekrdek u Ku e, u [ ; ] π ebçml çekrdek Ku, u [,] Üçgesel çekrdek - u, u [-,] 3 Epaeckov çekrdek u 4 İk Ağırlıklı çekrdek Üç Ağırlıklı çekrdek 5 - u 6, u [-,] 35 - u 3 3, u [-,], u [-,] Regreso foksouu parametrk olmaa kestrm ötemlerde br çekrdek kestrm ötemdr Nadaraa ve Watso tarafıda öerle çekrdek kestrm, bu ötemlerde brdr Koşullu beklee değer olarak taımlaa regreso foksou, m EY f d f,d 8 f şeklde aılablr Bu koşullu beklee değer ç doğal br kestrm, pa ve padaı kestrmler arı arı elde edlerek Eş 8 de ere koulmasıla 3

23 4 buluablr Pa ç geellkle çarpımsal çekrdek oğuluk foksou kullaılarak f, bleşk oğuluk foksou kestrleblmektedr Çarpımsal çekrdek kestrcs, - - ˆ, K K, f 9 şekldedr Bua göre Eş 8 de verle fade paıı kestrm, - - ˆ d K K d f, d - K - K 0 olur Eş 0 dak tegralde t - döüşümü apılarak ve çekrdek foksouu sağladığı Ktdt ve 0 Ktdt t öellkler gö öüe alıarak Eş 0, - ˆ K d f, olarak buluur Bua göre Nadaraa ve Watso tarafıda verle regreso foksouu çekrdek kestrm, f, f m, ˆ ˆ ˆ f K ˆ -

24 şeklde elde edlr değşme bat geşlğ kullaılarak Nadaraa-Watso kestrcs, m ˆ - K - K şeklde aılablr Burada W 3 W ağırlık foksoudur Härdle vd, 004; Demr, 005 Nadaraa ve Watso tarafıda öerle regreso foksouu sabt br oktasıdak çekrdek kestrm, er br ver oktasıda merkeleştrlmş eşt ölçekl çekrdekler o oktada aldıkları değerler ağırlıklı br ortalamasıdır 3 Yerel polom düleştrcs Br saçılım grafğ düleştrmek ç kullaıla e agı ötemlerde br erel polom düleştrcsdr Yerel polom regresou, çekrdek regresoua beer acak ağırlıkladırılmış ortalama ola kestrm değerler ere ağırlıkladırılmış e küçük kareler kestrm değerler kullaır Bua göre erag br oktasıdak düleştrme, ağırlıkları çekrdek foksouu ükseklğe karşılık geldğ ağırlıkladırılmış e küçük kareler doğrusu udurularak elde edlr Şekl 4, erel doğrusal düleştrc le asıl düleştrme apıldığıı göstermektedr Şekl 4 Yerel doğrusal düleştrc Ruppert vd, 003 5

25 Şekl 4 de, smülaso le elde edle 00 ver oktası uvarlaklar le gösterlmştr u u komşuluğuda erel br doğru udurulup, çekrdek foksou ükseklkler le ağırlıkladırılmış e küçük kareler ötem kullaılarak, u oktasıdak tam elde edlr v oktasıdak kestrm de beer şeklde elde edlr Şekl 4 dek grafğ üst kısmıda bulua keskl çgler, u ve v oktasıdak ağırlıkladırılmış e küçük kareler le elde edle regreso doğrusuu göstermektedr Çekrdek foksou da grafğ alt kısmıda keskl çgler le verlmştr Eğer bu şlem brçok değer ç ugulaırsa Şekl 4 de kalı çg le gösterle erel doğrusal tam eğrs elde edlr Şekl 4 de erel doğrusal kestrcler kullaılmıştır Acak, erag br derecede polomlar da kullaılablr Yerel doğrusal ve daa üksek derecede erel polom kestrmler elde etmek ç lk olarak blmee koşullu beklee değer foksou m ç alor açılımı buluur Bua göre oktası komşuluğudak ç alor açılımı kullaılarak m foksou aklaşık olarak, p p m m m - m - 4 p! şeklde aılır Eş 4 dek model, m β aılarak! m p β0 β - β - βp - 5 şeklde fade edleblr Görüldüğü gb m, bast polom modeldr Bu se erel olarak ağırlıkladırılmış polom regresou kullaılmasıı akla getrr Br oktasıı komşu oktalarıdak kestrm, pderecede polom model - artık kareler toplamı, çekrdek ağırlıkları K{ - } le ağırlıkladırılarak elde edlr Çekrdek foksou K geellkle smetrk potf fokso olarak alıır Çekrdek foksoudak bat geşlğ, erel polom düleştrcler ç düleştrme parametresdr 6

26 Yerel polom regresouu oktasıdak ağırlıkladırılmış e küçük kareler kestrcs elde etmek ç p - { -β0 - -βp - } K β W - β - 6 fades mmum apa βˆ değerler buluur Buu ç Eş 6 dak fade β a göre türev alııp sıfıra eştleerek βˆ değerler β ˆ - W W 7 bçmde elde edlr Eş 7 de ve W matrsler M - - M M - L L O L p - p - M p - W K - 0 M 0 K 0 M 0 - L L O L K 0 0 M - şekldedr Eş 7 dek fade Eş5 de ere koularak m foksouu erel polom regreso kestrcs, - m ˆ t W W 8 şeklde elde edlr Bu fadede t,0,,0 p dr Km vd, 00; Ruppert vd, 003 7

27 Ugulamada, Eş 7 de elde edle βˆ değerler, m br kestrm ola mˆ! ˆ,,,p, eştlğde ere koularak m kestrm buluur Bu β değerler de Eş 4 de erlere koularak mˆ tam elde edlr Yerel polom regresouda p0 olduğuda erel sabt kestrc a da Nadaraa- Watso kestrcs elde edlr Eş 6 da p0 alıdığıda m foksouu Nadaraa-Watso kestrcs K - ˆ m 9 K - şeklde buluur Seater, 009 Eş 9 da K - K dr Eş 6 da p olduğuda m foksouu erel doğrusal kestrcs - s ˆ - s - K - m 0 s s - s 0 - r şeklde elde edlr Eş 0 de sr - K - dr Yerel polom regresoda daa üksek derecede polom seçm temel eğre daa br aklaşımı elde edlmes ve bua bağlı olarak aı aalmasıı sağlar Acak, bu da tamlerde daa fala değşkelğ olmasıa ede olur Loader 99 de erel polom regresouda polomu dereces seçm le lgl olarak İ br kestrm değer elde etmek ç düşük derecel polom seçlmes ve bat geşlğ seçme oğulaşılması eterldr Polom dereces seçmde e agı kullaıla polom dereceler erel doğrusal p olduğu ve erel karesel p olduğu dr Yerel sabt kestrm p0 olduğu aa duarlıdır Yerel doğrusal kestrm öellkle uç oktalarda geel olarak daa souç verr Yerel karesel kestrm aı aaltır acak öellkle uç oktalarda varası artmasıa ede olablr Yerel kübk ve daa üksek derecel kestrmler adre souçlar verr görüşüü savumuştur 8

28 Ruppert, Wad ve Carroll 003 aptıkları çalışmalara daaarak, regreso foksou mooto arta br fokso se erel doğrusal kestrm dğer durumlarda erel karesel kestrm öermşlerdr Seater, Eğrsel çg düleştrme sple smootg ötem Eğrsel çg sple foksolarıı amacı, taımlaa aralığı gölem değerler ardımıla alt aralıklara bölerek, er br alt aralıkta farklı br polom le bağımlı ve bağımsı değşkeler arasıdak lşk modelledrerek stele derecede türev ola sürekl br fokso elde etmektr,,,,, gölem değerler olsu Herag br [a,b] aralığıda a o < < < < b koşuluu sağlaa gerçel reel saıları verlmş olsu a,,,,,,,, -,,, b alt aralıklarıı er brde öreğ < alt aralığıda pderecede br m polomu taımlası Burada oktaları düğüm oktaları kots olarak adladırılır Polomlarda oluşa ve eğrsel çg adı verle m foksou, alt aralıklarda taımlaa p derecede polomları brleşm olarak taımlaır Adı, 005; Gree ve Slverma, 000 mm,,,, ve m m,,, olmak üere m, <, 0,,, pderecede br polomdur p olduğuda parçalı doğrusal çg, p olduğuda karesel eğrsel çg ve p3 olduğuda kübk eğrsel çg foksou olarak adladırılır [a,b] aralığı üerde taımlı br m foksou aşağıdak k koşulu sağlıorsa kübk eğrsel çg foksoudur Brcs, a,,,,,,,,,,, b - aralıklarıı er brde m kübk polomdur; kcs m keds, brc ve kc mertebede türevler er br düğüm oktalarıda, bölece [a,b] aralığıda sürekldr Kübk eğrsel çg foksou, 9

29 m m a b 3 - c - d -, bçmde fade edlr Eş de a, b, c ve d sabt değerlerdr 0 a ve b dır [a,b] aralığıda br kübk eğrsel çg, a ve b uç oktalarıda kc ve üçücü mertebede türevlerde sıfır değer alırsa bua doğal kübk eğrsel çg atural cubc sple der Bu koşullar doğal sıır koşulları olarak adladırılır ve d c d c 0 olduğuu a m foksouu [a, ] ve [, b] aralığıda 0 0 doğrusal olduğuu fade eder Adı, 005; Gree ve Slverma, 000 Eş, em matematksel rdeleme em de esaplama açısıda doğal kübk eğrsel çg foksou ç ugu gösterm değldr Bu eştlk, er br düğüm oktasıda doğal kübk eğrsel çg foksouu değer ve kc mertebede türev vere br fokso olarak belrtleblr Bu gösterm kc mertebede türev- değer gösterm value-secod dervatve represetato olarak adladırılır m foksouu olduğu varsaılsı ve düğümlerde doğal kübk eğrsel çg foksou < < m m ve γ m,,, olarak taımlası Doğal kübk eğrsel çg taımıa göre, ve oktalarıda m foksou kc türev sıfırdır a γ γ 0 dır m m,,m ve γ γ olsu m ve γ vektörler, m eğrs tam olarak belrlemes,, γ - sağlar m eğrs, erag br oktasıda m değer ve türevler ç, m ve γ vektörler le açık olarak formüle edleblr Acak er m ve γ vektörler doğal kübk eğrsel çg belrtme Verle düğüm oktalarıda m ve γ vektörler kübk eğrsel çg belrtmes ç gerek ve eter koşul Q ve R gb k bat matrse bağlıdır Br matrs sıfır olmaa elemalarıı eps a saıda köşege elemaları üerde toplamışsa, bu matrse bat matrs adı verlr Matrs sıfır olmaa köşege elemalarıı saısı matrs bat geşlğ olarak adladırılır - olmak üere Q ve R matrsler elemaları aşağıdak gb taımlaır: 0

30 , 0,,, q,,, ve,,-, 6 0,, 3, 6 r,,- ve,,- Bua göre R ve Q matrsler aşağıdak gb gösterleblr: R,-- boutlu smetrk matrs, Q, - boutlu matrsdr: R

31 Q R ve Q matrsler üç köşege matrslerdr, başka br deşle, dsler koşuluu sağlaa elemaları sıfırdır Adı, 005 R matrs er br ç > r r se köşege domattır Bu öellk R matrs potf taımlı br matrs olduğuu göstermektedr Bua göre R matrs ters vardır ve K - Q R Q olacak bçmde br K matrs taımlaablr Bu eştlk, aşağıda k öeml soucu vere teorem fade etmek ç kullaılır eorem : m ve γ vektörler, alı ve alı aşağıdak koşul sağlaırsa doğal kübk eğrsel çg belrtr: Rγ m Q 3 Eğer Eş 3 sağlaırsa, pürülülük ceası ç, Km m R b a d m γ γ 4 eştlğ elde edlr Gree ve Slverma, 000

32 eorem de ararlaarak parametrk olmaa m foksou, doğal kübk eğrsel çg foksoları ardımı le tam edleblr Bua göre Eş 6 dak cealadırılmış kareler toplamı, kübk eğrsel çg foksolarıda ararlaarak, b a Sm { - m } λ { m } d m m λm Km 5 şeklde aılablr Eş 5 dek fade m vektörüe göre türev alııp sıfıra eştlerse mˆ - mˆ I λk 6 olarak elde edlr Bu eştlkte K matrs arı potf taımlı ve λ>0 olduğuda λk matrs de arı potf taımlıdır Eş 6 dak - I matrs düleştrme λk matrs olarak adladırılır ve S λ le gösterlr Bua göre Eş 6, m ˆ S 7 λ λ şeklde aılablr Burada ˆm λ, tam edle eğrsel çg düleştrcsdr Gölem değerler w gb ağırlıklarla ağırlıkladırıldığıda ağırlıkladırılmış eğrsel çg düleştrc, cealı ağırlıkladırılmış e küçük kareler aklaşımı le elde edleblr Ağırlıkladırılmış eğrsel çg düleştrme ötem esası, m C [a, b] uaıdak tüm m foksoları arasıda, Sm - m W - m λm Km 8 eştlğ le belrtle cealı ağırlıkladırılmış e küçük kareler toplamıı mmum apa m foksouu elde etmektr Burada W köşege elemaları w ola köşege br matrstr Eş 8 dek fade m vektörüe göre türev alııp sıfıra eştlerse, ağırlıkladırılmış eğrsel çg düleştrcs, 3

33 mˆ W λk - W S λ 9 olarak elde edlr Eş 9 dak - S W λk W dır Haste ve bsra, 990 λ 34 Cealadırılmış Pealed eğrsel çg regresou Eğrsel çg aklaşımıda kestrm pürülülüğü çok saıda düğüm oktasıı olmasıda kaaklamaktadır Bu soru düğüm oktalarıı etkler üere br kısıtlama getrlerek çöüleblr K tae düğüm oktası ç K büük br değer m foksou, aşağıdak gb modelleeblr: m K β0 β βk κk ε β ε 30 k β β0, β, β,, βk olup β k, kdüğüme lşk parametre ve κ, Eş 30 da [ ] κ,, κ K düğüm oktalarıı göstermektedr Eş 30 dak modelde düğüm oktalarıı seçm öeml br koudur Lteratürde düğüm oktalarıı seçm le lgl çok saıda çalışma vardır Buu ç baı formül ve algortmalar öerlmştr Düğüm oktasıı seçm ç e agı kullaıla formül, κ k k K dr Bu formülde Km 4 tekrar etmee ler saısı, 35 dr Yao ve Lee, 008 Eş 30 dak matrs M M κ M κ L L L -κ -κ K K 4

34 bçmdedr Burada κ k 0, κ k, κ > κ k k dr Eş 30 dak β, - β ata kareler toplamıı mmum apa değerdr Burada düğüm oktalarıı saısıı çok olması kestrm kıvrımlı olmasıa ede olur Bu soruu gdermek ç leecek ol, düğüm oktalarıa lşk βk katsaıları üere kısıt komaktır kısıtlar bu durumu düelteblr Bu kısıtlar, β k, k, K, katsaıları üere koula maβ < C m β C m < β C < bçmdedr C ugu br şeklde seçldğde, bu kısıtları er br daa dü br kestrm elde edlmes sağlaacaktır Acak üçücü kısıtı ugulaması dğerlerde daa koladır KK boutlu br D matrs 0 D 0 K 0 I K KK olarak taımlaırsa, mmaso problem, β Dβ C kısıt altıda - β ata kareler toplamıı mmaso probleme döüşür Lagrage çarpaları ötem kullaılarak mmum apılacak fokso, Sβ - β λ β Dβ 3 şekle döüşür λ 0 Eş 3 dek cealadırılmış artık kareler toplamıı β vektörüe göre türev alııp sıfıra eştledğde, 5

35 ˆβ λ λd 3 bçmde elde edlr Kestrm değerler se ˆ λd ˆβ λ 33 dr Eş 33 de düleştrme matrs S λ λ D dr p derecede eğrsel çg regreso model se K p 0 p pk k k p β β β β κ ε p β ε 34 şeklde fade edlr Burada p matrs p M M L O L p M p κ M p κ p L O L κ κ K p p K bçmdedr p derecede cealadırılmış eğrsel çg regresouda mmum apılacak fokso Sβ - p β λ β Dβ 35 şekle döüşür Bu foksou β a göre türev alııp sıfıra eştlerse ˆβ λ p p β ˆλ λd 36 p olarak buluur pderecede cealadırılmış eğrsel çg regresou kestrm değerler aşağıdak gb elde edlr: ˆ λd p p p p p ˆβ λ 37 Bu eştlkte düleştrme matrs S λ p p p λ D p dr Ruppert vd, 003 6

36 35 Cealadırılmış eğrsel çg regresouda karışık doğrusal model aklaşımı le düleştrme Cealadırılmış eğrsel çg regreso ötem le karışık doğrusal modeller arasıda akı br lşk vardır Cealadırılmış eğrsel çg regreso model, karışık doğrusal modele beetlerek fade edleblr Karışık doğrusal modelde amaç, em sabt etklere em de rasgele etklere lşk parametre kestrmler elde edlmesdr Bu amaçla öerle ötemlerde brs, em sabt em de rasgele etklere lşk parametreler brlkte tam edlebldğ e doğrusal ası kestrm best lear ubased predctor, BLUP ötemdr BLUP ötem kullaılarak parametrk olmaa regreso foksou m, karışık doğrusal modele beetlp tamler elde edleblr Buda sorak alt bölümlerde cealadırılmış eğrsel çg regresouda BLUP ötem le düleştrme ötem daa alaşılması ç karışık doğrusal model ve bu modelde parametre ve varas oralarıı tamler akkıda kısaca blg verlecektr 35 Karışık doğrusal model Karışık doğrusal modeller, doğrusal modeller geşletlmş al olarak düşüüleblr Sabt doğrusal modellerde sadece öel seçml etkler er alırke, karışık doğrusal modellerde, em öel seçml etkler em de rasgele seçml etkler br arada buluur Karışık doğrusal model matrs formuda aşağıdak gb fade edleblr: β u ε 38 Eş 38 de, boutlu gölemleeblr aıt vektörü,, p boutlu sabt etklere lşk tasarım matrs, β, p boutlu sabt etklere lşk parametreler vektörü,, q boutlu rasgele etklere lşk tasarım matrs, u, q boutlu rasgele etklere lşk parametreler vektörü, ε, boutlu rasgele atalar vektörüdür 7

37 u ve ε u beklee değerler, u ve ε arasıdak varas-kovaras matrs, sırasıla u 0 q u D qq 0 E ve Cov ε 0 39 ε 0 R şekldedr Bua göre, aıt değşke beklee değer ve varası, E β 40 V D R V 4 olarak buluur McCulloc ve Searle, 00; ürka, Karışık doğrusal modelde tam Karışık doğrusal modelde em sabt etklere em de rasgele etklere lşk parametre kestrmler elde edlr Başka br deşle sabt etkler vektörü β ı, rasgele etkler vektör u u ve varas-kovaras matrs V dek varas parametreler tamler elde edlr Parametrk olmaa regresoda karışık doğrusal model aklaşımı le düleştrme apıldığıda parametreler kestrmler elde etmek ç em sabt em de rasgele etklere lşk parametreler brlkte kestrlebldğ e doğrusal ası kestrc best lear ubased predctor, BLUP kullaılmıştır Hederso ı karışık model eştlklerde ararlaarak BLUP elde edleblr Hederso ı karışık model eştlkler elde edleblmes ç u verlmşke ve u u, sırasıla, u N β u, R ve u N 0, D bçmde ormal dağıldığı varsaılır Bua göre u ve bleşk oğuluk foksou, aşağıdak gbdr: 8

38 9 f f ; f u u u } q N π ep{ D R u D u u β R u β 4 Eş 4 dek fade maksmum apa parametre kestrmler bulmak ç Eş 4 dek fade logartması alıırsa u D u u β R u β u ; logf L 43 olarak elde edlr Bu fade β ve u a türevler buluup sıfıra eştlerse bulua eştlkler matrs gösterm le D R R R R u β ˆ ˆ R R bçmde aılablr β, u u tam BLUP le u β ˆ ˆ D R R R R R R R C B C R C 44 olarak elde edlr Burada [ ] C ve D B dr BLUP kestrm ötem le elde edle kestrm değerler, ŷ R C B C R C C u β ˆ ˆ 45 olarak buluur Ruppert vd, 003 Karışık doğrusal modellerde kovaras matrs tam le lgl çeştl ötemler gelştrlmştr Normallk varsaımı gerektrmee e küçük ormlu karesel ası kestrm ötem Mmum quadratc ubased estmato, MINQUE ve e küçük varaslı karesel ası kestrm ötem Mmum varace ubased estmato,

39 MIVQUE ve dağılım varsaımı gerektre olablrlk ötem Mamum lkelood, ML ve sıırladırılmış e çok olablrlk ötem kovaras matrsler tam ç öerle ötemlerdr Acak, esaplama algortmalarıdak gelşmeler le kovaras matrsdek parametreler tam ç e çok olablrlk a da kısıtlamış e çok olablrlk ötemler e agı kullaıla ötemlerdr N β, V varsaımı altıda olablrlk foksouu logartması aşağıdak gbdr: L β, V {logπ log V β V β } 46 β,v e çok olablrlk tamml, Eş 46 dak fade maksmum apılarak buluur Eş 46 da olablrlk foksou β a göre türev buluup sıfıra eştlerse, β ˆ V V 47 olarak elde edlr βˆ e doğrusal ası tam edcdr Eş 47 dek βˆ, Eş 46 da ere aılırsa V matrs ç profl olablrlk foksou elde edlr Profl olablrlk foksou logartması alııp profl log-olablrlk profle log-lkelood foksou, L P V {log log V βˆ π V βˆ } {log V V - I V V } - logπ 48 olarak elde edlr V matrsdek parametreler e çok olablrlk tamler bu parametrelere göre Eş 48 dek fade maksmum apılarak buluur Sıırladırılmış e çok olablrlk öteme Restrcted Mamum Lkelood, REML göre V dek parametreler tamler elde edlmes se daa karmaşıktır REML tamler, elemalarıı doğrusal bleşmler olablrlk foksou β a bağlı olmaa maksmum apılmasıla elde edlr 30

40 Sıırladırılmış e çok olablrlk foksou logartması alıırsa sıırladırılmış log-olablrlk restrcted log-lkelood foksou, L R V LP V - log V 49 olarak buluur V matrsdek parametrelervaras oraları sıırladırılmış e çok olablrlk tamler bu parametrelere göre Eş 49 dak fade maksmum apılarak buluur Küçük öreklemler ç REML tamler ML tamlerde daa doğru olması bekler acak büük öreklemler ç k tam ötem arasıda çok a br fark vardır Ruppert vd, Parametrk olmaa regresoda cealadırılmış eğrsel çgler pealed sples ç BLUP tamler Eş 30 dak cealadırılmış eğrsel çg model karışık doğrusal modele beetlerek gösterleblr Bu durumda β 0 β, β u u M, u k M M, κ M κ L M L κ M κ k k olarak taımlası Bua göre Eş 30 dak modelde β k u k alıarak, m k k K β0 β uk -κ ε 50 şeklde aılablr β, değerlere lşk regreso katsaıları vektörüü ve u düğüm oktalarıa lşk regreso katsaıları vektörüü göstermek üere, Eş 50 dek model, karışık doğrusal model olarak matrs formuda 3

41 β u ε 5 şeklde aılablr Eş 5 dek karışık doğrusal modelde, u ve ε u beklee değerler ve u le ε arasıdak varas-kovaras matrs sırasıla, u 0 u σ ui 0 E ve Cov ε 0 ε 0 σε I 5 bçmde olduğu varsaılır Bua göre β ve u parametreler vektörler brlkte tam e doğrusal ası kestrc BLUP kullaılarak elde edleblr Eş 5 de u bldğde u N β u, σ I, ε u N0,σ I u şeklde ormal dağıldığı varsaılır aşağıdak gbdr: u ve bleşk oğuluk foksou, f u ; f uf u σε ep{ β u β u u u} 53 σ u Eş 53 de f u ; u log-olablrlk foksou L logf u; - β - u - β - u λu u 54 olarak elde edlr Burada düleştrme parametres λ σ /σ ε u dır Eş 54 dek fade β ve u a göre türevler buluup sıfıra eştlerse β, u u e doğrusal ası kestrcs BLUP, βˆ C C λm C 55 uˆ 3

42 0 0K olarak elde edlr Burada C [ ] ve M 0 K IKK Eş50 dek model ç kestrm değerler se dr mˆ β ˆ uˆ C C C λd C 56 olarak buluur Eş 56 dak fade parametrk olmaa m foksouu e doğrusal ası kestrcs, br çeşt Rdge Regresou dur Ruppert vd, 003 Cealadırılmış eğrsel çg regresouu karışık doğrusal model olarak gösterm oldukça ararlıdır Çükü karışık doğrusal model olarak fade edleble cealadırılmış eğrsel çg regresouda kestrmler karışık doğrusal model teors ve karışık doğrusal model ç gelştrle blgsaar programları kullaılarak elde edleblr Arıca karışık doğrusal modelde kestrle varasları oraı σ /σ ε u eğrsel çg regresoudak düleştrme parametrese karşılık gelmektedr Bu da düleştrme parametres seçm öeml olduğu eğrsel çg regresouda düleştrme parametres belrlemesde öeml kolalık sağlar Yukarıda basedle düleştrme ötemlerde cealadırılmış eğrsel çg regresouda karışık doğrusal model aklaşımı dışıda dğer düleştrme ötemlerde düleştrme parametres seçm öemldr ve düleştrme parametres seçm ç brçok ötem gelştrlmştr Br sorak alt bölümde bu ötemlerde Çapra Geçerllk CV, Geelleştrlmş Çapra Geçerllk, Mallows u C p ölçütü ve Akake Blg Ölçütü akkıda geel br blg verlecektr 36 Düleştrme Parametres Seçm Parametrk olmaa regreso modellerde ver kümesde düleştrme mktarıı kotrol ede düleştrme parametres kullaılır Hurvc vd, 998 Eğer düleştrme parametres çok büük seçlrse verler fala düleştrlmş, çok küçük seçlrse verler a düleştrlmş olur Bu edele düleştrme parametres seçm oldukça öemldr Düleştrme parametres seçm ç öerle ötemler geel olarak k sııfta toplaablr: Klask aklaşımlar ve erleştrme plug- aklaşımı Adı, 005; abaka, 009 Çapra Geçerllk CV, 33

43 Geelleştrlmş Çapra Geçerllk, Mallows u C p ölçütü ve Akake Blg Ölçütü düleştrme parametres seçm ç kullaıla klask aklaşımlardır Klask aklaşımları aı sıra rsk tam ötemler olarak adladırıla Klask Plotları Kullaa Rsk am ve Yerel Rsk am ötemler de bulumaktadır Arıca düleştrme parametres seçm ç kullaıla dğer br aklaşım olablrlk aklaşımı olarak ble karışık doğrusal model aklaşımıdır Aşağıdak alt bölümlerde düleştrme parametres seçmde agı olarak kullaıla klask aklaşımlar akkıda geel blgler verlecektr 36 Çapra geçerllk Cross-valdato, CV Br model artık kareler toplamı, o model lglele ver kümes açıklaıp açıklamadığıı br ölçüsüdür Çükü artık resdual, aıt değşke gölee değer le kestrle değer arasıdak farka eşttr ve e ˆ 57 şeklde taımlaır Acak, artık kareler toplamı model seçm ç eterl br ölçüt değldr Çükü soru, kestrmde gölem de kullaılmasıdır Bu problem bast br çöümü vardır Bu çöüm, gölem ver kümesde çıkarıldıkta sora kala dğer gölem değerler kullaılarak gölem tam edlmesdr Bu şeklde elde edle kestrm değer çıkarıldıkta sora elde edle artık değer e, ˆ le gösterlr gölem, e ˆ 58 -,- şeklde elde edlr Kestrlmş artık kareler toplamı se predcted resdual sum of squares, PRESS PRESS e

44 şeklde taımlaır PRESS, çapra geçerllk statstğ olarak da adladırılır Parametrk regresoda çapra geçerllk ölçütü CV ˆ -,- 60 şekldedr Eş 60 dak - ˆ değer, aşağıdak gb buluur:,- ˆ -,- - β ˆ ˆ - ˆ β ˆ - ˆ β - - ˆ - ˆ - - ˆ - 6 Eş 6 de, H - şapka matrs köşege elemaıdır ve H olarak aılablr Bua göre çapra geçerllk ölçütü ˆ ˆ CV -,- - - ˆ 6 şeklde elde edlr Parametrk olmaa regresoda çapra geçerllk ölçütü parametrk regresodake beer olarak, CV λ - mˆ - ; λ 63 şeklde fade edlr 35

45 mˆ ; λ, oktasıda λ düleştrme parametresle parametrk olmaa regreso tam gösters Parametrk olmaa regresoda kestrm değerler vektörü aşağıdak gbdr: m ˆ ;λ M S λ 64 m ˆ ;λ ve mˆ ; λ S 65 λ, Eş 65 de S λ,, S λ ı, elemaıdır Brçok düleştrc aşağıdak bçmde aılablr: Sλ, m ˆ ; λ 66 - S λ, Ruppert vd, 003 Eş 66 er ama sağlaamasa da, geellkle aklaşık olarak sağlaır Eş66 da m ˆ - ; λ, ver kümesde, gölem çıkarıldıkta sora elde edle parametrk olmaa regreso tam değerdr Arıca bu gösterm çapra geçerllk ölçütüde kullaıla m ˆ - ; λ taımı olarak düşüüleblr üm düleştrcler, er ama se ˆ öellğe saptr ve bu öellk tüm düleştrcler ç, S λ, tüm ler ç, 36

46 olduğuu gösterr Bua göre S - Sλ, dr ve parametrk olmaa λ, regresoda çapra geçerllk ölçütü parametrk regresodake beer olarak CVλ mˆ - ; λ S - S λ λ, - m ˆ ;λ S - λ, -S λ { } - S I λ, ˆ - S λ, 67 şeklde aılablr Çapra geçerllk ölçütüe göre e ugu düleştrme parametres λ, CVλ foksouu mmum apa değerdr Ruppert vd, Geelleştrlmş çapra geçerllk Geeraled cross-valdato, GCV Geelleştrlmş çapra geçerllk ölçütü, çapra geçerllk eştlğde S λ, ortalaması S λ, ere S İ Sλ 68 aılarak elde edlr Bua göre geelleştrlmş çapra geçerllk ölçütü GCVλ ˆ - m ;λ -İ S λ / 37

47 I - S λ - { - İ S } λ 69 şeklde fade edlr Geelleştrlmş çapra geçerllk ölçütüe göre e ugu düleştrme parametres, GCVλ foksouu mmum apa değerdr 363 Mallows u C p ölçütü Mallows 973 tarafıda öerle C p krter C HK σˆ p p εp 70 şekldedr Burada p modeldek parametreler saısıdır HK p ada model ç ata kareler toplamıdır Parametrk olmaa regreso model ç Mallows u C p krter gelştrlmştr Bua göre, m ε, Kov ε I 7 σ ε parametrk olmaa regreso model gö öüe alalım Bu modelde m vektörüü tam mˆ mˆ S 7 λ olmak üere ortalama ata kareler toplamı mea summed squared error aşağıdak gbdr: OHK m ˆ E mˆ - m { Em ˆ - m } Var{ m ˆ } { E S - m } Var{ S } λ λ { E S - m } Kov{ S } λ λ 38

48 λ { Kov S } S I m İ 73 λ Değşe varaslılığı olmadığı varsaımı altıda Kov σ I olmak üere ε ortalama ata kareler toplamı, OHKmˆ S I m İ{ S S } 74 σ λ ε λ λ şeklde elde edlr Hata kareler toplamı HK HK λ mˆ - 75 olup, ata kareler toplamıı beklee değer, EHK λ E ˆ E Sλ m I E{ S - I S - I } λ λ { S - I I } m S - I S - I m σi S - λ λ { İ S S - İ S } λ λ λ λ S - I m σ λ λ S λ - I σ sd Artık 76 m dr Eş 76 da sd Artık { İ S İ S } S - dr Ruppert vd, 003 Hata λ λ kareler toplamıı beklee değer, ortalama ata kareler toplamıa göre aşağıdak gb aılablr: λ EHK λ OHK m ˆ σ sd kestrm 77 Eş 77 de sd kestrm, mˆ ı kestrmek ç kullaıla parametreler saısıı λ göstermektedr ve sd kestrm İ S dır Bua göre parametrk olmaa regresoda Mallows u C p krter parametrk regresodake beer olarak C λ ˆ sd kestrm 78 p HK λ p σ ε 39

49 şeklde elde edlr Burada σˆ ε HKλ σˆ ε 79 İS İS S λ λ λ dr σ ε tam ç λ, CV a da GCV ölçütler mmum apa değer olarak seçlr Ruppert vd, Akake blg ölçütü Akake formato crtero Parametrk problemler ç klask Akake Blg Ölçütü AIC, beklee Kullback- Lebler blgs aklaşık olarak ası tam edcs olarak gelştrlmştr Akake 973 tarafıda öerle AIC blg ölçütü, { λ } AIC λ log HK sd kestrm / 80 şekldedr Hurvc vd 998 doğrusal parametrk olmaa düleştrclerde düleştrme parametres seçm ç AIC öermşlerdr Hurvc vd 998 tarafıda gelştrle bu ölçüt, AIC c λ log S λ - I { İ S } İ S λ λ 8 şekldedr AIC c λ ölçütüe göre e ugu düleştrme parametres, AIC c λ ölçütüü mmum apa değerdr Hurvc vd, 998; Lee, 003 Parametrk olmaa ötemler esek ötemlerdr Çükü bu ötemler bağımlı değşke ve bağımsı değşkeler arasıdak foksoel lşk şekl le lgl erag br varsaım gerektrme Acak bae bağımlı değşke le baı bağımsı değşkeler arasıdak lşk doğrusal olduğu blrke, bağımlı değşke le dğer bağımsı değşkeler arasıdak lşk şekl blmedğ durumlar le karşılaşılablr Bu durumda ble doğrusal lşk gö ardı ede parametrk olmaa br model kestrlmes doğru olmaa souçlara ede 40

50 olablr Çükü doğrusal lşk baı öeml teork souçlar çereblr Bu soruu ortada kaldırmak ç arı parametrk semparametrc modeller gelştrlmştr Yarı parametrk modeller em parametrk em de parametrk olmaa bleşeler çerdğde doğrusallığı ve doğrusal olmamaı aı ada ele almaktadır S, Yarı Parametrk Regreso Yarı parametrk regreso modelde bağımlı değşke br a da daa çok açıklaıcı değşkele doğrusal olarak lşkl olduğu, acak eklele baı açıklaıcı değşke a da değşkelerle arasıdak lşk doğrusal olmaa br lşk çde oldukları varsaılır Speckma, 988 Yarı parametrk modeller e bast şeklde bağımsı değşkelerde br de adladıracağımı le bağımlı değşke arasıda doğrusal bağımlılık okke, dğer bağımsı değşkeler arasıda doğrusal bağımlılık vardır Bu durumda aşağıdak arı parametrk regreso model kullaılır: β m ε, 8 Eş8 de β model doğrusal parametrk bleşe, m se doğrusal olmaa parametrk olmaa bleşedr, p boutlu parametrk kısma β karşılık gele gölem vektörüü;, p boutlu blmee parametreler vektörüü; m, model parametrk olmaa kısmıa karşılık gele kc mertebede türev alıable foksolar uaıı br elemaıı;, gölem değer; ve ε, gölem ç ata term göstermektedr Bu modelde amaç, β parametrk kısmıdak parametreler vektörü ı ve parametrk olmaa m foksouu {,, } formuda, ver kümesde tam etmektr Bu model matrs-vektör β m ε 83 şeklde fade edlr Eş 83 de, 4

51 , boutlu gölemler vektörüü,, parametrk kısma karşılık gele p bağımsı değşkeler matrs, β, parametrk kısma karşılık gele p boutlu parametreler vektörüü, m C [a, b], parametrk olmaa kısma karşılık gele boutlu blmee foksolar vektörüü, ε, boutlu ortalaması 0 ve varası dağılımlı ata termler vektörüü göstermektedr σ ola bağımsı ve aı Yarı parametrk regreso model toplamsal modeller addtve model öel br durumudur Yarı parametrk modeller, doğrusal parametrk bleşe ve parametrk olmaa bleşeler er ks çerdğde, bu modellere kısm doğrusal modeller partall lear model de der Bu modeller stadart regreso modellere göre çok daa esektr Yarı parametrk regreso model, lk olarak gülük ortalama ava sıcaklığı le elektrk satışları arasıdak lşk celemek ç Egle vd 985 tarafıda kullaılmıştır Gree vd 985, Gree ve Yadell 985, Heckma 986 arı parametrk regresoda doğrusal olmaa bleşe kestrm ç kullaıla eğrsel düleştrme sple smootg le brleştrle e küçük kareler aklaşımıı öermşlerdr Ce 988 arı parametrk regreso modelde parametrk bleşe ve parametrk olmaa bleşe aı ada tam edldğ e küçük kareler aklaşımıı öermştr Speckma 988 ve Robso 988 arı parametrk regresoda parametre kestrmler ç çekrdek düleştrme ötem kullamışlardır Waba 990, Gree ve Slverma 994 arı parametrk regreso modelde parametreler eğrsel çg düleştrme ötem le tam etmşlerdr Akde ve abaka 009 arı parametrk regreso modelde parametreler kısıtlamış Rgde tam edcler, Dura, Akde ve Hu 0 arı parametrk regreso modelde Lu tp tam edcler celemşlerdr Yarı parametrk regreso modelde parametreler tam etmek ç kullaıla aklaşımları eps parametrk olmaa regreso ötemlere daaır Yarı β parametrk regreso modelde ve m vektörler ve µ β m ortalama 4

52 vektörüü tam etmek ç çok saıda aklaşım vardır Eğrsel çg düleştrme ötem, çekrdek düleştrme ötem, erel doğrusal regreso düleştrme vb gb Gree vd 985, Egle vd 985, Waba 990 ve Gree ve Slverma 994 arı parametrk regreso modelde parametre tam ç eğrsel düleştrme ötem, Speckma 988 ve Robso988 çekrdek düleştrme ötem, Hamlto ve ruog 997 erel doğrusal regreso düleştrme ötem kullamışlardır 4 Yarı parametrk regreso model ç cealadırılmış e küçük kareler ötem Eş 8 dek arı parametrk regreso model vere udurmak ç { } - β - m bçmdek artık kareler toplamıı mmum apa m foksou ve β parametreler elde edlmee çalışılır Acak m üerde br kısıt olmadıkça bu β aklaşım başarısı olur Br a ç ler farklı olduğuu varsaalım ı erag br değer ç m, m - β terpolasou le elde edleblr, acak β β blmorsa bu aklaşımla belrleeme abaka,009 Bu soru, ve m değere karar vermek ere cealadırılmış kareler toplamı mmum apılarak çöülür Gree ve Slverma, 994 Yarı parametrk regreso model ç cealadırılmış e küçük kareler toplamı, aşağıdak gbdr: S β,m { - β - m } λ { m } d b a 84 Cealadırılmış e küçük kareler toplamıı mmum apılması, kübk eğrsel çg foksolarıda ararlaa eğrsel çg düleştrme ötem esasıa daaır 43