Ridge Regresyonda M Tahmin Edicilerinin Kullanımı Üzerine Bir Uygulama 1

Transkript

1 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss Rdge Regresyoda Tahm Edcler Kullaımı Üzere Br Uygulama Hatce ŞAKAR Özlem ALPU 3 Erem ALTAN 4 Özet Bu çalışmada y yöüde ayırı değerler ve çolu doğrusal bağıtı roblem varlığıda, tahm edclere dayalı sağlam rdge regresyo aalz ele alımıştır. Buu ç Türye de turzm verler üzere br uygulama gerçeleştrlmş ve tahm edclere dayalı rdge regresyou y yöüde ayırı değerlere arşı sırada rdge regresyoda daha az duyarlı olduğu gösterlmştr. Aahtar Kelmeler: Tahm etodu, Rdge Regresyo, Çolu Bağıtı, Ayırı değer JEL Sııfladırma Kodları:C00, C00, C80 A Alcato of Rdge Regresso o Estmators Abstract I ths study, we exame robust rdge regresso aalyss based o Huber tye estmators the resece of multcollearty ad outler y drecto. To ths am, we aly the aalyss o toursm data Turey. It has show that rdge regresso based o estmators s less sestve tha ordary rdge regresso the resece of outler the y drecto. Keywords: estmato, Rdge Regresso, ultcollearty, Outler JEL Classfcato Codes: C00, C00, C80. Grş Çolu regresyo aalzde temel roblemlerde br açılayıcı değşeler arasıda doğrusal br lş var olmasıdır ve bu çolu doğrusal Bu çalışma 8-30 ayıs 008 tarhler arasıda Douz Eylül Üverstes Eoometr Bölümü tarafıda Kuşadası da gerçeleştrle 9. Ulusal İstatst ve Eoometr Semozyumu da suula bldr geşletlmş şeldr. Yrd.Doç.Dr., Esşehr Osmagaz Üverstes, İstatst Bölümü, eşel Kamüsü, Esşehr e-osta:hfda@ogu.edu.tr 3 Yrd.Doç.Dr., Esşehr Osmagaz Üverstes, İstatst Bölümü, eşel Kamüsü, Esşehr e-osta:oalu@ogu.edu.tr 4 Yüse Lsas Öğrecs, Esşehr Osmagaz Üverstes, Fe Blmler Esttüsü

2 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss bağıtı olara blr. Lteratürde çolu doğrusal bağıtı robleme arşı Hoerl ve Keard (970a, b tarafıda yalı br tahm teğ ola rdge regresyo aalz öerlmştr. Regresyo aalzde temel roblemlerde br dğer de hata termler ormal dağılmamasıdır. Ver ümesde ayırı değerler olması durumuda hata termler ormall varsayımı bozulur ve bu durumda ayırı değerler ets azaltma ç sağlam tahm metotlarıı ullaımı öerlmetedr. Regresyo aalzde çolu bağıtı ve ayırı değer olması sılıla arşılaşıla roblemlerdedr. Bu roblemler çözümü hem yalı hem de sağlam teler brlte ullaılmasıyla mümü olablmetedr. Lteratürde As ve otgomery (980, Slvaulle (99, Arsla ve Bllor (996, Pfafeberger ve Delma (990 yalı sağlam tahm edcler üzerde çalışalar arasıda sayılablr. Bu çalışmada, çolu doğrusal bağıtı ve y yöüde ayırı değerler varlığı durumuda Huber t tahm edcler üzerde temellee sağlam rdge regresyo aalz üzerde durulmuştur. Türye ye gele turst sayısıı modelleme ç turzm verler ullaılara sağlam rdge regresyo tahmler elde edlmştr..etot.. Rdge Regresyo Çolu doğrusal regresyo model matrs formuda aşağıda gb verlmş olsu. y Xβ ε (. Burada y ( boyutlu açılaa değşe vetörü, X ralı ( boyutlu açılayıcı değşe matrs, β ( boyutlu blmeye arametre vetörü, E( ε 0 ve V ar( ε σ I dır. Bu modelde tüm değşeler stadartlaştırıldığıda orelasyo matrs formudadır. X' X matrs Bu modelde β ı E Küçü Kareler(EKK tahm edcs ve varyası aşağıda gbdr: β (X X X y 68

3 Şamar-Alu-Alta/Rdge Regresyoda Var ( β E ( β β( β β ( X X Açılayıcı değşeler arasıda çolu doğrusal bağıtı olması durumuda β ı EKK tahmler güvelmez hale gelr. Bu durumda aşağıda verle rdge regresyo tahm edcs ullaımı öerlr: ( β X X I X y (. R Burada yalılı arametresdr. Lteratürde uygu değer belrleme ç çeştl araştırmacılar tarafıda çalışmalar yaılmıştır (Hoerl, Keard ve Baldw (975, Lawless ve Wag (976, Demster, Schatzoff ve Wermuth (977, Tamar (98, Lee ve Cambell (985, Vod ve Ullah (98, Kadyala (98, Trose ve Chalto (996 ve Frquett (999. Bu çalışmada, değer seçm ç Hoerl, Keard ve Baldw (HKB (975 tarafıda EKK tahm edclere dayaa formül ullaılmış ve Eştl (.3 te verlmştr: σ ββ (.3 Rdge regresyo atsayılarıı varyas ovaryas matrs se VarCov ( ( X X I X X ( X X I β R formülü yardımıyla belrler... Tahm etodu Huber (964 tarafıda gelştrle tahm edcs artıları smetr br fosyouu e üçülemeye dayaır ve amaç fosyou aşağıda gb fade edlr: e ρr ( Burada r. stadartlaştırılmış artığı gösterr. Bu fosyou β ya göre türev alıı sıfıra eştlemesyle ormal delemler elde edlr ve bu delemler çözümüde tahm edcler buluur. ρ u türev fosyou aşağıda gbdr: 69

4 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss ( r r t. sg ( r, r, r t t Burada t=.5 olara alıır (Rousseeuw ve Leroy, 987. regresyo atsayılarıı varyasları aşağıda gb hesalaır (aroa, art ve Yoha, 006: burada Var ( β ( X X E E ( r / ( r / ve 0,675 ed r r 0. Burada açılayıcı değşe sayısı ve gözlem sayısıdır..3. Tahm Edclere Dayalı Rdge Regresyo Huber t sağlam rdge tahmler elde etme ç formül aşağıda verlmştr: β ( X X I X Xβ (.4 R Burada β tahm edcs ve β R Huber t sağlam rdge tahm edcs fade eder. regresyo aalzde hesalaa ullaılara ı başlagıç değer elde edlr: β ve değerler Eştl(.5 te. 0 β β (.5 Burada açılayıcı değşe sayısı, ve ölçe tahm edcsdr. regresyoda elde edle Bu çalışmada ı uygu değer Hoerl ad Keard (976 tarafıda öerle teratf süreç ullaılara belrlemştr. Bu sürece göre 70

5 Şamar-Alu-Alta/Rdge Regresyoda.,,.. ( β (. β ( R R ( ( X X I X Xβ R bçmde hesalaır. Hoerl ad Keard (976 ı EKK ç öerdğ sürec durdurma uralı sağlam rdge tahme uyarlamıştır. Bua göre eğer T.3 se (burada T z( XX etmel, as tadrde durdurulmalı ve bulua olma üzere algortma devam ( R tahm değerler souç tahmler olara değerledrlmeldr (otgomery, art ve Yoha, 00. tahm edclere dayalı rdge regresyo arametre tahmler ( ( r / stadart hataları A olma üzere ( r / A ( X X matrs öşege elemalarıı areöü hesalaara elde edlr (Coşutucel, Tahm Edcler Hata Kareler Ortalaması Eştl (. de regresyo model ao formda aşağıda gb fade edleblr: y = Cα + ε Burada P ortogoal br matrs olma üzere C=XP ve P β dır. ı herhag br tahm edcs olu, P α ve (Slvaulle, 99. H K O ( H K O ( β dır Hoerl ad Keard(970 a, b rdge tahm edcler ç hata areler ortalamasıı EKK tahm edcler ç hesalaaca hata areler ortalamasıda her zama daha üçü olacağıı belrtmş ve aşağıda eştlte hesalaacağıı göstermştr: H K O ( ( /( (.6 R 7

6 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss Burada XX matrs özdeğerlerdr. Slvaulle(99 oztf br varlığıda 0<< ç HKO ( HKO ( olduğuu satlamış ve eğer < se oztf R her ç HKO ( HKO ( olduğuu göstermştr. Ayrıca sağlam R R rdge tahm edclere lş hata areler ortalamasıı hesabı ç aşağıda eştlğ vermştr: H K O ( ( /( (.7 R Burada ( x boyutlu ovaryas matrsdr. 3. Uygulama Bu çalışmada Türye ye gele turst sayısıı modelleme amacıyla turzm verler ullaılara tahm edcler üzerde temellee rdge regresyo aalz uygulamıştır. odelde açılaa değşe olara Türye ye gele turst sayısı ve açılayıcı değşeler olara da turzm tesslerde oda sayısı, gele uça sayısı ve turzm aceta sayısı alımıştır. Çalışmada stadartlaştırılmış verler ç orelasyo matrs aşağıda gb elde edlmştr: XX Bu matrse lş özdeğerler se.8484, 769, dır. Koşul sayısı ve hata areler ortalaması 78 olara bulumuştur. Regresyo atsayılarıı EKK tahm değerler ve stadart hataları se ( X X X y = ve s (

7 Şamar-Alu-Alta/Rdge Regresyoda olara bulumuştur. Koşul sayısıı büyülüğü çolu doğrusal bağıtı roblem varlığıa şaret etmetedr. Bu edele EKK tahm edcler yere rdge regresyo tahm edcler ullaılması terch edlmeldr. Rdge regresyo tahm değerler elde etme amacıyla ullaılaca yalılı arametres ı uygu değer teratf süreçle belrleme ç durdurma uralıa göre elde edlmş değerler Tablo de verlmştr. Tablo EKK tahm edclere dayalı teratf değerler Adım ββ Durdurma uralıa göre, yalılı atsayısı olara 049 seçlr. Bu değer date alıara model arametre tahm değerler, stadart hataları ve artı areler ortalaması değer aşağıda gb elde edlr: 9488 R 30 ve 466 ( s R AKO = 88 AKO değerlere baıldığıda rdge regresyo aalz souçları EKK souçlarıda daha ydr. Buula brlte, ver ümesde ayırı değer varlığı durumuda sağlam teler ullaımı arametre tahmler daha ararlı hale getrecetr. Ver setde ayırı değerler belrlemesde e bast yollarda br utu graflerdr ve ver ümes ç utu grafğ Şel de verlmştr. 73

8 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss Şel Turzm Verler Kutu Grafğ Şel de görüldüğü gb y yöüde br ayırı değer varlığı söz ousudur. y yöüde ayırı değer olması durumuda, Huber t tahm edclere dayalı rdge regresyo aalz ullaımı daha et souçlar verecetr. Huber t regresyo arametre tahm değerler, stadart hataları ve ölçe tahm değer aşağıda verlmştr ve 946 ( s σ 0547 Bu tahm değerler ullaılara ı başlagıç değer 006 olara bulumuş ve bu değerde yola çıara hesalaa teratf β değerler Tablo de verlmştr. R Adı m Tablo tahme dayalı teratf değerler β β R R ve 74

9 Şamar-Alu-Alta/Rdge Regresyoda tahm edcse dayalı yalılı atsayısı durdurma uralıa göre 0098 olara bulumuş ve bu değere bağlı olara hesalaa sağlam 3 rdge arametre tahmler, stadart hataları ve AKO aşağıda gb elde edlmştr: 9708 R 04 ve 0975 ( s R AKO = 088 tahm edclere dayalı sağlam rdge regresyo tahm değerler AKO sı EKK e dayalı rdge regresyo AKO sıda daha üçü buluduğuda, ayırı değer varlığıda sağlam rdge arametre tahmler ullaımı terch edlmeldr. 4. Souç Ver ümesde çolu bağıtı ve ayırı değer olması durumuda regresyo atsayılarıı tahm ç yalı ve sağlam teler brlte ullaımı mümüdür. Bu çalışmada, Türye ye gele turst sayısıı modelleme ç seçle değşeler y yöüde ayırı değer ve çolu doğrusal bağıtı çermetedr. Ver setde çolu doğrusal bağıtıı etsyle EKK atsayı tahm değerlerde gele uça sayısı ve turzm aceta sayısı değşelere lş atsayıları oztf olması belere egatf şaretl olduları görülmüştür. Dolayısıyla EKK tahm değerler yere rdge regresyo arametre tahm değerler hesalamış ve söz ousu değşe şaretler oztf şaretl olara bulumuştur. Ver setde ayı zamada ayırı değer olması sağlam tahm teler ullaımıı güdeme getrmştr. y yöüde ayırı değerler varlığıda ullaıla t regresyo atsayıları hesalamış, aca ye çolu doğrusal bağıtıı ets bu tahm değerlere yasımıştır. Böylelle tahm edclere dayalı sağlam rdge regresyo tahm değerler ullaılması terch edlmştr. Burada elde edle regresyo atsayılarıı şaretler beletlermz doğrultusuda gerçeleşmştr. Ayrıca EKK e dayalı rdge tahm değerler ve tahme dayalı sağlam rdge tahm değerler artı areler ortalaması baımıda celemş ve lteratürü desteler şelde tahme dayalı sağlam rdge tahm değerler artı areler ortalaması EKK e dayalı rdge tahm değerler artı areler ortalamasıda daha üçü bulumuştur. Bu oşullar altıda sağlam rdge 75

10 Douz Eylül Üverstes İtsad ve İdar Blmler Faültes Dergs, Clt:6, Sayı:, Yıl:0, ss tahm değerler terch edlmes geretğ gerçe br ver set üzerde gösterlmştr. Kayalar Arsla, O. ve N. Bllor (996, Robust rdge regresso estmato based o the G-estmators, Joural of ath., 9(, -9. As, G.R. ve D.C. otgomery (980, Augmeted Robust estmators, Techoometrcs,, Coşutucel O. (005, Karma Deemelerde ve odellerde Robust İstatstsel Aalzler, Çuurova Üverstes Fe Blmler Esttüsü, Basılmamış Dotora Tez, Adaa. Demster, A.P.,. Schatzoff ve N.Wermut (977, A smulato study of alteratves to ordary least squares, Joural of the Amerca Statstcal Assocato, 7, Frquatt, L. (999, A geeralzed rdge regresso estmator ad ts fte samle roertes, Commu. Statst. Theory eth. 8(5, 7-9. Hoerl, A.E ve R.W. Keard (970a, Rdge regresso: Based estmato for oorthogoal roblems, Techometrcs,, Hoerl, A.E ve R.W. Keard (970b, Rdge regresso: Alcatos to oorthogoal roblems, Techometrcs,, Hoerl, A.E ve R.W. Keard (976, Rdge regresso: Iteratve estmato of the basg arameter. Commu. Statst.-Theory eth. A5(, Hoerl, A.E ve R.W. Keard ve K.F. Baldw (975, Rdge regresso: Some smulatos, Commu. Statst, 4(, Huber, P.J. (964, Robust estmato of a locato arameter, A. ath. Stat., 35, 73- Kadyala, K. (98, Bouds for the basg arameter rdge regresso, Commu. Statst.-Theory ethods, A0, Keeth, D.L. ve L.A. Jeffrey (990, Robust Regresso: Aalyss ad Alcatos, arcel Deer, Ic. 76

11 Şamar-Alu-Alta/Rdge Regresyoda Lawless, J.F. ve P. Wag (976, A smulato study of rdge ad other regresso estmators, Commu. Statst. A5, Lee, T.Z. ve D.B. Cambell (985, Selectg the otmum rdge regresso, Commu. Statst.-Theory eth. 4(7, aroa R.A., R.D. art ve V.J. Yoha (006, Robust Statstcs:Theory ad ethods, Joh Wley ad Sos, New Yor. otgomery, D.C., E.A. Pec ve G.G. Vg (00, Itroducto to Lear Regresso Aalyss. Joh Wley ad Sos, New Yor. Pfaffeberger, R.C. ve T.E. Delma (990, A comarso of regresso estmators whe both multcollearty ad outlers are reset. I Robust Regresso (ed. Lawrece ad Arthur, 43-7 Rousseeuw P.J. ve A.. Leroy (987, Robust Regresso ad Outler Detecto, Joh Wley ad Sos, NewYor. Slvaulle,.J. (99, Robust rdge regresso based o a estmator, Austral. J. Statst, 33, Tamar,. (98, A smulato study of the stochastc rdge, Commu. Statst.-Smulato ad Comutato, (, Trose, C.G. ve D.O. Chalto (996, A Bayesa estmate for the costats rdge regresso, South Afrca Statst. J., 30, Vod, H.D. ve A. Ullah (98, Recet Advaces Regresso ethods, New Yor : Deer. 77