Sağlam Ridge Regresyon Analizi ve Bir Uygulama

Transkript

1 Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss Sağlam Rdge Regresyo Aalz ve Br Uygulama Özlem ALPU 1 Hatce ŞAMKAR Ekrem ALTAN 3 Özet Çoklu regresyo aalzde doğrusal bağıtı problem E Küçük Kareler(EKK) tekğyle regresyo parametreler tahmde güvelr olmaya souçlar verr. Dğer tarafta ver kümes aykırı değerler çermes EKK tahm edcs e y, yasız, tutarlı olma özellğ ytrmese ede olur. Bu k problem ayı ver kümesde yer alması durumuda sağlam tahm edcler üzerde temellee yalı tekkler kullaılması öerlr. Bu çalışmada hem x hem de y yöüde aykırı değer çere br ver kümes ç sağlam tahm edclerde M, E Küçük Kırpılmış Kareler, E Küçük Medya Kareler, S ve Geelleştrlmş M üzerde temellee rdge regresyo aalz üzerde durulmuş ve karşılaştırmalı olarak souçları celemştr. Aahtar Kelmeler: Sağlam Regresyo, Rdge Regresyo, Aykırı değer, Çoklu Bağıtı JEL Sııfladırma Kodları: C100, C00, C180 Abstract The problem of multcollearty multple lear regresso aalyss gves urelable estmates for regresso parameters wth least squares methods. I addto, outlers data set cause to lose characterstcs of best, ubased, cosstet of least squares estmato. I the presece of multcollearty ad outlers the data set, t s suggested usg based methods based o robust estmators. I ths study, for the data set cludg outlers both x ad y drected, rdge regresso aalyss based o some robust techques (M, Least Trmmed Sums of Squares, Least Meda of Squares, S ad Geeralzed M ) s appled ad the results are cosdered as comparatvely. Keywords: Robust regresso, rdge regresso, outler, multcollearty JEL Classfcato Codes: C100, C00, C180 1 Yrd.Doç.Dr., Eskşehr Osmagaz Üverstes, İstatstk Bölümü, Meşelk Kampüsü, Eskşehr e-posta:oalpu@ogu.edu.tr Yrd.Doç.Dr., Eskşehr Osmagaz Üverstes, İstatstk Bölümü, Meşelk Kampüsü, Eskşehr e-posta: hfda@ogu.edu.tr 3 Yüksek Lsas Öğrecs, Eskşehr Osmagaz Üverstes, Fe Blmler Esttüsü

2 1. Grş Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss Ver kümesde aykırı değerler var olması ve ayı zamada çoklu doğrusal bağıtı problemyle karşılaşılması durumuda bu k problemle ayrı ayrı uğraşmak yere problemler her ksyle ayı ada başedecek tekkler üzerde çalışmak daha uygu olablr. Buu ç sağlam tahm edcler üzerde temellee yalı tekkler kullaılması öerlr. Lteratürde Ask ve Motgomery(1980) ver setde çoklu bağıtı problem var olması ve hata termler ormal olmaması durumuda yalı ve sağlam tekklere dayalı tahm edcler kullamıştır. Slvapulle(1991) e küçük kareler tahm edcler yere M tahm edclerde elde edle rdge tp M tahm edcler kullamış ve yalılık parametres optmal değer seçm ç öerde bulumuştur. Arsla ve Bllor (1996) çoklu bağıtı ve aykırı değerler varlığıda k alteratf rdge tp Geelleştrlmş M (GM) tahm edcs gelştrmş ve aykırı değerler etks azaltmak amacıyla yalılık parametres bu sağlam tahm edclerle hesaplayıp, regresyo parametreler sağlam rdge tahm edcler elde etmşlerdr. Pfaffeberger ve Delma(1990) e küçük mutlak değer(least Absolute Value-LAV) ve rdge tahm edcler özellkler brleştrerek rdge e küçük mutlak değer (Rdge Least Absolute Value-RLAV) tahm edcler öermştr. Bu çalışmada sağlam tahm edclerde M, E Küçük Kırpılmış Kareler(Least Trmmed Squares-LTS), E Küçük Medya Kareler(Least Meda of Squares- LMS), S ve Geelleştrlmş M(Geeralzed M-GM) üzerde temellee rdge regresyo aalz ele alımıştır. Hesaplaa parametre tahmlerde hags daha y olduğua karar vermek ç hata kareler ortalaması krter göz öüde tutulmuştur. Slvapulle(1991) M tahm edcs ve Arsla ve Bllor(1996) u GM tahm edcler ç öerdğ sağlam rdge tahm edclere lşk hata kareler ortalaması formülü bu çalışmada LTS, LMS ve S ye dayalı sağlam rdge tahm edclere uyarlaarak kullaılmıştır. Uygulama kısmıda se gerçek br ver set üzerde bu metotlar karşılaştırmalı olarak değerledrlmştr..metot.1. Rdge Regresyo Çoklu doğrusal regresyo ç aşağıdak stadart model düşüelm. y Xβ ε (.1) 138

3 Alpu-Şamkar-Alta / Sağlam Rdge Burada X ( p ) boyutlu ve p raklı bağımsız değşke matrs, β ( p 1) boyutlu blmeye parametre vektörü ve ε, E( ε ) 0 ve Var( ε) σ I ola ( 1 ) boyutlu hata termler vektörüdür. Verler stadartlaştırılması durumuda XX matrs korelasyo matrs formudadır. Çoklu doğrusal bağıtı varlığıda (.1) eştlğdek model E Küçük Kareler (EKK) tekğyle buluacak parametre tahmler güvelmez hale gelr. Bu problemle başedeblmek ç Hoerl ve Keard(1970) tarafıda rdge regresyo aalz öerlmştr. β ı yalı br tahm edcs ola rdge regresyo tahm edcs βˆ ( XX k I ) 1 Xy (.) R bçmde verlr. Burada k yalılık parametres olarak blr. (.) eştlğde verle rdge regresyo tahm edcs kaok formu aşağıdak gb yazılablr: ˆ 1 α ( k) ( k ) R C C I C Cα Burada ˆ C XP, α Pβ ve P ( p ) boyutlu ortogoal br matrs ( PP I ) tr.α ı herhag br tahm edcs ola ˆα, EKK tahm edcs ˆβ le ( βˆ Pα ˆ ) bağlatılıdır. Bu durumda HKO( αˆ ) HKO( β ˆ) yazılablr. Rdge tahm edcs hata kareler ortalaması se k HKO( ˆ R ( k)) ( k) 1 1 k (.3) bçmde hesaplaır ve rdge tahm edcs HKO ı EKK tahm edcs HKO da daha küçük olacak şeklde br yalılık parametres k ı (k>0) her zama var olacağı Hoerl ve Keard (1970) tarafıda gösterlmştr. Lteratürde k ı seçm ç çeştl metotlar öerlmştr. Bu çalışmada uygu k değer belrlemek ç Hoerl, Keard ve Baldw(HKB) (1975) tarafıda öerle (.4) eştlğde verle formül kullaılacaktır: k p.ˆ ˆ ˆ (.4) 139

4 .. Sağlam Tahm Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss Sağlam sözcüğü statstksel varsayımlarda küçük sapmalara duyarsız statstk şlemler ç kullaılmaktadır. Doğrusal regresyo aalzde ları tahm ç e çok kullaıla tekk EKK tekğdr. Acak, bağımlı ve bağımsız değşkedek aykırı değerler EKK ç cdd br sorudur. Bu tekğe alteratf olarak aykırı değerlerde çok fazla etklemeye tahm edcler kullaa sağlam regresyo yötemler öerlmektedr. Sağlam tekkler teork alamda performasıı taımlamak ç etklk, bozulma(kırılma) ve sıırlı etkl olma özellkler kullaılır (Smpso ve Motgomery, 1998). E popüler sağlam tahm edclerde bazıları M, LTS, LMS, S ve GM tahm edclerdr. M tahm edc etkdr. LTS, LMS ve S tahm edcler yüksek bozulma oktasıa sahptr. GM tahm edcs etk ve sıırlı etkl olma özellğe sahp çok aşamalı br tahm edcdr...1. Yüksek Bozulma Noktalı Tahm Edcler Yüksek bozulma oktalı regresyo tahm edcler çok sayıda aykırı değer varlığıda güvelr tahmler elde etmek ç gelştrlmştr. Bu tahm edcler %50 bozulma oktasıa sahptr ve dreçl(resstat) tahm edcler olarak blr. Yüksek bozulma oktalı tahm edcler hem x hem de y yöüdek aykırı değerler varlığı durumuda güvelr parametre tahmler verr (Hawks ve Olve, 00) LMS Tahm Edcler Rousseeuw (1984) tarafıda bulua ve Rousseeuw ve Leroy (1987) tarafıda gelştrle LMS metodu artık kareler toplamı yere artık kareler medyaıı e küçüklemes fkre dayamaktadır. LMS tahm edcler; e küçük(medya e ) ˆ olarak verlr, burada e y x ˆ dır. LMS tahm edcs bozulma oktası %50 dr ve ölçek tahm aşağıdak gb belrler: 140

5 Alpu-Şamkar-Alta / Sağlam Rdge ˆ 1 1 w. e w p Burada ve 0 1 e / s.5 w 0 dğer durumlarda s med e p 0 olarak hesaplaır LTS Tahm Edcler LTS Rousseeuw (1984) tarafıda suula ve EKK ya bezer br e küçükleme şlemyle elde edle tahm edcdr. Burada h e küçük ( e ) : ˆ 1 ( e ) ( e )... ( e ) sıralı artık kareler ve h toplama dahl 1: : : edle artık kareler sayısıdır. Bu formülü EKK le tek farkı e büyük karel artıkları toplama şlem dışıda bırakılmasıdır(rousseeuw ve Leroy, 1987) S Tahm Edcler Rousseeuw ve Yoha(1984) tarafıda gelştrle S tahm edcler ölçek statstğ e küçüklemes fkre dayadırılmıştır. Regresyo parametreler S tahm e küçük ( ( ),..., ( )) ˆ s e1 e ve ölçek tahm edcs ˆ s( e ˆ ˆ 1( ),..., e ( )) 141

6 Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss şeklde taımlaır. Yayılma (dsperso) s( e1 ( ),..., e ( )) olmak üzere 1 e 1 s =K fades çözümü olarak taımlamıştır. (.) artık foksyoudur ve Rousseeuw ve Yoha(1984) aşağıdak foksyou kullaımıı öermştr: 4 6 x x x x c 4 c 6c ( x) c x c 6 S tahm edcler %50 bozulma oktasıa sahp olmasıı sağlayablmek ç c sabt olarak seçlr (Rousseeuw ve Leroy, 1987).... M Tahm Edcler Huber (1964) tarafıda öerle bu tahm tekğ, artıkları kareler yere artıkları başka br foksyouu e küçükleme fkre dayaır. M tahm edcs amaç foksyou e küçük (e ) βˆ =1 bçmde verlr (Rousseeuw ve Leroy, 1987). Huber ı öerdğ ( e) foksyou ( e) e - k e k k e k e k bçmdedr; burada k=1,5 ˆ ve e çok kullaıla ölçek tahm edcs ˆ =1,483MAD olarak alıır. MAD= medya e medya( e ) şeklde taımlaır(huber, 1981). M tahm edcler y yöüdek aykırı değerlere karşı sağlam tahm edclerdr. 14

7 Alpu-Şamkar-Alta / Sağlam Rdge..3. GM Tahm Edcler Bu tahm edcler amacı bazı ağırlık foksyolarıı kullaarak x yöüdek aşırı değerler etks sıırlamaktır. GM tahm edcler aşağıdak bçmde verle ormal deklemler çözümü le elde edlr: 1 y ˆ x x 0 s Burada ağırlıkları fade eder ve taımlaa eştlk Schweppe tarafıda gelştrlmştr. Lteratürde GM bleşelerdek (amaç foksyou, başlagıç tahm, ölçek tahm, ağırlık foksyou vb. gb) farklılıkta dolayı farklı GM tahm yaklaşımları öerlmştr. Bularda br Walker (1984) ı GM tahm yaklaşımıdır. Walker ı GM yaklaşımı büyük artıklı gözlemlere düşük ağırlıklar vere Schweppe amaç foksyouu kullaır. Başlagıç tahm ç EKK tekğ ve ölçek tahm olarak da teratf olmaya MAD öerlmştr. Fal tahmler se teratf olarak yede ağırlıkladırılmış EKK tekğ kullaılarak elde edlr (Wsowsk, Motgomery ve Smpso, 001)..3. Sağlam Rdge Tahm Edcler Sağlam rdge tahm edcler ˆ ˆ * 1 βsağlamrdge ( X X k I) X Xβ Sağlam (.4) eştlğyle verlr, burada β ˆ Sağlam sağlam tahm edclerde elde edle parametre tahmler gösterr. Çalışmada M, GM, LTS, LMS ve S sağlam tahm edcler kullaılmıştır. Yalılık parametres değer sağlam tekkler ç k p. ˆ * Sağlam (.5) β ˆ β ˆ Sağlam Sağlam eştlğ le belrler. Burada p bağımsız değşke sayısı, regresyoda elde edle ölçek tahm edcsdr. ˆ Sağlam sağlam M ve GM tahm edclere dayalı sağlam rdge tahm edcler hata kareler ortalaması 143

8 Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss * * * k HKO( α ˆ Sağlam( k )) ( k ) * 1 1 k bçmde elde edlr, burada Ω (pxp) boyutlu kov( ˆ Sağlam ) matrsdr (Slvapulle(1991), Arsla ve Bllor(1996)). Bu çalışmada LTS, LMS ve S tahm edclere dayalı sağlam rdge tahm edcler hata kareler ortalaması ç de ayı formül uyarlamıştır. 3. Uygulama Çalışmaı uygulama kısmıda Türkye dek turzm verler kullaılmıştır. Turzmde taleb doğması ve gelşmes pek çok etmee bağlamak mümkü olmakla brlkte ekoomk ve ekoomk olmaya faktörler şeklde kl br ayrıma tab tutmak olasıdır (Dçer, 1993). Gele turstler htyaçlarıı karşılayablecek telkte koaklama tess sayısı, turstler gelr durumu, turzm tesslerdek oda sayısı, ulaşım olaakları ve belgel yat şletme sayısı gb etkeler ekoomk faktörler oluşturur. Lteratürde turzm taleb etkleye faktörler belrlemes ve bu talebe lşk e uygu model belrlemes yöüde çok sayıda çalışma bulumaktadır. Bu çalışmada turzm taleb e y açıklaya model bulmak yere bu talepte aykırı değerler ve çoklu bağıtıı olması durumuda kullaılablecek sağlam bazı tekkler celemştr. Bu amaçla Türkye ye gele turst sayısı değşke açıklayableceğ düşüüle ekoomk faktörler arasıda tess sayısı, turzm tesslerdek oda sayısı ve belgel yat şletme sayısı bağımsız değşkeler olarak alımıştır. Türkye de turzm sektörüü gelşm 1980 l yıllarda hız kazamaya başladığıda çalışmada 1986 yılı le 005 yılı arasıdak verler kullaılmıştır. Ver setdek gele turst sayısı değşkee at verler T.C. Başbakalık Türkye İstatstk Kurumu, dğer değşkelere at verler se T.C. Kültür ve Turzm Bakalığı ı Turzm İstatstkler verlerde derlemştr. Çalışmada verler stadartlaştırılarak kullaılmış ve XX matrs ç özdeğerler,130, 0,7809 ve 0,0061 olarak belrlemştr. Bu 1 özdeğerler yardımıyla hesaplaa koşul sayısı (361,6) çoklu doğrusal bağıtıı varlığıı göstermektedr. Ayı zamada ver setdek aykırı değerler varlığıı sağlam artık grafklerde görmek mümküdür. Şekl 1 de ( y14, x14 ),( y19, x 19) 3 144

9 Alpu-Şamkar-Alta / Sağlam Rdge ve ( y0, x0 ) gözlemler x ve y yöüde aykırı değerler oldukları söyleeblr. Şekl 1. Turzm verler ç sağlam artık grafğ EKK soucu elde edle çoklu doğrusal regresyo katsayıları ve EKK tahm edclere dayalı olarak elde edle rdge regresyo katsayıları Tablo 1 de verlmştr. Tablo 1. EKK ve rdge regresyo parametre tahm değerler, yalılık katsayısı ve artık kareler ortalaması Katsayı ve Ölçek Tahmler EKK RIDGE ˆ -0,7857 0,3887 ˆ ˆ 1 3 1,7490 1,3715-0,0843-0,140 AKO 0,5748 0,3071 ˆ =0,059 k=0,008 Çoklu doğrusal bağıtı ve aykırı değer varlığıda sağlam rdge regresyo tahmler elde etmek ç öcelkle sağlam regresyo tahm değerler hesaplamış ve bu tahm değerler (.5) eştlğde kullaılarak yalılık parametre değerler(k * ) bulumuştur. Sağlam rdge regresyo tahm değerler Tablo de verlmştr. 145

10 Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss Tablo. Sağlam rdge regresyo parametre tahm değerler, yalılık katsayısı ve artık kareler ortalaması M GM LTS LMS S ˆ 1 0,375 0,3485 0,3487 0,0890 0,1995 ˆ 1,310 1,74 1,590 0,9418 1,077 ˆ 3-0,108-0,1360-0,0696-0,95-0,000 k * 0,005 0,006 0,0016 0,003 0,006 AKO 0,6 0,160 0,1393 0,1008 0,1305 Tablo ye göre, bulua tüm sağlam tahm edclere dayalı rdge parametre tahm değerler şaretler bekletlermz doğrultusuda gerçekleşmştr. Tess sayısı ve turzm tesslerdek oda sayısı değşkeler ülkemze gele turst sayısıı poztf yöde etklerke, belgel yat şletme sayısı değşke 000 yılı ekoomk krz etksyle verlerdek azalma etcesde egatf yöde etk göstermektedr. Buula brlkte lteratürde turzm taleb etkleye faktörler belrlemes ve bu talebe lşk e uygu model belrlemes yöüde çok sayıda çalışma bulumaktadır. Yapıla çalışmalarda modellere lşk varsayım bozulumları (otokorelasyo, değşe varyaslılık ve çoklu bağıtı gb) araştırılırke verlerde aykırı değer olableceğ göz ardı edlmektedr. Bu çalışmada turzm taleb e y açıklaya model bulmak yere bu talepte aykırı değerler de olması durumuda hag tekkler kullaılableceğ üzerde durulmuştur. Bu amaçla çalışmada alıa değşkeler model açıklaya e uygu değşkeler olmasıda zyade aykırı değer çere ve ayı zamada çoklu bağıtıı olduğu değşkeler çalışmaya alıması hedeflemştr. Tablo de verle sağlam rdge regresyo parametre tahm değerler artık kareler ortalaması Tablo 1 de verle EKK ya dayalı rdge regresyo parametre tahm değerler AKO sıda oldukça küçük bulumuştur. Bua göre ver set aykırı değer çerdğde yalılık parametre değer belrlemesde sağlam regresyo tekkler kullaılmasıı daha etk souçlar verdğ görülmektedr. Dğer tarafta, ver setdek aykırı değerler telğ (sayısı, büyüklüğü, koumu vb.) bu sağlam tekklerde hags bemseeceğ kousuda yapılacak terchte öeml olduğu açıktır. 4. Souç ve Tartışma Bu çalışmada aykırı değer ve çoklu doğrusal bağıtıı var olduğu br ver setde yalılık parametre değer belrlemesde çeştl sağlam tekkler (M, 146

11 Alpu-Şamkar-Alta / Sağlam Rdge GM, LTS, LMS, S) kullaılmış, bu tekklerde bulua ˆ Sağlam ve ˆ Sağlam değerleryle k * yalılık parametres hesaplamış ve daha sora sağlam rdge parametre tahm değerler elde edlmştr. Kullaıla sağlam tekkler başarısı aykırı değerler x uzayıı çde veya dışıda olmasıda, büyüklüğüde ve yoğuluğuda etklemektedr. Bu edele çıka tekkler performası bu bleşeler dkkate alıarak yorumlamalıdır. Çalışmada yer verle LTS, LMS ve S tahm edcler yüksek bozulma oktasıa (%50) sahp tahm edcler olduklarıda bu özellk açısıda ayı sııfta yer alırlar. Ayrıca bu tahm edcler x yöüdek aykırı değerlere karşı sağlam tahm edclerdr. M ve GM tahm edcler se LTS, LMS ve S tahm edclere göre daha düşük bozulma oktalarıa (M ç 1/, ve GM ç 1/p) sahp olduklarıda bu özellk açısıda ayı sııf çde değerledrleblrler. Acak M tahm edcler y yöüdek aykırı değerlere karşı sağlam ke, GM tahm edcler x yöüdek aykırı değerlere karşı da sağlamdır. Bu çalışmadak verler hem x hem de y yöüde aykırı değerler çermektedr. Ayrıca ver setde x yöüde brde fazla aykırı değer olduğu gözükmektedr ve bu aykırı değerlerde br aşırı büyüktür. Bu koşullar altıda sağlam tahm edclere dayalı rdge regresyo tahm edcler performasları kıyasladığıda (HKO bakımıda) LTS, LMS ve S tahm edcler daha y performas göstermeler beklee br durumdur. Bu çalışmada GM tahmler başlagıç değerler EKK tekğyle elde edlmştr. Eğer başlagıç değer olarak yüksek kırılma oktalı tahm edclerde br seçlrse GM tahm edclere dayalı rdge regresyo tahmler performasıı daha y olması beklemektedr. Kayakça Arsla O. ve N. Bllor (1996), Robust rdge regresso estmato based o the GM estmators, Joural of Math. ad Comp. Sc.(Math Ser.), 9:1, 1-9. Ask, G.R. ve D.C. Motgomery (1980), Augmeted Robust estmators, Techoometrcs,,

12 Dokuz Eylül Üverstes İktsad ve İdar Blmler Fakültes Dergs, Clt:5, Sayı:, Yıl:010, ss Dçer, M.Z. (1993), Türkye Ekooms ve Türkye Ekoomsde Turzm, Flz Ktabev: İstabul. Hawks, D.M. ve D.J. Olve (00), I cosstecy of resamplg algorthms for hgh breakdow regresso estmators ad a ew algorthm, Joural of the Amerca Statstcal Assocato, 97: Hoerl A.E. ve R.W. Keard (1970), Rdge regresso: Based estmato for oorthogoal problems, Techometrcs, 1(1), Hoerl A.E., R.W. Keard ve K.F. Baldw (1975), Rdge Regresso: Some smulatos, Commu.Statst. A-Theory Methods, 4, Huber P.J. (1964), Robust Estmato of a Locato Parameter, A. Math. Stat., 35, Huber P.J. (1981), Robust Statstcs, Wley: New York. Pfaffeberger, R.C. ve T.E. Delma (1990), A comparso of regresso estmators whe both multcollearty ad outlers are preset. I Robust Regresso (ed. Lawrece ad Arthur), Rousseeuw P.J. (1984), Least Meda of Squares Regresso, Joural of the Amerca Statstcal Assocato, 79, Rousseeuw P.J. ve V.J. Yoha (1984), Robust Regresso by Meas of S- Estmators, Robust ad Nolear Tme Seres Aalyss, eds. J.Frake, W. Hardle, ad D. Mart, Sprger-Verlag: Hedelberg, Germay, Rousseeuw P.J. ve A.M. Leroy (1987), Robust Regresso ad Outler Detecto, Wley: NewYork. Slvapulle M.J. (1991), Robust rdge regresso based o a M estmator, Austral.J. Statst., 33(3), Smpso J.R. ve D.C. Motgomery (1998), A Robust Regresso Techque Usg Compoud Estmato, Naval Research Logstcs, 45, Walker E. (1984), Ifluece, Collearty, ad Robust Estmato Regresso, upublshed Ph.D. dssertato, Departmet of Statstcs, Vrga Polytechc Isttute. Wsowsk J.W., D.C. Motgomery ve J.R. Smpso (001), A Comparatve Aalyss of Multple Outler Detecto Procedures the Lear Regresso Model, Computatoal Statstcs ad Data Aalyss, 36,