YANLI REGRESYON KESTİRİMİNDE SAPAN DEĞERLERİN BELİRLENMESİ İÇİN TANILAMA YÖNTEMLERİ

Transkript

1 YANLI REGRESYON KESTİRİMİNDE SAPAN DEĞERLERİN BELİRLENMESİ İÇİN TANILAMA YÖNTEMLERİ Dagnostc Measures for Identfcaton of Outlers n Based Estmaton Asuman Seda TOPÇUBAŞI Fen Blmler Ensttüsü Matematk Anablm Dalı Nedret BİLLOR Fen Edebyat Fakültes Matematk Bölümü ÖZET Verde ç lşk olması durumunda, en küçük kareler kestrcsne alternatf olarak önerlen çok sayıda yanlı kestrc vardır. En yaygın olarak kullanılan yanlı kestrcler rdge, genelleştrlmş rdge, ana bleşenler, ondalıklı rank, Lu ve genelleştrlmş Lu kestrclerdr. Sten kestrcs de yaygın olarak kullanılmamakla brlkte, blnen br yanlı kestrcdr. Bu çalışmada rdge, genelleştrlmş rdge, ana bleşenler, ondalıklı rank, Lu, genelleştrlmş Lu ve Sten kestrclern çne alan genel br sınıf verlerek, bu sınıf kestrcler çn rezdü, leverage, Cook uzaklığı, Welsch-Kuh uzaklığı ve Had nn ölçüsü gb saan değerlern belrlenmesnde kullanılan tanılama ölçüler tanımlanmıştır. ABSTRACT A number of based estmators have been roosed as alternatves to least squares estmator n the resence of collnearty n data. Most commonly used based estmators are rdge, generalzed rdge, rncal comonents, fractonal rank, Lu and generalzed Lu estmators. Sten estmator s also known as an based estmator even though t s not used commonly. In ths aer, a general class whch conssts of rdge, generalzed rdge, rncal comonents, fractonal rank, Lu, generalzed Lu and Sten estmators wll be gven. Furthermore dagnostc measures such as resduals, leverage, Cook's dstance, Welsch-Kuh dstance and Had s measure are defned for ths general class of estmators. Grş Standart çoklu doğrusal regresyon model: y=xβ +ε ( formunda olu, X ; nx tnde blnen ön kestrclern merkezleştrlmş ve ölçeklendrlmş (korelasyon formunda matrs, β ; x tnde blnmeyen regresyon katsayılarının, ε ; nx tnde E(ε=0 ortalamalı ve Var(ε=σ Ι varyans-kovaryans matrsl rastgele hataların vektörlerdr. X X matrsnn özdeğerler, (genellğ kaybetmekszn λ >λ >λ 3...>λ >0 ve Λ köşegen elemanları X X matrsnn özdeğerler olan x tnde köşegen matrstr. V; x tnde kolonları X X matrsnn özdeğerlerne karşılık gelen normalleştrlmş özvektörler olan ortogonal matrs, Z=XV ve α=v β olmak üzere ( le verlen modeln kanonk formu; y=zα +ε ( le verlr. ( le verlen kanonk model çn α arametresnn en küçük kareler (E.K.K. kestrcs αˆ =(Z Z Z y şeklnde olu, eğer verde yüksek derecede ç lşk roblem varsa güvenlr br kestrc değldr. Çünkü ç lşk, yan ön kestrclern kolonları arasında yaklaşık br doğrusal bağımlılık olması durumunda E.K.K. kestrcsnn varyansı ve normu büyümekte, gerçek arametreden uzaklaşmaktadır. Dolayısıyla ç lşk roblemnn varlığı durumunda, E.K.K. kestrcs yerne ç lşknn analz üzerndek olumsuz etklern azaltan hatta ortadan kaldırablen yanlı kestrclern kullanılması önerlr. Genel Yanlı Sınıf Kestrcler α arametresnn E.K.K. kestrcs αˆ =(αˆ αˆ αˆ 3... αˆ olmak üzere ( modelndek β arametresnn E.K.K. kestrcs βˆ =Vαˆ olarak elde edlr. θ (=,,...,; lk elemanı αˆ le aynı olan vektör yan θ =(αˆ αˆ...αˆ olsun. θ vektörler lneer bağımsız olduğundan (θ,θ,...,θ vektörü boyutlu uzay çn baz olarak düşünüleblr. α arametresnn kestrcler de boyutlu uzayda Yüksek Lsans Tez-MSc. Thess

2 vektörler olduğundan, θ lern lneer kombnasyonu olarak yazılablrler. Başka br deyşle α arametresnn herhang br kestrcs: a θ = dag[ (a +a +...+a (a +a a (a 3 +a a a ] αˆ = olarak yazılablr. Burada a ler önceden hesalanmış sabtlerdr ve bu sabtlern farklı seçmler le α arametresnn farklı kestrcler elde edleblr (Hockng ve ark., 976. İşlem kolaylığı açısından f = a olarak tanımlanırsa α arametresnn br kestrcs dag(f,f,...,f αˆ şeklnde yazılablr. = Tanım. f = a ve F=dag( f, f,..., f olmak üzere, αˆ =F αˆ şeklnde yazılan kestrcye α = arametresnn genel yanlı kestrcs denr. verlr. Tanım. αˆ =F αˆ şeklnde yazılablen kestrclern oluşturduğu sınıfa genel yanlı sınıf adı Genel yanlı sınıf, rdge (Hoerl ve Kennard, 970, genelleştrlmş rdge (Hoerl ve Kennard, 970, ondalıklı rank (Marquardt, 970, ana bleşenler, Sten (Sten, 960, Lu ve genelleştrlmş Lu (Lu, 993 gb ek çok yanlı kestrcy çnde bulunduran zengn br sınıftır. F=Ι olması durumunda E.K.K. kestrcs elde edlr.αˆ kestrcs; E( α ˆ =Fα = α (Ι F α E( αˆ α olduğundan yanlı br kestrcdr (F Ι. Bu nedenle f ler yanlılık arametres ve F matrs de yanlılık matrs olarak smlendrlr. Genel yanlı sınıf kestrcs çn yanlılık E( αˆ α = (I Fα le verlr. Genel yanlı kestrc çn varyans kovaryans matrs; Var( α ˆ =σ FΛ F (3 le verlr. Genel yanlı sınıf kestrcs çn hata kareler ortalamasının (MSE matrs formu; MtxMSE=σ FΛ F+ (I Fα α (I F (4 şeklndedr. Eğer MtxMSE(αˆ MtxMSE(αˆ =Λ (I F σ - (I Fαα (I F matrs oztf sem defnte se, αˆ kestrcs MtxMSE krterne göre E.K.K. kestrcsnden daha y br kestrcdr. Hata kareler ortalaması (MSE se; MSE( αˆ =E[( αˆ α ( αˆ α]=σ f + f α = λ ( = (5 olarak elde edlr. =,,..., çn f 0 ken Var(α 0 ; bas (α α ve eğer f se Var(α = Var( αˆ le bas (α 0 olacaktır. f yanlılık arametrelernn otmal değer, MSE( αˆ yı mnmum yaacak şeklde elde edlr. Bunun çn MSE( αˆ nın f ye göre (=,,..., türev alını, sıfıra eştlenrse λ f 0 = λ α = = (6 ( λ α + σ ( λ + σ α + τ olarak elde edlr (τ =α λ /σ ; =,,...,. Elde edlen otmal f 0 değer, (5 le verlen MSE(αˆ 0 formülünde yerne konu, f yerne ( f 0 yazılırsa; τ MSE(αˆ mn MSE(αˆ = σ 0 ( f (7 = λ

3 olarak elde edlr. (7 le verlen fark 0<f < olmak üzere her zaman oztf olu bu fark arttıkça, αˆ kestrcsnn MSE krterne göre αˆ kestrcsnden daha y olduğu söyleneblr. Dolayısıyla X X matrsnn özdeğerler küçüldükçe (kötü koşulluluk arttıkça E.K.K. ve genel yanlı kestrc MSE değerler arasındak fark artacak, böylece MSE krterne göre αˆ kestrcs αˆ kestrcsnden daha y br kestrc olacaktır. Kanonk model çn α arametresnn genel yanlı kestrcs αˆ olmak üzere ( model çn β arametresnn genel yanlı kestrcs; βˆ =V F αˆ = V αˆ (8 olarak elde edlr. Genel yanlı kestrcnn hesalanablmes çn otmal f 0 değerler (=,,..., çn blnmeldr. Ancak (6 le verlen formül blnmeyen ktle arametreler çerdğnden kullanılmaz. Bu nedenle otmal 0 f değernn elde edlmes çn önerlen çeştl yaklaşımlar vardır (Lee ve Brch, 988: Brnc yaklaşım Hoerl ve Kennard tarafından (976 otmal k çn verlen teratf yöntem esas alır. (6 le verlen formülde; t terasyon sayısını göstermek üzere, σ yerne en küçük kareler kestrcs s ; α yerne αˆ R(t αˆ R(t/ ( αˆ R(t ; t-nc terasyonda elde edlen rdge kestrcs yazılırsa; λ f, R [ t + ] = (9 ( λ + s [ ˆ α ( t ˆ α ( t ] R R elde edlr (t=0,,... t=0 çn [ αˆ,r (0]=( αˆ yan rdge kestrcs yerne, α nın E.K.K. kestrcs kullanılacaktır. İteratf şleme; rdge kestrcsnn uzunluğu sabtlennceye kadar devam edlr. İknc yaklaşım; t=0 çn rdge kestrcs yerne, α nın E.K.K. kestrcs kullanılmasının ç lşk roblem durumunda güvenlr olmadığı düşünülerek önerlmştr. Bu yaklaşım da başlangıç değer olarak ana bleşenler kestrcsn, her terasyon çn σ yerne s (t= [ y - Zαˆ R(t ] [ y - Zαˆ R (t] (n- fadesn kullanır ve t-nc terasyonda elde edlen yanlılık arametres f,pcv (t+ le gösterlr. Araştırmacılar bu değern teratf olarak hesalanableceğ gb, tek terasyon sonucunda hesalanan değern de alınableceğn savunmaktadırlar. f,pcv (t+ fadesnn, terasyon sayısı sonsuza gderken lmt alınarak elde edlen yanlılık arametres f, PCV (t+ olmak üzere, bu değer lk terasyonda elde edlen değerden öneml derecede farklı değldr. Benzer yaklaşımla genelleştrlmş rdge kestrcs kullanılarak da otmal f değerler hesalanablr. Bu yanlılık arametrelernn erformansını karşılaştırmak çn yaılmış br smulasyon çalışmasında, farklı α arametreler ve σ değerler çn tekrarlı denemeler yaılmıştır. Bu çalışmanın sonucunda, yöntemlern herhang bryle elde edlen yanlılık matrsler kullanılarak hesalanan kestrcler E.K.K. kestrcsne göre daha yyken; brsnn dğerne göre üstünlüğü α arametresnn oryantasyonuna (uzaydak konumuna, σ değerne ve ç lşknn derecesne göre değşmektedr (Lee, 986. Bu yöntemler yardımıyla hesalanan otmal f değerler kullanılarak, rdge arametres k ve Lu arametres d elde edleblr. Genel yanlı sınıf çnde yer alan kestrcler ve yanlılık arametreler Tablo. de özetlenmştr. Bu tablodan rdge kestrcs çn yanlılık arametresnden k=λ ( f / f şeklnde elde edlr. Buradan k değernn λ k= - ( f (0 f = le verlen formülle hesalanması önerlmştr (Hockng ve ark, 976. Benzer şeklde d arametres, d=λ (f + f olu; formülüyle elde edleblr. d= - [λ (f +f ] ( = Tablo. Genel Yanlı Sınıf İçnde Yer Alan Kestrcler KESTİRİCİ f (Yanlılık Parametres E.K.K. f =; =,,3,..., Ana Bleşenler {rank(x=r; r Z + } f =; =,,3,...r ; f =0 =r+,...,

4 λr+ α Ondalıklı Rank f =; =,,3...,r ; f r+ = r {rank(x [r,r+]} λr+ α + f =0 (dğer durumlarda λ Rdge f = ; =,,3,.., λ + k Genelleştrlmş Rdge λ f = ; λ + k =,,3,..., Sten f =c ; =,,3,..., Lu λ + d f = ; λ + =,,3,..., Genelleştrlmş Lu λ + d f = ; λ + =,,3,..., r+ + σ

5 Genel Yanlı Sınıf çn Tanılama Ölçüler E.K.K. analznde tanılama ölçüler, leverage ve rezdülern br fonksyonu olarak yazılablmektedr. Genel yanlı kestrcler çn de rezdü ve leverage değerler, etk ölçülernn oluşturulmasında öneml rol oynamaktadırlar. X ön kestrcler matrsnn sngüler değer ayrışımı X=UDV olarak verlr. Burada V daha önce tanımlandığı gb olu, D köşegen elemanları X matrsnn sngüler değerler olan x tnde köşegen matrs ve U kolonları XX matrsnn sıfırdan farklı özdeğerne karşılık gelen özvektörler olan nx tnde ortogonal matrstr (U U=V V=Ι. Böylece genel yanlı kestrc çn zdüşüm matrs P le gösterlr ve A=V(F I / D V olmak üzere; P =X(X X+A A X =UFU ( le verlr. E.K.K. kestrcs çn zdüşüm matrs F=Ι P olduğundan P=UU şeklndedr. O halde genel yanlı kestrc ve E.K.K. kestrcs zdüşüm matrs arasında; P = UFU =U[Ι (Ι F] U =P U(Ι FU le verlen br bağıntı vardır. İzdüşüm matrsnn köşegen elemanları arasında se; = k= k u k f = (-fk u k k= (3 bağıntısı vardır. P matrsnn köşegen elemanları her zaman çn P matrsnn köşegen elemanlarından daha büyüktür (Walker, 990. ; =,,...,n çn leverage değer olarak smlendrlr. P matrs smetrk ve demotent br matrsken, P smetrk fakat demotent olmayan br matrstr. Bu yüzden yalancı zdüşüm matrs olarak da blnr (Tr, 983. Benzer şeklde alışılmış rezdü vektörü, e =y ŷ =y P y=(ι UFU y n le verlr. Genel yanlı kestrc ve E.K.K. kestrcs alışılmış rezdüler arasında; n e+ U(Ι F U y e = e + y (4 ( fk uku k = k= şeklnde br bağıntı vardır. Dkkat edlrse rezdüler arasında leverage değerlerne benzer genel br karşılaştırma yamak söz konusu değldr. U matrsnn elemanlarına bağlı olarak e < e ya da e < e olablr. Rezdü (e ve leverage ( değerlernden yararlanarak, genel yanlı kestrcler çn E.K.K. analznde saan değerlern belrlenmes çn kullanılan Cook uzaklığı, DFFITS (WK ve H ölçüler yenden tanımlanablr: ( y yˆ ( ( y yˆ ( D = (5 s ˆ x (ˆ DFFITS = WK β β( = (6 Var(ŷ H = + ( e n n ( e WK ve D ölçüler elde edlrken, her br gözlem çıkarıldıktan sonra uydurulmuş değerler ve arametre kestrmler tekrar hesalanmalıdır. Genel yanlı sınıfta yer alan kestrcler ölçeklemeye bağımlı olduğundan; her br gözlem çıkarıldıktan sonrak açıklayıcı değşkenler matrsnn, X ( X ( korelasyon formunda olacak şeklde yenden merkezleştrl, ölçeklendrlmes gerekmektedr. E.K.K. kestrcs çn verlen etk ölçüler, tam model çn elde edlen leverage ve rezdünün br fonksyonu olarak yazılablmektedr. Ancak genel yanlı sınıf kestrcler çn etk ölçüler, bu şeklde tam olarak (7

6 elde edlemezler, sadece yaklaşık formüller verleblr. Dolayısıyla eğer yanlı kestrcler çn etk ölçüler tam olarak elde edlmek stenyorsa, lgl gözlem çıkarıldıktan sonra tüm kestrcler yenden hesalanmalıdır. Dğer taraftan etk ölçülernn leverage ve rezdü cnsnden yazılması uygulamada oldukça kullanışlıdır. Bu yüzden ˆβ değer çn, K=X X+A A = V F D V olmak üzere; ( ˆβ ( K x βˆ e (8 yaklaşık değer kullanılablr (Walker ve Brch,988. Böylece ˆβ ( ve Var( ŷ =s kullanılarak s =e e /(n- olmak üzere D (Na= WK (Na =(n-- ve e n =e /e e olmak üzere H = şeklnde tanımlanablr. + e s ( e e ( e e e ( e n = e e ( e ( e ( e e e e e Örnek. Hll ver kümes, asker ersonel faalyetlernn belrlenmesn sağlayan br blgsayar sstemnn erformansı le lgldr (Hll, 977. Ver kümesnde onbeş gözlem ve altı açıklayıcı değşken (ön kestrc bulunmaktadır. Standart çoklu regresyon model; ( y=β 0 +Xβ+ε ( olarak ele alınacaktır. X matrs, X X korelasyon formunda olacak şeklde ölçeklendrldğnden olu β arametresnn kestrm esas alınacaktır. (Burada regresyon katsayılarının vektörü β =(β β β 3 β 4 β 5 β 6 şeklndedr. Ornal ver kullanılarak elde edlen koşul sayısı dr. Ayrıca korelasyon matrs, VIF değerler ve koşul ndsler göz önüne alındığında; ön kestrcler arasında yaklaşık br lneer bağımlılık olduğu görülür. Dereces çok yüksek olmasa da ç lşk roblemnn varlığı nedenyle, E.K.K. kestrcs yerne yanlı kestrclern kullanılmasının daha sağlıklı olableceğ söyleneblr. ( le verlen modeln kanonk formu; y=β 0 +Zα+ε şeklndedr. αˆ =(Z Z Z y olmak üzere β arametresnn genel yanlı kestrcs; ˆβ =V.F. αˆ olarak tanımlanır. Brnc ve knc yaklaşım kullanılarak elde edlen yanlılık matrsler ve genel yanlı kestrcler se; ˆβ =V.F. αˆ F =dag(0.9970, , 0.98, , , ˆβ (=V.F.αˆ =[ ] F =dag(0.9969, , 0.98, 0.977, 0.840, ˆβ (=V.F.αˆ =[ ] olarak elde edlr. ˆβ =V.F. αˆ (9 (0 n = ˆ 0 = β y

7 Dkkat edlrse ˆβ ( ve ˆβ ( arasında çok fazla farklılık görülmemektedr. Ancak knc yaklaşım kullanılarak elde edlen kestrc, başlangıç değer olarak E.K.K. kestrcsn kullanmadığından ç lşk roblem etklerne karşı daha dayanıklıdır. ˆβ ( kullanılarak,, 8, 0,, 3, 5 numaralı gözlemler çn elde edlen tanılama ölçüler Tablo de verlmştr. Tablo. ˆβ ( kullanılması durumunda elde edlen tanılama ölçüler Gözlem Rezdü Leverage no (e ( D WK ve numaralı gözlemler yüksek leverage noktaları ken 3, 8 ve 5 numaralı gözlemler de rezdü değer en büyük olan lk üç gözlemdr. D, WK ölçüler çn, 8,, 5, numaralı gözlemler dğerlerne göre daha büyük değer alırlar ve etkl gözlemlerdr. H ölçüsü se 8,,, 5, 3, ve 0 numaralı gözlemler çn dğerlernden daha büyüktür. Genel yanlı kestrc çn tanımlanan H ölçüsü kullanıldığında, E.K.K. analznde olduğu gb P-R (Potansyel-Rezdü grafğnden yararlanılablr. 8,, 3, 5 ve numaralı gözlemler Şekl. İle verlen grafğn sol üst köşesnde yer alırlar yan y yönünde saan değerlerdr. ve numaralı gözlemler se bu grafkte de sağ alt köşede olu X yönündek saan değerlerdr. H 3,5 3,0,5,0 Rezdü,5,0,5 0,0 -,5 0,0,5,0,5,0,5 3,0 3,5 Sonuç Potansyel Şekl : H ölçüsü çn otansyel-rezdü grafğ Verde öneml derecede br ç lşk roblem varsa E.K.K. kestrcs yerne yanlı kestrclern ve E.K.K. tanılama ölçüler yerne de yanlı kestrcler çn tanımlanan D, DFFITS (WK ve H gb tanılama ölçülern kullanmak daha sağlıklı sonuç verecektr. Kaynaklar HILL, R.W., 977. Robust Regresson When There Are Outlers n the Carrers. Unublshed Ph.D. Dssertaton, Harvard Unversty, Deartment of Statstcs. HOCKING, R.R., SPEED, F.M., LYNN, M.J., 976. A Class of Based Estmators n Lnear Regresson. Technometrcs 8 (4 : HOERL, A.E., KENNARD, R.W., 970. Rdge Regresson: Based Estmaton For Nonorthogonal Problems. Technometrıcs, ( : HOERL, A.E., KENNARD, R.W., 976. Rdge Regresson: Iteratve Estmaton of the Basng Parameter. Communcatons n Statststcs-Theory Method. A5: LEE,W.W., 986. Fractonal Prncal Comonents Regresson: A General Aroach to Based Estmators. Unublshed Ph.D. Dssertaton, Vrgna Polytechnc Insttute and State Unversty Deartment of Statstcs.

8 LEE, W., BIRCH, J.B., 988. Fractonal Prncal Comonents Regresson:A General Aroach to Based Estmators. Communcaton n Statstcs-Smulaton 7 (3 : LIU, K., 993. A New Class of Based Estmate n Lnear Regresson, Commun.Statst.-Theory Meth. ( : MARQUARDT, D.W., 970. Generalzed Inverses, Rdge Regresson, Based Lnear Estmaton, and Nonlnear Estmaton. Technometrcs : TRIPP, R.E., 983. Nonstochastc Rdge Regresson and Effectve Rank of the Regressors Matrx. Unublshed Ph.D. Dssertaton, Vrgna Polytechnc Insttute and State Unversty, Deartment of Statstcs. STEIN, C.M., 960. Multle Regresson. Contrbutons to Probablty and Statstcs, Essays n Honor of Harold Hotellng, Stanford Unversty Press : WALKER, E., 990. Influental Dagnostcs for Fractonal Prncal Comonents Estmators n Regresson. Communcaton n Statstcs Smulaton 9(3 : WALKER, E., BIRCH, J.B., 988. Influence Measures n Rdge Regresson. Technometrcs 30 :- 7.

9