MUTLAK SAPMALARIN ORTALAMASINI MİNUMUM YAPMA * (MİNMAD) REGRESYON ANALİZİ* Minimizing Mean Absolute Deviations (MINMAD) Regression Analysis*

Transkript

1 MUTLAK SAPMALARIN ORTALAMASINI MİNUMUM YAPMA (MİNMAD) REGRESYON ANALİZİ Mmzg Mea Absolute Devatos (MINMAD) Regresso Aalss Hüla TOSUN Ç.Ü.Fe Blmler Esttüsü Matematk Aablm Dalı Selahatt KAÇIRANLAR Ç.Ü.Fe Edebat Fak. Matematk Bölümü ÖZET Bu çalışmada mutlak sapmaları ortalamasıı mmum apma (MİNMAD) regreso tahm edcs taımı verlerek, bu tahm edc özellkler İcelemştr. Arıca, bu regreso doğum oraı verlere ugulamıştır. ABSTRACT I ths paper, the defato of mmzg mea absolute devatos (MINMAD) regresso estmator s gve ad the propertes of ths estmator are eamed. Also, ths regresso s appled to the brth rate data. Grş MINMAD metodu, br dğer adıla mutlak sapmaları e küçüğüü bulma (LAD) metodu e küçük kareler (EKK) metoduda heme heme 5 ıl öce, 757 de Roger Joseph Bascovch tarafıda taımladı. Bu metod ara sıra kullaıldı, fakat e küçük kareler metodu le kullaımı azaldı. E küçük kareler agı olarak kullaılması kısme hesaplama kolalığıa ve teors Gauss ve Laplace tarafıda gelştrlmese bağlıdır. Bugü se hesaplamalar sıırlı değl ve teork gelşmeler MINMAD ı çere çeştl alteratf metodlara götürmektedr..mmad Regreso Y = β + βx + ε bast leer regreso model ele alalım. Y β β X = fades mmum olacak şeklde β ve β bulmak storuz. Bu fade; gözlemler, bağımlı değşke tahm edlmş değerlerde mutlak sapmalarıı ortalaması olarak blr. Buu mmum apmak demek Y β β X = fades mmum apmak demektr. Bu se mutlak sapmaları toplamıdır. Öce, mutlak sapmaları toplamıı mmum ede β ve β bulmak ç (X, Y ) verle br değer olmak üzere Y = β + β X kısıtlaması le problem göz öüe alalım. Bu kısıtlama aalz bastleştrr ve aklaşımı alamamızı sağlar. Sora bu kısıtlama olmaksızı problem göz öüe alırız. ( X, Y ) verls. Verle vere aşağıdak döüşümü ugulaalım: = X X, = Y Yo Şmd problem = β Yüksek Lsas Tez-MSc.Thess

2 mmum apa β bulma problem olarak fade edleblr. Bu problem celemede öce herhag br ç β mmumuu göz öüe alalım. f ( β)= oluşur. β,, da mmum ola ve ve eğmlere sahp ola k doğruda verler göz öüe alalım. β ve β grafğ çzelm. f (β) = 3 - β, f (β) = - β, f 3 (β) = 4 - β f (β) = 3 - β + - β β olup br parçalı leer koveks foksodur.

3 Σf (β) f 3 (β) f (β) f (β) β Souç.. f ( β)= foksodur. = β foksou verle (, ) ç ( =,,...,) parçalı leer koveks İspat: β <β, λ ve β = λβ + ( -λ ) β ç f(β) λf(β ) + ( -λ )f( β ) olduğuu göstermelz. f ( β)= β olsu. f ( β)= f ( λ β + ( -λ )β )= λβ ( λ) β = λ ( β ) + ( λ)( β ) λ β + ( λ) β = λf ( β) + ( λ) f ( β ). f (β) ı koveks olduğu gösterld. İk koveks foksou toplamıı koveks olması kullaılırsa f (β) ı da koveks olduğuu söleeblrz. Souç.. f (β) foksou aşağıdak özellklere sahptr.. Sol uçtak leer parçaı eğm eğm dr.. parçaları kesm oktası) oktaları (,..., ),,, β ı mmum oktası olduğu zama ve bezer şeklde sağ uçtak leer parçaı f ( ) ( β) formudadır. f ı grd ( ardışık... olacak şeklde se f (β) ı eğm her β (k) grd oktasıda k dır. k Bölece ukarıdak souçta, f (β) ı mmumuu bulmak ç br algortmaa sahp oluruz k kadar artar. Burada, β (k) = : β (r) ç mmum r + egatf k = k=

4 fakat = r egatf olmaa br değer se k k= + r β ˆ = ve ˆ r β = Y X r r olarak elde edlr. r + = se k β (r) β β ( + ) = k= Bu durumda β (r) a da β( r +) seçeblrz. r aralığıdak tüm β lar ç f (β) optmaldır. Örek.. Y X rak Verle ver göz öüe alalım. =6,5 dr. Bölece = 7 olur. = Solda sağa farklı leer parçaları eğmler k eklemesle buluur. Burada k Sk = +, k =,,3,..., r Y, X ; başlagıç değerler Y ve X olsu. Y =3,4 ve X S r egatf olmaa olucaa kadar S k e dr. Bölece, l = = l S l l olur. O halde,

5 7, β ı optmal değerdr. Ya 7 =. 659 dr. Regreso doğrusu; 7 7 Y ˆ = X le verlr. Şmd kısıtlama olmaksızı Y = α + βx + e leer regreso model ele alarak MINMAD metodu le α ve β katsaılarıı tahm etme problem ele alalım. E küçük kareler (EKK) metoduda α ve β tahmler rezdüler kareler toplamı, e ˆ, mmum olacak şeklde seçlr. MINMAD metoduda, α ve β rezdüler mutlak değerler toplamı, ê, mmum olacak şeklde seçlr. Ya, MINMAD αˆ ve β ˆ ( a + b ) (.) toplamıı mmum ede a ve b değerlerdr. ( a + b ) farkı Y ˆ = a + bx doğrusuda (, ) oktasıı sapması olarak adladırılır. LAD tahm kavramı EKK tahm kavramıda daha zor değldr. Aslıda, ê, ê de daha doğru ve bast br ölçümdür. Fakat tahmler gerçek hesaplamalarıda LAD metodu daha karmaşıktır. LAD metodu ç formüller oktur, buları hesaplaması ç br algortma verrz. Algortma, verle verler tek olmama a da bozulma durumlarıa sahp olmadığıı kabul eder. Tek olmama : Br ver oktasıda geçe brde fazla e doğru olması. Bozulma : Br ver oktasıda geçe e doğruu k vea daha fazla oktada geçmes. ALGORİTMA Amacımız mutlak sapmaları toplamıı mmum apa, verlere e ua doğruu bulmaktır. Algortmaı temel kısmı, verle herhag (, ) ç burada geçe doğrular arasıda e s bulma şlemdr. Bu şlem LAD regreso doğrusuu verle k oktada geçmes le brlkte kullaılır. Bölece algortma verle oktalarda br le başlar. Delm k (, ) olsu. Burada geçe e doğru buluur. Bu doğru aı zamada verle oktalar çde başka brde de geçer. Bua da (, ) delm. (, ) de geçe e doğruu bulalım. Bu doğru başka oktada da geçer. Bu okta da ( 3, 3) olsu. ( 3, 3 ) de geçe e doğruu bulalım ve böle devam edelm. E so doğru br öcekle aı olucaa kadar algortma devam eder. Bu doğru dğerler arasıda e sdr. Ya LAD regreso doğrusudur. Şmd verle br (, ) oktasıda geçe tüm doğrular arasıda e s buluması şlem taımlaalım. Verle her (, ) ç (, ) ve (, ) de geçe doğruları eğmler hesaplaır. Bazı ler ç = se eğm taımlı değldr, bu oktalar göz ardı edleblr. Verle oktaları... T = olsu. olacak şeklde ede sıralaalım k < T k + k > T (.) koşullarıı sağlaa k ds bulalım.

6 ( Burada,, ) da geçe e doğru Yˆ = α + β X dr. α β = = k k β (.3) İk Noktada Geçe E İ doğruu Açıklaması : Algortmaı bulumasıda kullaıla gerçek, LAD regreso doğrusuu verle verler k oktasıda geçmesdr. Nç böle olduğuu görmek ç, = a + b doğrusuu alalım ve verle oktaları şaretleelm. Doğruda br oktaı mutlak sapması, oktada doğrua drle dk doğru parçasıı uzuluğudur. ( a b ), mutlak sapmaları toplamıdır. Doğruu herhag br oktada geçmedğ + varsaalım. Eğer doğru küçük br mktar, öreğ ε kadar, ukarıa kadırılırsa her mutlak sapma ver, ukarıda a da aşağıda olmasıa göre, a ε kadar azalır a da ε kadar artar. (.) değer doğruu aşağı a da ukarı hareket ettrlmesle azalablr (vea e azıda artmaz). Doğru br oktada geçcee kadar hareket ettrlr. Doğru br oktada geçorsa, saat döme öüde a da terse kc br oktada geçcee kadar hareket ettrlr. Br okta ç mutlak sapma sıfır olur ve dğer mutlak sapmaları her br azalır a da artar. Mutlak sapmaları azalma a da artmasıa göre dödürme öler farklı etklere sahp olur. Bölece, mutlak sapmaları toplamıı azaltablrz (a da e azıda arttırmaablrz). Bu, mutlak sapmaları toplamıı mmum etmek ç sadece verle oktaları e az ksde geçe doğrulara bakmaa htaç duduğumuzu gösterr. Algortmaı Açıklaması : (, ) da geçe e doğruu buluması şlem aşağıdak gb açıklaablr: (, ) da geçe tüm doğrular arasıda (.) mmum apa doğruu bulmak storuz. Y ˆ = a + bx doğrusuu, ) ( da geçmes alamı = a + b demektr. Bölece a = b olur. Buda fadalaarak (.3) ü kc kısmı buluur. ( a + b ) sapması ( ) b( ) şeklde azılablr. Bölece, ( ) b ( ) (.4) fades mmum apacak b değer bulmak sterz. (.4), b br foksou olarak göz öüe alıır. Bu foksou mmumuu bulmak ç foksou türev alırız. Mutlak değer foksou t, t = da türevleemez, fakat her t türevleeblr. Bu, ( ) b( ) = ı sağlaa b harç tüm b lerde (.4) ü türev olduğuu gösterr. (.) eştszlkler b < β ç (.4) ü türev egatf olması koşuluu ç b > β ç (.4) ü türev poztf olması koşuluu fade eder. Buula brlkte (.4) ü türevleemedğ oktalarda ble, sürekl br fokso olması gerçeğ b < β ç (.4) ü azala b > β ç (.4) ü arta ve bölece β ı, b mmum değer olmasıı gerektrr. Bu da (.3) ü lk kısmıı verr. (, ) da geçe e doğru verle oktaları brde de geçer, öreğ ( k, k ). Buu kotrol etmek ç, (.3) dek α ve β ı taımlarıı kullaarak k = α + β k olduğu gösterlr.

7 eğm = olduğu zama taımlı olmadığıı hatırlaalım. Böle verler göz ardı edlmese z verlr. Çükü (, ) le aı -değere sahp br oktaı e doğruu belrlemesde hçbr katkısı oktur. Bu, (.4) toplamıı oluştura ( ) b( ) fades her b ç aı ola değere sahp olmasıı br soucudur. (.) Koşullarıı Açıklaması: (.) koşulları (.4) foksouu türev alımasıla buluablr. Bu fokso, b = oraları harç her b ç türevleeblr. b < b < b aralığıda (.4) ü türev dır. Bu aşağıdak gb görüleblr: d, ( ) b( ) ı gösters. O zama (.4), d = ) b( ) ( = b < b... b se d = ( b b),..., b d dr. = d = b b. ( b b). b... b < b se d = ( b b ),..., d = ( b b ) dr. Bu üzde, b < b < b se (.4), b( ) + c e eşttr. Burada c, b çermee sabtlerdr. b leer foksouu türev b katsaısıdır. Bölece türev R S dr. Burada R = , S =... dır. R + S = T olduğuda türev R ( T R ) = R T şeklde azılablr. Türev egatftr R < T. Bölece (.) dek lk koşul (.4) ü türev türev poztf olduğuu söler. b < bk ç egatf olduğuu ve kc koşul b > b k ç

8 Doğum Oraı Öreğ : Doğum Oraı (Y) Şehre At Yüzdelk (X) Caada 6, 55 Costa Rca 3,5 7,3 Cuba 6,9 33,3 Domca Republc 33, 37, El Salvador 4,,5 Guatemala 38,4 4, Hat 4,3 3,9 Hoduras 43,9 9 Jamaca 8,3 33, Meco 33,9 43, Ncaragua 44, 8,5 Paama 8 37,7 Trdad/Tobago 4,6 6,8 Uted States 6 56,5 Bu verler ç EKK metodu ugulaırsa Yˆ = X olur. Sapa değer ola T/T çıkarılırsa olur. Görüldüğü gb br tek ülke çıkarılması EKK regreso doğrusuu oldukça etklemektedr. Sapa değerler etks sıırlamak ç kullaıla metodlarda br LAD ötemdr. Bu öteme göre regreso doğrusu doğrusu aıdır. Yˆ = 43. 4X Yˆ = X olup T/T çıkarıldığıda regreso Doğum LS LS (T/T harç) LAD 3 4 Şehre At Yüzdelk 5 6 Örek ç LAD regreso doğrusuu buluması: İlk adım olarak Caada a at (55,6.) oktasıda geçe e doğruu bulalım. Buu ç eğmler oluştururuz. 3 ülke eğmler arta sırada aşağıdak gbdr: kümülatf toplamı Meco -,5,8,8 Ncaragua -,566 6,5 38,3 Domca Republc -,944 7,9 56, Hoduras -, , Paama -,68 7,3 9,5 Hat -,67 4, 5,6 Jamaca -,555,9 7,5

9 El Salvador -,557 43,5 6 Guatemala -,5447 4,8 56,8 Costa Rca -,56 7,7 84,5 T/T -,743 48, 33,7 U.S. -,333,5 334, Cuba -,33,7 335,9 (.) ugulamak ç, 55 =335.9 buluur. İke bölüürse olur. 7.5<77.95 ve 6>77.95 olduğuu görürüz. Bölece β = ve α = buluur. Bu aşamada aslıda α ve β hesaplamaa gerek oktur. Sadece Caada oktasıda geçe e doğruu El Salvador oktasıda geçtğ blmee htaç duarız. Şmd El Salvador da geçe e doğruu buluruz: Eğmler oluştururuz şeklde oluşturur, arta sırada sıralar ve. 5 Bu tablo oluşturulursa,. 5 ve. 5 ç tablo = 65.5 buluur. Bu değer arısı 3.75 tr. Kümülatf toplamı 3.75 geçe lk ülke U.S. dr. Bu üzde El Salvador oktasıda geçe e doğru U.S. de de geçer. Daha sora U.S. de geçe e doğru buluur. Bu doğruu El Salvador da geçtğ görülür. Fakat bu br öcek adımda bulduğumuz doğru le aıdır. Bölece algortma durur. LAD regreso doğrusu El Salvador ve U.S. de geçe doğrudur. Eğm ˆ 4. 6 β = = ve α ˆ = 4. (.5378)(.5) = dr.ya LAD regreso doğrusu ˆ dr. Y = X Tek Olmama ve Bozulma : LAD regreso br çok ver ç buluablr. Fakat ara sıra tek olmama ve bozulma problemler ortaa çıkar. Tek olmamaı alamı: Br oktada geçe e doğruu brde fazla olması demektr. Bozulmaı alamı: Br oktada geçe e doğruu aı zamada dğer k vea daha fazla oktada geçmesdr. Bu durumda gelecek adımda kullaılacak çok okta var demektr ve bularda br seçm apılmamışsa algortma dögüe grer ve LAD regreso doğrusu buluamaz. Karşılaşılablecek dğer br problem se (.) koşuluda eştlk ortaa çıkmasıdır. Ya da k k k+ β = ı a da a eşt olmasıdır. k k k+ Bu durumda aşağıdak gb algortmaı ugularız. Bast Algortma: Bu algortma kuramsal olarak bast olma avatajıa ve çok hesaplama gerektrme dezavatajıa sahptr. LAD regreso doğrusuu e az k oktada geçtğ blmektedr bölece olablecek tüm kllerde geçe LAD regreso doğrusu buluablr. Buları bazıları aıdır. Bu doğruları her br ç mutlak sapmaları toplamı (.) hesaplaır ve e küçük toplama sahp ola seçlr. Bu algortmaı kullaılması öreklem hacm ola e bağlıdır. Bu algortma bozulmada etklemez. Tek olmama durumuda kef olarak br seçerz a da oları ortalamalarıı alablrz. Bu ortalamalı doğru hem de br LAD regreso doğrusudur. β = ı test edlmes : Örek ç β ˆ =.5378 bulmuştuk. Tahm gerçek değere tam olarak eşt olmasıı bekleemez. βˆ egatf olsa ble, β ı gerçek değer olması mümküdür. β ı olup olmadığıı test etmek steelm. Test taımı: Öce LAD regreso tahmler ola αˆ ve β ˆ ve eˆ ˆ = ( α ˆ + β ) rezdüler hesaplaır.

10 m = sıfırda farklı rezdüler saısı olsu. Sıfırda farklı rezdüler arta sırada düzeleelm. ê e küçük ve ê m e büük rezdüü gösters. Örek ç bular, ê m + m + dr. k, m e e akı tamsaı ve k, + m e e akı tamsaı olsu. m τ ˆ = [ eˆ k eˆ 4 k ] (.5) hesaplaır. Sora tahm edc stadart sapması τˆ S(ˆ) β = (.6) ( ) le buluur. Test statstğ βˆ t = (.7) S (ˆ) β dr. Test p-değer P[ T t ]olarak hesaplaır. Burada T, - serbestlk derecel t-dağılımıa sahp br rastgele değşke gösterr. (.6) ve (.7) açıklaması: (.7) statstğ β = olup olmadığıı test etmek ç ugudur. β ˆ tahm β a mümkü olduğuca akı olması bekler. β ˆ ve β arasıdak fark br vea k stadart sapma S(βˆ) da fazla olmamalıdır. t büük se buu alamı βˆ ve arasıdak fark S(βˆ ) da daha büüktür. Bölece β derz. (.6) da değerler fazla aılmaa sahpse S(βˆ) ı daha küçük tahm edlebleceğ söleeblrz. değerler geş sıırı regreso doğrusuu eğm hakkıda daha blg verr. Hem de τ küçük se tahm daha değerldr. (.5) dek τ değer EKK regresoda σ ı oadığı role bezer rolü LAD regresoda oar. βˆ EKK ı stadart sapması σ, ( ) βˆ LAD ı stadart sapması aklaşık olarak τ ( ) dr. Öreklem hacm büükse aklaşım daha dr. Bölece σ τ oraı k regreso metoduda hags regreso doğrusuu eğm tahm etmede daha olduğuu gösterr. τ ve σ ı her ks de rastgele hataları ölçümlerdr. Ya kabaca sölemek gerekrse; τ, σ büük ke büük ve σ küçük ke küçüktür. Fakat τ /σ oraı hataları ktles dağılımıı şekle bağlıdır. Hatalar ormal dağılıma sahpse, τ /σ >, a geş hacml öreklemler ç, LAD regreso tahmler EKK regreso tahmlerde daha az doğrudur. τ /σ < se ters doğrudur. (.5) açıklaması: Öreklem hacm büük olduğuu varsaalım. O zama m, aklaşık olarak e eşttr ve ê daha çok gerçek hatalar e gb davraır. τ u [ eˆ k eˆ 4 k ] değere + aklaşableceğ tartışacağız. Burada k ve k ± e e akı tamsaılardır. Regresou

11 özel br durumuu göz öüe alalım: Açıklaıcı değşkeler olması ve br ktlede seçlmş e, e,..., e gb bağımsız gözlemde oluşa br örekleme sahp olalım. EKK regreso tahm öreklem ortalaması e dr. Çükü a = e, ( e a) toplamıı mmum apa e ~ dır. Çükü σ dr. LAD regreso tahm öreklem medaı e toplamıı mmum apa a değerdr. Stadart sapması aklaşık a değerdr, stadart sapması a = e~, a τ olarak dr. Merkez lmt teoremde, geş hacml öreklemler ç, öreklem ortalamasıı dağılımıı aklaşık olarak ormal dağıldığıı bloruz. ν, hatalar ktles medaıı gösters. Büük ç e ~ ı beklee değer ν ve stadart τ sapması le aklaşık olarak ormal dağıldığıı fade edeblrz. Bölece, eğer τˆ, τ u br tahm se ν ç % 95 lk br güve aralığıı ~ τ e ± ˆ şeklde oluşturablrz. 4τˆ Bu aralığı uzuluğu dr. e k de e k e ola aralık, ν ç bulua % 95 lk güve aralığıa aklaşır. E azıda büük ler ç k aralık bezerdr. Uzulukları aıdır. 4τˆ e k e k Buu tam eştlk apmak ç e ere ê ve ere m = - azılmasıla (.5) elde ederz. T dağılımı : LAD test şlem, β = ke t rastgele değşke - s.d.l t dağılımıa sahp olduğuu kabul eder. Bu tam olarak doğru değl fakat büük ke t aklaşık olarak stadart ormal dağılıma sahptr. Bu büük ke LAD test şlem sağlar, çükü herhag br s.d. sde t-dağılımı stadart ormal dağılıma çok bezer. küçük ke stadart ormal dağılım ere t-dağılımı kullaırız. Örek ç test: =4 küçük br öreklem hacm olduğu ç bu bölümde alatıla LAD test geçerllğ şüpheldr. Fakat br örek olması ç bu vere ugulaalım. Sıralamış rezdüler tablo olarak verlmşt. m + m=-=, m = 3. 4, k = 3 ve bezer şeklde k = buluur. τˆ = [ ˆ eˆ ] e = [ ] = 7.739, ( ) = buluur. Bölece S( βˆ) = =.379 ve t =.5378 /.379 = 3. 9 buluur. p-değer hesaplamak ç - 35 = s.d.l t-dağılımıı kullaırız. t-tablosuda p-değer. ve. arasıda olduğuu buluruz. Bölece regreso doğrusuu eğm egatf olduğuu souçladırırız. Kaaklar ANDREWS, D.F., ad A.M. HERZBERG (985) Data. Sprger-Verlag, New York ARTHANARİ, T.S. ad DODGE, Y. (993). Mathematcal Programmg Statstcs. Joh Wle ad Sos. BLOOMFIELD, P., ad W. STEIGER (983). Least Absolute Devatos: Theor, Applcatos ad Algorthms. Brkhauser, Bosto. CHARNES, A. ; COOPER, W.W. ad FERGUSON, R.O. (955). Optmal Estmato of Eecutve Compesato b Leer Programmg. Maage. Sc., 38. KOESKER, R., ad BASSET (98). Tests of lear hpotheses ad L estmato. Ecoometrca, vol.5, pp

12 KOLMAN, B. ad BECK, R.E. (98). Elemetar Lear Programmg Statstcs. Joh Wle ad Sos. LEE, T.C. ; JUDGE, G.G. ad ZELLNER, A. (968). Mamum Lkelhood ad Baes Estmato of Trasto Probabltes. J. Am. Stat. Assoc. 63, 6. LIITTSCHWAGER, J.M. ad WANG, C. (978). Iteger Programmg Soluto of a Classfcato Problem. Maage. Sc. 4, 55. McKEAN, J.W., AND R.M. SCHRADER (987). Least absolute errors aalss of varace. I Y. Dodge (ed.) (987a) PUKELSHEİM, F. (978). A Quck Itroducto to Mathematcal Programmg wth Applcatos to Most Powerful Tests, Noegatve Varace Estmato ad Optmal Desg Theor. Techcal Report 8, Staford Uv. Press, Staford, Calf. RAO, J.N.K. (979). Optmzato the Desg of Sample Survets. I Optmzg Methods Statstcs. J.S. Rustag, Ed. Academc. Preaa, New York, pp TAHA. H. (). Operatos Research a Itrodcto. Pretce-Hall, Ic. VINCENT, A.S. (989). Lear Programmg wth statstcal Applcatos. Iowa State Uverst Press, Ames, Iowa.