6. DOĞRUSAL REGRESYON MODELİNE MATRİS YAKLAŞIMI Y i β + β X i + β X i + + β k X ki + i (i,,, gibi çok çıklyıcı değişkee ship bir model, şğıdki gibi bir eşlı deklem modelii göstermektedir. Y β + β X + β X + + β k X k + Y β + β X i + β X + + β k X k + (6. Y β + β X + β X + + β k X k + B modeli mtrislerle ifdesi ise şğıdki gibidir. Y X X X k β Y X X X k β + vey Y X X X k β k y Xβ + Brd Y Y y x boytl bğımlı değişke gözlemleri vektörü, Y X X X k X X X X k xk boytl çıklyıcı değişke verileri mtrisi, X X X k β β β kx boytl ktsyılr vektörü ve x boytl ht terimleri vektörüdür. β k 6-
6-6. Klsik Doğrsl Regresyo Modelii Vrsyımlrıı Mtrisle Gösterilmesi. Ht terimlerii beklee değeri sıfırdır (E( i vrsyımı mtrisle gösterimi E( şeklidedir. E E( E( E( lmı gelmektedir.. Ht terimlerii vrysı sbittir ve rlrıdki kovrys sıfırdır (E( i j, i j ve E( i j, ij ike vrsyımı mtrisle gösterimi E(' I dir. E( [ ] E E E( E( E( E( E( E( E( E( E( E( i oldğd Vr( i E{ i - E( i } E{ i } ve Cov( i i E{[ i - E( i ][ j - E( j ]} E{ i j. Dolyısıyl, E( Vr( Cov( Cov( Cov( Vr( Cov( Cov( Cov( Vr( I olmktdır. B mtris ht terimlerii vrys-kovrys mtrisidir. A köşege üzerideki öğeler vrysı, diğer öğeler kovrysı gösterir. Simetrik mtristir.
E(' I vrsyımı iki lt vrsyım içerir..i Sbit vrys (homoscedsticity vey değişmeye vrys vrsyımı: Ht terimlerii vrysı sbittir ve yıdır. Vr( i B vrsyım sğlmdığıd değişe vrys (heteroscedsticity sor vrdır..ii Ardışık bğımlılık (tocorreltio yok vrsyımı: Ht terimleri rsıdki kovrys sıfırdır. Cov( i j i,j,, i j B vrsyım sğlmdığıd rdışık bğımlılık sor orty çıkr. i vrsyımı ile Y i leri vryslrı d belirlemiş olmktdır. Vektör olrk ifde edersek Vr(Y E{[Y E(Y]'[Y E(Y]} E{[Y Xβ]'[Y Xβ]} E{[Xβ + Xβ]'[Xβ + Xβ]} E{'} I B Vr(Y i lmı gelmektedir. 3. X mtrisideki çıklyıcı değişkeler rssl değişkeler olmyıp her öreklemde yı değeri l değişkelerdir. B drmd X değişkeleri ile ht terimleri rsıd bir ilişki de olmz. Açıklyıcı değişkeleri rssl değişkeler olmsı kbl edilirse, b drmd X'ler ile ilişkisiz oldğ çıkç vrsymk gerekir. Her iki drmd d vrsyım ş şekildedir: Cov(X ij i vey mtris ifdesiyle E(X' 4. X mtrisii şmsı (rk deklemde thmi edile ktsyı dedi k y eşittir ve k d veri syısı de küçüktür: rk(x k < rk(x k olmsı, X verilerii temsil ede vektörleri birbiride bğımsız olmsı lmı gelmektedir. B vrsyım sğlmdığıd tm çokl doğrsllık (perfect mlticollierity sor vr demektir. k < sıırlmsı, serbestlik derecesi (degrees of freedom üzerie bir sıırlm getirmektedir. Thmi soçlrıı serbestlik derecesi bkımıd güveilir olbilmesi içi SD e z olmlıdır. 5. Ht terimleri orml dğılım shiptir. Birici ve ikici vrsyımlrı geçerli oldğ kbl edilirse, vrsyım ş şekildedir: ~ N(, I B vrsyım t ve F-testi gibi hipotez testlerii yglmsıd gereklidir. 6-3
6. EKK thmii Geel Doğrsl Model Y i β + β X i + β 3 X i3 + + β k X ik + i, i vey y Xβ + modelide EKK yötemi [ ] + + + ii ii yi miimize eder. y Xβ + ilişkiside yy XXββ, yy XXββ ve böylece yy XXββ yy XXββ yy yy ββ XX yy + ββ XX XXββ blr. Miimizsyo içi b foksiyo β y göre türevi sıfır eşitlemelidir: ββ XX yy + XX XXββ ve b soc XX XXββ XX yy blr. So işlemleri ypılmsıd mtris cebiri kllılmıştır. Brd ββ yı blmk içi eşitliği iki trfıı d X X mtrisii tersiyle çrpmlıyız. Böylece (XX XX (XX XXββ(X'X - X'Y ve ββ (X'X - X'Y blr. B EKK thmi edicisidir. 6-4
6.3 ββ ı Vrys-Kovrys Mtrisi ve ' thmii ββ(x'x - X'y (X'X - X'(Xβ + (X'X - X'Xβ + (X'X - X' β + (X'X - X' (6. ve böylece E(ββ E{β + (X'X - X'} E(β + (X'X - E(X' β dır. (6. Brd üçücü vrsyımd yrrlılmış ve çıklyıcı değişkeleri rssl olmyıp, her öreklemde yı değeri ldığı vrsyımıyl X ler beklee değeri dışı çıkrtılmıştır. Brd ktsyı thmilerii vrys-kovrys thmileri şğıdki gibi blbilir. Vr,Cov (ββ E{[ββ-E(ββ][ ββ -E(ββ]'} E{[(X'X - X'][(X'X - X']'} (çükü 6. ve 6. de ββ-e(ββ (X'X - X' E{(X'X - X''X(X'X - } (X'X - X' E('X(X'X - (X'X - X' X(X'X - (çükü E(' I (X'X - X'X(X'X - (X'X - (çükü X'X(X'X - I k k ( X ' X böylece Vr,Cov(ˆ β k k kk k k k k kk B mtrisi sl köşegeideki öğeler βˆ ktsyılrıı vryslrıdır. j Vr( βˆ, Vr( βˆ, Vr( βˆ k kk, Diğer öğeler βˆ ktsyılrı rsıdki kovryslrı gösterir. (X'X - simetrik oldğd j krşılık gele kovryslr eşittir. Cov( βˆ βˆ gibi. 6-5
Vrys ve kovryslrı örek verileride thmi edilebilmesi içi thmi edilmesi gerekir. Ht terimi içi örekleme vrysı Σû i ' ˆ ˆ V r(û i ˆ -k -k Eğer ht terimleri tek tek blmk istemiyors ˆ ' ˆ toplmı ş şekilde blr: ˆ ' ˆ (Y - Xββ'(Y - Xββ Y'Y - Y'Xββ - ββ'x'y + ββ'x'xββ (ββ (X'X - X'Y oldğd ββ' Y'X(X'X - Y'Y - Y'X(X'X - X'Y - Y'X(X'X - X'Y + Y'X(X'X - X'X(X'X - X'Y Y'Y - Y'X(X'X - X'Y - Y'X(X'X - X'Y + Y'X(X'X - X'Y Y'Y - Y'X(X'X - X'Y Y'Y - ββ'x'y Demek ki ˆ Y' Y βx ˆ ' Y - k 6-6
6.4 Belirlilik Ktsyısıı ve F İsttistiğii Mtrislerle Gösterimi Belirlilik ktsyısı mtrisler kllılrk R ββ XX yy Y yy yy Y formülüyle blbilir. Bezer bir şekilde F isttistiğii formülü şğıdki gibidir. F R /(k ( R /( k F (ββ XX yy Y /(k (yy yy (ββ XX yy/( k 6-7