Matris Cebiriyle Çoklu Regresyon Modeli Hüseyin Taştan Mart 00 Klasik Regresyon Modeli k açıklayıcı değişkenden oluşan regresyon modelini her gözlem i için aşağıdaki gibi yazabiliriz: y i β + β x i + β 3 x i3 + + β k x ik + u i, i,, n Burada y i bağımlı değişkenin inci gözleme ilişkin değerini, x ij, j,, k, jnci açıklayıcı değişkenin inci gözlem değerini, u i ise rassal hata terimini ifade etmektedir k bilinmeyenli n denklemden oluşan bu sistemi aşağıdaki gibi yazabiliriz: y y y n x x k x x k x n x nk β β β k + Modeli matris cebirini kullanarak ifade etmek için aşağıdaki büyüklükleri tanımlayalım: y x x k β u y y, X x x k, β β, u u y n x n x nk β k u n Doç Dr, Yıldız Teknik Üniversitesi, İktisat Bölümü u u u n
Böylece modeli aşağıdaki gibi ifade edebiliriz: y }{{} n X }{{} n k β }{{} k + u }{{} n Modelin başka bir ifade yolu açıklayıcı değişkenlerin i gözlemine ilişkin değerlerinin k vektör içinde toplanmasına dayanmaktadır: Bu notasyonla regresyon modeli x i [ x i x i3 x ik y i x i β + u i, i,, n şeklinde ifade edilebilir Klasik Regresyon Modelinin varsayımları şunlardır: Model parametrelerde doğrusaldır: y Xβ + u rank(x) k, (tam çoklu doğrusallık yoktur, yani X açıklayıcı değişken matrisinin sütunları birbirinden bağımsızdır) 3 E [u X 0 n, (sıfır koşullu ortalama) 4 V [u X E ( uu ) σ I n, (değişen varyans ve otokorelasyon yoktur) 5 u X N (0, σ I n ), (hata terimi çoklu normal dağılıma uyar) OLS Tahmin Edicisi Örneklem Regresyon Fonksiyonu (SRF): y X ˆβ + û Burada ˆβ k boyutlu OLS tahmin edicisini, û ise n boyutlu kalıntı (residual) vektörünü ifade etmektedir OLS yöntemi ˆβ vektörünü kalıntı kareleri toplamını (SSR) en küçük yapacak şekilde seçer: ˆβ arg min SSR(b) b
Optimizasyon problemi SSR yi en küçük yapan b vektörünün bulunmasına dayanmaktadır Yukarıda farklı şekillerde ifade ettiğimiz modellerde kalıntı kareleri toplamı n SSR( ˆβ) û i û û ya da SSR( ˆβ) i n û i i n i ( y i x i ) ˆβ şeklinde yazılabilir İlk notasyona göre optimizasyon problemi min SSR( ˆβ) û û ˆβ ya da ikinci notasyona göre min SSR( ˆβ) ˆβ n i ( y i x i ) ˆβ olur İlk notasyondan hareketle birinci mertebe koşullarını elde etmek için kalıntı kareleri toplamını açalım: SSR( ˆβ) û û (y X ˆβ) (y X ˆβ) y y ˆβ X y + ˆβ X X ˆβ SSR nin ˆβ ya göre birinci türevini bulmak için yukarıdaki ifadedeki ikinci terimin doğrusal kombinasyon, üçüncü terimin ise bir karesel kalıp olduğunu göz önüne almamız gerekir Genel olarak, z k vektör, A k n matris ve B k k bir matris olmak üzere: ve Örneğin z [ z (z A) z (z Bz) z z ve [ 0 A 0 A, Bz [, B 3
olsun Buradan z A [ [ 0 z z 0 [ z z + z z z ve z ye göre türevlerini alırsak (z A) z [ 0 ve (z A) [ z 0 olur türevleri vektör içinde toplarsak: (z A) z [ (z A) z (z A) z [ 0 0 A olur Şimdi z Bz teriminin z vektörünün elemanlarına göre türevini alalım z Bz [ [ [ z z z z + z z + z z Buradan türevler (z Bz) z [ (z Bz) z (z Bz) z [ 4z + z z + 4z [ [ z z Bz olur Kalıntı kareleri toplamına geri dönersek: SSR( ˆβ) y y ˆβ X y + ˆβ X X ˆβ 4
Burada ˆβ z, X y A ve X X B gibi düşünürsek OLS probleminin birinci mertebe koşulları SSR( ˆβ) ˆβ X y + X X ˆβ 0 k olarak yazılabilir Buradan normal denklemler X X ˆβ X y bulunur İkinci klasik model varsayımı gereği rank(x) rank(x X) k olduğundan X X matrisinin tersi bulunabilir Normal denklemlerin her iki tarafını (X X) ile çarparsak OLS tahmin edici vektörünü buluruz: ˆβ (X X) X y İkinci notasyonda optimizasyon problemini min SSR( ˆβ) ˆβ n i ( y i x i ) ˆβ olarak yazmıştık Buradan birinci mertebe koşulları SSR( ˆβ) ˆβ n x i (y i x i i ) ˆβ 0 k olur Buradan normal denklemler ( n x i x i i ) ˆβ n x i y i i olarak bulunur Öyleyse OLS tahmin edici vektörünü ifade etmenin iki yolu vardır: ( n ) n ˆβ x i x i x i y i i i (X X) X y 5
k k boyutlu x i x i matrisinin herhangi bir i gözlemi için elemanları aşağıdaki gibidir: x i x i3 x ik x i x x i [ x i x i x i x i3 x i x ik i xi x ik x i3 x i3 x i x i3 x i3 x ik x ik x ik x ik x i x ik x i3 x ik Elimizde yukarıdaki gibi tanımlanmış n elemanlı bir matris dizisi bulunmaktadır Bu matrislerin toplamını alırsak n xi xi3 xik n xi x i xi x i3 xi x ik x i x i xi3 xi3 x i x i3 nxi3 x ik X X i xik xik x i xik x i3 x ik olduğu görülür Bu matris kare, simetrik ve pozitif tanımlıdır Benzer şekilde n n x i x i y i y i yazılabilir i i x ik yi xi y i xik y i X y Örnek Sadece sabit terimin olduğu basit durumu düşünelim: y i β + u i, i,, n Bu durumda X matrisi birlerden oluşan n vektör olur Bu vektörü ı ile gösterelim: ı [ X 6
β in OLS tahmin edicisi: olarak yazılabilir ve ˆβ (X X) X y (ı ı) ı y ı ı [ n ı y [ olduğundan OLS tahmin edicisi olur β n y y y n n y i ȳ i Örnek İki kategorili bir kukla değişken ve bir sabit terimin yer aldığı aşağıdaki gibi bir modeli düşünelim: y i δ 0 + δ D i + u i, n i i,, n Basitlik amacıyla bağımlı değişkenin aşağıdaki gibi 5 gözlemden oluştuğunu ve kukla değişkenin aşağıdaki gibi tanımlandığını düşünelim: { y 3, 4, D yi 3 ise; i D 0, değilse 0 5 0 Bu durumda X matrisi X 7 0 0 y i
olur ˆβ [ ˆδ0 ˆδ olmak üzere OLS tahmin edicisini bulalım [ [ 0 0 5 3 0 3 3 0 X X (X X) OLS tahmin vektörü [ / / / 5/6 ˆβ [ / / / 5/6 olarak bulunur Tahmin edilen regresyon, X y [ 5 6 ŷ i 45 5D i [ [ yi 5 yi D i 6 [ 45 5 olur Açıktır ki bu basit örnekte sabit terim baz grubun (y nin 3 ten büyük olması) ortalamasıdır ((4 + 5)/ 45) Diğer grubun ortalaması ise dir D kukla değişkeninin katsayı tahmini iki grup arasındaki ortalama farkını ( 5) vermektedir Örneğimizde modelce tahmin edilen bağımlı değişken değerlerini ve kalıntı vektörünü aşağıdaki gibi bulabiliriz: ŷ X ˆβ û y ŷ 0 0 3 4 5 [ 45 5 45 45 45 45 0 05 05 Kukla değişkenlerle model kurmanın bir yolu da sabit terimin dışlanıp her grup için kuklaların modele eklenmesidir Bu durumu matris cebiriyle ifade etmek için aşağıdaki modeli düşünelim:, y i γ 0 D i + δ 0 D i + u i, i,, n 8
Bu durumda X açıklayıcı değişken matrisi ve çapraz çarpım matrisi aşağıdaki gibi olur: 0 0 0 [ X 0 0 0 0, 0 [ X X 0 0 0 0 3 0 0 0 0 0 (X X) [ /3 0 0 /, X y Buradan OLS tahmin vektörü [ [ ˆγ0 /3 0 ˆβ ˆδ 0 0 / [ 6 9 [ yi D i yi D i [ 45 [ 6 9 olarak bulunur Tahmin edilen regresyon fonksiyonu aşağıdaki gibidir: ŷ i D i + 45D i Eğer bu modele bir de sabit terim ekleseydik gölge değişken tuzağına düşerdik Bu durumda model ve ilgili veri matrisi aşağıdaki gibi olurdu: y i β 0 + γ 0 D i + δ 0 D i + u i, i,, n 0 0 X 0 0 0 Açıkça görüldüğü gibi X matrisinin ikinci ve üçüncü sütunlarının toplamı birinci sütuna eşittir Klasik varsayımlardan rank koşulu sağlanmamaktadır: rank(x) < 3 Bunu görmenin başka bir yolu çapraz çarpım matrisini hesaplamaktır: X X 5 3 3 3 0 0, X X 0 Bu matrisin ikinci ve üçüncü sütunlarının toplamı birinci sütuna, ikinci ve üçüncü satırlarının toplamı ise birinci satıra eşittir Model bu haliyle tahmin edilemez, çünkü bu matris tekildir, determinantı sıfırdır OLS tahmin edicisi tanımlı değildir Bu sütunlardan biri gereksizdir, modelden çıkarılması gerekir 9
Örnek 3 Tek açıklayıcı değişkenli ve sabit terimli basit regresyon modeli: y i β + β x i + u i, i,, n Bu modelde çapraz çarpım matrisi ve tersi aşağıdaki gibi olur: x x [ X, X X n xi xi x, i x n (X X) n x i ( x i ) [ x i x i x i n OLS tahmin edicisi: [ ˆβ ˆβ (X ˆβ X) X y [ x n i x i x i ( x i ) x i n x i yi x i yi x i n x i ( x i ) n y i x i x i yi n x i ( x i ) [, X yi y yi x i [ yi yi x i ya da ˆβ x i yi x i yi x i n x i ( x i ) ˆβ n y i x i x i yi n x i ( x i ) Eğim parametresinin pay ve paydası daha basit bir şekilde ifade edilebilir Hatırlarsak (yi ȳ)(x i x) (y i ȳ)x i y i x i ȳ x i y i x i n yi xi, 0
(xi x) x i x x i + n x Buradan (yi ȳ)(x i x) (xi x) x i n x n x i ( x i ) n yi x i n yi xi n x i ( x i ) n n y i x i x i yi n x i ( x i ) ˆβ yazılabilir 3 OLS tahmin edicisinin sapmasızlığı İlk üç klasik varsayım altında OLS tahmin edicisi ˆβ sapmasızdır Bunu ispatlamak oldukça kolaydır OLS tahmin edicisinin formülünde bağımlı değişken yerine popülasyon regresyon fonksiyonunu koyup X e koşullu olarak beklenen değerini almamız yeterli olacaktır: ˆβ (X X) X y (X X) X (Xβ + u) (X X) X Xβ + (X X) X u β + (X X) X u [ E ˆβ X β + E [ (X X) X u X β + X X) X E [u X }{{} 0 β OLS tahmin edicisi bilinmeyen doğru değer çevresinde rassal hatta teriminin doğrusal bir kombinasyonu olarak belirlenmektedir Ortalamada tahmin edici rassal vektörü doğru parametre vektörüne eşit olacaktır
4 OLS tahmin edicisinin varyans-kovaryans matrisi Dördüncü klasik varsayım hata teriminin kovaryans matrisine ilişkindi: V(u X) E(uu X) σ I n Bu varsayım hata terimlerinin birbirleriyle ilişkisiz ve eşvaryanslı olduğunu söylemektedir Bu kovaryans matrisinin yapısına daha yakından bakalım (tüm beklentiler X e koşullu alınmıştır): u E(uu u [ ) E u u u n u n u u u u u n u u u u u n E u n u u n u u n E(u ) E(u u ) E(u u n ) E(u u ) E(u ) E(u u n ) E(u n u ) E(u n u ) E(u n) σ 0 0 0 σ 0 0 0 σ 0 0 σ 0 0 0 0 σ I n
Bu varsayım altında OLS tahmin edicisi ˆβ nın varyans-kovaryans matrisini türetelim: [ ( V( ˆβ) ) ( ) E ˆβ E( ˆβ) ˆβ E( ˆβ) [ ( ) ( ) E ˆβ β ˆβ β [ ((X E X) X u ) ( (X X) X u ) E [ (X X) X uu X(X X) (X X) X E(uu ) X(X X) }{{} σ I n σ (X X) X I n X(X }{{} X) X X σ (X X) X X(X X) }{{} I k σ (X X) Bu formülde hata varyansı σ bilinmediğinden verilerden hareketle tahmin edilmesi gerekir σ nin sapmasız bir tahmin edicisi aşağıdaki gibi bulunabilir: s n k SSR n k û û n k (y X ˆβ) (y X ˆβ) E(s ) σ olduğu gösterilebilir Öyleyse OLS tahmin edicilerinin varyanskovaryans matrisi tahmin edicisi V( ˆβ) s (X X) şeklinde yazılabilir Bu matris k k boyutlu, simetrik, kare ve pozitif tanımlıdır Köşegen elemanları OLS tahmin edicilerinin varyanslarını, köşegen dışı elemanlar ise kovaryansları ifade etmektedir 3
GAUSS-MARKOV THEOREMİ: İlk dört klasik model varsayımları altında OLS tahmin edicileri tüm doğrusal ve sapmasız tahmin ediciler kümesi içinde en küçük varyanslı olanlarıdır (Best Linear Unbiased Estimator - BLUE) Gauss-Markov teoreminin sağlanabilmesi için ilk dört varsayımın geçerli olması şarttır Örneğin, değişen varyans problemi varsa (yani dördüncü varsayım sağlanmıyorsa) yukarıda türettiğimiz varyans-kovaryans matrisi geçerli olmaz ve OLS tahmin edicileri artık BLUE değildir Bu teoremin sağlanması için hata teriminin normal dağılıma uyması şartı (beşinci klasik varsayım) aranmaz Hata teriminin normal dağılıma uyduğu varsayımı OLS tahmin edicilerinin örnekleme dağılımlarının türetilebilmesi ve sonlu örneklemlerde t ve F testlerinin yapılabilmesi için gereklidir Örnek 4 Şimdi basit regresyon modeli çerçevesinde bir nümerik örnek çözelim Veri setimiz aşağıdaki gibidir: y 3 8 8 3 6 6 6 6 6 0 0 0 8 0 5 5, X 4 8 0 6 3 0 7 4 9 5 4 8 5 7 4
OLS tahmin edicisini bulmak için önce gerekli büyüklükleri hesaplayalım: [ [ [ 0 80 058 0070 86 X X, (X X), X y 80 468 0070 00068 04 ˆβ [ ˆβ ˆβ [ ˆβ (X ˆβ X) X y [ [ 058 0070 86 0070 00068 04 [ 459 035 Tahmin edilen regresyon fonksiyonu aşağıdaki gibi olur: ŷ 459 + 035x SSR û û 073, s SSR 07 8 Varyans-kovaryans matrisi: V( ˆβ) s (X X) 07 Bu sonuçlara göre: [ 058 0070 0070 00068 [ 077 00303 00303 00076 V( ˆβ ) 077, V( ˆβ ) 00076, Cov( ˆβ, ˆβ ) 00303 Standart hatalar: t-oranları: se( ˆβ ) 077 0409 se( ˆβ ) 00076 0087 t ˆβ ˆβ se( ˆβ ) 459 0409 9599 t ˆβ ˆβ se( ˆβ ) 035 0087 3386 5