REGRESYON ANALİZİ BÖLÜM 3-4

REGRESYON ANALİZİ BÖLÜM 3-4 Yayın arihi: 17-08-008 ÇOK DEĞİŞKENLİ DOĞRUSAL REGRESYON FONKSİYONU 3. ÇOK DEĞİŞKENLİ DOĞRUSAL REGRESYON Çok değişkenli regresyon modelinde bir y bağımlı değişkeni, k adet bağımsız değişkenin, x 1, x,, x k doğrusal bir fonksiyonu olarak ifade edilmektedir. (3.1) y = f( x1, K, x k ) Bu modele bir sabit terim eklenerek fonksiyon, (3.) y 0 1x1 x K kxk = β + β + β + + β + ε 1

DENKLEM SEİ n adet gözlem mevcut ise model, n adet denklemden oluşan bir settir, y1 = β0 + β1x11+ βx1 + K + βkx1 k + ε1 y = β + β x + β x + K + β x + ε 0 1 1 k k.. y = β + β x + β x + + β x + ε K (3.3) i 0 1 i1 i k ik i y = β + β x + β x + K + β x + ε n 0 1 n1 n k nk n 3 DENKLEMİN MARİS VE VEKÖRLERLE GÖSERİMİ n adet denklem matris ve vektörler formunda açık olarak aşağıdaki gibi ifade edilirler. y 1 x x x β ε K 1 11 1 1k 0 1 y 1 x1 x K x k β 1 ε = + M M M M K M M M y 1 x x K x β ε n n1 n nk k n (3.4) 4

DENKLEMİN MARİS VE VEKÖRLERLE GÖSERİMİ VE BOYULAR Eşitlik (3.4) daha kısa olarak y = Xβ+ ε (3.5) Bağımlı değişken y, n 1 boyutlu bir sütun vektörüdür. Hata terimleri ε, n 1 boyutlu bir sütun vektörüdür. Parametreler β, (k+1) 1=p 1 boyutlu bir sütun vektörüdür. 5 DENKLEMİN MARİS VE VEKÖRLERLE GÖSERİMİ VE BOYULAR Bağımsız değişken matrisi X, n p boyutludur. Bu matrisin birinci sütunu bir sayılarından oluşmaktadır. Bu değerlerin β 0 sabit terimine karşılık gelen x 0 değişkenini temsil ettikleri düşünülebilir. 6 3

EKK MEODU Eşitlik (3.5) kullanılarak hata terimi, ε = y Xβ (3.6) Hata kareler toplamı εε= y Xβ y Xβ (3.7a) ( ) ( ) εε= yyβ - XyyXβ - + β XXβ (3.7b) Ref. anım 14 7 NORMAL DENKLEMLER VE PARAMERE AHMİN VEKÖRÜ Normal denklemler ( XXb ) = X y (I18.3) Parametre tahmin vektörü 1 b= ( X X) X y (I18.4) Ref. İspat 18 8 4

(X X)MARİSİ Parametre tahmin vektörünün elde edilebilmesi için (X X) matrisinin tersi alınabilir bir matris olması gereklidir. ersinin alınabilmesi için (X X) matrisinin sütunlarının doğrusal bağımsız olması gereklidir. Bu konu bir matrisin rankı kavramı ile yakın olarak ilgilidir. Ref. anım 16 9 KESİRİLMİŞ DEĞERLER VEKÖRÜ Kestirilmiş değerler vektörü yˆ = Xb (3.8) Eşitlik (I18.4) eşitlik (3.8) de yerine konarak, 1 yˆ = [ X( X X) X ]Y (3.9) Köşeli parantez içindeki matris regresyon analizinde çok önemlidir ve izdüşüm matrisi ya da hat matris olarak adlandırılır. 1 H = X( X X) X (3.10) Eşitlik (3.9) da yerine konarak, y ˆ = Hy (3.11) 10 5

İZDÜŞÜM MARİSİ Eşitlik (3.10) ile tanımlanan izdüşüm matrisi, o Simetrik (H =H), o İdempotent (HH=H), matristir. Ref. anım 0 ve 1 11 ARIK VEKÖRÜ e= y y ˆ (3.1a) e = y Xb (3.1b) Eşitlik (3.11) yerine konarak, e = y Hy = ( I H)y (3.13a) Eşitlik (3.13a) da y yerine eşitlik (3.5) konarak ve (I0.4) kullanılarak, e = ( I H)ε (3.13b) 1 6

ARIK VEKÖRÜ VE X-MARİSİ Eşitlik (3.1b) Eşitlik (I18.3) de yerine konarak, ( X X) b = ( X X) b + X e elde edilir. Bu eşitliğin sağlanabilmesi için, X e = 0 (3.14) olması gereklidir. Bu EEK nın temel bir sonucudur. 13 SABİ ERİMLİ MODELLER: ARIK OPLAMI SIFIRDIR Eşitlik (3.14) de X matrisinin birinci sütunu x = 1olduğundan 1 e i = e = 0 (3.15) eşitliğini verir. Regresyon modelinin sabit terim içerdiği durumlarda, EEK hata terimleri daima sıfır ortalamaya sahiptir. Eşitlik (3.14) ün diğer elemanları hata terimlerinin her bir x değişkeni ile sıfır korelasyona (örnek korelasyonu) sahip olduğunu belirtir. 14 7

ŞANS VEKÖRÜNÜN BEKLENEN DEĞERİ E n adet elemanlı, = ( y y ) vektörünün beklenen değeri, ( y) E( y ) ( ) y,, 1 K n bir şans E y μ = = M = = M (3.1) 1 1 i μ y E( yn) μn Ref. anım 3 15 ŞANS MARİSİNİN BEKLENEN DEĞERİ n m boyutlu, bir Y şans matrisinin beklenen değeri, E ( Y) E( yij ) = ( ) K E( y ) E y11 1m = M K M E( yn 1) K E( ynm) μ11 K μ1 m = μ = y M K M μn 1 K μnm (3.) Ref. anım 3 16 8

ŞANS VEKÖRÜNÜN VARYANS-KOVARYANS MARİSİ n adet elemanlı, = ( y y ) y,, 1 K n bir şans vektörü ele alınsın. n 1 boyutlu bir şans vektörünün varyans-kovaryans matrisi: σ ( y1) σ( y1, y) K σ( y1, y ) n (, 1) ( ) (, n ) ( ) σ y y σ y K σ y y σ y = (4.) M M M M σ( yn, y1) σ( yn, y) K σ ( yn) Ref. anım 4 17 ŞANS VEKÖRÜNÜN DOĞRUSAL FONKSİYONLARI Bir şans vektörü w, bir şans vektörünün y bir sabitler matrisi A ile çarpımından elde edilir. w = Ay (6.1) Burada w boyutu k 1, y boyutu n 1 olan şans vektörleri A ise boyutu k n olan sabitler matrisidir. Ref. anım 6 18 9

ÖRNEK ORALAMASININ BEKLENEN DEĞERİ VE VARYANSI Eğer y,, y olan 1 n birbirinden bağımsız şans değişkenleri ise, μ 1 E ( y ) = μ = M = M μ = 1μ y μ 1 (9.1) 1 0 K 0 σ 0 K 0 0 1 K 0 0 σ 0 σ ( y) σ K = = M M M M M M K M 0 0 K 1 0 0 K σ (9.) = σ I Ref. anım 9 19 MARİS NOASYONUNDA EKK VARSAYIMLARI Hatalar ortalaması sıfır, sabit σ varyanslı ve kovaryansları sıfır olan bir dağılama (normal) sahiptirler. E(ε)=0 (3.16) σ () ε = σ I (5.1) Ref. anım 5 0 10

ŞANS DEĞİŞKENİN DOĞRUSAL FONKSİYONU OLARAK AHMİNLENEN DEĞERLER ahminlenen değerler b,ŷ ve e şans değişkeninin doğrusal fonksiyonlarıdır. 1 b = [( X X) X ] y = Ay (3.17) 1 y ˆ = Xb = X[ ( X X) X ] y = Hy (3.18) e = y yˆ = y Hy = ( I H)y (3.19) 1 REGRESYON SONUÇLARININ BEKLENEN DEĞERİ Modelin beklenen değeri, E(y)= Xβ (I0.1) Parametre tahminlerinin beklenen değeri, E ( b ) = β (I0.) Kestirimin beklenen değeri, E ( y ˆ ) = Xβ (I0.3) Artık vektörünün beklenen değeri, E ( e) = 0 (I0.5) Ref. İspat 0 11

REGRESYON SONUÇLARININ VARYANSLARI y=xβ+ε modeli için şans değişkeninin varyansı σ ( y ) = Iσ (I1.1) Parametre tahminleri için varyans 1 σ ( b) = ( X X) σ (I1.) Kestirim için varyans σ ( y ˆ ) = Hσ (I1.3) Artık vektörünün varyansı σ () e = [( I H) ] σ (I1.4) Ref. İspat 1 3 GAUSS-MARKOV EOREMİ: MARİS NOASYONUNDA EKK tahminleyicileri, doğrusal sapmasız tahminleyiciler sınıfında minimum varyanslı tahminleyicilerdi. EKK tahminleyicilerinin o Eşitlik (3.17) ile doğrusal ve o Eşitlik (I0.) ile sapmasız ve o Eşitlik (I4.1) ile minimum varyanslı oldukları matris notasyonunda ispatlanmıştır. Ref. İspat 0 ve 4 4 1

REGRESYON AHMİNLERİNDE SAPMA Eğer varsayılan model, E ( y ) = Xβ1 (3.0) yanlış, gerçek model E ( y ) = Xβ + X β 1 (3.1) ise parametre tahminleri 1 b = ( X X) X y 1 (3.) sapmalı olacaktır. Sapmalı tahminleyici 1 E( b ) = β + ( X X) X X β 1 1 (3.3) Ref. İspat 5 SAPMA MARİSİ Sapma değeri sadece varsayılan model ile gerçek model arasındaki farka bağımlı değildir. Regresyon hesaplamalarında kullanılan X- değişkeninin değerlerine de bağımlıdır. 1 ( X X) X X matrisi sapma ya da eşyapı matrisi olarak adlandırılır. 6 13

SAPMANIN KESİM DEĞERİ VE PARAMERE VARYANSI ÜZERİNDEKİ EKİSİ Model (3.0) için kestirim değeri, y ˆ = Xb1 olup beklenen değeri, E ( y ˆ ) = Xβ + XAβ (I3.1) 1 sonuç olarak kestirim değerinin de sapmalı olduğu görülür. Parametrelerin varyans-kovaryans matrisi ise, σ ( b ) = ( X X) 1 σ (I3.) 1 değişmediği görülür. Ref. İspat 3 7 4. KARESEL FORMLAR VE VARYANS ANALİZİ 14

KARESEL FORM Model, regresyon ve artık kareler toplamları ile bir doğrusal kontrastın ya da doğrusal hipotezler kümesinin testi için kullanılan kareler toplamlarının tümü Y şans değişkeninin karesel formudur. Ref. anım 31 Diğer bir deyişle kareler toplamlarının her biri y Ay şeklinde yazılabilir. y Ay şans değişkeni Y ye göre karesel formdur. Burada A matrisi katsayılar matrisi olup, tanım matrisi olarak adlandırılır. 9 DOĞRUSAL KONRAS c = y + y y (4.1) 1 1 3 bir doğrusal kontrasttır. Ref. anım 3 ve 33 Doğrusal kontrastın katsayıları bir vektörü tanımlar. ( 1 1 ) a ( = (4.) Kareler toplamlarının beklenen değerindeki σ nin katsayısını 1 e eşitlemek için bu vektörün her bir elemanı vektörün normuna bölünür. 1 1 a = (4.3) 6 6 6 Ref. anım 34 Elde edilen doğrusal kontrast 1 1 C = a y = y + y y (4.4) 1 1 3 6 6 6 30 15

DOĞRUSAL KONRASIN KARELER OPLAMI Doğrusal kontrastın kareler toplamı, SS ( C ) = y Ay (I5.1) 1 SS 1 1 4 ( C ) = y + y + y + y y y y y y 1 1 3 1 1 3 3 6 6 6 6 6 6 Ref. anım 34 Karesel formdaki A=aa matrisi karesel formun tanım matrisidir. Karesel formun tanım matrisi daima simetriktir. Ref. anım 35 4 4 31 FARKLI BİR DOĞRUSAL KONRAS İkinci bir doğrusal kontrast ele alınsın, 1 1 C = dy = y1 y + 0y3 (4.5) Katsayılar vektörü, 1 1 d = 0 (4.6) Karesel form SS(C )=y Dy olup tanım matrisi D=dd 1 1 0 D = 1 1 0 0 0 0 3 16

KARESL FORMLARIN SERBESLİK DERECESİ Her iki kareler toplamı da 1 serbestlik derecesine sahiptir. Bir karesel formun serbestlik derecesi tanım matrisinin rankına eşittir. Eğer tanım matrisi idempotent ise rankı izine eşittir, r(a)=iz(a). Eğer katsayılar vektöründeki elemanlar vektörün normuna bölünmeseydi A ve D matrisleri idempotent olmayabilirdi. 33 İKİ DOĞRUSAL KONRASLI DURUM İki doğrusal fonksiyon birlikte incelenebilir. Her iki kontrast için katsayılar matrisi, 1 6 1 6 6 K = 1 1 0 Doğrusal kontrastlar y1 1 6 1 6 6 Ky = y 1 1 0 y3 34 17

İKİ DOĞRUSAL KONRASLI DURUM İki kontrast için tanım matrisi 3 13 13 F= KK = 13 3 13 13 13 3 Karesel form, y KK y=y Fy anım matrisi F idempotenttir ve izi olup karesel formun serbestlik derecesi dir. 35 KARESEL FORMLARIN OROGONALLİĞİ Aynı y vektörünün iki karesel formu eğer tanım matrislerinin çarpımı DA=0 ise ortogonaldir. Ref. İspat 3 Diğer bir deyişle iki katsayılar vektörü ortogonal d a=0 ise bu iki doğrusal fonksiyona ait karesel formlar ortogonaldir. DA=dd aa =0 Ancak ve ancak d a=0 ise gerçekleşir. 36 18

OROGONALLİĞİN AVANAJLARI İki doğrusal fonksiyon ortogonal ise onlara ait kareler toplamları (ve serbestlik dereceleri) toplanabilirlik özelliğine sahiptir. oplanabilirlik özelliği ikiden fazla kareler toplamı içinde geçerli olabilir. Bunun için tüm kontrastlar (doğrusal fonksiyonlar) ikişerli olarak ortogonal olmalıdır. Karesel formların ortogonalliği, her bir farklı kareler toplamında içerilen bilgiparçalarının birbirinden bağımsız olduğunu belirtir. 37 MARİS NOASYONUNDA KARELER OPLAMLARI oplam kareler toplamı, SS ( ) = yy= yi = y1 + y + L + yn (4.7) Model kareler toplamı, SS ( M ) = yy ˆ ˆ = bxy= yˆ ˆ ˆ ˆ i = y1 + y + L + yn (4.8) Ref. İspat 6 Artık kareler toplamı, SS ( e) = = = e = e + e + + e ee yy bxy L (4.9) i 1 n 38 19

MARİS NOASYONUNDA KARELER OPLAMLARI Gözlemlerin toplamı, 1y= ny = y = y + y + L + y (4.10) i 1 Sabitin (ortalamanın) kareler toplamı, eşitlik (4.10) kullanılarak SS ( b ) ( ) 0 = y11y n = ny = yi n (4.11) Regresyon kareler toplamı, SS ( b1/ b0) = bxy y11yn = y ( H Jn) y (4.1) Ref. İspat 7 n 39 VARYANS ANALİZİ VE KARESEL FORMLAR Modelin uyumunu sağlamadaki amaç bağımsız değişkenlerde içerilen bilgiyi kullanarak bağımlı değişkendeki mevcut değişkenliğin olabildiğince büyük bir kısmını açıklamaktadır. Bağımsız değişkenlerin modele yaptığı katkı Y bağımlı değişkeninin toplam kareler toplamının, bağımsız değişkenler tarafından açıklanabilen kısımları ile ölçülür. oplam kareler toplamının ayrıştırılan her bir bileşeni Y değişkenindeki bir karesel formdur. Belirli bir kareler toplamı ile onun serbestlik derecesi ve farklı kareler toplamları arasındaki ortogonalite, karesel formdaki tanım matrisi ile belirlenir. 40 0

VARYANS ANALİZİ VE KARESEL FORMLAR Gözlenmiş bağımlı değişken vektörü y, eşitlik (3.1a) da belirtildiği gibi, y nin tahminlemiş ortalama vektörü ve hata terimleri vektörü olarak iki kısma ayrılabilmekteydi. y = yˆ + e y vektörünün bu ayrışımı, bağımlı değişkenin toplam kareler toplamının benzer bir ayrışımını elde etmek için kullanılabilir. yy = yy ˆ ˆ + ee (I8.) Ref. İspat 8 oplam kareler toplamları, H ve (I-H) tanım matrisleri kullanılarak iki karesel form şeklinde ayrıştırılabilir. 41 KARESEL FORMLAR VE KARELER OPLAMLARI Eşitlik (I8.1) e göre H (I-H)=H-H=0 (I8.1) bu iki karesel form birbirine ortogonaldir. Karesel formlar birbirine ortogonal olduğundan toplanabilecektir. Eşitlik (I8.) y şans değişkeninin karesel formları şeklinde ifade edilebilir. y Iy = y Hy+ y ( I H) y (I8.3) Ref. İspat 8 4 1

KARESEL FORMLAR VE KARELER OPLAMLARI oplam kareler toplamı, y y = y Iy (4.13) tanım matrisi birim matristir. Model kareler toplamı, yˆ yˆ = y Hy (4.14) tanım matrisi izdüşüm matrisidir. Artık kareler toplamı, e e = y ( I H)y (4.15) tanım matrisi birim matris ile izdüşüm matrisinin farkıdır. 43 KARESEL FORMLARIN SERBESLİK DERECELERİ Birim matris idempotent olduğundan izi matrisin boyutuna eşittir. Bu nedenle toplam kareler toplamının serbestlik derecesi vektördeki eleman sayısına eşittir. iz ( I ) = n (4.16) İdempotent matrisler içinde sadece birim matris tam ranklıdır. 44

KARESEL FORMLARIN SERBESLİK DERECELERİ H matrisinin rankı X matrisinin rankı ile belirlenir. am ranklı modeller için X matrisinin rankı sütun sayısına eşittir. Ref. İspat 9 Sütun sayısı aynı zamanda parametre p sayısına eşitir. Model tam ranklı olduğunda model kareler toplamının serbestlik derecesi p olacaktır. 45 KARESEL FORMLARIN SERBESLİK DERECELERİ Artık kareler toplamlarının serbestlik derecesi (I-H) matrisinin rankı ile belirlenir. (I-H) matrisi idempotent olduğundan rankı izine eşittir. iz(i-h)=iz(i n )-iz(h) iz(i-h)=n-p 46 3

DİĞER KARELER OPLAMLARI oplam kareler toplamı modele ve hata terimine bağlı kareler toplamları şeklinde açıklandı. Y nin sıfıra göre değişkenliği yerine bazen ortalaması çevresindeki değişkenliği ile ilgilenilebilir. Bu durumda bağımsız değişkenlerdeki bilgi ile bu değişkenliğin ne kadarının açıklanabildiği araştırılır. Bağımsız değişkenlerden hiçbir bilgi elde edilemediği durumlarda, Y nin en iyi kestiricisi, anakütle ortalamasının mevcut en iyi tahminidir. 47 SABİ ERİMLİ MODEL Modelde bağımsız değişkenler mevcut olduğunda, bağımsız değişkenlerin Y nin kestirimine (Y nin ortalaması hariç) ne kadarlık bir katkıda bulunduğu sorusu ile karşılaşılır. Bağımsız değişkenler ile elde edilen bilginin ölçümü, modelde bağımsız değişken mevcut iken elde edilen SS(M) değeri ile bağımsız değişken bulunmadığında elde edilen SS(M) değeri arasındaki farktır. Model bağımsız değişken içermiyorsa sadece bir tek μ (ortalama) parametresi mevcuttur. Başka bir deyişle model Y i = β 0 + ε = μ + ε şeklinde olacaktı. 48 4

DÜZELME FAKÖRÜ VE REGRESYON KARELER OPLAMI Bu durumda SS(μ), SS(b 0 ) ile belirtilecektir. SS(b 0 ) düzeltme faktörü olarak adlandırılır. Bağımsız değişken(ler) tarafından ilave kareler toplamı regresyona bağlı kareler toplamı olarak adlandırılır ve SS(R) ile belirtilir. 49 SABİ ERİMLİ MODEL PARAMERE AHMİNİ Modelde sabit terim μ mevcut olduğunda da model y = Xβ + ε formunda yazılabilir. Bu modeldeki X, sadece birlerden oluşan bir sütün vektörü ve β 0 =μ olup bir tek elemanı temsil eder. Model parametrelerinin tahmini, 1 1 b ( 1 1) 1 y 1 y n = = (4.17a) ve eşitlik (4.10) kullanılarak, b = y (4.17b) 50 5

ORALAMANIN (SABİİN) KARELER OPLAMI Model kareler toplamı SS ( M ) = b X Y olup model bağımsız değişken içermediğinden SS ( b 0 ) = b ( 1 y) Eşitlik (4.17a) kullanılarak, eşitlik (4.11) elde edilir; 1 SS ( b0 ) = ( ) n y 11 y 51 ORALAMANIN (SABİİN) SERBESLİK DERECESİ Düzeltme faktörünü veren karesel form için tanım matrisi, 1 1 L 1 1 1 1 1 1 L 1 ( 11 ) = = J (4.18) n n M M O M n 1 1 L 1 eşitliği ile verilebilir. ( 1 n ) J matrisi, rankı izine iz [( 1 n) J] = 1 (4.19) eşit olan bir idempotent matristir. Matrisin rankı 1 e eşit olduğundan düzeltme faktörü 1 serbestlik derecesine sahip olacaktır. 5 6

REGRESYONUN SERBESLİK DERECESİ Bir modelde bağımsız değişken(ler)in kareler toplamına yaptığı katkı, regresyon kareler toplamı, SS( R) = SS( M ) SS( b ) 0 Eşitlik (4.1) ile tanımlanır, SS( b / b ) = y ( H J n) y 1 0 Sonuç olarak SS (R) için tanım matrisi ( H J n) elde edilir. anım matrisinin serbestlik derecesi, idempotent olduğundan, iz H J n = iz H iz J n = p (4.0) ( ) ( ) ( ) 1 53 ÜÇBİLESENLİ VARYANS ANALİZİ anım matrisi ( J n), ( H J n) ve ( I H) matrislerine ortogonaldir. Bunun sonucunda toplam kareler toplamı,üç ortogonal bileşene ayrıştırılabilir. y y = y ( J n ) y + y ( H J) n) y + y ( I H) y (4.1a) ( ) SS( b 0 ) + SS( R) SS( e) SS = + (4.1b) n = 1 + p-1 + n-p 54 7

ANIM MARİSLERİ VE KARESEL FORMLARLA İLGİLİ SONUÇLAR Regresyon analizinde kullanılan tüm tanım matrisleri idempotentdir. J/n, (H-J/n), (I-H) tanım matrisleri birbirlerine çifterli olarak ortogonaldir. Bunun son ucu olarak düzeltilmemiş toplam kareler toplamı birbirine ortogonal kareler toplamlarına ayrılabilmektedir. Bir karesel formun serbestlik derecesi tanım matrisinin rankına eşittir. Matris idempotent ise rankı izine eşittir. 55 KARESEL FORMLARIN BEKLENEN DEĞERİ Y bağımlı değişkeninin varyans analizinde hesaplanan her bir karesel formu, model parametrelerinin tahminlenmiş bazı fonksiyonlarıdır. Varyans analizindeki herhangi bir kareler toplamı, gözlemlerin karesel fonksiyonudur. Hipotez testleri ve varyans bileşenlerinin tahminlenmesinde kareler toplamlarının beklenen değerlerinin E ( y Ay) elde edilmesi oldukça önemlidir. 56 8

KARESEL FORMLARIN BEKLENEN DEĞERİ EKK varsayımları altında, E ( y ) = Xβ ve σ ( y ) = Iσ, eşitlik (I30.1) kullanılarak, karesel formun beklenen değeri, E ( y Ay) = σ iz( A) + β X AXβ (4.) olarak verilebilir. Ref. İspat 30 Varyans analizinde karesel formların beklenen değeri A matrisi yerine uygun bir tanım matrisi kullanılarak elde edilir. A matrisi idempotent olduğunda σ nin katsayısı karesel formun serbestlik derecesine eşit olacaktır. 57 MODEL KARELER OPLAMININ BEKLENEN DEĞERİ Modelin kareler toplamının beklenen değeri, E [ SS( M )] = E( y Hy) = σ iz( H) + β X HXβ = p σ + β X Xβ (4.3) şeklindedir. Not: iz (H) = p ve HX = X olduğu hatırlanmalıdır. Bu eşitlikteki ikinci terim (kesişim terimi β 0 ıda içeren) β vektörünün bir karesel formudur. 58 9

REGRESYON KARELER OPLAMININ BEKLENEN DEĞERİ Regresyona bağlı kareler toplamının beklenen değeri E [ SS( R) ] = E[ y ( H J n) y] = σ iz( H J n) + β X ( H J n) βx [( SS( R) )] = kσ + β X ( I J n) Xβ (4.4) şeklindedir. Not: X H = X olduğu hatırlanmalıdır. β vektörüne göre karesel bir form olan ikinci terim model kareler toplamındaki ifadeden farklıdır. Bu farkı oluşturan X ( I J n) X matrisidir. E 59 β VEKÖRÜNDEKİ FARK X matrisinin ilk sütunu bir sabit sütun olduğundan, kareler toplamlarını ve çarpımlarını içeren ilk sütun sıfır olacaktır. Bu nedenle X ( I J n) X matrisinin ilk satır ve sütunu sıfırlardan oluşacaktır. Bunun sonucu olarak karesel ifadede β 0 ortadan kalkar. Başka bir deyişle, regresyon kareler toplamının beklenen değerinde sadece bağımsız değişkenlerin regresyon katsayıları içerilmektedir. 60 30

ARIK KARELER OPLAMININ BEKLENEN DEĞERİ Artık kareler toplamının beklenen değeri [ SS( e) ] = E[ y ( I H) y] = σ iz( I H) + β X ( I H) βx E E SS( e) = ( n p) σ + β X ( X X) [ ] β E[ SS( e) ] = ( n p) σ (4.5) şeklindedir. Not: HX = X olduğu hatırlanmalıdır. 61 KARELER ORALAMASI Her bir beklenen değer ifadesinde σ katsayısı kareler toplamlarının serbestlik derecesini belirtir. Kareler toplamlarını, karesel ortalamaya dönüştürmek için her bir beklenen değer serbestlik derecesine bölünür. Sonuç olarak her bir kareler ortalamasındaki σ katsayısı 1 e eşit olacaktır. [ ] ( ) E MS R = σ + β X ( I J n) Xβ k (4.6) E [ MS( e) ] = σ (4.7) Ref. İspat 34 6 31

MS(R) NİÇİN MS(e) DEĞERİNE ORANLANIR Eşitlik (4.7) artık kareler ortalamasının, σ nin sapmasız bir tahmini olduğunu gösterir. Regresyon kareler ortalaması, β 0 hariç tüm β i lerin karesel bir fonksiyonu artı σ nin bir tahminidir. Sonuç olarak MS(R) ve MS(e) ifadelerinin karşılaştırılması regresyon katsayılarının veya eşdeğer olarak bağımsız değişkenlerin anlamlılığının değerlendirilmesine temel oluşturur. E[MS(R)] ifadesindeki ikinci terim β nın karesel bir fonksiyon olduğu için negatif olamaz. 63 F-ESİNİN HİPOEZİ E[MS(R)] ifadesi bağımsız değişkenlerin, y i nin kestirebilirliğine yaptığı katkıyı belirtir. Katkı büyüdükçe MS(R) değeri ile MS(e) değeri arasındaki fark da büyüyecektir. Gözlenmiş MS(R) değerinin gözlenmiş MS(e) değerine oranı, β 0 hariç tüm β i değerlerinin sıfıra eşit olduğu H 0 : β 1 =β = =β k = 0 (4.8) karmaşık hipotezin test edilmesini sağlar. 64 3

MODEL SAPMASININ ES ÜZERİNDEKİ EKİSİ Bu beklenen değer ifadelerinin tümü varyans analizinde kullanılan modelin gerçekten doğru model olduğunu kabul eder. Eğer kullanılan model yanlış ise, E ( y) = Xβ + X β Xβ olacak ve artık 1 1 kareler toplamının ikinci terimi sıfıra yaklaşmıyacaktır. E[ SS() e ] = σ iz( I H) + [ Xβ1 + Xβ] ( I H)[ Xβ1 + Xβ] E[ SS() e ] = σ ( n p) + βx ( I H) Xβ (4.9) ve kareler ortalaması E[ MS() e ] σ + β X ( I H) X β ( n p) (4.30) = 65 MODEL SAPMASININ ES ÜZERİNDEKİ EKİSİ Bu terimde, herhangi önemli bağımsız değişkenin regresyon katsayısının karesel bir fonksiyonu mevcut olacaktır. Bu gibi durumlarda MS (e), σ pozitif sapmalı bir tahminin olabilecektir. 66 33

KARESEL FORMLARIN DAĞILIMI Karesel formların olasılık dağılımları parametrik anlamlılık testleri için bir temel oluşturur. Ref. anım 36 Bu testler ve parametrelerle ilgili güven aralıklarının oluşturulabilmesi için hataların normal dağıldığı varsayımına ihtiyaç vardır. Hataların normal dağıldığının kabul edilmesi aynı zamanda y nin de normal dağıldığı anlamına gelmektedir. Normallik varsayımın sağlanmadığı durumlarda, parametrik anlamlılık testleri yaklaşık olarak kabul edilmelidir. 67 EOREM A matrisi idempotent bir matris olmak üzere, y şans değişkeni, E ( y ) = μ ve σ ( y ) = Vσ olan bir normal dağılış gösteriyor ise, y ( A σ )y karesel formu, serbestlik derecesi A matrisinin rankına r(a) ve merkezi olmayan parametresi Ω = ( μ Aμ) σ olan bir merkezi olmayan ki-kare dağılışı gösterir. Not: Burada μ = Xβ ve V = Iσ olabilir. 68 34

DAĞILIMLAR VE MERKEZİ OLMAYAN PARAMERELER Model kareler toplamı, SS( M ) y Hy σ Ω = β = ~ χ p, Ω σ X Xβ σ Artık kareler toplamı, SS() e y ( I H) y = χ σ σ Ω = β X I H Xβ σ = ~ n p ( ) 0 (4.31) Not: Bu bir merkezi ki-kare dağılımıdır. 69 DAĞILIMLAR VE MERKEZİ OLMAYAN PARAMERELER Sabitin (ortalamanın) kareler toplamı, SS( b ) y ( J n) y 0 = σ σ ~ χ1, Ω Ω = β X J n Xβ σ = 1 Xβ nσ ( ) ( ) Regresyon kareler toplamı, SS( b / b ) y ( H J n) y 1 0 = ~ χ k, Ω σ X H J σ n Xβ σ = β X I J n Xβ σ Ω = β ( ) ( ) (4.3) 70 35

ESLER İÇİN YORUMLAR Bu durumda ε nun normal dağıldığı varsayımı, σ ile bölünen kareler toplamlarının ki-kare değişkeni olduğunu belirtir. Ki-kare dağılımı ve karesel formların arasındaki ortogonalite anlamlılık testleri için temel oluşturmaktadır. 71 ESLER İÇİN YORUMLAR Örneğin boş hipotezin doğru olduğu durumlarda, t-istatistiği bir normal sapmanın, ölçeklenmiş bir bağımsız merkezi kikare değişkeninin kare köküne oranını verir. F-istatistiği de bir ölçeklenmiş merkezi olmayan ki-kare değişkeninin (eğer boş hipotez doğru ise merkezi kikare değişkeninin) ölçeklenmiş bağımsız merkezi ki-kare değişkenine oranını vermektedir. 7 36

ESLER İÇİN YORUMLAR Her bir durumdaki ölçekleme ki-kare şans değişkeninin kendi serbestlik derecesine bölünmesiyle gerçekleştirilir. Bir merkezi ki-kare dağılımının merkezi olmayan parametresi sıfıra eşittir. 73 ESLER İÇİN YORUMLAR Merkezi olmayan parametre Ω = ( μ Aμ) σ iki nedenle önemlidir. Birincisi, F-oranının payının merkezi olmayan parametresinin sıfıra eşit olmasının gerektirdiğinden boş hipotezinin açık bir ifadesini sağlar. İkincisi, merkezi olmayan parametrenin büyüklüğü ile yanlış bir boş hipotezi belirlemenin ölçüsü olan testin gücü belirlenir. 74 37

ESLER İÇİN YORUMLAR SS() e σ bir merkezi ki-kare değişkenidir, çünkü ikinci terimi sıfıra eşittir, (eşitlik 4.31). SS( R) σ için merkezi olmayan parametre (eşitlik 4.3), ( n) Ω= β X I J Xβ σ şeklindedir. Bu durumda SS( R) σ nin merkezi bir kikare değişkeni olabilmesi için Ω = 0 olması gereklidir. Bunun içinde β1 = β =... = β k = 0 eşitliği sağlanmalıdır. 75 F-ESİ Sonuç olarak, F-oranının MS( R) F = (4.33) MS( e) β 0 hariç tüm β j sıfıra eşit olduğu hipotezini test etmek için kullanılabileceği görülmektedir. Bu hipotez H : β 0 0 = (4.34) H : β 0 1 ifade edilebilir. Burada β, β 0 hariç k 1 boyutlu regresyon katsayıları vektörüdür. 76 38

F-ESİ Gözlenmiş bir F-oranının 1 den yeterince büyük olması merkezi olmayan parametrenin sıfıra eşit olmadığını belirtir. Paydaki ki-kare değişkeninin merkezi olmayan parametresi büyüdükçe F-oranı da büyüyecektir. Bunun sonucunda da yanlış bir boş hipotezin belirlenmesi olasılığı da büyüyecektir. Bu olasılık testin gücü olarak adlandırılır Bir F -testinin gücü her bir ki-kare değişkeninin, özellikle paydadaki ki-kare değişkeninin, serbestlik derecesi arttıkça artar. 77 HİPOEZ ESLERİ Bazı durumlarda araştırmacılar gerekli olandan daha genel modelleri kullanırlar. Gerçek model bilinmediğinden kullanılması gereken modellerle ilgili bazı varsayımları ve şüpheleri de mevcuttur. Uyumu yapılan model y = β + β x + β x + ε 0 1 1 Doğru olabileceği düşünülen model y β + β ( x ) + ε = x 0 1 78 39

HİPOEZ ESLERİ: DOĞRUSAL HİPOEZ Modelin kontrolü nasıl gerçekleştirilecek? Bu amaçla, β 1 =-β =β ya da eş değer olarak, β 1 +β =0 olup olmadığı sorusunun cevabı araştırılmalıdır. Yukarıdaki soru istatistikte, H 0 :β 1 +β =0 boş hipotezine karşılık, H 1 :β 1 +β 0 alternatif hipotezin testine karşılık gelir. H 0 hipotezinin β ların doğrusal bir kombinasyonu ile ilgili bir ifadeyi içermesi nedeniyle bu tiplere doğrusal hipotez adı verilir. 79 HİPOEZ ESLERİ MS( R ) nin MS() e ye oranı, β 0 hariç tüm β ların sıfıra eşit olduğu hipotezinin test edilmesine imkan vermektedir. Fakat bazı durumlarda daha esnek hipotez testlerinin oluşturulması gerekebilir. Bu kısımda β nın doğrusal fonksiyonlarını içeren herhangi bir hipotezin testi için genel bir metot verilecektir. Eğer boş hipotez bir tek doğrusal fonksiyonu içeriyorsa basit hipotez, birden fazla fonksiyonu eş anlı olarak içeriyorsa karmaşık hipotez olarak adlandırılır. 80 40

GENEL DOĞRUSAL HİPOEZ Genel doğrusal hipotez : H 0 K β = m (4.35) : H1 K β m şeklinde tanımlanır. Burada K, r p boyutlu test edilecek parametrelerin r adet doğrusal fonksiyonunu tanımlayan katsayılar matrisidir. K matrisinin her bir sırası bir doğrusal fonksiyonun katsayılarını içerir. m ise genellikle sıfırlardan oluşan r 1 boyutlu bir sabitler vektörüdür. Ref. Örnek 4.1 81 GENEL DOĞRUSAL HİPOEZ H 0 daki r adet doğrusal denklem doğrusal bağımsız olmalıdır, fakat ortogonal olmaları gerekli değildir. Doğrusal bağımsızlık K matrisinin tam ranklı r(k )=r olduğu belirtir. Bunun sonucu olarak da H 0 daki denklemler m nin her türlü seçimi için tutarlı olacaktır. H 0 daki doğrusal fonksiyon sayısı β daki parametre sayısını aşamaz, aştığı durumlarda K matrisi tam ranklı olmayabilecektir. 8 41

GENEL DOĞRUSAL HİPOEZİN BEKLENEN DEĞER VE VARYANSI Boş hipotezin geçersiz olabilmesi için H 0 daki hipotezlerden herhangi birinin (veya daha fazlasının) yanlış olması gerekmektedir. K β-m in EKK tahminleri, β yerine b yazılarak K b -m şeklinde elde edilir. Normal dağılışı da kapsayan EKK varsayımları altında, K b -m ortalaması, ( E Kb m) = Kβ m (4.36) Not: Eğer boş hipotez doğru ise, E( Kb m ) = 0, olacaktır. Varyansı; 1 σ ( Kb m) = K( XX) Kσ = V σ (I31.) olan bir normal dağılış gösterecektir. Ref. İspat 31 83 HİPOEZ İÇİN KARELER OPLAMI : H 0 K β = m doğrusal hipotezi için kareler toplamı Kb m 1 1 K XX K Kb m (4.37) θ = ( ) ( ) ( ) eşitliğinden hesaplanır. Ref. İspat 31 Bu ifade tanım matrisi 1 1 = ( ) A K X X K (4.38) olan K b-m nin bir karesel formudur. anım matrisi ise σ böleni hariç K b-m doğrusal fonksiyonun varyans-kovaryans matrisinin tersidir. 84 4

HİPOEZ KARELER OPLAMININ BEKLENEN DEĞERİ E Karesel formun serbestlik derecesi, AV matrisi idempotent olduğundan, iz(av)=iz(i r )=r (4.39) Karesel formun beklenen değeri, eşitlik (4.) kullanılarak, 1 1 ( θ) = rσ + ( K β m ) K ( X X ) K ( K β m ) (4.40) şeklinde bulunur. 85 KARELER OPLAMININ DAĞILIMI Normallik varsayımı kullanılarak, θ σ değişkeni r serbestlik dereceli merkezi olmayan bir ki-kare dağılışı gösterir. Serbestlik derecesi r(a)=r(k)=r. Merkezi olmayan parametre ise, ( K Ω = şeklindedir. β m) 1 [ K ( X X) K] σ 1 ( K β m) (4.41) 86 43

HİPOEZİN ESİ Eğer H 0 hipotez doğru ise merkezi olmayan parametre sıfıra eşit olacaktır. Hipotezi test etmek için kullanılacak F- istatistiği için pay kısmı θ/r şeklinde verilen bir kareler ortalamasına sahip olacaktır. Bu test için payda kısmı ise σ nin sapmasız bir tahmini olan MS(e) den oluşacaktır. MS ( θ ) θ r( K) θ r F = = = (4.4) MS e s s ( ) 87 ESİN SONUÇLARI Verilen hipotezler için tüm kareler toplamları kullanılan modele bağlıdır. Bu nedenle bir bağımsız değişkenin modelden çıkarılması yada ilave edilmesi her bir hipotez için kareler toplamlarını değiştirecektir. 88 44

HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: EK BİR PARAMERENİN ESİ β vektörü üzerindeki bir basit hipotezde H : β = 0 0 i (4.43) K bir satır vektörüdür. K = [ 0 L 0 1 0 L 0] ve m=0 Burada 1 değeri β i ye karşılık gelen pozisyondadır. Eşitlik (4.37) ile verilen hipotez kareler toplamı, ( ) ( K b ) bi SS H m = θ = 0 1 = K ( X X) K cii Burada c ii değeri, (X X) -1 matrisinin i+1-inci elemanıdır. 89 HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: EK BİR PARAMERENİN ESİ Hesaplanan test değeri, bi F = (4.44) c s ii olup tablo değeri F(1,n-p). Eğer hipotez, H : β = β (4.45) 0 i i0 gibi sıfırdan farklı bir değerin testi ise, ( b β ) i 0 F = i (4.46) c s ii şeklindedir. 90 45

HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: EK BİR PARAMERENİN ESİ Bu hipotez için kareler toplamı, tüm diğer bağımsız değişkenler de modelde iken, x i bağımsız değişkenin modele yaptığı katkıyı ölçer. Bu kareler toplamı i-inci bağımsız değişken için kısmi kareler toplamı olarak adlandırılır. 91 BAZI ÖZEL BASİ HİPOEZLER İÇİN K MARİSİ H : β β = 0 ya da H : β = β 0 3 0 3 K bir satır vektörüdür. K = [ 0 0 1 1 L 0] ve m=0 H : β + β = 1 0 1 K bir satır vektörüdür. K = 0 1 1 0 L 0 ve m=1 [ ] 9 46

HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: PARAMERELERİN BİR AL SEİNİN ESİ İlk olarak, K =[0 I s ] ve m=0 Burada 0 boyutu s (p-s) olan sıfır matrisidir. m ise s elemanlı sütun vektörüdür. Hipotez, H : β = β = L = β = 0 (4.47) 0 p s+ 1 p s+ p şeklin son s adet parametrenin sıfıra eşitliğini ortak olarak test eder. Bu amaçla X ve b yeniden düzenlenir. b r y = [ X X ] + e = X b + X b + e s r r s s (4.48) r b s Burada X r boyutu n (p-s) olup X deki ilk p-s sütundan oluşur. X s ise n s boyutlu olup son s sütundan oluşur. 93 HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: PARAMERELERİN BİR AL SEİNİN ESİ (X X) matrisi ise, X X X X r r r s ( X X) = (4.49) X X X X s r s s şeklinde bölümlenir. Hipotez kareler toplamı θ yı elde etmek için, b r K b m = [ 0 I ] 0 = b s s b s ve ( ) [ ] ( ) 1 ( ) 1 1 X X X X r r r s K X X K = 0 I s 1 1 X X X X s r s s ( ) 1 K X X K = ( X X ) 1 s s bulunur. ( ) ( ) I s 0 94 47

HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: PARAMERELERİN BİR AL SEİNİN ESİ ( X X ) 1 matrisi ise, s s ( X X ) X X X X ( X X ) s s 1 [ X X ] 1 1 = s s s r r r r s Ref. İspat 35 X X X I X s s s X X X M X 1 { [ X ] X } 1 ( ) ( X X ) r r r ( ) 1 = ( ) 1 s s s r s olup burada ( ) 1 M I X X X X 1 = r s [ ] = (4.50) r r r r r Sonuç olarak hipotez kareler toplamı, θ = b ( X M X ) b (4.51) s s r s s ve kareler ortalaması, θ MS( θ ) = s 95 HİPOEZ ESLERİ İÇİN ÖZEL DURUMLAR: PARAMERELERİN BİR AL SEİNİN ESİ Eşitlik (4.4) de tanımlanan F-testi uygulanır. Kritik değer F(s,n-p) Bu hipotez için kareler toplamı, tüm diğer bağımsız değişkenler de modelde iken, s adet bağımsız değişkenin modele yaptığı katkıyı ölçer. 96 48

AM VE İNDİRGENMİŞ MODEL Mevcut model, tam model olarak adlandırılır. Bu model boş hipotezde test edilen tüm parametreleri de içermelidir. İkinci model ise boş hipotezin doğru olduğu kabul edilerek tam modelden elde edilir. Elde edilen modele İndirgenmiş model adı verilir. Bunun nedeni de indirgenmiş modeldeki parametre sayısının daima tüm modeldekinden az olmasıdır. 97 AM VE İNDİRGENMİŞ MODEL Örneğin, boş hipotez H : β = c şeklinde ise, 0 burada c bilinen birer sabit, indirgenmiş modelde β yerine c yazılır. Bu durumda β artık tahminlenmesi gereken bir parametre olmaktan çıkacaktır. Herhangi bir hipotez için kareler toplamının alternatif genel formülü, iki modelin hata terimi kareler toplamları arasındaki fark yardımı ile belirlenebilir. İndirgenmiş modelin artık kareler toplamı tam modelin artık kareler toplamından büyük veya en azından ona eşit olmalıdır. 98 49

MODELLER X matrisinin eşitlik (4.48) de tanımlandığı gibi bölümlendiği varsayılsın. am model X=[X r X s ] (4.5) İndirgenmiş model ise sadece X r den oluşur. Sadece X r matrisindeki değişkenlerin y üzerine regresyonu gerçekleştirilsin. 99 İNDİRGENMİŞ MODEL İÇİN ARIKLAR e r bu regresyonun (indirgenmiş modelin) artık vektörüdür. Eşitlik (3.19) kullanılarak e r =(I r -H)y e r =M r y (4.53) elde edilir. Buradaki M r ile eşitlik (4.50) deki M r denktir. 100 50

KARELER OPLAMLARINDAKİ FARKLARDAN θ NIN HESAPLANMASI Herhangi bir genel hipotez için kareler toplamı θ = SS( e r ) SS( e) ( ) = e e e e = b X M X b (4.53) r r s s r s s şeklinde hesaplanabilir. SS (e) in serbestlik derecesi ( n p) dir. am modelde boş hipotez ile getirilen s adet doğrusal bağımsız kısıtlama nedeni ile, indirgenmiş modelin parametre sayısı (p-s) olacaktır. 101 θ NIN ES EDİLMESİ İndirgenmiş modelin serbestlik derecesi, [n-(p-s)] Bunun sonucunda θ nın serbestlik derecesi [n-(p-s)]- (n-p)=s olacaktır. Eşitlik (4.4) de tanımlanan F-testi uygulanır. Kritik değer F(s,n-p) Bu testin diğer bir ifadesi, ( e e e e) s r r F = (4.54) e e n p ( ) ( ) 10 51

θ İÇİN SS(M) VE SS(R) DEĞERLERİNİN KULLANILMASI Aynı sonuç, m = 0 boş hipotezi için, model kareler toplamları arasındaki fark yardımı ile elde edilebilir. θ = SS( M ) SS( M r ) (4.55) Eğer β 0 modelde içeriliyor, fakat boş hipotezde içerilmiyorsa regresyon kareler toplamları arasındaki fark da θ = SS( R) SS( R r ) (4.56) θ yı verecektir. Bununla birlikte boş hipotezde β 0 ın mevcut olması halinde θ, regresyon kareler toplamları arasındaki farktan hesaplanmaz. Sonuç olarak θ için regresyon kareler toplamları arsındaki fark daima kullanılamamaktadır. 103 KARELER OPLAMLARININ R NOASYONU Değişkenlerin bir alt setindeki kısmi regresyon katsayılarının her birinin sıfıra eşit olduğunu belirten boş hipotez için oluşturulan kareler toplamı, boş hipotezde belirtilen parametreler alt setine ve modeldeki tüm parametre setine bağımlıdır. Bu iki durumu, parametre seti ve alt seti, daha açık olarak belirleyebilmek için kareler toplamlarının daha uygun bir notasyonuna ihtiyaç vardır. 104 5

PARAMERE SEİ VE AL SE SS( M ) = R( β, β, K, β ) ifadesi parantez 0 1 k içinde listelenen parametreleri içeren modele bağlı kareler toplamını belitsin. β 0 ı içermeyen bir β j alt setindeki tüm parametrelerin sıfıra eşit olduğunu belirten hipotez test edilmek istensin. Sıfıra eşitliği test edilen β j alt setinin son r adet parametreden oluştuğu kabul edilsin: SS( M ) = R( β, β, K, β, β, K, β ) 0 1 k r k r + 1 k SS M r = R β, β, L, β ( ) ) ( 0 1 k r 105 R NOASYONUNDA AM VE İNDİRGENMİŞ MODEL Hipotez kareler toplamı, θ = SS( M ) SS( M r ) = R( β, β, K, β ) R( β, β, K, β ) 0 1 k 0 1 k r Kareler toplamlardaki bu fark R notasyonunda θ = R β, β, K, β / β, β, K, β ) (4.57) ( k r + 1 k r + k 0 1 k r Dikey işaretten önceki β j parametreleri boş hipotezde sıfıra eşitliği test edilen parametrelerdir. İşaretten sonraki parametreler ise modelde sabit tutulan parametrelerdir. 106 53

R NOASYONUNDA AM VE İNDİRGENMİŞ MODEL am model parantez içindeki tüm parametrelerden oluşur. İndirgenmiş model ise işaretten sonraki parametreleri içerir. Bu notasyona göre SS( R) = SS( M ) SS( b ) 0 SS R) = R( β, K, β / ) ( β 1 k 0 107 ARDIŞIK KARELER OPLAMLARI R notasyonunu açıklamak üzere üç bağımsız değişken ve bir sabit terim içeren doğrusal model ele alınsın. Eğer değişkenler modele x 1, x ve x 3 sırasına göre alınırsa, ardışık kareler toplamları, o R ( β 1 / β ) ifadesi, sadece x 0 0 ı içeren modele x 1 in yaptığı katkının kareler toplamıdır. o R ( β / β, β ) ifadesi, x 0 1 0 ve x 1 in etkisi göz önüne alındıktan sonra x nin yaptığı katkının kareler toplamıdır. o R ( β / β, β, β ) ifadesi, x 3 0 1 3 0, x 1 ve x nin etkisi göz önüne alındıktan sonra x 3 ün yaptığı katkının kareler toplamıdır. Bağımsız değişkenlerin modele ilave edilme sırası değiştirilerek farklı ardışık kareler toplamlarının setleri elde edilebilir. 108 54

KISMİ KARELER OPLAMLARI Bu örnek için kısmi kareler toplamları, R ( β / β, β, β ) 1 0 3 R ( β / β, β, β ) 0 1 3 R ( β / β, β, β ) 3 0 1 şeklindedir. Bu ifadelerin her biri, fark işaretinden sonraki parametreleri içeren modele, fark işaretinden önceki değişkenin eklenmesinin oluşturduğu ilave kareler toplamıdır. Kısmi kareler toplamları β j basit hipotezini test etmeye uygun kareler toplamlarıdır. 109 BİLEŞİK HİPOEZ İÇİN ARDIŞIK KARELER OPLAMLARI Kısmi kareler toplamları β j =0 bileşik hipotezini test etmeye uygun değildir. Ardışık kareler toplamları, bileşik hipotezi test etmek için gerekli kareler toplamını elde etmek için düzenlenebilir. Üç değişkenli, x 1, x ve x 3, model için H o : β =β 3 =0 ele alınsın, R( β, β / β, β ) = R( β, β, β, β ) R( β, β ) 3 0 1 0 1 3 0 1 R( β, β / β, β ) = [ R( β, β, β, β ) R( β, β, β ) 3 0 1 0 1 3 0 1 + [ R( β, β, β ) R( β, β )] 0 1 0 1 R β, β / β, β ) = R( β / β, β, β ) + R( β / β, ) [ ] ( β 3 0 1 3 0 1 0 1 110 55

ARDIŞIK KARELER OPLAMLARI VE REGRESYON KARELER OPLAMI Ardışık kareler toplamları tam model için, regresyon kareler toplamının toplanabilir bölümlerini oluşturur. SS ( R) = R( β, β, β / β ) 1 3 0 R β / β + R β / β, β + R β / β, β, β 1 0 0 1 3 0 1 = R β / β + R β / β, β + R β / β, β β = ( ) ( ) ( ) ( ) ( ) ( ), 3 0 1 0 3 0 1 3 111 DÜZELİLMİŞ R R a R formülü eşitlik.16a ile verilmiştir. R formülündeki kareler toplamlarının serbestlik dereceleri dikkate alınarak yapılan bir düzeltme ile R elde edilir. a SS( e) ( n p) n 1 (4.58) R a = 1 = 1 ( 1 R ) SS( c) ( n 1) n p 11 56

DÜZELİLMİŞ R R a R parametre sayıları farklı modellerin a karşılaştırılmasında ve amamen farklı iki ya da daha fazla veri setinden elde edilen modellerin karşılaştırılmasında kullanılır. 113 R nin DAĞILIMI H 0 hipotezi altında F hesap değeri bir F(v 1,v ) dağılımına sahiptir. Bir istatistiksel teoreme göre, 1 1 (4.59) R ~ B v1, v Sonuç olarak R kullanılarak H 0 hipotezine karşı H 1 hipotezinin testi gerçekleştirilebilir. Bu testin sonucu standart F testinin sonucuna tamamen denk olacaktır. İçin kritik değer (I38.3) den elde edilir. İspat 38 114 57