3. Ders Parametre Tahmini Lineer Tahmin Edilebilme eniden Parametrelendirme Lineer Parametrik Kısıtlamalar Bir Deney Tasarımı Modeli, X matrisi (veya bir kısmı) özel yapılandırılmış, = X β + biçiminde bir Lineer Modeldir. X : N p matrisi genellikle düşük ranklıdır, yani rank( X ) < min { N, p} Hata terimi için E( ) = 0, Cov( ) = σ I olduğunda, min Xβ = min( Xβ) ( Xβ) β β problemin çözümü olan En Küçük Kareler Tahminlerini veren normal denklemler, ˆ β = X ' X X ' N(0, σ I) olması durumunda da β vektörü ile ilgili En Çok Olabilirlik Tahminleri normal denklemlerden elde edilmektedir. X X ( X ' X ) X y= X y olduğundan normal denklemler tutarlı X y vektörü X X matrisinin sütun vektörlerinin gerdiği uzaydadır, yani X y [ X X ] Başka bir ifade ile X y R( X ' X ), yani X y vektörü X X in görüntüsü kümesindedir (range of X X, [ X p X ] = R( X ' X )) Normal denklemlerin çözümleri, z R isteksel bir vektör olmak üzere, ( ) ˆ β = ( X ' X ) X ' + I ( X ' X ) ( X ' X ) z biçimindedir. Normal denklemlerin her hangi bir ˆβ çözümü, ˆ β = GX ' olarak yazılabilir. G matrisi X ' X in bir g-inversidir.
Teorem: Normal denklemlerin birden çok çözümü olduğunda, ˆβ bir çözüm olmak üzere ' ˆ λβ lineer bileşiminin bir tek olması için gerek ve yeter şart = = olması λ ' λ '( X X ) X X (yani X X ( X X ) λ λ) p Başka bir ifade ile: λ, λ R olmak üzere, X X ( X X ) λ = λ X X ( X X ) λ = ' ' λβ = λ ˆ λ ˆ β Teorem: λ: p vektörünün X: n p matrisinin satır vektörlerinin gerdiği n n uzayda olması, yani λ = X ' c, c R ( λ= ' c ' X, c R ) için gerek ve yeter şart X X ( X X ) λ = λ ( λ ' = λ '( X X ) X X ) olması Başka bir ifade ile: Sonuç: X matrisinin satır ( n λ = X ' c, c R X X ( X X ) λ = λ n ( λ ' = c ' X, c R λ ' = λ '( X X ) X X ) X ' matrisinin sütün) vektörlerinin gerdiği uzay, n [ X '] = { v : v = X ' c, c R } olmak üzere, λ: p vektörü X matrisinin satır ( X ' matrisinin sütün) uzayında, yani λ [ X '] olduğunda, normal denklemlerin tüm ˆβ çözümleri için λβ ' ˆ lineer bileşimi tektir. Örnek modelinde, ij = µ + αi + ij, i =,, j =,, 3 L N M 3 3 O Q P = L N M 0 0 0 0 0 0 O L NM Q P µ O P Q α P + α
X 0 0 0 =, X ' 0 0 0 0 = 0 0 0 0 0, β = L NM µ α α O QP ve normal denklemler, X ' Xβ= X ' 6 3 3 ˆ 3 3 0 3 0 3.. αˆ =. αˆ. 3 3 3.. = ij,. = j,. = j i = j = j = j = olmak üzere, katsayılar matrisinin rankı dir. Tutarlı olan bu denklem sisteminin birden çok (sonsuz) çözümü var matrisi için 6 3 3 X ' X= 3 3 0 3 0 3 6 3 3 0 0 0 6 3 3 6 3 3 3 3 00 / 3 03 3 0 = 3 3 0 3 0 30 0 / 33 0 3 3 0 3 olmak üzere, 0 0 0 G= 0 / 3 0 0 0 / 3 matrisi, X ' X matrisinin bir g-inversidir. Normal denklemlerin bir çözümü,
olmak üzere, matrisi de ˆ 0 0 0 0 0.. αˆ = GX ' = 0 / 3 0. = / 3. =. αˆ 0 0 / 3. / 3.. 6 3 3 / 6 0 0 6 3 3 6 3 3 3 3 0 / 6 / 3 03 3 0 = 3 3 0 3 0 3/ 6 0 / 33 0 3 3 0 3 / 6 0 0 ( X ' X ) = / 6 / 3 0 / 6 0 / 3 X ' X matrisinin bir g-inversidir ve / 6 0 0.. / 6.... ( X ' X ) X ' = / 6 / 3 0. = / 3. / 6.. =... / 6 0 / 3. / 3. / 6..... normal denklemlerin başka bir çözümüdür. Bu iki çözüm, ˆ 0 αˆ = / 3. αˆ / 3. olmak üzere, için ˆ / 6.. αˆ = / 3. / 6.. αˆ / 3. / 6.. 6 λ = 3 [ X ' X ] [ X '] 3 ˆ ˆ λ ' αˆ = λ ' αˆ = + αˆ αˆ..
Lineer Tahmin Edilebilme Tanım: = X β + modelinde, bir parametre veya parametrenin bir foksiyonu için yansız ve lineer ( nin lineer dönüşümü olan) bir tahmin edici varsa bu parametreye veya parametrenin fonksiyonuna lineer tahmin edilebilir denir. Böyle bir tahmin ediciye de lineer yansız tahmin edici denir. = X β + modelinde X : N p, ( N > p) matrisinin rankı rank( X ) = p olduğunda β parametresi lineer tahmin edilebilir, çünkü örnekleminin ( X X ) X lineer fonksiyonunun beklenen değeri, E ( X X ) X = E ( X X ) X ( X β + ) = β, β R p Model tam ranklı olmadığında, yani rank( X ) = r< p olduğunda β parametresi lineer tahmin edilebilir mi? Başka bir ifade ile, E(C ) = β, β R p olcak şekilde C: p n matrisi varmıdır? Olduğunu varsayalım. O zaman, olmalı, yani CX E(C ) = E C( X β + ) = CX β = β, β R p = I olmalı Ancak, I : p p olup, rank( CX ) r < p = rank( I) Dolayısıyla varsayımımız doğru değildir. E(C ) = β, β olacak şekilde C matrisi yoktur, yani β nın lineer yansız bir tahmin edicisi yoktur. β parametresi lineer tahmin edilemez olmasına rağmen β nın bazı R p dönüşümleri tahmin edilebilir. X β için nin kendisi veya X ( X X ) X bir lineer yansız tahmin edicidir. Gerçekten, E X ( ) = β E X ( X X ) X = X ( X X ) X Xβ = Xβ X β vektörü lineer tahmin edilebilir. X β nın her bileşeni de tahmin edilebilir.
Örnek: µ α, i, j modelinde, olmak üzere, ve L N M ij = + i + ij =, =,, 3 3 3 O Q P = L N M 0 0 0 0 0 0 O L NM Q P µ O P Q α P + α 6 3 3 X ' X= 3 3 0 3 0 3 0 + α 0 µ + α µ 0 µ α + 0 + 0 0 µ + α α = µ α α µ + α 6 3 3 6µ + 3α+ 3α 3 3 0α = 3µ + 3α 3 0 3α 3µ 3α + vektörleri lineer tahmin edilebilir. Bunların bileşenleri olan, [6 3 3] α = 6µ + 3α+ 3α α [3 3 0] α = 3µ + 3α α [3 0 3] α = 3µ + 3α α
[ 0] α = µ + α α [ 0 ] α = µ + α α lineer parametrik fonksiyonlar (LPF lar) da tahmin edilebilir. β parametre vektörünün λ' β, λ R p biçimindeki lineer bileşimlerinden lineer tahmin edilebilir olanlar hangileridir? Teorem: λ: p bilinen sabitlerin bir vektörü olmak üzere λ' β tahmin edilebilir λ [ X X ] = [ X '] Bu teoremden görüldüğü gibi λβ ' lineer bileşiminin tahmin edilebilir olması için gerek ve yeter şart λ [ X '] = R( X '), yani λ vektörünün X ' veya X X matrisinin sütun uzayında ( λ vektörünün X veya X X matrisinin satır uzayında) bulunması Örnek: modelinde, L N M 3 3 O Q P = L N M 0 0 0 0 0 0 O L NM Q P X ' = 0 0 0 0 0 0,, µ O P Q α P + α ve 6 3 3 X ' X= 3 3 0 3 0 3 olmak üzere, µαα parametrelerinden hiç biri tek başına tahmin edilemez, çünkü
olup, µ = [ 0 0] α α α α α, α= [0 0] α α, α= [0 0] α 0 0 0,, 0 [ X '] [ X ' X ] R( X ') R( X ' X ) 0 0 ( ) parametre vektörü de tahmin edilemez, çünkü rank( X ) = < p= 3 Aşağıdaki lineer parametrik fonksiyonlar (LPF lar) tahmin edilebilirdir (yukarıda söylendi). 6µ + 3α+ 3α 3α+ 3α 6µ + 3α µ + α µ + α 4µ 7α 7α Bunların toplamı olan + + ve son ikisinin farkı olan α α de tahmin edilebilir. Lineer Parametrik Fonksiyon (LPF) 6µ + 3α+ 3α 3α+ 3α 6µ + 3α µ + α µ + α 4µ + 7α+ 7α α α Lineer ansız Tahmin Edici +.. +..... 7 + 7....
Tanım: λ ' β, λ ' β,..., λq ' β lar lineer tahmin edilebilir ve λ, λ,..., λq vektörleri lineer bağımsız ise bunlara lineer bağımsız tahmin edilebilir parametrik fonksiyonlar denir. Lineer bağımsız tahmin edilebilir fonksiyonların sayısı X matrisinin rankı, yani X in sütun veya satır vektörlerinin gerdiği uzayın boyutu kadar rank( X ) = q ( q p N) ve λ ' βλ, ' β,..., λq ' β lar lineer bağımsız tahmin edilebilir parametrik fonksiyonlar olmak üzere, olup, { q} span λ, λ,..., λ = [ X '] = [ X ' X ] = R( X ') = R( X ' X ) { q} λβ ' tahmin edilebilir λ span λ, λ,..., λ = [ X '] = [ X ' X ] = R( X ') = R( X ' X ) En Đyi Lineer ansız Tahmin Ediciler = X β + E( ) = 0, Cov( ) σ I = modelinde ( )=r rank X ( r p< N) olduğunda r tane lineer bağımsız tahmin edilebilir parametrik fonksiyon var Gauss-Markov Teoremi : a) = X β + E( ) = 0, Cov( ) σ ˆ β= ( X X ) X = I, rank( X )= r ( r p N) < modelinde, normal denklemlerin bir çözümü (En Küçük Kareler, EKK çözümü) olmak üzere, bir λ β tahmin edilebilir parametrik fonksiyonun en iyi lineer yansız tahmin edicisi (beast linear unbiased estimator, BLUE) λβ ˆ dır ve tektir. Not: Burada en iyi ifadesi en küçük varyanslı anlamında lineer tahmin edilebilir λ β nın EKK Tahmin Edicisi denir. b) : r p için β λβ ˆ ya r n Λ Λ tahmin edilebilir bir vektör ( B R E( B) =Λβ) olsun. Λ β tahmin edilebilir vektörünün en iyi lineer yansız tahmin edicisi Λ ˆβ dır ve tektir. Not: Burada en iyi ifadesi en küçük varyans-kovaryans matrisine sahip demektir. Küçüklük, simetrik matrislerdeki sıralama bağıntısına göredir. B A pozitif tanımlı olduğunda A< B B A pozitif yarıtanımlı olduğunda A B
Đspat: λ β tahmin edilebilir parametrik fonksiyonu için tahmin edici, yani λβ ˆ yansız bir ( ˆ Eλβ ) = E( λ ( X ' X ) X ' ) = λ ( X ' X ) X ' E( ) = λ ( X ' X ) X ' Xβ= λβ p dir. λ β için başka lineer yansız bir tahmin edici a ' ( a R ) olsun. O zaman, olmak üzere, E( a ' ) = λβ ' Var( a ' ) = Var( a ' λβ ˆ+ λβ ˆ) = Var( a ' λβ ' ˆ) + Var( λβ ' ˆ) + C ov( a ' λβλβ ' ˆ, ' ˆ) = Var( a ' λβ ' ˆ) + Var( λβ ' ˆ) + C ov( a ', λβ ' ˆ) Var( λβ ' ˆ) ˆ ˆ = Var( a ' λβ ' ) + Var( λβ ' ) + a ' C ov(, λ '( X ' X ) X ' ) λ ' Cov( βλ ˆ) ( ) ( ) = Var( a ' λβ ' ˆ) + Var( λβ ' ˆ) + a ' C ov( ) X ( X ' X ) ' λ σλ '( X ' X ) X ' X ( X ' X ) ' λ = Var a λβˆ + Varλβˆ + σ a X X X λ σλ X X λ ( ' ' ) ( ' ) ' ( ' ) '( ' ) ˆ ˆ = Var( a ' λβ ' ) + Var( λβ ' ) + σ( a ' Xλ ')( X ' X ) λ = Var( a ' λβ ' ˆ) + Var( λβ ' ˆ) Var( λβ ' ˆ) 0 ve Teklik:?! (( ) ) Var a ˆ Var a X X X a X X X ( ' λβ ' ) = ' λ '( ' ) ' = σ ( ' ) λ = 0 a X ( X ' X ) λ= 0 a X ( X ' X ) λ= 0 a ' = λ '( X ' X ) X ' = λβ ' ˆ En küçük varyanslı yansız tahmin edici tektir. b) şıkkının ispatı da benzer yoldan yapılabilir.
Teorem: = X +, rank( X ) = r, E( ) = 0, Cov( ) = I modelinde, β N p σ '( I PX ) E = Nr σ (Burada P = X ( X ' X ) X ' ) X Đspat: ( ) ( ) E '( I P ) = tr ( I P ) Cov( ) + E( ) '( I P ) E( ) X X X ( X) ' '( ( ' ) ') = σ tr I P + β X I X X X X Xβ ( P ) = σ tr I X = ( Nr) σ ediciyi ˆ '( I PX ) Nr istatistiği σ ile gösterelim. '( I P ) ˆ X = Nr σ σ için yansız bir tahmin edicidir. Bu tahmin ' ˆ λβ λ '( X ' X ) X ' = istatistiği λβ ' lineer parametric fonksiyonu için en iyi lineer yansız tahmin edici (BLUE) olmak üzere, ( ) X λ '( X ' X ) X '( I P ) = λ ' ( X ' X ) X ' ( X ' X ) X ' X ( X ' X ) X ' = 0 olduğundan, her BLUE ile σ ˆ ilşkisizdir.
= Xβ +, N σ modelinde, paremetre vektörü, (0, I), rank( X N p)= r ( r p< N) β p, β R, σ (0, ) σ olmak üzere, ' X ' istatistiği tam ve yeterli istatsitiktir. a) ˆ β ( X X ) X = normal denklemlerin bir çözümü olmak üzere, bir λ β tahmin edilebilir parametrik fonksiyonun en çok olabilirlik tahmin edicisi λβ ˆ Bu tahmin edici düzgün en küçük varyanslı yansız (uniformly minimum variance unbiased estimator, UMVU) q n Λ Λ tahmin edilebilir bir vektör ( B R için E( B) =Λ β) b) : q p için β olsun. Λ ˆβ istatistiği edicisidir (UMVUE). Not: Küçüklük, simetrik matrislerdeki sıralama bağıntısına göredir. Λ β nın düsgün en küçük varyanslı yansız tahmin B A pozitif tanımlı olduğunda A< B B A pozitif yarıtanımlı olduğunda A B c) σ nin en çok olabilirlik tahmin edicisi '( I PX ) N '( I P ) ˆ X = Nr σ istatistiği (UMVUE). σ nin düsgün en küçük varyanslı yansız tahmin edicisidir
d) ˆβ ile σ ˆ bağımsız e) λ β tahmin edilebilir olduğunda, ( X X λ) λβ ˆ N λβ, σλ ( ' ) λβ ˆλβ σˆ λ ( X ' X ) λ t N r ( ˆ ˆ Nr; α/ ˆ Nr; α/ ˆ ) Pλβ t σ λ ( X ' X ) λ< λβ< λβ+ t σ λ ( X ' X ) λ = α f) σˆ X σ ( Nr) '( I P ) = χnr σ h) Λ : q p, rank( Λ ) = q için Λ β tahmin edilebilir bir vektör olduğunda, ( ˆ ΛβΛβ)( Λ X X Λ) ( ΛβˆΛβ) ' ( ' ) ' / q F σˆ q, Nr ( ˆ )( ) ( ˆ ΛβΛβ ' Λ( X ' X ) Λ' ΛβΛβ) / q p P β : β R, F q, Nr;α α < = σˆ
Örnek 0 0 0 0 0 0 0 0 µ α 3 0 0 0 0 α 4 0 0 0 0 = + 0 0 0 0 0 0 0 0 0 0 0 0 3 4 0 0 0 0 ve N ( 0, σ I ) olmak üzere, c i α i, i= 4 c i j= j τ τ τ3 τ 4 τ lineer bileşimlerinden hangileri tahmin edilebilir ve bunların düzgün en küçük varyanslı yansız tahmin edicileri nedir? Bu soruyu ele almadan önce lineer tahmin edilebilir fonksiyonlar için bir baz elde edelim ve baz fonksiyonlarının düzgün en küçük varyanslı yansız tahmin edicilerini elde edelim. Bu amaçla modeldeki tasarım matrisi X ile gösterilsin ve β = ( µ, α, α, τ, τ, τ3, τ4 ) olsun. Buna göre model, = X β +, N ( 0, σ I ) ve rank( X ) = 5, k = 5 p = 7 n = 7,, olmak üzere k < p Model düşük ranklı 8 4 4 4 4 0 4 0 4 X X= 0 0 0, X = 0 0 0 0 0 0 0 0 0 ve normal denklemler (7 tane denklem), L NM....... 3. 4 O QP 8µ ˆ+ 4αˆ + 4αˆ + τˆ + τˆ + τˆ + τˆ = 3 4.. 4µ ˆ+ 4 αˆ + τˆ + τˆ + τˆ + τˆ =, i=, i 3 4 i. µ ˆ+ αˆ + αˆ + τˆ =, j=,,3,4 j. j
olmak üzere 5 tane lineer bağımsız parametrik fonksiyon (baz fonksiyonları) X X matrisinin satırlarından 5 tanesini seçerek oluşturulabilir, yada satırlarının lineer bileşimi olan lineer bağımsız 5 tane satır vektörü alınabilir. X X in i =, için normal denklemlerin ikinci ve üçüncü denkleminin ( matrisinin ikinci ve üçüncü satırlarının) farkı alınırsa µτ ˆ, ˆ, τˆ ˆ ˆ, τ3, τ 4 terimleri yok olmakta Benzer şekilde j=,,3, 4 için iki denklemin farkı alınırsa µ, α, α terimleri yok olmakta Birinci denklemin de gözönüne alınmasıyla, örneğin,.satırdan : 8µ + 4α + 4α + τ + τ + τ3 + τ4.satır eksi 3. satırdan : 4α 4α 4.satır eksi 5. satırdan : τ τ 4. satır eksi 6.satırdan : τ τ3 4.satır eksi 7. satırdan : τ τ 4 lineer parametrik fonksiyonları bağımsız Bunların düzgün en küçük varyanslı yansız tahmin edicileri, µα ˆ, ˆ, αˆ ˆ ˆ ˆ ˆ, τ, τ, τ3, τ 4 normal denklemlerin herhangibir çözümü olmak üzere, bu çözümlerin µ, α, α, τ, τ, τ3, τ4 ler yerine yazılmasıyla elde edilir. Ancak buna gerek yoktur. Çünkü, X X 8µ ˆ+ 4αˆ + 4αˆ + τˆ + τˆ + τˆ + τˆ = 3 4.. 4αˆ 4αˆ =.. τˆ τˆ =.. τˆ τˆ = 3..3 τˆ τˆ = 4..4 Şimdi sorumuza dönelim. Görüldüğü gibi, ciαi = cα + cα i= lineer bileşimi baz fonksiyonları cinsinden, yani baz fonksiyonlarının lineer bileşimi olarak, 4α 4α nin k, ( k R) katı olarak, cα + cα = k( 4α 4α), k R biçiminde yazılabilir. Buna göre c = c olmalı
4 c i τ i j= 4 ci τi = k τ τ j= k τ τ3 + k3 τ τ4 lineer bileşimi baz fonksiyonları cinsinden, ( ) + ( ) ( ) ( k, k, k3 R) biçiminde yazılabilir. Buna göre τ, τ, τ, τ R için 3 4 cτ + cτ + c3τ3 + c4τ4 = ( k + k + k3) τ kτ kτ3 k3τ4 olmalı Buna göre, c = k + k + k3 c = k c = k c3 = k3 olmalı Bu durumda da c katsayılarının toplamının sıfır olduğuna dikkat ediniz. 4 c i i j= τ tahmin edilebilir olması için Modeli yeniden göz önüne alalım. 4 c i = j= 0olmalı 0 0 0 0 0 0 0 0 µ α 3 0 0 0 0 α 4 0 0 0 0 = + 0 0 0 0 0 0 0 0 0 0 0 0 3 4 0 0 0 0 τ τ τ3 τ 4 = Xβ + rank( X :8 7) = 5 olmak üzere, normal denklemler, X ' Xβ =X'
8 4 4 ˆ 4 4 0 αˆ 4 0 4 0 0 0 0 0 0 0 0 0 τˆ 3 0 0 0 τˆ... αˆ. τˆ =. τˆ..3 4.4 Normal denklemlerin sonsuz tane çözümü var Özel olarak, µ ˆ= 0 τˆ = 4.4 olan çözüm bizim için önemli olsun. Bu durummda, µ ˆ= 0 τˆ = 4.4. +.4 τˆ = ˆ. +.4 τ= ˆ.3 +.4 τ3=.. + 4 ˆ.4 α=. 4 αˆ.. + 4.4 = 4. özel çözümünü kullanarak tahmin edilebilir LPF lerin tahmin değerlerini hesaplayabiliriz. Bu özel çözüm, normal denklemlere aşağıdaki iki satırın eklenmesiyle de elde edilebilir. µ α α 0 0 0 0 0 0 τ 0 0 0 0 0 =.4 τ τ3 τ 4
Özel çözüm, denklem sisteminin çözümüdür. Düşük ranklı olan bir 8 4 4.. 4 4 0 ˆ. 4 0 4 αˆ. 0 0 0αˆ. 0 0 0 τˆ =. 0 0 0 τˆ.3 0 0 0 τˆ 3.4 0 0 0 0 0 0 τ ˆ4 0 0 0 0 0 0 0.4 = Xβ +, rank( X : N p) = k< p lineer modelinde β tahmin edilemez olup, X ' Xβ =X' normal denklemlerinin katsayılar matrisine, X ' X rank( ) p A = ( p r) p olacak şekilde satırlar ve sağ tarafa istenen değerler eklemekle, normal denklemlerin prametreler ile ilgili çözümleri üzerine yan koşullar koymakla, bir özel çözüm oluşturulabilir. Parametreler cinsinden bu özel çözümün bir anlamı olmayabilir, olabilir de. Gösterim: = X β + ( ) 0 (, X, I) E =, Cov( ) σ I βσ üçlüsü ile gösterilmektedir. = gibi bir lineer model kısaca vektörü, açıklayıcı değişken ile ilgili gözlemleri; Xβ vektörü tahmin uzayını ( ile ilgili ˆ Xβˆ = gibi tahminleri bulunduran uzayı); σ I matrisi, sıfır ortalamalı olan hata vektörünün kovaryans matrisini temsil etmektedir. N(0, σ I), N( Xβσ, I) biçiminde durumunda, model ( ) gösterilsin ve tam ranklı olup olmadığı ayrıca belirtilsin. V : n nsingüler olmayan simetrik bir matris ve V Q ' Q ( Q ', Q ' X, ) = olmak üzere, β σ V modeli ile (, Xβσ, I) modeli istatistiksel sonuç çıkarım açısından eşdeğerdir.
eniden Parametrelendirme rank( X ) rank( W ) r = = yani X N p = WN q N p N q olsun. Bu durumda, W= XT X = WS olacak şekilde T : p q ve : S q p matrisleri var βσ (, Xβσ, I) (, WS, I ) olmak üzere, γ= Sβ parametre dönüşümü sonucu ortaya çıkan Wγσ modeline yeniden parametrelenmiş model denir. Her iki modelde, PX = ve '( I P ) '( ) ˆ X I PW = = Nr Nr σ eniden parametrelenmiş olan (, Wγ, σ I) modelinde edilebilir ise tahmin edilebilirdir. λ ' Sβ lineer parametrik fonksiyonu (, X, I) n λγ ' tah min edilebilir l R için E( l ' ) = λγ ' = λ ' Sβ (,, I) P W λγ ' tahmin βσ modelinde (, W, I) γσ modelinde normal denklemler W ' Wγ= ˆ W ' ve ˆγ bir en küçük kareler çözümü olsun. O zaman ˆ modelinde bir en küçük kareler çözümüdür. Gerçekten, β= Tγˆ, (, Xβσ, I) ˆ X ' Xβ= X ' XTγˆ = X ' Wγˆ = X ' P = X ' P = X ' X ( X ' X ) X= X ' W X
Örnek: (, Xβσ, I) modeli, 0 0 β n 0 n = β + 0 β3 0 0 m m ve (, Wγσ, I) modeli, 0 0 n 0 γ n = + 0 γ 0 m 0 m olsun. 0 0 0 0 0 0 = 0 0 0 0 0 0 0 0 W= XT, T = 0 0
0 0 0 0 0 0 0 = 0 0 0 0 0 0 0 olmak üzere, X = WS, n 0 ˆ γ. 0 m = ˆ γ. 0 S = 0 olsun. ˆ γ. ˆ γ =. βˆ = Tγˆ = 0 0.. vektörü,. +. =.. X ' Xβ= ˆ X ' n + m n m ˆ β.. n n 0 ˆ β =. m 0 m ˆ β. 3 normal denklemlerinin bir çözümüdür.
Örnek: 0 0 (, Xβ 0 0, I) n n α = n n σ α n 0 0 3 n3 α 3 0 γ (, Wγ 0 γ, σ I) n n = n n n 0 0 γ 3 3 modellerinde N= n+ n+ n3, p= 4, q= 3 ve X N p = WN q olmak üzere, W = XT, T 0 0 0 0 = 0 0 0 0 0 X = WS, 0 0 S = 0 0 0 0 Kısıtlamalı Parametre Uzayı = β+, ( ) = 0, ( ) = σ, başka bir ifade ile X E Cov I M = (, Xβ, σ I) p p lineer modelinde katsayı vektörü β R olmak üzere, β vektörü R in p bir altkümesinde olmak zorunda, yani R in bir altkümesine kısıtlanmış olabilir. β vektörü p { β Hβ h HH h h} R Θ 0 = : = ( = ) altuzayına kısıtlansın. Lineer parametrik kısıtlama denen böyle bir kısıtlama ile birlikte, = Xβ+, E( ) = 0, Cov( ) = σ I, Hβ= h ( HH h= h)
durumundaki modele, kısıtlı model denir. Bu modeli M kısıtlı ile gösterelim. M : = Xβ+, E( ) = 0, Cov( ) = σ I, Hβ= h ( HH h= h) kısıtlı veya M kısıtlı : X σ I 0 = β+ v, v=, E( v) = 0, Cov( v) = h H 0 0 0 X σ I 0 M kısıtlı =, β, h H 0 0 olarak ifade edilebilir. Kısıtlı modelde tahmin edilebilir LPF lar ( λβ ' lar) nelerdir? ' X X ' X X ' H X ' X X ' H λβ ' tahmin edilebilir λ = [ X ' H '] λ= λ H H ' X H ' H H ' X H ' H olmak üzere: * M modelinde tahmin edilebilir bir LPF M kısıtlı modelinde de tahmin edilebilirdir. * [ H '] [ X '], [ X ' H '] [ X '] edilebilir LPF lar X =, rank( ) = rank( X ) H M ve M modelde aynı kısıtlı olduğunda, tahmin X * r= rank( X ) < rank( ) H LPF lar artmakta olduğunda, kısıtlanmış modeldeki tahmin edilebilir X * rank( ) = p H olduğunda her LPF M kısıtlı modelde tahmin edilebilirdir. *[ H '] [ X '] = { 0 } ve rank( X ) + rank( H ) = r+ q= p olduğunda her LPF N p q p tahmin edilebilir olmak üzere, bu tür kısıtlamalara çok sık başvurulmakta
X tasarım matrisinin satırlarına, yeni satırlar eklenmektedir (eklenen satırlar öncekilerden lineer bağımsız ve kendi aralarında da lineer bağımsız). X σ I 0 M kısıtlı =, β, h H 0 0 olmak üzere, tahmin edilebilir LPF ların en iyi lineer yansız tahmin edicileri nedir? Bu derste singüler kovaryans matrisli modelleri ele almayacağımızdan bu sorunun cevabını, modelin başka bir çerçevesinde araştıralım. M kısıtlı : = Xβ+, E( ) = 0, Cov( ) = σ I, Hβ = h ( HH h = h) modelinde, kısıtı (kısıt denklemini) çözelim. β vektörü, Hβ= h eşitlik kısıtını sağlaması için p β= H h+ ( IH H ) θ, θ R herhangi bir vektör biçiminde olmalı. Böyle bir β modelde yerine yazıldığında, = Xβ+ = XH h+ X ( I H H ) θ+, E( ) = 0, Cov( ) = σ I elde edilir. XH h bilinen bir vector olmak üzere, XH h= X ( I H H ) θ+, E( ) = 0, Cov( ) = σ I gibi bir modele ulaşılır. Bu, θ parametresine göre kısıtı olmayan bir modeldir. M kısıtlı = ( XH h, X ( I H H ) θ, σ I) H yerine H '( HH ') genelleştirilmiş inversinin yazılmasıyla model, ve H '( HH ') H PH ( XH '( HH ') h, X ( I H '( HH ') H ) θ, σ I) = olmak üzere, ' M kısıtlı ( '( ') XH HH h, X ( I PH ' ) θ, σ I) = biçiminde ifade edilmiş olur. Bu modelde, nın BLU tahmin edicisi, Xβ = XH h+ X ( I H H ) θ Xβ = XH h+ X ( I P ) θ = XH h+ P ( XH '( HH ') h) kısıtlı H ' kısıtlı X ( IP H ')
olup, ( ) kısıtlı X ( I P H ') X ( I P H ') Cov( Xβ ) = Cov P ( ) = σ P (, Xβ, σ I) M = modelinde Xβ nın BLU tahmin edicisi, Xβ= P ( ) X olup, Cov( X β) = σ PX ve Cov( X β ) = σ kısıtlı PX ( IP ') σ P ( ) H X= Cov Xβ Teorem : [ A ] [ B ] P P (D.Sengupta and S.R.Jammalamadaka, n a n b A B (003) Linear Models, sayfa 47) λ ' β tahmin edilebilir bir LPF olmak üzere, bunun M = (, Xβ, σ I) modelindeki BLU tahmin edicisi λβ ' = λβ ' ˆ ile, M kısıtlı : = Xβ+, E( ) = 0, Cov( ) = σ I, Hβ = h ( HH h = h) M kısıtlı = ( XH h, X ( I H H ) θ, σ I) kısıtlı modeldeki BLU tahmin edicisi λβ ' farklı ve kısıtlı Varλβ ' Varλβ ' ˆ (, X, I) ( ) ( ) kısıtlı Nuisance Parametreler β σ modelinde, β parametre vöktöründeki bileşenlerden sadece bir kısmı için istatistiksel sonuç çıkarım yapmak isteyebiliriz. Xβ= Xβ+ X β, X : N p, X : N p, X : N p p+ p = p, β : p, β : p olmak üzere, β vektöründeki parametreler ile ilgilendiğimizde, β vektöründeki parametrelere nuisance parametreler denir. Nuisance
sözcüğünün sözlük anlamı sıkıntı veren dir. β nin modelde bulunması, yani (, Xβ, σ I) gibi bir model yerine (, Xβ X β, σ I) kullanılması sonuç çıkarım açısından daha uygun olabilir. (, Xβ X β, σ I) çıkarımı (( I PX ), ( I PX ) Xβ, σ ( I PX )) + modelinin + modelinde sadece β ile ilgilendiğimizde, sonuç modelinde (singüler model) yapabiliriz. Buna göre, λ ' β gibi bir LPF un tahmin edilebilir olması için ' ' gerek ve yeter şart λ X( I PX ) = R( X( I PX )) olması Örnek: 0 0 0 0 0 0 0 0 µ α 3 0 0 0 0 α 4 0 0 0 0 = + 0 0 0 0 0 0 0 0 0 0 0 0 3 4 0 0 0 0 τ τ τ3 τ 4, N ( 0, σ I ) modelinde sadece α, α ile ilgilendiğimizde, β τ α =, β= τ α τ 3 τ 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 = 0 = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0, X, X >> X=[ ones(4,) zeros(4,);zeros(4,) ones(4,)] X = 0 0 0
0 0 0 0 0 >> X=[ones(8,) kron(ones(,),eye(4))] X = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 >> I_PX=eye(8)-X*pinv(X) 0.5000 0.0000 0.0000 0-0.5000-0.0000 0 0.0000 0.0000 0.5000 0.0000 0.0000-0.0000-0.5000 0.0000 0.0000 0.0000-0.0000 0.5000-0.0000 0.0000 0.0000-0.5000-0.0000 0.0000-0.0000 0.0000 0.5000 0.0000 0.0000 0-0.5000-0.5000 0.0000 0.0000 0 0.5000-0.0000 0 0.0000 0.0000-0.5000 0.0000 0.0000-0.0000 0.5000 0.0000 0.0000 0.0000-0.0000-0.5000-0.0000 0.0000 0.0000 0.5000-0.0000 0.0000-0.0000 0.0000-0.5000 0.0000 0.0000 0 0.5000 >> X'*(I_PX) 0.5000 0.5000 0.5000 0.5000-0.5000-0.5000-0.5000-0.5000-0.5000-0.5000-0.5000-0.5000 0.5000 0.5000 0.5000 0.5000 α β= α ile ilgindiğimizde, tahmin edilebilir bir LPF, α ' = [ ] 0.5 0.5 = 0.5 α 0.5 α α λ β >> X'*(eye(8)-X*pinv(X)) >> X'*(eye(8)-X*pinv(X)) ans = 0 0 0 0 0 0 0 0 0.7500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500-0.500 0.7500-0.500-0.500-0.500 0.7500
τ β= τ τ 3 τ 4 ile ilgilendiğimizde, tahmin edilebilir bağımsız LPF ler τ τ 3 [ 0 0.75 0.5 0.5 0.5] [ 0 0.5 0.75 0.5 0.5] τ τ 4 τ τ τ 3 [ 0 0.5 0.5 0.75 0.5] Bunların toplamı olan LPF [ ] 4 τ 4 τ τ τ 3 τ 4 τ 0 0.5 0.5 0.5 0.75 τ = 0.5τ + 0.5τ + 0.5τ 0.75τ τ 3 τ 3 4