7. Ders Genel Lineer Modeller Singüler Modeller, Yanlış veya Bilinmeyen Kovaryanslar, Đlişkili Hatalar Y = X β + ε Lineer Modeli pekçok özel hallere sahiptir. Bunlar, ε nun dağılımına, Cov( ε ) kovaryans matrisine, X in yapısına ve rankına bağlıdır. rank( X ) = p olduğunda modele tam sütun ranklı, veya kısaca n p tam ranklı model denir. Genel Lineer Modellerde E( ε n 1) = 0, Cov( ε ) σ I V olmak üzere Cov( ε ) n 1 = σ V biçimindedir. Hipotez testi modellerinde ε σ = veya bilinen pozitif tanımlı bir matris veya εn 1 N(0, σ V ) dır. ( Y, Xn p β, σ V ) β = ( ) 1 n 1 N(0, I) Genel Lineer Modelinde rank(x n p ) = p olsun. ˆ ' 1 ' 1 X V X X V Y tahmin edicisi β nın En Küçük Kovaryans Matrisli Lineer Yansız Tahmin Edicisidir (BLUE). ( Y, N ( X, )) n p β σ V Genel Lineer Hipotez Testi Modelinde, Y = X β + ε, ε N ( 0, σ V ) olmak üzere, V bilinen pozitif tanımlı bir matris ve rank(x n p ) = p olsun. ˆ β = ( ) 1 1 1 X V X X V Y ( ) ˆ σ = = n p n p + 1 1 1 1 1 Z I AA Z Y V V X X V X X V Y tahmin edicileri sırasıyla β ve σ için düzgün minimum varyans yansız (UMVU) tahmin edicilerdir. Bunlara Aitken tahmin edicileri denir. Ayrıca, 1 1 β N β σ X V X ve ˆ (, ( ) ) ( n p) ˆ σ χ σ ( n p)
dağılımlıdır (4.Ders). Yine 4.Ders te belirtildiği gibi Y = X β + ε, ε N ( 0, Σ ), Σ pozitif tanımlı matris, rank(x n p ) = p modelinde β parametre vektörünün en çok olabilirlik tahmin edicisini bulmaya kalkıştığımızda, ɶ β = ( Σ ) Σ 1 1 1 X X X Y biçiminde bir ifade ortaya çıkmaktadır. Σ bilinmediğinden β ɶ bir tahmin edici olarak kullanılamaz. Diğer taraftan β nın en küçük kareler tahmin edicisi, ˆ β = ( X X ) 1 X Y dır. Bu tahmin ediciye β nın alışılmış en küçük kareler (ordinary least squares, OLS) tahmni edicisi denir. Doğal olarak ˆβ ɶ β olduğunda OLS tahmin edicisi UMVU tahmin edicisi olmayacaktır. Acaba hangi şartlarda OLS tahmin edicisi UMVU tahmin edicisi olmaktadır? Teorem Y = X β + ε, ε N ( 0, Σ ) modelinde en küçük kareler tahmni 1 edicisi ( X X ) X Y nin β için UMVU tahmin edicisi olması için gerek ve yeter şart, Σ X = XF olacak şekilde singüler olmayan bir F: p p matrisinin var olmasıdır. Đspat ΣX = XF olacak şekilde singüler olmayan F: p p matrisi var olsun. O zaman, 1 1 1 1 1 1 ( X X ) X = ( X X ) F ( F ) X = ( F ) ( X X ) ( F ) X = 1 1 ( X Σ X ) X Σ 1 olduğundan,
1 1 1 1 ( X X ) X Y = ( X Σ X ) X Σ Y yani, alışılmış en küçük kareler tahmin edicisi ile Aitken tahmin edicisi aynıdır. Tersine, olması için, 1 1 1 1 ( X X ) X = ( X Σ X ) X Σ 1 1 1 ( X X ) X Σ = ( X Σ X ) X 1 1 X Σ = ( X X )( X Σ X ) X ΣX = X X Σ 1 1 ( X ) X X = XF Σ 1 1, p p olmalıdır, burada F = ( X X ) X X matristir. tipinde singüler olamayan bir Sonuç Y = X β + ε ε N, ( 0, Σ ), X = 1, X,, X p 1 ρ ρ ρ 1 ρ 1 n n σ (1 ρ) I σ ρj σ Σ = + =, < ρ < 1 n 1 ρ ρ 1 modelinde, biçiminde ise en küçük kareler tahmin edicisi UMVU tahmni edicisidir. Singüler Modeller V bilinen bir matris olmak üzere ( Y, Xn p β, σ V ) ( X ) n p β σ modelinde rank ( Vn n ) n ( Y, N, V ) yada < olduğunda modele singüler varyans-kovaryans matrisli model veya kısaca singüler model denir.
Singüler Modellerle nerelerde karşılaşırız? *Örneğin 4.Derste ele aldığımız kısıtlı modelde: M = ( Y, Xβ, σ I) p 1 lineer modelinde katsayı vektörü β R p 1 { β Hβ h HH h h} R Θ 0 = : = ( = ) altuzayına kısıtlansın. Lineer parametrik kısıtlama denen böyle bir kısıtlama ile birlikte, Y= Xβ+ ε, E( ε) = 0, Cov( ε) = σ I, Hβ= h ( HH h= h) durumundaki modele, kısıtlı model denir. Bu model veya M kısıtlı : Y X ε σ I 0 = β+ v, v=, E( v) = 0, Cov( v) = h H 0 0 0 Y X I 0 M kısıtlı =,, h H β σ 0 0 olarak ifade edilebilir. Bu modelde, I 0 V=, rank( Vm m) < m 0 0 olmak üzere, bu bir singüler modeldir. * Y gözlem vektöründeki bazı gözlemlerin varyansları çok küçük, hatta 0 0 0 sıfır olabilir. O zaman I Y, Xβ, σ karşımıza çıkacaktır. gibi bir singüler model * Y gözlem vektöründe bazı gözlemlerin bir lineer bileşiminin belli bir değer alması zorunluluğu olabilir. O zaman Y nin kovaryans matrisi, yani modeldeki V matrisi singüler olacaktır. Örneğin Y deki değerler birkaç tane (çok sayıda) orandan birinin gözlenmesi olarak ortaya çıkıyor olabilir.
* Y deki gözlem değerlei doğrudan ölçülmüş olmayabilir. Başka, ölçümlerden türemiş olabilirler. Y nin kovaryans matrisi singüler olabilir. *( Y, X1β1 X β, σ I) + modelinde sadece β 1 ile ilgilendiğimizde, sonuç çıkarımı bir singüler model olan (( I PX ) Y, ( I PX ) X1β1, σ ( I PX )) modelinde yapabiliriz. * Lineer model kullanarak sonuç çıkarımda bulunacağımız kitle sonlu sayıda elemana sahip olduğunda singular model ile karşılaşılmaktadır (ilerideki örneklerde???). Singüler Modelin Tutarlı Olup Olmaması Teorem: U rasgele vektörünün beklenen değeri E( U ) ve kovaryans matrisi Cov( U ) olmak üzere, P U Cov( U ) [ Cov( U )] = 1 dır. Đspat: olsun. ( ) Z= ( I P[ Cov( U )])( U E( U )) { ( ) } ( [ Cov( U )]) ( ) ( ) ( [ Cov U ])( ) E Z = E I P U E( U ) = I P E U Cov( U ) = 0 Cov( Z) = Cov( ( I P[ Cov( U )])( U E( U ))) + = ( I P[ Cov( U )])( Cov( U )) Cov( U E( U ))( I P[ Cov( U )])' = ( I P[ Cov( U )]) Cov( U )( I P[ Cov( U )])' = 0 0 olmak üzere, ( ) E Z = E( Z ' Z) = E( tr( ZZ ')) = tre( ZZ ') ( ( ) E( Z) E( Z ')) = tr Cov Z + = 0
dır. Buradan, ( ) = 0 ( = ) = ( ) ( ) E Z P Z 0 1 P Z = 0 = 1 P Z= 0 = 1 olmak üzere, ( I P[ Cov U ])( U E U) dır. modelinde, ( ) ( ) = 0 U E ( U ) = P U E ( U ) [ Cov( U )]( ) [ ] U E( U ) Cov( U ) V bilinen bir matris olmak üzere ( Y, Xn p β, σ V ) olmak üzere, Y = Xβ + ε, E( ε ) = 0, Cov( ε ) = σ V [ V ] P( ε ) = 1 singüler P ( Y [ X V ] ) = 1 olmalıdır. Y gözlem vektörü [ X V ] matrisinin sütun vektörlerinin gerdiği [ X V ] =C ([ X V ]) uzayında bulunmalıdır. Bu durumda gözlemler ile model tutarlıdır. Singüler Modellerde, modelin tutarlılığı aşağıdaki ifadelerden ortaya çıkarılabilir. ( [ X V ] ) = 1 P Y P ( ( I P [ V ] ) Y ( I P [ V ] ) X ) = 1 P ( ( I P[ X] ) Y ( I P[ X] ) V ) = 1 V matrisi singüler olmadığında yukarıdaki ifadeler kendiliğinden sağlanmaktadır. V matrisi singüler olmadığında bu ifadelerden her hangi birinin sağlanması durumunda model tutarlıdır.
Örnek: Y11 1 1 0 ε11 ε11 Y 1 1 1 0 ε 1 ε 1 α1 Y 13 1 1 0 ε ε α, ε, Y = 1 1 0 1 + ε = 31 ε 31 α 3 Y 1 0 1 ε 3 ε 3 Y 1 0 1 ε ε 3 33 33 I3 3 0 E( ε) = 0, Cov( ε) = σ 0 δi3 3 modelinde, olsun. I3 3 0 V= 0 δi3 3 Y11.1 Y 1. Y 13.3 Y= Y = 1 4.0 Y 4.1 Y 3 3.9 [ X ] = 6 1 6 1 V [1 I 1 V ] olmak üzere, gözlemler >> X=[ones(6,1) kron(eye(,),ones(3,1))] X = 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 >> syms delta >> V=[ eye(3,3) zeros(3,3);zeros(3,3) delta*eye(3,3)] V = [ 1, 0, 0, 0, 0, 0] [ 0, 1, 0, 0, 0, 0] [ 0, 0, 1, 0, 0, 0] [ 0, 0, 0, delta, 0, 0] [ 0, 0, 0, 0, delta, 0] [ 0, 0, 0, 0, 0, delta] >> delta=0.01; >> V=[ eye(3,3) zeros(3,3);zeros(3,3) 0.01*eye(3,3)] V = 1.0000 0 0 0 0 0 0 1.0000 0 0 0 0 0 0 1.0000 0 0 0 0 0 0 0.0100 0 0 0 0 0 0 0.0100 0 0 0 0 0 0 0.0100
>> Y Y =.1000.000.3000 4.0000 4.1000 3.9000 >> [X V]*pinv([X V])*Y ans =.1000.000.3000 4.0000 4.1000 3.9000 >> delta=0; >> V=[ eye(3,3) zeros(3,3);zeros(3,3) 0*eye(3,3)] V = 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 >> [X V]*pinv([X V])*Y ans =.1000.000.3000 4.0000 4.0000 4.0000 % delta=0 olsduğunda Y [ X V ] dır. Model tutarlı değildir. Singüler Modellerde Tahmin Edilebilme