4. Ders tkilik Küçük varyasl olmak, tahmi edicileri vazgeçilmez bir özelli¼gidir. Bir tahmi edicii, yal veya yas z, küçük varyasl olmas isteir. Parametrei kedisi () veya bir foksiyou (g()) ile ilgili tahmi ediciler aras da e küçük varyasl ola bir tahmi edici buluabilir mi? küçük varyasl ola bu tahmi edicii varyas edir? Baz kitle da¼g l mlar da (regüler ailelerde) yas z tahmi edicileri varyaslar içi bir alt s r Cramer-Rao şitsizli¼gi ile verilmektedir. Regüler aile kavram ile Cramer-Rao şitsizli¼gi i bu derste ele alaca¼g z. küçük varyasl yas z tahmi ediciyi bulma yötemii öümüzdeki derste görece¼giz. Ta m: F = ff(; ) : Rg olas l k yo¼guluk foksiyolar bir ailesi olmak üzere; ) f i = fx R : f(x) > 0g destek kümesi ya ba¼gl de¼gil, ) parametre kümesi R de bir aç k aral k, 3) Her içi f foksiyou destek kümesii heme heme her oktas da ya göre türevleebilir, 4) I() = l f (X; ) Fisher iformasyou s f rda büyük ve solu, yai 0 < I() < ; R 5) f(x; )dx = R f(x; )dx (kesikli da¼g l mlarda R yerie P gelir) oldu¼guda F ailesie regüler aile deir. Ta m: içi X ; X ; :::; X ler regüler bir F = ff(; ) : Rg ailesii elema ola f X (; ) olas l k (yo¼guluk) foksiyoua sahip da¼g l mda bir öreklem olmak üzere, S f ( X ; X ; :::; X ; ) = l( Y rasgele de¼gişkeie skor foksiyou, f X (X i ; )) = X I () = V ar (S f ( X ; X ; :::; X ; )) l f X(X i ; )
de¼gerie öreklemdeki Fisher iformasyou deir. Parametrei vektör, yai R r olmas durumuda, S f ( X ; X ; :::; X ; ) = l( Y f X (X i ; )) = 6 4 Q l( Q l( Q r l( f X (X i ; )) f X (X i ; )). f X (X i ; )) 3 7 5 rasgele vektörüe skor foksiyou ve I () = Cov (S f ( X ; X ; :::; X ; )) matrisie Fisher iformasyo matrisi deir. F = ff(; ) : Rg regüler bir aile ve i = ; ; :::; olmak üzere, l f X (X i ; ) = f X (X i ; ) f X (X i ; ) = f X (x; ) f X(x; )) f X (x; ) dx ( = f X (x; )dx = () = 0 d r. Bua göre bir rasgele de¼gişke ola S f ( X ; X ; :::; X ; ) skor foksiyouu beklee de¼geri, ve varyas, (S f ( X ; X ; :::; X ; )) = X! l f X (X i ; ) = 0
3! X V ar(s f ( X ; X ; :::; X ; )) = V ar l f X(X i ; ) X = V ar l f X(X i ; ) = = I () = I() d r. Öreklemdeki Fisher iformasyou içi I () = I () ve I () = I () d r, yai birimlik öreklemdeki Fisher iformasyou bir birimlik öreklemdekii kat d r. ¼ger f X foksiyou, ya göre iki kez türevleebiliyorsa, d r. Gerçekte: l f X (X; ) = l f X (X; ) ( l f X (X; ) = 0 l f X(x; ))f X (x; )dx = 0 eşitli¼gii her iki taraf ya göre türevi al rsa, l f X (x; ) f X (x; )dx + l f X(x; )) f X(x; )dx = 0 olmak üzere, elde edilir. l f X (X; ) + ( l f X (x; ) X l f X(x; ) f X (x; )dx = 0 + l f X (x; ) = 0 l f X (X; ) = l f X (X; ) l f X(X i ; )
4 Cramer-Rao şitsizli¼gi içi X ; X ; :::; X ler regüler bir F = ff(; ) : Rg ailesii elema ola f X (; ) olas l k (yo¼guluk) foksiyoua sahip da¼g l mda bir öreklem ve T =T (X ; X ; :::; X ) ikici mometi mevcut ola bir istatistik olsu. S f = S f ( X ; X ; :::; X ; ) skor foksiyou olmak üzere, T ile S f i kovaryas ve Cov (T; S f ) = (T S f ) (T ) (S f ) = (T S f ) (T S f ) = T (x ; x ; :::; x ) S f (x ; x ; :::; x ; ) f(x ; x ; :::; x ; ) dx dx :::dx X = T (x ; x ; :::; x ) l f X(x ; x ; :::; x ; ) f(x ; x ; :::; x ; ) dx dx :::dx X = T (x ; x ; :::; x ) f(x ; x ; :::; x ; ) dx dx :::dx = (T ) X olup, Cov (T; S f ) = (T ) d r. Cauchy-Schwartz eşitsizli¼gi kulla larak, (Cov(T; S f )) V ar (T ) V ar(s f ) (T ) V ar (T ) I() V ar (T ) (T ) I() elde edilir. Bu eşitsizli¼ge Cramer-Rao şitsizli¼gi deir.
içi (T ) = g() olsu. Başka bir ifade ile T istatisti¼gi g() içi yas z bir tahmi edici olsu. Cramer-Rao şitsizli¼gi g() yas z tahmi edicilerii varyaslar içi bir alt s r vermektedir. (T ) = durumuda Cramer-Rao şitsizli¼gi, 5 d r. V ar (T ) I()! I() = l f (X; ) = l f X (X; ) olmak üzere, Cramer-Rao şitsizli¼gi, V ar (T ) V ar (T ) l f (X; ) l f X (X; ) biçimide yaz labilir. Cramer-Rao şitsizli¼gi, yas z bir T tahmi edicisii varyas içi bir alt s r vermektedir. Örek: X ; X ; :::; X ; Poisso(); (0; ) da¼g l m da bir öreklem olsu. Öceki derste, X = X X i ve S = X X i X istatistiklerii yas z tahmi edicileri ve V ar(x) V ar(s ) oldu¼guu gördük. X tahmi edicisi, yas z tahmi ediciler aras da e küçük varyasl m d r, başka bir ifade ile düzgü e küçük varyasl yas z tahmi edici (UMVU) midir? V ar( X ) = = olmak üzere, e l X X! = ( + X l() l( X!)) = + X = X
6 ve e I() = l X X = X! = (X) = olup, V ar( X ) = I() d r. X i varyas Rao-Cramer eşitsizli¼gideki alt s ra eşit oldu¼guda, X tahmi edicisi bütü yas z tahmi ediciler aras da e küçük varyasl d r, yai UMVU dir. Örek: X ; X ; :::; X ler U(0; ) ; (0; ) düzgü da¼g l m da bir öreklem olsu. X () istatisti¼gi tam ve yeterli bir istatistik omak üzere, U = + X () istatisti¼gi içi yas z bir tahmi edicidir. Bu tahmi edicii varyas, V ar(u) = V ar( + X ()) = ( + ) V ar(x () ) = ( + ) [(X()) (X () ) ] = ( + ) [ 0 t t dt ( 0 t t dt) ] = ( + ) [ + ( + ) ] + = ( + ) ( + ) = ( + ) d r. Cramer-Rao şitsizli¼gideki alt s r = olmak üzere, yas z I() tahmi edicii varyas alt s rda daha küçüktür. Cramer-Rao şitsizli¼g sa¼glamamaktad r. Buu sebebi U(0; ) düzgü da¼g l m destek kümesii parametreye ba¼gl olmas, yai regülerlik şartlar sa¼glamamas d r.
tkilik Ta m: T ve T, parametresii yas z iki tahmi edicisi olmak üzere, her içi V ar (T ) V ar (T ) oluyorsa, T tahmi edicisie T de varyas alam da daha etkidir deir. Regülerlik şartlar sa¼glad ¼g da¼g l mlarda, parametresii yas z tahmi edicileri içi Cramer-Rao şitsizli¼gi V ar (T ) I() d r. Ta m: T yas z tahmi edicii varyas Rao-Cramer eşitsizli¼gideki alt s ra eşit, yai V ar (T ) = I() oluyorsa, bu tahmi ediciye etki 0 dir deir. Örek: X ; X ; :::; X, N(; ); R da¼g l m da bir öreklem olmak üzere, X, içi yas z bir tahmi edici olup, 7 V ar(x ) = dir. X i leri olas l k yo¼guluk foksiyou, f(x; ) = p e (x ) ; x R olup, dir. Burada, l (f(x; )) = X I() = l f(x; ) = (X ) = V ar(x) =
8 oldu¼guda, Rao-Cramer alt s r, I() = olarak hesapla r. Dolay s ile, V ar(x ) = = I() oldu¼guda, X tahmi edicisi içi etkidir. X tahmi edicisi içi e küçük varyasl yas z bir tahmi edicidir. Regülerlik şartlar sa¼glaa baz da¼g l mlarda, e küçük varyasl yas z tahmi edici etki olmayabilir, yai bu tahmi edicii varyas Rao-Cramer eşitsizli¼gideki alt s rda büyük kalabilir. Örek: X ; X ; :::; X, N(; ); R da¼g l m da bir öreklem olsu. g() = de¼geri tahmi edilmek istesi. Tahmi edici olarak X düşüülebilir. (X ) = V ar(x) + [(X)] = + olmak üzere, X tahmi edicisi içi yas z de¼gildir. X tahmi edicisi g() = içi yas zd r ve V ar X = V ar X 4 = + d r. Beklee de¼geri ola, yai içi yas z ola tahmi ediciler içi Cramer-Rao şitsizli¼gideki alt s r, olmak üzere, V ar X = d d g() I() + 4 = () > 4 = 4 = Rao-Cramer alt s r olup, bu yas z tahmi edicii varyas Rao-Cramer alt s r da daha büyüktür. Bu tahmi edici etki de¼gildir. içi etki bir tahmi edici var m d r? Bu soruu cevab soraki derse b rakal m.
9 Asimptotik tkilik Ta m: Bir T (X ; X ; :::; X ) tahmi edicisi içi, V ar (T (X ; X ; :::; X )) lim! [ (T (X ;X ;:::;X ))] l (f(x;)) = oluyorsa bu tahmi ediciye asimptotik etki tahmi edici deir. (T ) = g() olmak üzere, T (X ; X ; :::; X ) tahmi edicisi içi lim! V ar(t ) [ g()] I() oluyorsa T tahmi edicisi asimptotik etki tahmi edicidir. Örek: Yukar da verile örekte, N(; ); R da¼g l m da, X tahmi edicisi g() = içi yas z ve V ar X > Rao-Cramer alt s r oldu¼guda, X = tahmi edicisi etki bir tahmi edici de¼gildir. Acak, V ar (T (X ; X ; :::; X )) lim! olmak üzere, X [ (T (X ;X ;:::;X ))] l (f(x;)) V ar(t ) = lim! [ g()] I() = lim! + 4 4 tahmi edicisi içi asimptotik etkidir. = Örek: çok olabilirlik tahmi edicileri asimptotik olarak etkidirler. Bir parametresii e çok olabilirlik tahmi edicisi ^ = ( ^ X ; X ; :::; X ) olmak üzere, d r. lim! V ar(^ ) I() =