Nokta Tahmin Edicilerin Özellikleri-2. örneklem olsun. 2. θ için başka bir yansız tahmin edici T ve E(T) = θ olmak üzere

Transkript

1 Nokta Tahmi Edicileri Özellikleri-2 Taım. X, X 2,, X olasılık yoğuluk foksiyou f(x, θ) bir kitlede çekile öreklem olsu.. E(T ) θ 2. θ içi başka bir yasız tahmi edici T ve E(T) θ olmak üzere Var(T ) Var(T) Eşitsizliği θ ε Θ içi sağlaıyorsa( buradaki Θ parametre kümesidir, Θ öreği Beroulli dağılımı içi, Θ [0, ]). T tahmi edicisi θ içi düzgü, e küçük varyaslı, yasız tahmi edicidir.(umvue) Rao Cramer Alt Sıırı f(x; θ) θ ya göre iki kez türevleebilir olsu. iki kez türevleebilir olsu. f(x; θ)dx Her iki tarafı θ ya göre türevi alıırsa f(x; θ)dx θ ya göre d dθ f(x; θ)dx d dθ () 0 d f(x; θ)dx dθ 0 d dθ f(x; θ) f(x; θ) f(x; θ) dx 0 d lf(x; θ)f(x; θ)dx dθ 0 ( ) Not. E(g(X)) g(x) f(x)dx E ( d lf(x; θ)) E(S(X; θ)) 0 dθ S(X; θ) d lf(x; θ) ifadesie Skor foksiyou deir. dθ Doç. Dr. Vedat SAĞLAM Sayfa

2 2 ( ) ifadesii 2.türevii alırsak d2 lf(x; θ)f(x; θ)dx dθ2 + d dθ lf(x; θ) d dθ f(x; θ) f(x; θ) f(x; θ) dx 0 d2 dθ 2 lf(x; θ)f(x; θ)dx + [ d 2 dθ lf(x; θ)] f(x; θ)dx 0 E [ d2 dθ 2 lf(x; θ)] + E[S2 (X; θ) ] 0 Foksiyoua Fisher bilgisi deir. I (θ) E[S 2 (X; θ)] I (θ) E [ d2 lf(x; θ)] dθ2 olduğuda E[S(X; θ)] 0 I (θ) Var[S(X; θ)] E[S 2 (X; θ)] [E[S(X; θ)] ] Not. X, X 2,, X f(x; θ) da alımış ise I (θ) I(θ) olur. Teorem(R-C). X, X 2,, X f(x; θ) yoğuluk foksiyoua sahip tesadüfi bir öreklem olsu. T(X ) de k(θ)( θ ıfoksiyou) içi yasız bir tahmi edicisi olsu. 0 2 İspat. E(T(X )) k(θ) V(T(X )) [dk(θ) dθ ]2 I (θ) Doç. Dr. Vedat SAĞLAM Sayfa 2

3 3 E (T(X )) T(x)L(θ; x)dx dx 2 dx k(θ) R X R X 2 R X Her iki tarafı θ ya göre türevii alalım T(x) L(θ;x) R X R X 2 R X (θ). L(θ;x) L(θ;x) dx k (θ) T(x) [ lf(x i;θ) i ] (θ) R X R X 2 R X E[T(X) Cauchy Shwartz Eşitsizliği: Skor Foksiyou i. i f(x i ; θ)dx i k (θ) S(X i ; θ)] k (θ) [Cov(X, Y)] 2 Var(X)Var(Y) Cov(X, Y) E(XY) E(X)E(Y) Cov[T(X), i S(X i ; θ)] E[T(X) i S(X i ; θ) ] E (T(X) E( i S(X i ; θ) ) olur 0 Cov[T(X), i S(X i ; θ)] E[T(X) S(X i ; θ) i ] i ] [E(T(X) i S(X i ; θ)] 2 Var(T(X))Var[ S(X i ; θ) [k (θ)] 2 E[T(X) i S(X i ; θ] 2 Var (T(X)) I (θ) Var (T(X)) [k (θ)] 2 I (θ) Not. Eğer sadece θ içi tahmi ediciye bakılırsa k(θ) θ ise Rao Cramer Alt Sıırı Var (T(X)) /I (θ) Doç. Dr. Vedat SAĞLAM Sayfa 3

4 4 T(X) tahmi edicisii varyası Rao Cramer alt sıırıa eşitse T(X) θ içi UMVUE dir. Örek. X, X 2,, X ~Biom(m, p) olmak üzere T(X) X m UMVUE midir. Çözüm. L(p; x, x 2,, x ) ( m x ) p x ( p) m x ( m x ) p x ( p) m x ( m x ) i i k sabiti p x i i ( p) m i x i ll(p; x) lk + ( i x i )lp + (m i x i )l( p) ll(p; x) p 2. kez türev alıırsa i x i p i x i m ( p) i i 2 ll(p; x) p 2 x i p 2 m x i ( p) 2 Fisher bilgisi I (p) E [ 2 ll(p; x) p 2 ] O halde E [ 2 ll(p; x) p 2 ] E [ i x i p 2 + m i x i ( p) 2 ] E [ i x i i + m x i p 2 ( p) 2 ] I (p) Rao Cramer Alt Sıırı ise I (p) m pq Doç. Dr. Vedat SAĞLAM Sayfa 4

5 5 I (θ) I (p) pq m T(X) X m Var (T(X)) Var(X ) m 2 σ2 m 2 mpq m 2 pq m Böylece Rao Cramer Alt Sıırı T(X) X m X i varyasıa eşit olduğuda, p içi bir UMVUE dir. Örek. X, X 2,, X ~exp(θ) olmak üzere T(X) X, θ içi UMVUE midir. Çözüm. X i ~exp(θ) olmak üzere, a) E(X ) θ olurmu? m x f(x; θ) { θ e θ, x 0 0, d. d. i. E(X ) E ( X i i) E(X i ) θ θ b) T(X) X, θ içi UMVUE midir Rao Cramer alt sıırıa bakalım. Var(X ) RCLB ise UMVUE midir. Var(X ) Var ( X i i) Var(X 2 i ) 2 θ2 θ2 i Şimdi Fisher bilgiside bu varyası e küçük alt sıırı, L i f(x i, θ) θ e x θ. θ e x LL lθ θ θ e x θ i x i i i Fisher bilgisi, 2 ll( θ; x) θ 2 θ 2 2 i x i θ 3 Doç. Dr. Vedat SAĞLAM Sayfa 5

6 6 I(p) E [ 2 ll( θ; x) ] E [ 2 i x i ] + 2 θ θ 2 θ 2 θ 3 θ 2 θ 3 θ 2 Rao Cramer Alt Sıırı ise I (θ) θ2 Var(X ) RCLB olduğuda X, θ içi bir UMVUE dir. Örek. X, X 2,, X ~Poisso(θ) olmak üzere a) T(X) X, θ içi UMVUE midir. b) T(X) X, θ 2 içi UMVUE midir. Çözüm. a) Var(X ) Var ( X i i) Var(X 2 i ) θ θ i 2 Şimdi Fisher bilgiside bu varyası e küçük alt sıırı, L(θ, x) i f(x i, θ) θx,e θ x! θx,e θ x! e θ θ i x i x i! i k L(θ, x) lk lθ i x i Fisher bilgisi, i 2 ll( θ; x) θ 2 x i θ 2 I (p) E [ 2 ll( θ; x) θ 2 ] E [ i X i θ 2 ] E(X i) iθ 2 θ θ 2 θ Rao Cramer alt sıırı ise Doç. Dr. Vedat SAĞLAM Sayfa 6

7 7 I (θ) θ b) Var(X ) E(X 2) [E(X )] 2 θ E(X 2) θ 2 θ 2 E(X 2)+ θ, E(X ) θ 4. Yeterlilik θ 2 E(X 2)+ E(X ) θ 2 E (X 2 X ), θ 2 E (X 2 X ), Y X 2 X θ2 E(Y) alıırsa, X, X 2,, X Öreklemi f(x; θ) yoğuluk foksiyoua sahip dağılımda alımış olsu. T(X, X 2,, X ) gibi bir istatistiği göz öüe alalım. Bu durumda verii tamamı ile ilgilemekte ise T(X, X 2,, X ) de elde edile bilgi ile kitle parametresi hakkıdaki bilgiye ulaşılabilir mi? Eğer bu soruu cevabı evet ise T(X, X 2,, X ) θ içi yeterli bir istatistiktir. Taım. X, X 2,, X Öreklemi f(x; θ) yoğuluk foksiyoua sahip dağılımda alımış olsu. T(X, X 2,, X ) gibi bir istatistiği göz öüe alalım. T(X) t verilmişke X x koşullu dağılımı θ parametresii içermiyorsa T(X) θ içi yeterli bir istatistiktir. P(X x T(X) t(x) ) i f(x i; θ) g T (t(x, x 2,, x ) i f(x i; θ) g T (t; θ ) Olasılığı θ ya bağlı değil ise T(X) θ içi yeterli bir istatistiktir. Örek. X, X 2,, X ~exp (λ) olmak üzere X i i T, λ içi yeterli bir istatistik midir. Doç. Dr. Vedat SAĞLAM Sayfa 7

8 8 Çözüm. P(X x T(X) t ) i f(x i; θ) g T (t; θ ) ( ) X i ~ exp(λ) ike T i X i ~Gamm(, λ) olur. f(t;, λ) λ(λx) e λt Γ(), λ > 0, t > 0 O halde g T (t; λ ) λ(λx) e λt Γ() P(X x T(X) t ) λe λx λe λx 2 λe λx λ(λx) e λt Γ() ifadesi θ λ içermediğide T Γ() t i X i Örek. X, X 2,, X ~N(θ, ) olmak üzere T istatistik midir. Çözüm. X, X 2,, X ~N(θ, ) ise T i i E(T) E( X i ) E(X i ) θ i i, λ içi yeterli bir istatistiktir. i X i Var(T) Var( X i ) Var(X i ) P(X x T(X) t ) i f(x i; θ) g T (t; θ ) i X i ~N(θ, ), θ içi yeterli bir t i x i ise i 2π e 2π e 2 (x i θ) 2 2 (t θ)2 Doç. Dr. Vedat SAĞLAM Sayfa 8

9 9 A (2π) 2 2π Ae B e 2 i (x i θ) 2 e 2 (t θ)2 2 [ x i 2 2θ i i x i +θ 2 ] Be 2 [t2 2tθ+ 2 θ 2 ] A B e 2 [ i x i 2 + t2 ] Bu ora parametrede bağımsız olduğuda T i X i istatistiği θ parametresi içi yeterli bir istatistiktir. Not. T i dağılımı her zama elde edilmeyebilir. Bu durumda aşağıdaki Neyma çarpalarıa ayırma teoremi verilebilir. t Teorem. X, X 2,, X ~{f(x; θ), θ Θ } olabilmesi içi yeter ve gerek şart olsu. T gibi bir istatistiği yeterli i f(x i ; θ) g T (t(x, x 2,, x ); θ )h(x, x 2,, x ). Örek. X, X 2,, X ~N(θ, ) olmak üzere θ içi yeterli bir istatistik buluuz(neyma çarpalarıa ayırma teoremie göre) f(x; θ) f(x i ; θ) i 2π e 2 (x θ) 2 2π e 2 (x θ) 2 (2π) 2 (2π) 2 e 2 i (x i θ) 2 {e 2 [ x i 2 2θ i i x i +θ 2 ] } t Doç. Dr. Vedat SAĞLAM Sayfa 9

10 0 (2π) 2 e 2 i x i 2 h(x) e θ i x i θ2 2 g(t(x);θ) şeklide yazılabildiğide i x i, θ parametresi içi yeterli bir istatistiktir. Örek. X, X 2,, X ~Poiss(θ) olmak üzere, a) T i X i, θ içi yeterli bir istatistikmidir. b) θ parametresi içi yeterli bir tahmi edici buluuz(neyma çarpalarıa ayırma teoremie göre) Çözüm. a) θ x i i P(X x) P(X x T t) P(T t) x i! e θ (θ) t e t! θ T i X i, T~Poisso(θ) P(X x T t) θ i x i t θ t t! e θ i x i e θ P(X x T t) t! t i x i Koşullu olasılığı θ parametresii içermediğide T i X i, yeterli bir istatistiktir. b) f(x; θ) θx x! e θ, x 0,,2, f(x; θ) θ i x i e θ i x i! Doç. Dr. Vedat SAĞLAM Sayfa 0

11 x i! i h(x) θ i x i e θ g(t(x); θ) olduğuda i x i θ içi yeterli bir istatistiktir. Ödev. X, X 2,, X ~exp(θ) olmak üzere θ içi yeterli bir istatistik buluuz(neyma çarpalarıa ayırma teoremie göre) Üstel Aile ve Yeterlilik Kavramı f(x, θ) c(θ)h(x)e m i w j(θ)t j (x) () c(θ) 0, w, w 2,,, w m θ ı foksiyoları ve h(x) 0, (x, x 2,, x ) i foksiyou, T,, T m ler (x, x 2,, x ) i foksiyou böylece (T ( x ), T 2 ( x ),, T m ( x )), (θ, θ 2,, θ m ) içi ortak yeterli istatistiktir. f(x, θ) c(θ)e m i w j(θ)t j (x) g(t,,t m ;θ,θ 2,,θ m ) h(x) h(x,x 2,,x ) Ayrılabildiğide (T ( x ), T 2 ( x ),, T m ( x )), yeterli istatistiktir. (θ, θ 2,, θ m ) içi ortak Örek. X~Beta(α, β) α > 0 ve β > 0 olsu. Doç. Dr. Vedat SAĞLAM Sayfa

12 2 f(x, x 2,, x ; α, β) Γ(α + β) [ Γ(α)Γ(β) ] x α x α 2 x α ( x ) β ( x 2 ) β ( x ) β. f(x; α, β) Γ(α+ β) Γ(α)Γ(β) xα ( x) β, α > 0 ve β > 0; 0 < x < Γ(α+ β) f(x, x 2,, x ; α, β) [ Γ(α + β) [ Γ(α)Γ(β) ] Γ(α + β) [ Γ(α)Γ(β) ] c(α,β) Γ(α)Γ(β) ] [ i x i ] α [ i ( x i )] β e (α ) i lx ie ( β ) i l ( x i) e α i lx i+β i l ( x i ) e i lx i l ( x i ) i T (x) i lx i h(x) T 2 (x) i l ( x i ) w (α,β)α, w 2 (α,β)β f(x; α, β) üstel aile özelliğie sahip (α, β) içi ortak yeterli istatistikler ( i lx i, i l ( x i )) biçimidedir. Örek. X, X 2,, X ~üzere μ, σ 2 parametreleri içi yeterli istatistik buluuz. Çözüm. f(x; μ, σ 2 ) { 2πσ 2 e 2σ 2(x μ)2, < x < 0, dd f(x; μ, σ 2 ) i f(x i, μ, σ 2 ), < μ <, σ 2 > 0 [2πσ 2 ] 2 [2πσ 2 ] 2 [2πσ 2 ] 2 [2πσ 2 ] 2 e e e e μ2 2σ 2 i ( x i μ) 2 2σ 2 i (x i 2 2μx i +μ 2 ) 2σ 2 i (x i 2 2μx i +μ 2 ) 2σ 2 e 2σ 2 i x i 2 + μ σ 2 i x i Doç. Dr. Vedat SAĞLAM Sayfa 2

13 3 [2π] 2 h(x) [σ 2 ] 2 c(μ,σ 2 ) e μ2 2σ 2 e 2 [ x i i ][ i x i T (x) 2 x i i x i 2σ 2 μ ] σ 2 T 2 (x) i w (μ,σ 2 ) /σ 2, w 2 (μ,σ 2 )μ/σ 2 2 i x i ve i x i μ, σ 2 içi yeterli istatistiktir. Miimal Yeterli İstatistik Mümkü ola veri idirgemesi yapılırke θ hakkıdaki bilgiyi muhafaza ede istatistiğe miimal yeterli istatistik deir. Taım. T (X) ve T(X) tahmi edicileri yeterli istatistikler olmak üzere T(X) f(t (X)) olacak biçimde bir f foksiyou varsa T(X) istatistiği miimal yeterlidir. Bu bağlamda aşağıdaki teorem verilebilir. Teorem. X, X 2,, X f(x; θ) yoğuluk foksiyoua sahip bir öreklem olsu. f(x; θ) f(y; θ) h(x, y) T(X) T(Y) Bu durumda T(X) istatistiği θ içi miimal yeterlidir. Örek. X, X 2,, X ~Poisso(λ) olmak üzere teoremi uygulayarak λ içi miimal yeterli istatistiği buluuz. Çözüm. f(x; λ) f(y; λ) i i λ x ie λ x i! λy i e λ y i! i y i! x i! i i λ i x i i y i i h(x, y) x i y i Doç. Dr. Vedat SAĞLAM Sayfa 3

14 4 i y i! x i! olduğuda i x i, λ içi miimal yeterli istatistiktir. Örek. X, X 2,, X ~Biom(m, p) olmak üzere teoremi uygulayarak p içi miimal yeterli istatistiği buluuz. f(x; λ) f (y; λ) f(x; λ) ( m i x ) i i p x i ( p) m x i ( m i y ) p y i( p) m y i i ( m i x ) i ( m i y ) i. p x i i y i i ( p) y i i ( m i x ) i ( m i y ) i h(x, y) x i i y i f(y; λ) olduğuda i x i, p içi miimal yeterli istatistiktir. i i x i Ödev. X, X 2,, X ~exp(λ) olmak üzere teoremi uygulayarak λ içi miimal yeterli istatistiği buluuz.. Teorem(Rao Blackwell T. ). X, X 2,, X olasılık yoğuluk foksiyou f(x; θ) ola bir öreklem olsu. T(X) de θ içi yeterli bir istatistik ve U(X) de yasız bir tahmi edici olsu. a) E[Φ(T)] θ b) Var[Φ(T)] Var[U(X)] Φ(t) E[U(X) T(X) t(x)] İspat a) E[Φ(T)] Φ(t) g(t)dt E[U(X) T(X) t(x)] g(t)dt Doç. Dr. Vedat SAĞLAM Sayfa 4

15 5 ug(u t)g(t)dtdu ug(u,t) g(t)dtdu g(t) u E(U) g(u) g(u, t)dt du θ b ) Var(X) E Y (Var(X Y) + Var(E(X Y)) eşitliğide Var (U(X)) E T [Var(U(X) T(X) )] + Var[E(U(X) T(X) )] Var (U(X)) Var[E(U(X) T(X) )] Var(Φ(T)) 0 Var (U(X)) Var(Φ(T)) olur. Yardımcı İstatistik Taım. Bir istatistiği dağılımı bilimeye parametreye bağlı değil ise bu istatistiğe yardımcı istatistik deir. Örek. X, X 2,, X ~N(μ, 25) T ( )S ~χ ( ), T i dağılımı μ ye bağlı değildir. T i X i T μ içi yeterli bir istatistiktir. T ise μ içi yardımcı bir istatistiktir. Bu T istatistiği μ hakkıda bilgi vermez. Tam Aile ve Tam İstatistik Doç. Dr. Vedat SAĞLAM Sayfa 5

16 6 Taım. F {f(x; θ), θεθ } ailesi içi T yeterli bir istatistik olsu. Bu istatistiği herhagi bir foksiyou içi, E(g(T)) 0 ( θεθ) ike P(g(T)) oluyorsa F ye tam aile T ye ise θ ı tam ve yeterli istatistiği deir. Örek. X, X 2,, X parametresi θ ola Beroulli dağılımıda çekile bir öreklem olsu. 0< θ < içi T i X i istatistiği Beroulli dağılımlar ailesi içi tam mıdır? Çözüm. E(g(T)) 0 P(g(T)) E(g(T)) 0 g(t) 0 (T istatistiği tamdır) E(g(T)) i g(t)p(t t) i g(t)( t )θt ( θ) t ( θ) i g(t)( t )θt ( θ) t, 0 < θ < ( θ) g(t) ( t ) [ θ i >0 θ ]t 0 >0 >0 Bu toplamı sıfıra eşit olması bütü t ler içi g(t) 0 olması ile mümküdür. Yai E(g(T)) 0 P(g(T)) olduğuda T i X i istatistiği Beroulli dağılımlar ailesi içi tamdır Basu Teoremi Eğer T yeterli ve tam bir istatistik ise T herhagi bir yardımcı istatistikte bağımsızdır. Örek. X, X 2,, X ~N(μ, 25) içi T i X i, μ içi yeterli bir istatistiktir. T ( )S2 2 ~χ 25 ( ), T ise μ içi yardımcı bir istatistiktir. Bu T istatistiği μ hakkıda bilgi vermez. ( )S 2 25 ile de i X i, (T ile T ) birbiride bağımsızdır. Bu bağlamda S 2 ile X birbiride bağımsızdır. Lehma-Scheffe Teklik Teoremi Doç. Dr. Vedat SAĞLAM Sayfa 6

17 7 X, X 2,, X yoğuluk foksiyou f(x; θ) ola bir dağılımda rasgele çekile bir öreklem ve θ parametresii de tam yeterli tahmi edicisi T(X, X 2,, X ) T(X ) olsu. T i bir foksiyou ola U U(T) solu varyaslı ve θ içi yasız bir tahmi edici ise bu T(X, X 2,, X ) tahmi edicisi yasız tahmi ediciler arasıda e küçük varyaslı ve tektir. Teorem. T(X ) θ içi yeterli bir istatistik {h T {t, θ }, θεθ } tam bir aile olsu. Eğer T i herhagi bir foksiyou θ içi yasız ise yasız e küçük varyaslı tahmi ediciler arasıda T(X ) tekdir. Doç. Dr. Vedat SAĞLAM Sayfa 7