3. Ders Parametre Tahmii Tahmi Edicilerde Araa Özellikler Gerçek düyada rasgelelik olgusu içere bir özellik ile ilgili ölçme işlemie karş l k gele X rasgele de¼gişkeii olas l k (yo¼guluk) foksiyou, F ff(; ) : g ailesii bir elema olsu. içi f(; ) olas l k (yo¼guluk) foksiyoua sahip da¼g l mda bir öreklem X (X ; X ; :::; X ) olmak üzere, öreklemi kedisii veya bir T (X ; X ; :::; X ) istatisti¼gii hagi de¼gerii destekledi¼gii bilmek, yai parametresii tahmi etmek (kestirmek) isteyelim. Ta m: X ; X ; :::; X olas l k yo¼guluk foksiyou f(; ); ola da¼g l mda bir öreklem olmak üzere, bir T : X! istatisti¼gie parametresi içi tahmi edici (kestirici) ve ald ¼g de¼gere de tahmi (kestirim) deir. Örek: Baz elektroik parçalar dayama süreleri üstel da¼g l ma sahip oldu¼gu bilimektedir. Belli bir tür elektroik parça dayama süresi ile ilgili elimizde X ; X ; :::; X öreklemi bulusu. X ; X ; :::; X rasgele de¼gişkeleri ba¼g ms z ve her birii da¼g l m, f X (x; ) e x ; x > ; (; ) olas l k yo¼guluk foksiyoua sahip X rasgele de¼gişkei (dayama süresii) da¼g l m gibidir. E(X) V ar(x) olmak üzere, kitle ortalamas y tahmi etmek içi tahmi edici olarak X öreklem ortalamas ve kitle varyas yi tahmi etmek içi öreklem varyas S yi tahmi edici olarak düşüebiliriz. Öreklem varyas karekökü ola S öreklem stadart sapmas da parametresi içi bir tahmi edici olarak düşüülebilir. Ay parametre içi iki tae tahmi edici söz kousudur. Hagisi daha "iyi" dir? Hagisi tercih edilecektir? Bu gibi sorular ya tlamak içi tahmi edicilerde araa özellikleri belirtilmiş olmas gerekir. Bu derste tahmi edicilerde araa baz özellikler üzeride duraca¼g z.
Parametre Etraf da Yo¼gulaşma Ta m: T (X ; X ; :::; X ) ve T (X ; X ; :::; X ), paramet-resi içi iki tahmi edici olmak üzere, her ve > içi, P ( < T + ) > P ( < T + ) oluyorsa, T tahmi edicisie T de daha yo¼gulaşm ş bir tahmi edici deir. Varsa, e yo¼gulaşm ş tahmi edici bu ölçüte göre e iyi tahmi edici olacakt r. Geel olarak böyle bir tahmi edici bulmak zor olmaktad r, çükü yukar daki eşitsizlik baz ve lar içi sa¼glamakla birlikte, di¼gerleri içi sa¼glamayabilir. Pitma Alam da Yak l k Ta m: T (X ; X ; :::; X ) vet (X ; X ; :::; X ), parametresi içi iki tahmi edici olmak üzere her içi, P (jt j < jt j) > oluyorsa, T tahmi edicisie T de Pitma alam da daha yak d r deir.
3 Küçük Hata Kareleri Ortalamas a Sahip Olma Ta m: üzere, T (X ; X ; :::; X ), parametresi içi bir tahmi edici olmak HKO (T ) E(T ) de¼gerie (beklee de¼geri var olmas halide) T Kareleri Ortalamas deir. tahmi edicisii Hata T (X ; X ; :::; X ) ve T (X ; X ; :::; X ), parametresi içi iki tahmi edici olmak üzere, her içi, HKO (T ) HKO (T ) oluyorsa, T tahmi edicisie Hata Kareleri Ortalamas ölçütüe göre T de daha iyidir deir. Hata Kareler Ortalamas ((Mea Squared Error, MSE)ölçütü Gauss taraf da öerilmiş olup, Küçük Hata Kareleri Ortalamas a sahip tahmi ediciler arzu edilmektedir. Geel halde HKO ölçütüe göre e iyi tahmi edici bulmak zordur. Acak, öceki iki özellik içi de geçerli olmak üzere, tahmi edicileri baz alt s ar da (tüm tahmi edicileri kümesii baz altkümeleride) HKO ölçütüe göre e iyi tahmi edici bulmak mümkü olmaktad r. T, tahmi edicileri bir s f (ailesi) ve T T olmak üzere her içi, HKO (T ) HKO (T ) ; T T oluyorsa T tahmi edicisie HKO ölçütüe göre T s f da e iyi tahmi edici deir. Bir tahmi edicii Hata Kareleri Ortalamas içi, HKO (T ) E (T ) V ar (T ) + (E (T ) ) oldu¼guu da hat rlatal m. HKO (T ) E(T ) olmak üzere, HKO (T ) yerie HKO(T ) ; MSE(T ) ; MSE (T ) gösterimlerii de kullaaca¼g z.
4 Örek: N(; ) ormal da¼g l m da parametresii, yai kitle varyas tahmi etmek isteyelim. parametresi içi tahmi tahmi edici olarak S X (X i X) S X (X i X) tahmi edicilerii göz öüe alal m. Hata Kareleri Ortalamas ölçütüe göre hagisi daha iyidir? ve olmak üzere, d r. Bezer şekilde, HKO (S ) E(S ) ( )S ( ) E[(S ) S + ( ) ] E[(S ) ] E[S ] + 4 E( ( )S ) ; E(S ) V ar( ( )S ) ( ) ; V ar(s ) 4 V ar(s ) E[(S ) ] (E(S )) E[(S ) ] 4 + 4 + 4 HKO (S ) + 4 4 + 4 4 HKO (S ) E(S ) E[(S ) ] E[S ] + 4
ve S S E(S) E( S ) E(S ) E[(S) ] E[( S ) ] ( ) E[(S ) ] ( + ) 4 4 olup, elde edilir. Bua güre, yai, HKO (S ) 4 4 + 4 4 HKO (S ) 4 > 4 HKO (S ) HKO (S ) < HKO (S ) d r. S tahmi edicisi HKO ölçütüe göre S de daha iyidir. P (X i X) içi S + + HKO(S +) + 4 oldu¼gu, yukar daki gibi kolayca elde edilebilir. 5 S S S + P (X i X) P (X i X) P (X i X) +
6 tahmi edicileri içi hata kareler ortalamalar s ras ile, HKO(S ) 4 ; HKO(S ) 4 ( ) ; HKO(S +) 4 + olup, HKO(S ) < HKO(S ) < HKO(S +) oldu¼gu görülür. HKO ölçütüe göre, S+ tahmi edicisi S edicilerie göre daha iyi bir tahmi edicidir. Akl m za, P (X i X) S + + ve S tahmi i Hata Kareleri Ortalamas daha küçük olaca¼g gelebilir, ama öyle de¼gildir. Yukar daki gibi karş laşt rma yap labilir. olmak üzere, T k k X (X i X) ( ) X T k (X i X) : k ; ; ::: s f da e küçük Hata Kareleri Ortalamas a sahip tahmi edici, HKO(k X X (X i X) ) E(k (X i X) ) k ( ) 4 k( ) 4 + 4 ifadeside k ( ) 4 k( ) 4 + 4 de¼gerii e küçük yapa k ye karş l k gelmektedir. f(x) ( ) 4 x ( ) 4 x + 4 ; x R foksiyouu miimum yapa x de¼geri x + olup, X mi HKO(k (X i X) ) HKO( kf;;3;:::g + X (X i X) )
7 d r. S + P (X i X) + tahmi edicisi, T ( k ) X (X i X) : k ; ; ::: aileside, Hata Kareleri Ortalamas ölçütüe göre içi e iyi tahmi edicidir. Örek: U(; ) ; (; ) düzgü da¼g l mda parametresii (da¼g l m üst s r ) tahmi etmek isteyelim. Bu da¼g l m beklee de¼geri (kitle ortalamas ) ve varyas (kitle varyas ) d r. X ; X ; :::; X ler U(; ) ; (; ) düzgü da¼g l mda bir öreklem olsu. Öreklem ortalamas, kitle ortalamas içi do¼gal bir tahmi edici olmak üzere, parametresi içi X istatisti¼gii bir tahmi edici olarak düşüebiliriz. Buula birlikte, parametresi da¼g l m üst s r olmak üzere, X () s ra istatisti¼gii (gözleecek e büyük de¼geri) de tahmi edici olarak düşüebiliriz. T X T X ()
8 tahmi edicilerida hagisi Hata Kareleri Ortalamas ölçütüe daha iyidir? ve HKO (T ) E(T ) V ar(t ) + [E(T ) ] V ar(x ) + [E((X ) ] 4 4 3 + [E(X ) ] + [ ] HKO (T ) E(T ) 8 < f T (t) : E[(T ) ] E(T ) + t ; < t < ; d:y: E(T ) E[(T ) ] t t dt + t t dt + HKO (T ) E(T ) ) E[(T ) ] E(T ) + + + + ( + )( + ) olmak üzere, HKO (T ) < HKO (T ) d r. Hata Kareleri Ortalamas ölçütüe göre X () tahmi edicisi, X de daha iyidir.
Yas zl k Ta m: T (X ; X ; :::; X ) parametresi içi bir tahmi edici olmak üzere her içi, E (T ) oluyorsa, T tahmi edicisie parametresi içi yas z tahmi edici deir. Örek: X öreklem ortalamas, kitle ortalamas ( < ) içi yas z P (X i X) bir tahmi edicidir. S öreklem varyas, kitle varyas ( < ) içi yas z bir tahmi edicidir. Baz durumlarda yas z tahmi edici mevcut olmayabilir. Öre¼gi, b(; p ) ; (; ) biom da¼g l m da parametresi tahmi edilmek istesi. Bir birimlik bir X öreklemie dayal bir tahmi edici T (X) olsu. T (X) i yas z oldu¼guu varsayal m. O zama her (; ) içi, E (T (X)) X T (x) ( x )x ( x ) x olmal. Acak, x ; ; ; :::; içi T (x) de¼gerleri solu oldu¼guda parametresii de¼geri çok büyüdü¼güde, yai! oldu¼guda T (x) x ( P )x ( ) x ifadesii de¼geri T () de¼gerie yaklaşacakt r ve bu de¼ger de solu oldu¼guda çelişkili bir durum ortaya ç kmaktad r. Bu çelişki varsay m m z do¼gru olmad ¼g göstermektedir, yai parametresi içi yas z bir tahmi edici yoktur. Ta m: Bir parametre içi yas z bir tahmi edici var oldu¼guda bu parametreye yas z tahmi edilebilir deir. Ta m: Yas z olmaya tahmi edicilere yal tahmi edici ve de¼gerie ya (bias) deir. Bias (T ) E (T ) x 9
Örek: N(; ) ormal da¼g l m da parametresi içi öerilebilecek, T T T 3 X (X i X) X (X i X) + X (X i X) tahmi edicileri yal l klar s ras ile aşa¼g daki gibidir. Bias(T ) Bias(T ) Bias(T 3 ) + Görüldü¼gü gibi ilk tahmi edici yas z di¼gerleri yal d r (E(T ) < ; E(T 3 ) < ). Örek: U(; ) ; (; ) düzgü da¼g l mda parametresii (da¼g l m üst s r ) tahmi etmek isteyelim. Yukar da, parametresi içi X ve X () tahmi edici olarak öerilmişti. E(X ) E(X ) E(X () ) x x dx + olmak üzere, X yas z, X () yal tahmi edicidir. T + X ()
istatisti¼gii parametresi içi bir tahmi edici olarak düşüürsek, E(T ) E( + X ()) + E(X ()) olup, T tahmi edicisi içi yas zd r. Burada oldu¼gu gibi baz durumlarda yal bir tahmi edicide yas z bir tahmi edici elde edilebilir. Bua yas zlaşt rma deir. parametresi içi başka bir yas z tahmi edici, d r. Gerçekte, f X() (x) E(X ( ) ) T 3 X () + X () x ; < x < x xf X() (x) dx t ( t) dt x dx ; t x ) dx d t t ( t) dt () () ( + ) ( )! ( + )!! ( + )! + f X() (x) x ; < x < E(X ( ) ) xf X() (x) dx olup, x dx x + + x + E(T 3 ) E(X () ) + E(X () ) + + + d r.
Küçük Varyasl Olma Bir tahmi edicii, yal veya yas z, küçük varyasl olmas tercih edilir. Ta m: yas z tahmi edicilerii s f T olmak üzere, bir T T içi, V ar (T ) V ar (T ) ; 8 ; T T oluyorsa, T tahmi edicisie düzgü e küçük varyasl yas z tahmi edici (uiformly miimum variace ubiased estimator, UMVUE) deir. Örek: X ; X ; :::; X ; Poisso (); (; ) da¼g l m da bir öreklem olsu. Bilidi¼gi gibi Poisso da¼g l m beklee de¼geri ile varyas birbirie eşit ve d r. X S X X i ; E(X) X X i X ; E(S ) olmak üzere, X ve S i her ikisi de yas z tahmi edicileridir. V ar(s ) 3 4 4 E (X ) 4 3 + V ar(s ) 3 3 + + olmak üzere, V ar(s ) + > V ar(x) d r. X yas z tahmi edicii varyas, S yas z tahmi edicii varyas da daha küçüktür. X tahmi edicisi bütü yas z tahmi ediciler
aras da e küçük varyasl m d r? Bu soruu cevab öümüzdeki derslere b rakal m. Şimdi, g() içi yas z bir tahmi edici bulal m. 3 T X X i s Poisso() oldu¼gu hat rla rsa, E(T T ) E(T ) E(T ) V ar(t ) + [E(T )] E(T ) () + olmak üzere, T E T olup, T tahmi edicisi içi yas zd r. P X i P X i Örek: U(; ) ; (; ) düzgü da¼g l mda parametresi içi T X T + X () T 3 X () + X () tahmi edicileri yas zd r. Hagisi daha küçük varyasl d r? V ar(t ) V ar(x ) 4 3 d r.
4 d r. V ar(t ) V ar( + X ()) ( + ) V ar(x () ) ( + ) [E(X()) (EX () ) ] ( + ) [ t t dt ( t t dt) ] ( + ) [ + ( + ) ] + ( + ) ( + ) ( + ) olup, V ar(t 3 ) V ar (X ( ) + X ( ) f X() (x) E(X ( ) ) V ar X ( ) + V ar X( ) + Cov X( ) ; X ( ) x ; < x < x xf X() (x) dx t ( t) dt x dx t ( t) dt () () ( + ) ( )! ( + )!! ( + )! + E(X ( )) x f X() (x) dx x ( t) ( t) dt x dx t ( t) dt ( + )( + )
5 V ar X ( ) E(X ( ) ) E(X ( ) ) V ar(x () ) ( + ) ( + ) ( + ) ( + ) ( + )( + ) + ve f X( ) X (); (x; y) ( ) (y x) ; < x < y < E X ( ) X ( ) y ( ) ( ) ( ) xyf X( ) X (); (x; y) dx dy y y y + y + dy xy (y x) dx dy; 4 @ y x ( ( + ) x y ) y 3 ( ) xy (y x) dx dy dx5 dy ; t ( t) dta dy x y t Cov X ( ) ; X ( ) E X( ) X ( ) ( + ) ( + ) ( + )( + ) E X ( ) E ( + ) X( ) + ( + )
6 olmak üzere, V ar(t 3 ) V ar (X ( ) + X ( ) d r. Özetlersek, olup, > içi d r. V ar X ( ) + V ar X( ) + Cov X( ) ; X ( ) ( + ) ( + ) + ( + ) ( + ) + ( + )( + ) V ar(t ) V ar(x ) 3 V ar(t ) V ar( + X ()) ( + ) V ar(t 3 ) V ar (X ( ) + X ( ) V ar(t ) < V ar(t 3 ) < V ar(t ) ( + )( + ) ( + )( + )
7 Tutarl l k Ta m: parametresii bir T (X ; X ; :::; X ) tahmi edicisi içi, yai, seçile her " > içi, T (X ; X ; :::; X ) P! lim P (jt (X ; X ; :::; X ) j > ")! oluyorsa, bu tahmi ediciye zay f tutarl veya k saca tutarl tahmi edici ve T (X ; X ; :::; X ) hhhy! olurorsa, bu tahmi ediciye güçlü tutarl tahmi edici deir. Ta m: parametresii bir T (X ; X ; :::; X ) tahmi edicisi içi, lim MSE (T (X ; X ; :::; X ))! oluyorsa, bu tahmi ediciye Hata Kareleri Ortalamas da tutarl d r deir. Bir tahmi edicii Hata Kareleri Ortalamas da tutarl olmas, zay f tutarl olmas gerektirmektedir. Gerçekte, Markov Eşitsizli¼gide, her " > içi, P (jt (X ; X ; :::; X ) j > ") E (T (X ; X ; :::; X ) ) " MSE (T (X ; X ; :::; X )) " olmak üzere, lim MSE (T (X ; X ; :::; X ))! + d r. Ayr ca, lim P (jt (X ; X ; :::; X ) j > ")!
8 oldu¼guda, P (jt (X ; X ; :::; X ) j > ") V ar (T (X ; X ; :::; X )) " + Bias (T (X ; X ; :::; X )) " lim Bias (T (X ; X ; :::; X )) ve lim V ar (T (X ; X ; :::; X ))!! + d r. lim P (jt (X ; X ; :::; X ) j > ")! Örek: X ; X ; :::; X ler N(; ); R; > ormal da¼g l m da bir öreklem olsu. X, içi tutarl bir tahmi edicidir (zay f, güçlü ve hata kareler ortalamas da). içi, S X (X i X) tahmi edicisii ele alal m. Bilidi¼gi gibi, olmak üzere, olup, E(S) V ar(s) 4 ( ) Bias(S ) lim! Bias(S ) lim! lim! V ar(s ) lim! 4 ( )
oldu¼guda S, i tutarl bir tahmi edicisidir. Örek: U(; ) ; (; ) düzgü da¼g l mda parametresii (da¼g l m üst s r ) tahmi etmek isteyelim. tahmi edicileri yas z ve T X T + X () T 3 X () + X () 9 V ar(t ) V ar(x ) 3 lim V ar (T )! V ar(t ) V ar( + X ()) lim V ar (T )! ( + ) V ar(t 3 ) V ar (X ( ) + X ( ) lim V ar (T 3)! ( + )( + ) olmak üzere, bu tahmi edicileri her biri parametresi içi tutarl d r.
Limitte Yas zl k ve Asimptotik Yas zl k Ta m: T (X ; X ; :::; X ), parametresi içi bir tahmi edici olmak üzere her içi, lim E (T (X ; X ; :::; X ))! oluyorsa, T (X ; X ; :::; X ) tahmi edicisie parametresi içi limitte yas z bir tahmi edici deir. Bir T (X ; X ; :::; X ) tahmi edicisi limitte yas z ise T (X ; X ; :::; X ) gibi bir tahmi edicii de limitte yas z oldu¼gu aç kt r. Böyle tahmi edicilere limitte yas zl ¼ga göre eşde¼ger tahmi ediciler deir. Di¼ger asimptotik özellikler içi de bezer durum sözkousudur. Ta m: Y, beklee de¼geri s f r ola bir rasgele de¼gişke olmak üzere, pozitif reel say lar bir (a ) dizisi içi, a (T (X ; X ; :::; X ) ) d! Y oluyorsa, T (X ; X ; :::; X ) tahmi edicisie a asimptotik yas z ve a ; ; ; 3; ::: oldu¼guda k saca asimptotik yas z bir tahmi edicisi deir. Örek: U(; ) ; (; ) düzgü da¼g l mda parametresi içi X () tahmi edicisi asimptotik yas z bir tahmi edicidir. E(X () ) x x dx + lim! E(X ()) lim! +