YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 1 NOKTA TAHMİN YÖNTEMLERİ Şimdiye kadar verilmiş tahmin edicilerin sonlu örneklem ve asimptotik özelliklerini inceledik. Acaba bilinmeyen anakütle parametrelerini tahmin etmekte kullanabileceğimiz tahmin ediciler türetmemizi sağlayan genel tahmin yöntemleri nelerdir? Momentler Yöntemi (Method of Moments) Maksimum Olabilirlik Yöntemi (Method of Maximum Likelihood) En Küçük Kareler (Least Squares) Bu derste sadece Momentler Yöntemi ve Maksimum Olabilirlik Yöntemlerini inceleyeceğiz. En Küçük Kareler yöntemi Regresyon başlığı altında ilerde ele alınacaktır. YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 2 MOMENTLER YÖNTEMİ (METHOD of MOMENTS) Momentler yöntemi en eski tahmin yöntemlerinden biridir. Anakütleye ilişkin dağılımsal varsayımlar altında, populasyon momentlerinin örneklem momentlerine eşitlenerek ortaya çıkan bilinmeyen denklem sisteminin populasyon parametreleri için çözümüne dayanır. Elimizde k tane bilinmeyen populasyon parametresi olsun. Bunları θ 1,θ 1,...,θ k ile gösterelim. Bu parametrelerin Momentler Yöntemi tahmin edicileri aşağıdaki sistemin çözümüyle bulunur: E(X) = 1 X i n E(X 2 ) = 1 n. =. X 2 i E(X k ) = 1 n Burada populasyon momentlerinin bilinmeyen parametrelerin bir fonksiyonu X k i
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 3 olduğunu unutmayın. Bu populasyon momentlerini örneklem momentlerine eşitleyerek k bilinmeyenli k denklem elde ettik. Bunun çözümü bize Momentler Yöntemi Tahmin Edicilerini verir. ÖRNEK: X 1,X 2,...,X n Binom(1,p) dağılımından çekilmiş rassal bir örneklem olsun. p nin momentler yöntemi tahmin edicisini bulun. Burada bilinmeyen populasyon parametresi bir tanedir. Öyleyse momentler yöntemi tahmin edicisi eşitliğinden hareketle olur. E(X) = p = X ˆp mom = X YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 4 MOMENTLER YÖNTEMİ k Populasyon Momentleri Örneklem Momentleri 1 µ 1 = E(X) ˆµ 1 = 1 n n X i 2 µ 2 = E(X 2 ) ˆµ 2 = 1 n n X2 i 3 µ 3 = E(X 3 ) ˆµ 3 = 1 n n X3 i 4 µ 4 = E(X 4 ) ˆµ 4 = 1 n n X4 i...... k µ k = E(X k ) ˆµ k = 1 n n Xk i
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 5 MOMENTLER YÖNTEMİ (dvm) ÖRNEK: N(µ,σ 2 ) anakütlesinden çekilmiş n boyutlu rassal bir örneklemden hareketle µ ve σ 2 parametrelerinin MOM tahmin edicilerini bulun. Burada bilinmeyen iki parametre olduğundan ilk iki populasyon momentini örneklem momentlerine eşitlersek Buradan da E(X) = µ = X E(X 2 ) = µ 2 + σ 2 = 1 n X 2 i bulunur. ˆµ mom = X ˆσ mom 2 = 1 n (X i X) 2 YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 6 MOMENTLER YÖNTEMİ (dvm) ÖRNEK: Uniform(α,β) anakütlesinden çekilmiş n boyutlu rassal bir örneklemden hareketle α ve β parametrelerinin MOM tahmin edicilerini bulun. Burada bilinmeyen iki parametre olduğundan ilk iki populasyon momentini örneklem momentlerine eşitlersek E(X) = E(X 2 ) = İkinci eşitlikten hareketle (α β) 2 12 α + β = X 2 (α β)2 + 12 = 1 n ( α + β 2 ) 2 = 1 n (X i X) 2 = ˆσ 2 Buradan aşağıdaki bilinmeyen denklem sistemi elde edilir: X 2 i α + β = 2X (α β) 2 = 12ˆσ 2 = β α = 2 3ˆσ
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 7 Bu denklem sistemini çözersek momentler yöntemi tahmin edicileri ˆα mom = X 3ˆσ ˆβ mom = X + 3ˆσ olarak bulunur. YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 8 MAKSİMUM OLABİLİRLİK TAHMİN YÖNTEMİ (MAXIMUM LIKELIHOOD ESTIMATION) İstatistik ve ekonometride en sık kullanılan nokta tahmin yöntemlerinden biridir. Anakütleyi betimleyen olasılık yoğunluk fonksiyonunu (ya da olasılık kütle fonksiyonunu, eğer r.d. kesikli ise) f(x;θ) ile gösterelim. Bu anakütleden çekilmiş n gözlemli r.ö. X 1,X 2,...,X n, bunun belli bir gerçekleşmesi ise x 1,x 2,...,x n olsun. Maksimum Olabilirlik tahmin yöntemi (kısaca MLE) belli bir örneklem değerlerinin gerçekleşme olabilirliğini en yüksek yapan anakütle parametrelerini bulmaya çalışır. Elimizde bir rassal örneklem olduğundan ve bunların çekildiği anakütlenin bilindiği (oyf biliniyor) varsayıldığından, bağımsızlık özelliğinden hareketle ortak olasılık yoğunluk fonksiyonu f(x 1,x 2,...,x n ;θ) = f 1 (x 1 ;θ) f 2 (x 2 ;θ),..., f n (x n ;θ) = f(x i ;θ), i = 1,2,...,n
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 9 olarak yazılabilir. Burada X 1 = x 1,X 2 = x 2,...,X n = x n olduğuna, örneklem yinelense başka gözlem değerleri elde edileceğine dikkat edin. Olabilirlik fonksiyonu ortak olasılık fonksiyonuna verilen başka bir isimdir. Tek fark şudur ki ortak olasılık fonksiyonunda θ nın bilindiği X lerin bilinmediği, olabilirlik fonksiyonunda ise X lerin bilindiği, bir başka deyişle belli bir gerçekleşmesinin gözlemlenmiş olduğu, θ nın ise bilinmediği örtük olarak varsayılır. Rassal örneklemin belli bir gerçekleşmesini x = {x 1,x 2,...,x n } ile gösterelim. Olabilirlik fonksiyonu x verilmişken θ yı bilinmeyen olarak ifade eden bir fonksiyondur: L(θ x 1,x 2,...,x n ) = L(θ x) = f(x i ;θ), i = 1,2,...,n YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 10 Maksimum Olabilirlik tahmin edicileri olabilirlik fonksiyonunu en yükseğe çıkaran tahmin ediciler olarak tanımlanır. Anakütlenin dağılımının ne olduğu biliniyorsa bu aşağıdaki matematiksel probleme dönüşür: MLE t.e. ˆθ mle dersek: max L(θ x) = θ f(x i ;θ) ˆθ mle = arg max L(θ x) = θ f(x i ;θ) Bu maksimizasyon probleminin çözümünde kolaylık sağlaması için, ortak olasılık fonksiyonunun e tabanına göre logaritması (ln, doğal log) kullanılabilir: ( n ) max ln L(θ x) = ln f(x i ;θ) = ln(f(x i ;θ)) θ
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 11 θ nın MLE t.e.: ˆθ mle = arg max lnl(θ x) θ ya da ˆθ mle = arg max θ ln(f(x i ;θ)) Bu maksimizasyon probleminin çözümü için gerekli ve yeterli koşullar: θ lnl(θ x) = 0, lnl(θ x) < 0 θ2 θ k bilinmeyen parametreden oluşuyorsa logolabilirlik fonksiyonunun bu parametrelere göre birinci türevleri sıfır (gerekli koşul), ikinci türev matrisi (Hessian) negatif belirli olmalı (yeterli koşul). YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 12 Başarı olasılığının p (0 < p < 1) olduğu Bernoulli dağılımından 10 r.d. çekilmiş olsun: X 1,X 2,...,X 10. Bunların gözlemlenen değerlerine x 1,x 2,...,x 10 diyelim. Toplam başarı sayısını y = x 1 + x 2 +... + x 10 ile gösterelim. Olabilirlik fonksiyonu bilinmeyen populasyon parametresi p nin bir fonksiyonudur: L(p x 1,x 2,...,x 10 ) = p y (1 p) n y Bu 10 denemenin 6 sının başarı ile sonuçlandığını varsayalım, yani y = x 1 + x 2 +... + x 10 = 6. Bu durumda olabilirlik fonksiyonu, başka bir deyişle, 10 bağımsız Binom denemesinde 6 başarı gözlemleme olasılığı L(p x 1,x 2,...,x 10 ) = p 6 (1 p) 4 olur. 0.1, 0.2,..., 0.9 aralığında olabilirlik fonksiyonu değerleri şöyledir:
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 13 p L(p x) = p 6 (1 p) 4 0.1 0.00000066 0.2 0.00002621 0.3 0.00017503 0.4 0.00053084 0.5 0.00097656 0.6 0.00119439 0.7 0.00095296 0.8 0.00041943 0.9 0.00005314 Olabilirlik fonksiyonunun y/10 = 0.6 değerinde en yüksek olduğuna dikkat edin. Bir sonraki şekilde p için daha sık grid değerleri kullanılarak L(.) fonksiyonunun grafiği gösterilmiştir. YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 14 x 10 4 12 10 L(p): Olabilirlik Fonksiyonu 8 6 4 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 p
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 15 ÖRNEK: n bağımsız Bernoulli(p) denemesinde örneklem gerçekleşme değerlerine x = (x 1,x 2,...,x n ) diyelim. Bu örneklem değerlerinden hareketle bilinmeyen parametre p nin MLE t.e. bulun. Olasılık fonksiyonu: Olabilirlik fonksiyonu f(x i ;p) = p x i (1 p) 1 x i, x i = 1,0, i = 1,2,...,n L(p x) = f(x i ;p) = p x i (1 p) 1 x i n denemede toplam başarı sayısına y dersek (y = x 1 + x 2 +... + x n ) olabilirlik fonksiyonu L(p x) = p x i (1 p) 1 x i = p y (1 p) n y, y = x 1 + x 2 +... + x n Olabilirlik fonksiyonunun doğal logaritmasını alırsak: ln L(p x) = y ln(p) + (n y) ln(1 p) YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 16 Buradan p ye göre 1.türev: 2.türev p ln L(p x) = y p n y 1 p = 0, = p = y n p 2 lnl(p x) = y p 2 Öyleyse p nin MLE tahmin edicisi n y < 0, her p değeri için (1 p) 2 ˆp mle = y n = X
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 17 ÖRNEK: x = (x 1,x 2,...,x n ), Poisson dağılımına uyan bir anakütleden çekilmiş n gözlemli rassal örneklem değerlerini göstersin. Bu örneklem değerlerinden hareketle bilinmeyen parametre λ nın MLE t.e. bulun. X Poisson(λ) olduğuna göre olasılık fonksiyonu: f(x i ;λ) = e λ λ x i x i!, x i = 1,2,3,..., i = 1,2,...,n Log-olabilirlik fonksiyonu: [ n ] [ ] e λ λ x i n lnl(λ x) = ln = ln e nλ λ x i x i! x i! [ n ] = nλ + ln(λ) x i ln x i! [ n ] = nλ + nln(λ) x ln x i! YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 18 ÖRNEK (dvm): Poisson(λ) dağılımdan çekilen n gözlemli rassal örneklem değerleri için log-olabilirlik fonksiyonu: [ n ] ln L(λ x) = nλ + nln(λ) x ln x i! λ ya göre 1. türev: 2. türev: Öyleyse λ nın MLE t.e.: λ lnl(λ x) = n + n x = 0, λ lnl(λ x) = n x λ2 λ 2 < 0, ˆλ mle = X = λ = x her λ değeri için
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 19 L(λ) Poisson(λ) icin Log olabilirlik fonksiyonu λ YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 20 ÖRNEK: x = (x 1,x 2,...,x n ), ortalaması µ, varyansı σ 2 olan Normal dağılan bir anakütleden çekilmiş rassal örneklem değerleri olsun. Populasyon parametreleri µ ve σ 2 nin MLE tahmin edicilerini bulun. X N(µ,σ 2 ) olduğundan olasılık yoğunluk fonksiyonu: ( f(x i ;µ,σ 2 1 ) = exp 1 ) 2πσ 2 2σ 2 (x i µ) 2, < x i <, i = 1,2,...,n Olabilirlik fonksiyonu: L(µ,σ 2 x) = = f(x i ;µ,σ 2 ) = ( 1 2πσ 2 ( 1 exp 1 ) 2πσ 2 2σ 2 (x i µ) 2 ( 1 ) 2σ 2 (x i µ) 2 ) n n exp = (2πσ 2 ) n/2 exp ( 1 2σ 2 ) (x i µ) 2
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 21 ÖRNEK: Log-olabilirlik fonksiyonu: 1. türevler: lnl(µ,σ 2 x) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 µ lnl(µ,σ2 x) = 1 σ 2 (x i µ) = 0 σ 2 lnl(µ,σ2 x) = n 2σ 2 + 1 2σ 4 Bu sistemin eşanlı çözümünden elde edilir. ˆµ mle = X, ˆσ 2 mle = 1 n (x i µ) 2 (x i µ) 2 = 0 (X i X) 2 YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 22 ÖRNEK: 2. türevler: µ 2 lnl(µ,σ2 x) = n σ 2 µ σ 2 lnl(µ,σ2 x) = 1 σ 4 (σ 2 ) 2 lnl(µ,σ2 x) = σ 2 µ lnl(µ,σ2 x) = 1 σ 4 (x i µ) n 2σ 4 1 σ 6 (x i µ) 2 (x i µ) Hessian matrisini MLE çözümlerinde değerlersek H ˆµmle,ˆσ mle 2 = µ lnl(µ,σ 2 x) 2 2 µ σ lnl(µ,σ 2 x) 2 = σ 2 µ lnl(µ,σ2 x) 2 (σ 2 ) lnl(µ,σ 2 x) 2 n ˆσ 2 mle 0 0 n 2ˆσ 4 mle Bu matris negatif belirli olduğundan 2. derece koşulları da sağlanmış olur.
YTÜ-İktisat İstatistik II Nokta Tahmin Yöntemleri 23 MAKSİMUM OLABİlİRLİK TAHMİN YÖNTEMİNİN ÖZELLİKLERİ: Değişmezlik (Invariance): ˆθ mle, θ nın MLE tahmin edicisi olsun. θ nın γ = g(θ) gibi bir fonksiyonu tanımlanmış olsun. Değişmezlik özelliğine göre γ nın MLE t.e.si ˆγ mle = g(ˆθ mle ) olur. Tutarlılık: MLE tahmin edicisi ˆθ mle tutarlıdır. Asimptotik Normallik: θ nın MLE tahmin edicisi ˆθ mle asimptotik normaldir: ( ) n, n(ˆθmle θ) N 0,σ 2ˆθ burada σ 2 θ = 1 I(θ), I(θ) = E θ [ ] 2 lnl(θ x) θ MLE tahmin edicisi doğru parametre değeri θ çevresinde yaklaşık olarak normal dağılır. Yukarıdaki varyans ifadesindeki I(θ) terimi Fisher information olarak bilinir. Bu değer ne kadar büyükse (ne kadar çok bilgi varsa) varyans o kadar küçük olur.