Çıkarsama, Tahmin, Hipotez Testi

Transkript

1 İSTATİSTİK II: Çıkarsama, Tahmin, Hipotez Testi Hüseyin Taştan 1 1 Yıldız Teknik Üniversitesi İktisat Bölümü 23 Eylül 2012 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 1

2 İstatistik Biliminin Uğraşı Alanları Veriden anlam çıkarılması, özetlenmesi Belirsizlik: neyin olduğu değil, neyin olası olduğu Örnekleme (sampling): anakütlenin (population) tümüne ait bilgi toplamak çoğu zaman imkansızdır. Bunun yerine anakütleye ilişkin analiz bu anakütleyi en iyi temsil eden bir örnekleme dayandırılabilir. İktisadi ilişkilerin analizi: Ekonometrinin alanı Kestirim (Prediction) Belirsizlik altında karar alma Ekonometri: İstatistiksel Çıkarsama - H. Taştan 2

8 BASİT RASSAL ÖRNEKLEME N tane nesne arasından n tanelik bir örneklem seçilmesinin istendiğini düşünelim. n nesneli olanaklı her örneklemin seçilme şansını eşit kılan seçim sürecine rassal örnekleme (random sampling) denir. Amaç: Örneklem bilgisine dayanarak anakütleye ilişkin çıkarsamalar yapmak Bu çıkarsamalar anakütleden çekilen örneklem bilgisinin belli bir fonksiyonu olan bir istatistiğe dayanır. Bu istatistiğin örnekleme dağılımı, bu anakütleden çekilebilecek aynı büyüklükteki bütün örneklemlerde sözkonusu istatistiğin alabileceği değerlerin olasılık dağılımıdır. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 3

13 BASİT RASSAL ÖRNEKLEME n boyutlu Rassal Örneklem: X 1, X 2,..., X n, Bu r.d. lerin aldığı belirli değerler: x 1, x 2,..., x n Rassal Örneklem: her biri diğerinden bağımsız ve aynı dağılıma sahip, f(x i ), i = 1, 2,..., n Kısaca X i i.i.d f(x i ), i = 1, 2,..., n Bağımsızlık özelliğinden hareketle Ortak olasılık fonksiyonu (sürekli ise yoğunluğu): f(x 1, x 2,..., x n ) = f 1 (x 1 ) f 2 (x 2 ),..., f n (x n ) n = f j (x j ) j=1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 4

18 BETİMLEYİCİ ÖRNEK Populasyon: {6, 9, 12, 15, 18}, N = 5 f(x) = 1/5 farzedelim. Olasılık fonksiyonu şöyle yazılabilir: x f(x) = P (X = x) 1 5 Populasyon ortalaması, varyansı ve medyanını bulalım. E(X) = µ = = 12 E(X 2 ) = = 162 Var(X) = σ 2 = E(X 2 ) µ 2 = = 18 Med(X) = 12, Şimde bu 5 nesneli anakütleden n = 3 nesneli örneklemler çekmek istediğimizi düşünelim. ( ) 5 Olanaklı tüm örneklemlerin toplam sayısı: = 3 5 C 3 = 10 Örneklem ortalaması (X) ve medyanı (m) ve örneklem varyansının s 2 örnekleme dağılımlarını bulalım. Ekonometri: İstatistiksel Çıkarsama - H. Taştan

19 BETİMLEYİCİ ÖRNEK (devam) Örneğimizdeki populasyonda sadece 5 nesne bulunduğundan olanaklı tüm örneklemleri (10 tane) listeleyip, herbiri için örneklem istatistiklerini hesaplayabiliriz: x = 1 n s 2 = 1 n 1 n i=1 x i n (x i x) 2 i=1 m = medyan(x) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 6

20 BETİMLEYİCİ ÖRNEK (devam) Olanaklı tüm örneklemler için örneklem istatistikleri Örneklem no Örneklem değerleri x m s 2 1 6, 9, , 9, , 9, , 12, , 12, , 15, , 12, , 12, , 15, , 15, Ekonometri: İstatistiksel Çıkarsama - H. Taştan 7

21 BETİMLEYİCİ ÖRNEK (devam) Örneklem ortalamasının örnekleme dağılımı x f(x) = P (X = x) Örneklem ortalamasının beklenen değeri: E ( X ) = µ X = xf(x) = 9(0.1) (0.1) = 12 ( E X 2) = x 2 f(x) = 81(0.1) (0.1) = 147 Var ( X ) ( = E X 2) µ 2 = = 3 X Ekonometri: İstatistiksel Çıkarsama - H. Taştan 8

22 BETİMLEYİCİ ÖRNEK (devam) Örneklem medyanının örnekleme dağılımı m f(m) = P (M = m) E(m) = µ m = 12 Var(m) = σ 2 m = 5.4 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 9

23 BETİMLEYİCİ ÖRNEK (devam) Örneklem varyansının örnekleme dağılımı s f(s 2 ) = P (S 2 = s 2 ) E(S 2 ) = s 2 f(s 2 ) = 9(0.3) + 21(0.4) + 36(0.1) + 39(0.2) = 22.5 Sonlu anakütle düzeltmesi yaparsak: E(S 2 ) = N N 1 = 5 4 σ2 = 22.5 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 10

24 ÖRNEKLEM ORTALAMASININ ÖRNEKLEME DAĞILIMI Ortalaması µ, varyansı σ 2 olan bir anakütleden çekilmiş n boyutlu bir rassal örneklem: X 1, X 2,..., X n µ için bir tahminci: X = 1 n X i n Beklenen değer: E ( X ) = 1 n E ( n i=1 X i ) = 1 n i=1 n E(X i ) i=1 = 1 (µ + µ µ), X ler türdeş dağıldığı için n = 1 n nµ = µ Gözlem sayısı arttıkça, örneklem ortalaması anakütle ortalamasına yakınsar: n, X n µ Ekonometri: İstatistiksel Çıkarsama - H. Taştan 11

25 ÖRNEKLEM ORTALAMASININ ÖRNEKLEME DAĞILIMI Örneklem ortalamasının varyansı: V ar ( X ) ( n ) = 1 n 2 V ar X i = 1 n n 2 V ar(x i ) i=1 i=1 = 1 n 2 (σ2 + σ σ 2 ), X ler türdeş ve bağımsız dağıldığı için = 1 n 2 nσ2 = σ2 n Rassal örneklem olma özelliklerini (türdeş ve bağımsız dağılma, i.i.d) kullandık. Gözlem sayısı arttıkça, örneklem ortalamasının varyansı 0 a yakınsar: n, V ar(x n ) 0 Örneklem Ortalamasının standart hatası: sh(x) = σ X = σ n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 12

26 ÖRNEKLEM ORTALAMASININ ÖRNEKLEME DAĞILIMI Anakütle normal dağılıyorsa örneklem ortalamasının örnekleme dağılımı da normal dağılır. Normal dağılmış r.d. lerin doğrusal fonksiyonları da normal dağılıma uyar: X N(µ, σ 2 ) ise a + bx N(a + bµ, b 2 σ 2 ) X i N(µ, σ 2 ), i = 1, 2,..., n ise X N ( µ, σ 2 ) n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 13

27 ÖRNEKLEM ORTALAMASININ ÖRNEKLEME DAĞILIMI Eğer X lerin çekildiği anakütle normal dağılıma uyuyorsa: Z = X µ σ/ n N(0, 1) Daha genel olarak, eğer X lerin çekildiği anakütle normal dağılıma uymuyorsa, gözlem sayısı arttıkça, yukarıdaki ifade asimptotik olarak doğrudur. Merkezi Limit Teoreminden hareketle: Z = X µ σ/ n N(0, 1) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 14

28 ÖRNEKLEM ORANININ ÖRNEKLEME DAĞILIMI Rassal değişken X, başarı olasılığının p ve toplam deneme sayısının n olduğu binom dağılımında toplam başarı sayısını ifade etsin: X Binom(n, p), E(X) = np, V ar(x) = np(1 p) Örneklem başarı oranı ˆp, toplam başarı sayısının gözlem sayısına oranıdır: ˆp = X n Beklenen değeri ve varyansı: ( ) X E(ˆp) = E = 1 n n E(X) = 1 n np = p ( ) X Var(ˆp) = Var = 1 n n 2 Var(X) = 1 p(1 p) np(1 p) = n2 n p(1 p) sh(ˆp) = σˆp = n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 15

29 ÖRNEKLEM VARYANSININ ÖRNEKLEME DAĞILIMI Ortalaması µ, varyansı σ 2 olan bir anakütleden çekilmiş n boyutlu bir rassal örneklem: X 1, X 2,..., X n Amaç: Populasyon varyansı σ 2 için çıkarasama yapmak. Bu amaçla örneklem varyansı kullanılabilir: s 2 = 1 n 1 n (X i X) 2 i=1 Beklenen değer: E(s 2 ) = σ 2 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 16

30 ÖRNEKLEM VARYANSININ ÖRNEKLEME DAĞILIMI E(s 2 ) = σ 2 İspat: s 2 formülünde parantezin içine µ yu ekleyip çıkarır ve yeniden düzenlersek: n ( Xi X ) 2 n [ = (Xi µ) (X µ) ] 2 i=1 = = = = i=1 n [ (Xi µ) 2 2(X i µ)(x µ) + (X µ) 2] i=1 n (X i µ) 2 2(X µ) i=1 n n (X i µ) + (X µ i=1 i=1 n (X i µ) 2 2n(X µ) 2 + n(x µ) 2 i=1 n (X i µ) 2 n(x µ) 2 Ekonometri: İstatistiksel Çıkarsama i=1 - H. Taştan 17

31 İspat (dvm) s 2 = 1 n 1 n i=1 (X i X) 2 = 1 n 1 n (X i µ) 2 n(x µ) 2 i=1 Beklenen değerini alırsak: ( n ) E(s 2 1 ) = n 1 E (X i µ) 2 n(x µ) 2 = 1 n 1 i=1 i=1 n E ( (X i µ) 2) ( n E (X µ) 2 ) }{{}}{{} σ 2 σ 2 n 1 = n 1 (nσ2 n σ2 n ) 1 = (n 1)σ2 n 1 = σ 2 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 18

32 ÖRNEKLEM VARYANSININ ÖRNEKLEME DAĞILIMI Anakütlenin normal dağıldığı varsayımı altında gözlem değerlerinin ortalamadan sapmalarının karelerinin toplamının anakütle varyansına oranı ki-kare dağılımına uyar: (n 1)s 2 n i=1 σ 2 = (X i X) 2 σ 2 χ 2 n 1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 19

33 TAHMİN Tahmin teorisinde amaç örneklem (sample) bilgisine dayanarak anakütleye (population) ilişkin çıkarsamalar yapmaktır. Bu çıkarsamalar örneklem değerlerinin bir fonksiyonu olan istatistiklere dayanır. İstanbul da yaşayan hanehalklarının ortalama geliri ne kadardır? Buna ilişkin çıkarsama yapabilmemiz için örneklem bilgisini kullanan istatistiklerin, örneğin örneklem ortalamasının, örneklem dağılımını bilmemiz gerekir. Gerçek anakütle parametre değerleri (örneğin anakütledeki ortalama gelir) hiçbir zaman bilinemeyeceğinden, çıkarsama örneklem istatistikleriyle yapılır. Tahmin ikiye ayrılır: Nokta Tahmini ve Aralık Tahmini Ekonometri: İstatistiksel Çıkarsama - H. Taştan 20

38 TAHMİN Bir populasyon parametresinin bir tahmin edicisi (estimator) örneklem bilgisinin bir fonksiyonudur, dolayısıyla rassal bir değişkendir. Bu rassal değişkenin belli bir gerçekleşmesine, başka bir deyişle fonksiyonun belli örneklem için aldığı değere, tahmin (estimate) denir. İstanbul da yaşayan tüm ailelerin ortalama gelirini tahmin etmek istediğimizi düşünelim. 100 kişilik rassal bir örneklem seçersek, bu örneklemdeki ortalama, diyelim YTL, anakütle ortalamasının bir tahminidir. Örneklemi yinelesek başka bir tahmin değeri elde edeceğimiz neredeyse kesindir. Bir populasyon parametresinin nokta tahmin edicisi, örneklem bilgisinin tek bir sayı veren bir fonksiyonudur. Buna karşılık gelen belli bir gerçekleşmeye ise populasyon parametresinin nokta tahmini denir. İstanbul hanehalklarının ortalama geliri örneğinde, populasyon ortalamasını tahmin etmekte kullanılan örneklem ortalaması bir nokta tahmin edicisi, 100 kişiden oluşan her hangi bir rassal örneklem bilgisine dayanan YTL ise nokta tahminidir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 21

39 TAHMİN: Bazı tahminciler (estimator vs. estimate) Popülasyon parametresi Tahmin edici Tahmin Ortalama (µ) X x Varyans (σ 2 ) s 2 X s 2 x Standart Sapma (σ) s X s x Oran (p) ˆp X ˆp x Ekonometri: İstatistiksel Çıkarsama - H. Taştan 22

40 TAHMİN EDİCİLERİN ÖZELLİKLERİ Anakütleye ilişkin gerçeğe yakın çıkarsamalar yapabilmemiz için tahmincilerin özelliklerini belirleyebilmemiz gerekir. Nokta tahmin edicilerinin özelliklerini ikiye ayırabiliriz: Sonlu örneklem (finite sample) özellikleri ve asimptotik özellikler Sonlu örneklem özellikleri, büyüklüğü ne olursa olsun her örneklem için gerçerlidir. Sonlu örneklem özellikleri: sapmasızlık, etkinlik Asimptotik ya da büyük örneklem özellikleri: tutarlılık, asimptotik etkinlik, asimptotik normallik Ekonometri: İstatistiksel Çıkarsama - H. Taştan 23

45 SAPMASIZLIK (UNBIASEDNESS) Bazı tanımlar: θ: Bilinmeyen anakütle parametresi ˆθ: θ nın nokta tahmin edicisi (kısaca, t.e.) TANIM: Eğer ˆθ nın örneklem dağılımındaki ortalaması anakütle parametresi θ ya eşitse, yani, E(ˆθ) = θ ise, ˆθ ya θ nın sapmasız bir tahmin edicisi (unbiased estimator) denir. Örnekleme sürecini çok sayıda yinelesek, her bir örneklem için ˆθ yı hesaplasak, bu çok sayıda tahmin değerinin ortalaması bizim bilmediğimiz anakütledeki parametre değerine (θ) eşit olur. Örnekler: E(X) = µ, E(s 2 X) = σ 2, E(ˆp X ) = p Ekonometri: İstatistiksel Çıkarsama - H. Taştan 24

46 SAPMASIZLIK (UNBIASEDNESS) Bazı tanımlar: θ: Bilinmeyen anakütle parametresi ˆθ: θ nın nokta tahmin edicisi (kısaca, t.e.) TANIM: Eğer ˆθ nın örneklem dağılımındaki ortalaması anakütle parametresi θ ya eşitse, yani, E(ˆθ) = θ ise, ˆθ ya θ nın sapmasız bir tahmin edicisi (unbiased estimator) denir. Örnekleme sürecini çok sayıda yinelesek, her bir örneklem için ˆθ yı hesaplasak, bu çok sayıda tahmin değerinin ortalaması bizim bilmediğimiz anakütledeki parametre değerine (θ) eşit olur. Örnekler: E(X) = µ, E(s 2 X) = σ 2, E(ˆp X ) = p Ekonometri: İstatistiksel Çıkarsama - H. Taştan 24

47 Sapmasızlık f ( ˆθ) θ icin SAPMALI ve SAPMASIZ tahmin ediciler ˆθ 1 in orn. dag ˆθ 2 nin orn. dag θ ˆθ

48 SAPMASIZLIK (dvm) Örneklem varyansı s 2 X nin beklenen değerinin anakütle varyansı σ 2 ye eşit olduğunu daha önce göstermiştik. Şimdi anakütle varyansının başka bir tahmin edicisini tanımlayalım. Örneklem ortalamasından sapmaların kareleri toplamını n 1 yerine n ye bölelim: ˆσ 2 = 1 n (X i X) 2 n i=1 Bu t.e. nin sapmalı olduğu açıktır. Bunu görmek için n i=1 (X i X) 2 = s 2 X (n 1) olduğundan hareketle (bkz. örneklem dağılımları) ˆσ 2 = n 1 n s2 X = E(ˆσ 2 ) = n 1 n E(s2 X) = n 1 n σ2 E(ˆσ 2 ) σ 2 olduğundan, ˆσ 2, σ 2 nin sapmalı bir tahmin edicisidir. Özellikle küçük örneklemlerde ˆσ 2 ye dayandırılan çıkarsamalar geçersiz olur. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 26

53 SAPMASIZLIK (dvm) Sapmasız olmayan bir tahmin ediciye sapmalı (biased) denir. Sapmanın ölçüsü tahmin edicinin ortalaması ile gerçek popülasyon katsayısı arasındaki farktır: Sapma(ˆθ) = E(ˆθ) θ Sapmasız t.e.ler için Sapma(ˆθ) = 0 olduğu açıktır. Örneğin anakütle varyansının bir tahmin edicisi olan daha önce tanımladığımız ˆσ 2 için sapma: Sapma(ˆσ 2 ) = E(ˆσ 2 ) σ 2 = n 1 n σ2 σ 2 = 1 n σ2 Bir tahmin edicinin sapmasız olması, tahmin değerinin doğru değere eşit olduğu anlamına gelmez. Soyut olarak örneklem sürecinin çok sayıda tekrarlandığını düşünürsek, bu çok sayıda örneklemlerden hesaplanan tahmin değerlerinin ortalamasının bilinmeyen anakütle katsayısına eşit olmasıdır. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 27

57 ETKİNLİK (EFFICIENCY) Sapmasızlık tek başına iyi tahmin ediciler türetmede yeterli değildir. Genellikle bir anakütle parametresi için çok sayıda sapmasız tahmin edici tanımlanabilir. Bu tahmin edicilerin bilinmeyen gerçek anakütle değeri etrafındaki değişkenlikleri, yani varyansları da tahmin edicilerin seçiminde önemlidir. Tahmin edicilerin etkinliği bunların örneklem dağılımlarındaki varyansla ilişkilidir. TANIM: ˆθ 1 ve ˆθ 2, θ nın aynı sayıda gözleme dayanan iki sapmasız tahmin edicisi olsun. Eğer V ar(ˆθ 1 ) < V ar(ˆθ 2 ) ise ˆθ 1, ˆθ 2 dan daha etkin bir tahmin edicidir denir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 28

61 Etkinlik Tahmin Edicilerin Etkinlikleri f ( ˆθ) ˆθ 1 nin orn. dag. ˆθ 2 nin orn. dag θ ˆθ

62 ETKİNLİK (dvm) TANIM: ˆθ 1 ve ˆθ 2, θ nın aynı sayıda gözleme dayanan iki sapmasız tahmin edicisi olsun. Bir tahmin edicinin ötekine göre göreli etkinliği varyanslarının oranıdır: Göreli etkinlik = V ar(ˆθ 2 ) V ar(ˆθ 1 ) TANIM: ˆθ 1, ˆθ 2,..., ˆθ k, θ nın aynı sayıda gözleme dayanan k tane sapmasız tahmin edicisi olsun. Eğer V ar(ˆθ 1 ) < V ar(ˆθ 2 ) <... < V ar(ˆθ k ) ise ˆθ 1, bu k sapmasız tahmin edici kümesi içinde en etkin ya da varyansı en küçük sapmasız tahmin edici denir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 30

63 ÖRNEK Ortalaması µ ve varyansı σ 2 olan bir anakütleden X 1, X 2,..., X 10 ile gösterilen 10 gözlemli rassal bir örneklem çekilmiştir. Anakütle ortalamasının iki tahmin edicisi tanımlanıyor: ˆθ 1 = X 1 ve ˆθ 2 = 10 1 X i. Bu tahmin edicilerin sapmasız olup olmadıklarını gösterin. Hangisi daha etkindir? CEVAP: Sapmasızlık için E(ˆθ 1 ) = µ olmalı. E(ˆθ 1 ) = E(X 1 ) = µ olduğundan ˆθ 1, µ nun sapmasız bir tahmin edicisidir. Benzer şekilde E(ˆθ 2 ) = E(10 1 X i ) = µ olduğundan ˆθ 2, µ nun sapmasız bir tahmin edicisidir. Etkinlik için varyanslarını hesaplamamız gerekir. V ar(ˆθ 1 ) = V ar(x 1 ) = σ 2 V ar(ˆθ 2 ) = V ar(10 1 X i ) = 0.01σ 2 Açıktır ki V ar(ˆθ 2 ) < V ar(ˆθ 1 ) olduğundan ˆθ 2, ˆθ 1 dan daha etkin bir tahmin edicidir. V ar(x Göreli Etkinlik= 1 ) V ar(10 1 X i ) = σ2 = σ 2 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 31

64 ORTALAMA HATA KARESİ (MEAN SQUARED ERROR) Sapmasız tahmin edicilerin varyanslarını karşılaştırarak en etkin olanını çıkarsama yapmakta kullanabiliriz. Sadece sapmasız tahmin edicileri değil sapmalı olanları da gözönünde bulundurmak istersek varyansları karşılaştırmak çok anlamlı olmayabilir. Bunun yerine Ortalama Hata Karesi (MSE) kullanılabilir: MSE(ˆθ) = E[(ˆθ θ) 2 ] Ortalama Hata Karesinin aşağıdaki ifadeye eşdeğer olduğu gösterilebilir: MSE(ˆθ) = V ar(ˆθ) + (Sapma(ˆθ)) 2 MSE ˆθ nın gerçek anakütle parametresinden ortalamada ne kadar uzakta olduğunu ölçer. MSE varyans ve sapmaya bağlı olduğundan sapmalı tahmin edicilerin karşılaştırılmasında kullanılabilir. Sapma sıfır olduğunda MSE varyansa eşittir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 32

69 ORTALAMA HATA KARESİ (MEAN SQUARED ERROR) ÖRNEK: Anakütle varyansı σ 2 yi tahmin etmek için aşağıdaki iki tahmin ediciyi tanımlamıştık: ˆσ 2 = 1 n n i=1 (X i X) 2, ve s 2 = 1 n 1 n (X i X) 2 Daha önce E(ˆσ 2 ) = n 1 n σ2 ve E(s 2 ) = σ 2 olduğunu göstermiştik. Yani ˆσ 2 sapmalı, s 2 ise sapmasız bir tahmin ediciydi. Buradan hareketle ortalama hata kareleri: i=1 MSE(ˆσ 2 ) = V ar(ˆσ 2 ) + [Sapma(ˆσ 2 )] 2 Burada ˆσ 2 = n 1 n s2 ve V ar(s 2 ) = 2σ4 n 1 olduğuna dikkat edilirse ki-kare dağılımının özelliklerinden hareketle ( ) (n 1) n ( ) n 1 V ar ˆσ2 nˆσ 2 σ 2 = V ar σ 2 = 2(n 1) Buradan da n 2 σ 4 V ar(ˆσ2 ) = 2(n 1) = V ar(ˆσ 2 2(n 1) ) = n 2 σ 4 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 33

70 ORTALAMA HATA KARESİ (MEAN SQUARED ERROR) ÖRNEK (dvm): Öyleyse ˆσ 2 için ortalama hata karesi: MSE(ˆσ 2 ) = V ar(ˆσ 2 ) + [Sapma(ˆσ 2 )] 2 2(n 1) = n 2 σ 4 + ( 1n ) 2 σ2 = s 2 için ortalama hata karesi (2n 1) n 2 σ 4 MSE(s 2 ) = V ar(s 2 ) + Sapma(s 2 ) = 2 n 1 σ4 + 0 = 2 n 1 σ4 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 34

71 NOKTA TAHMİN EDİCİLERİNİN ASİMPTOTİK ÖZELLİKLERİ Anakütle ortalamasını tahmin etmek için n gözlemli bir rassal örneklemde nokta t.e. olarak bu örneklem değerlerinden sadece birini, mesela X 1, kullandığımızı düşünelim. Bu durumda örneklem bilgisinin tamamının kullanılmadığına dikkat edin. Bu tahmin edicinin sapmasız olduğunu ancak örneklem ortalamasına göre varyansının çok büyük olduğunu daha önce görmüştük. Örneklemin boyutu ne olursa olsun bu tahmin edicinin varyansı değişmeyecektir. Çoğu durumda gözlem sayısı n arttıkça tahmin sürecinin daha iyi sonuçlar vermesini bekleriz. Örneğin, n büyürken, X ın varyansı küçülür, böylece µ ya belli bir hızda yaklaşır. X 1 gibi bir t.e. ise n büyüdükçe değişmez. X 1 gibi aptalca tahmin edicileri bunların asimptotik özelliklerini inceleyerek eleyebiliriz. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 35

76 NOKTA TAHMİN EDİCİLERİNİN ASİMPTOTİK ÖZELLİKLERİ Asimpototik özelliklerin incelenme nedenlerinden biri de, bazı durumlarda tahmin edicilerin küçük örneklem özelliklerinin açıkça ifade edilememesidir. Böyle bir durumda, tahmin ediciler arasında sapmasızlık ve etkinlik bakımından karşılaştırma yapmak olanaklı olmaz. Çoğu durumda tahmin edicilerin örneklem büyüklüğü artarken (n sonsuza giderken)ki davranışlarını incelemek daha kolay olabilir. Asimptotik özellikler: tutarlılık, asimptotik etkinlik Ekonometri: İstatistiksel Çıkarsama - H. Taştan 36

80 TUTARLILIK (CONSISTENCY) Tanım: İlgilendiğimiz bilinmeyen populasyon parametresi θ olan bir anakütleden çekilmiş n boyutlu bir rassal örneklem X 1, X 2,..., X n olsun. Bu rassal örnekleme dayanarak θ nın ˆθ n gibi bir t.e. tanımlanıyor. İstediğimiz kadar küçük seçebileceğimiz her ɛ > 0 değeri için [ ] lim P ˆθ n θ < ɛ n [ ] = 1 ya da lim P ˆθ n θ > ɛ = 0 n koşulu sağlanıyorsa ˆθ n, θ nın tutarlı bir tahmin edicisidir. Bu koşul sağlandığında θ, ˆθ n nın olasılık limitidir denir ve kısaca şöyle gösterilir: plim(ˆθ n ) = θ ˆθ n nın örnekleme dağılımı büyük örneklemlerde (n sonsuza giderken) bilinmeyen anakütle parametre değeri θ etrafında yoğunlaşır. Tutarlı bir tahmin edici için, n büyürken doğru anakütle değerinden uzaklaşma olasılığı azalır, limitte sıfır olur. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 37

81 TUTARLILIK (dvm) Law of Large Numbers: X 1, X 2,..., X n ortalaması µ, varyansı σ 2 olan bir anakütleden çekilmiş rassal bir örneklem (iid) olsun. Büyük sayılar yasasına göre ( ) 1 n plim(x n ) = plim X i = µ n V ar(x n ) limitte sıfıra yakınsadığından örneklem ortalaması limitte beklenti değeri olan µ ya yakınsar. Gözlem sayısı arttıkça X lerin anakütle ortalaması hakkında daha fazla bilgi toplanmış olur. Sonuçta bireysel olarak X lerdeki rassallık ortadan kalkar ve örneklem ortalaması popülasyon ortalamasına yakınsar.bunun gerçekleşebilmesi için i.i.d. varsayımı yeterlidir. n büyüdükçe varyansları küçülen (limitte sıfır olan) t.e. tutarlıdır. Tutarlılık özelliğini sağlamayan tahmin edicilere tutarsız (inconsistent) t.e. denir. Eğer bir t.e. tutarsız ise sonsuz sayıda örneklem değerleri olsa bile anakütle parametresi hakkında bilgi sahibi olmamıza imkan tanımaz. Tutarlı Ekonometri: bir tahmin İstatistiksel Çıkarsama edici sapmalı - H. Taştan olabileceği 38 gibi tersi de doğru i=1

82 TUTARLILIK (dvm) Bir tahmin edicinin tutarlı olabilmesi için aşağıdaki iki koşulu sağlaması yeterlidir: 1. lim n E(ˆθ n ) = θ 2. lim n V ar(ˆθ n ) = 0 Birinci koşula göre, gözlem sayısı arttıkça tahmin edicinin beklenen değeri limitte bilinmeyen doğru değere yakınsar. Bir başka deyişle n sonsuza giderken sapma sıfıra yakınsar. İkinci koşula göre, gözlem sayısı arttıkça anakütle parametresinin doğru değeri çevresindeki değişkenlik azalır, limitte sıfır olur. Eğer bu koşul sağlanmıyorsa, diyelim ki gözlem sayısı arttıkça tahmin edicinin varyansı artıyor ya da sabit kalıyorsa tutarlılık sağlanmaz. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 39

83 TUTARLILIK (dvm) ÖRNEK: Ortalaması µ, varyansı σ 2 olan bir populasyondan n boyutlu bir örneklem çekilmiştir: X 1, X 2,..., X n. Örneklem ortalaması X n ın yanı sıra aşağıdaki tahmin ediciler tanımlanıyor: ˆµ 1 n = 1 n + 1 n i=1 X t, ˆµ 2 n = 1.02 n n i=1 X t, ˆµ 3 n = 0.01X n 1 Bu tahmin edicilerin sapmasız ve tutarlı olup olmadıklarını gösterin. Birinci tahmin edici sapmalı ancak tutarlıdır. ( ) E(ˆµ 1 1 n n) = E X t = n µ = sapmalı n + 1 n + 1 i=1 ( ) V ar(ˆµ 1 1 n n) = V ar X t = n + 1 i=1 n 2 (n + 1) 2 V ar(x n) = n i=2 X t n 2 σ 2 (n + 1) 2 n = n (n + 1) 2 σ2 n, n n + 1 µ µ, ve n (n + 1) 2 σ2 0 = tutarlı ˆµ 1 n = n n+1 X n olarak yazılabileceğine dikkat edin. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 40

84 TUTARLILIK (dvm) ÖRNEK: İkinci tahmin edici sapmalı ve tutarsızdır: ( ) E(ˆµ n n) = E X t = 1.01E(X n ) = 1.01µ = sapmalı n n, i=1 1.01X n 1.01µ = tutarsız Üçüncü tahmin edici sapmasız ve tutarsızdır: ( n ) E(ˆµ 3 n) = 0.01E(X 1 ) n 1 E X t = 0.01µ (n 1)µ = µ = n 1 n, E ( 0.01X n 1 i=2 ) n X t 0.01X µ = tutarsı i=2 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 41

85 TUTARLILIK (dvm) ÖRNEK: Anakütle varyansı σ 2 yi tahmin etmek için aşağıdaki iki tahmin ediciyi tanımlamıştık: ˆσ 2 = 1 n n i=1 (X i X) 2, ve s 2 = 1 n 1 n (X i X) 2 i=1 ˆσ 2 nın sapmalı olduğunu göstermiştik. Acaba tutarlı mı? Bunu görmek için n sonsuza giderken sapmanın sıfıra, varyansın da sıfıra yakınsadığını göstermek yeterlidir: n, ( 1n ) σ2 0, V ar(ˆσ 2 ) = 2(n 1) n 2 σ 4 0 = tutarlı Ekonometri: İstatistiksel Çıkarsama - H. Taştan 42

86 TUTARLILIK (dvm) Konuyu daha iyi anlamak için bilgisayarda şu Monte Carlo deneyini yapalım: Uniform(0,1) dağılımına uyan anakütleden n boyutlu rassal örneklemler çektiğimizi ve her örneklem için aşağıdaki t.e. değerlerini hesapladığımızı düşünelim. ˆσ 2 = 1 n n i=1 (X i X) 2, ve s 2 = 1 n 1 n (X i X) 2 i=1 Örneklem büyüklüklerini şu şekilde belirleyelim: n = {2, 5, 10, 15, 20, 50, 100, 1000, 5000, 10000}. Bu deneyi her bir örneklem için kere tekrarlayalım. Her örneklem büyüklüğü için bu sayının ortalamasını ve varyansını hesaplayalım. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 43

87 Bu deney için aşağıdakine benzer bir MATLAB kodu kullanılabilir: n = [ ] ; N = 10000; for i=1:n for j=1:length(n); x = rand(n(j),1); xbar = mean(x); ssqdev = sum((x-xbar).^2); sigmahat2(i,j) = ssqdev/n(j); s2(i,j) = ssqdev/(n(j)-1); end end Ekonometri: İstatistiksel Çıkarsama - H. Taştan 44

88 Daha önce E(ˆσ 2 ) = n 1 n σ2 ve E(s 2 ) = σ 2 olduğunu göstermiştik. Yani ˆσ 2 sapmalı, s 2 ise sapmasız bir tahmin ediciydi. Bu iki tahmin edicinin varyansları: V ar(ˆσ 2 ) = 2(n 1)σ4 n 2, V ar(s 2 ) = 2σ4 n 1 Görüldüğü gibi ˆσ 2, s 2 den daha etkin bir tahmin edici ancak sapmalı. s 2 ise sapmasız fakat özellikle küçük örneklemlerde diğer t.e.ye göre daha büyük varyanslıdır. Ayrıca, ortalama hata kareleri: MSE(ˆσ 2 ) = (2n 1) n 2 σ 4, MSE(s 2 ) = 2 n 1 σ4 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 45

89 Anakütle Uniform(0,1) olduğundan µ = 1/2 ve σ 2 = 1/12. Buradan da verilmiş n vektörü için bu iki t.e. nin büyük örneklem özellikleri teorik olarak şöyle hesaplanabilir: n 1 n (n 1)σ 2 n 2(n 1)σ 4 n 2 2σ 4 n 1 n σ2 n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 46

90 Monte Carlo deneyi sonuçları n ˆσ in Ort. s 2 nin Ort. Sapma(ˆσ) Sapma(s 2 ) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 47

91 Monte Carlo deneyi sonuçları n V ar(ˆσ) V ar(s 2 ) Fark Ekonometri: İstatistiksel Çıkarsama - H. Taştan 48

92 TUTARLILIK (dvm) Olasılık Limitinin Özellikleri: Bir rassal değişkenin olasılık limiti gözlem sayısı arttıkça r.d. nin yakınsadığı değer olarak tanımlanmıştı: plim(y n ) = α plim in en önemli özelliği şudur: Y n nin herhangi g(y n ) bir doğrusal olmayan sürekli fonksiyonu için plimg((y n )) = g(plim(y n )) = g(α) Örneğin, örneklem ortalamasının sürekli bir fonksiyonu, X n > 0 için g(x n ) = ln(x n ) olarak tanımlansın. Beklenti operatörünün doğrusal olmayan fonksiyonlara uygulanamadığını biliyoruz. Ancak Plim kavramını kullanarak yazabiliriz. E(ln(X n )) ln(e(x n )) plim(ln(x n )) = ln(plim(x n )) = ln(µ) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 49

93 TUTARLILIK (dvm) Olasılık Limitinin Özellikleri: plim işlemini ilgilendiğimiz tahmin edicinin sürekli ve doğrusal olmayan fonksiyonları için de kullanabileceğimizi gördük. Daha önce örneklem varyansının sapmasız olduğunu göstermiştik: s 2 n = 1 n 1 n (X i X) 2 Bu tahmin edici tutarlıdır: plims 2 n = σ 2. Anakütle standart sapmasının σ tahmin edicisi olarak s n = s 2 n tanımlansın. Bu tahmin edici sapmalıdır: i=1 E(s n ) E(s 2 n) Ancak plim kavramını kullanarak, n sonsuza giderken plim(s n ) = plim(s 2 n) = σ 2 = σ s n, σ nın tutarlı bir tahmin edicisidir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 50

94 TUTARLILIK (dvm) Olasılık Limitinin Özellikleri: Y n ve W n iki tahmin edicisi olsun. Bunların olasılık limitleri plim(y n ) = α ve plim(w n ) = β olarak tanımlansın. Öyleyse plim(y n + W n ) = plim(y n ) + plim(w n ) = α + β plim(y n W n ) = plim(y n )plim(w n ) = αβ plim(y n /W n ) = plim(y n )/plim(w n ) = α/β Ekonometri: İstatistiksel Çıkarsama - H. Taştan 51

97 TUTARLILIK (dvm) Bu özellikler kullanılarak tutarlı t.e.lerin çeşitli fonksiyonlarından hareketle yeni tutarlı t.e.ler türetilebilir. Örneğin Y 1, Y 2,..., Y n lise eğitimine sahip çalışanlardan oluşan bir anakütleden çekilmiş yıllık ücretleri ifade eden n boyutlu bir rassal örneklem olsun.bunların anakütle ortalaması µ Y olsun. Benzer şekilde, Z 1, Z 2,..., Z n üniversite eğitimine sahip çalışanlardan oluşan bir anakütleden çekilmiş yıllık ücretleri ifade eden n boyutlu bir rassal örneklem olsun. Bunların anakütle ortalamasına da µ Z olsun. Bu iki grup arasındaki yüzde ücret farkını α = (µ Z µ Y )/µ Y, tahmin etmek istediğimizi düşünelim. Y n, µ Y ın, Z n de, µ Z nin tutarlı bir t.e. olduğundan (Z n Y n )/Y n, α nın tutarlı bir t.e.dir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 52

103 ASİMPTOTİK NORMALLİK Tutarlılık özelliği tahmin edicinin yakınsayacağı popülasyon parametresi hakkında bilgi verse de, bu değer çevresindeki dağılımın şekli ile ilgili bilgi vermez. Güven aralıklarının oluşturulabilmesi ve hipotez testlerinin yapılabilmesi için tahmin edicilerin limitteki dağılımlarının bilinmesi gerekir. Çoğu tahmin edicinin limitteki (n sonsuza giderken) dağılımı normal dağılıma uyar. Buna asimptotik normallik denir: {Z n : n = 1, 2,..., n} bir r.d. dizisi olsun. Φ(z) standart normal dağılım (cdf) olmak üzere Her z sayısı için n P (Z z) Φ(z) koşulu sağlanıyorsa Z n asimptotik standart normal dağılıma sahiptir denir. Bu kısaca şöyle gösterilir: Z n N(0, 1) veya Z n N(0, 1) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 53

104 ARALIK TAHMİNİ (INTERVAL ESTIMATION) Nokta tahmininde ilgilenilen anakütle parametresine ilişkin örneklem bilgisinden hareketle tek bir sayı üretilir. Bir nokta tahmini çoğunlukla bilinmeyen parametreye ilişkin oluşturacağımız en iyi bahis olarak düşünülebilir. Ancak bir nokta tahmini, bu tahminin bilinmeyen gerçek populasyon parametresine ne kadar yakın olabileceğine, başka bir deyişle, doğru parametre değerine hangi olasılıkla ve ne kadar yakın olduğuna ilişkin bir şey söylemez. Örneğin büyük bir parti maldan rassal çekilmiş parçaların %10 unun kusurlu olduğu tahmini yapılmış olsun. Aralık tahmininde gerçek kusurlu oranının %5 ile %15 ya da %8 ile %12 gibi iki değer arasında olmasından ne kadar emin olabiliriz sorusuna cevap aranır. Aralık tahmini bilinmeyen parametreye ilişkin belirsizliği açık olarak yansıtır. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 54

109 ARALIK TAHMİNİ Bir anakütle katsayısının aralık tahmin edicisi, o anakütle katsayısının içine düşebileceği bir aralığı örneklem bilgisine dayanarak belirlemenin kuralıdır. Buna karşılık gelen tahmine de aralık tahmini denir. θ bilinmeyen populasyon parametresi olsun. θ nın aralık tahmin edicisi P (A < θ < B) = 1 α, B > A Burada A ve B örneklem bilgisine bağlıdır ve rassal değişkendir. A: alt güven sınırı, B: üst güven sınırı 1 α: güven düzeyi ya da olasılık içeriği A ve B nin belli örneklem gerçekleşmelerini a ve b ile gösterirsek, bu (a, b) aralığına θ nın %100(1 α) güven aralığı denir: a < θ < b Ekonometri: İstatistiksel Çıkarsama - H. Taştan 55

115 ARALIK TAHMİNİ Güven Aralığının Anlamı: Olasılığın göreli sıklık (relative frequency) yorumu X 1, X 2,..., X n rassal değişkenlerinin belli gerçekleşmeleri x 1, x 2,..., x n örneklem değerlerinden hareketle θ için güven aralığını oluşturduğumuzu düşünelim. Bu aralığa [a 1, b 1 ] diyelim. Anakütleden yeniden aynı kurallarla başka bir örneklem çekilsin. Bu örneklemden hareketle oluşturulan güven aralığına da [a 2, b 2 ] diyelim. Bu işlemi çok sayıda, diyelim ki N kere tekrarlamış olalım. Elimizde N tane güven aralığı olacaktır: {[a 1, b 1 ], [a 2, b 2 ],..., [a N, b N ]} Güven katsayısı 1 α nın anlamı şudur: Bu N güven aralığından %100(1 α) kadarı doğru anakütle parametresi θ yı içerecektir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 56

120 Güven Aralığı: Örnek Bir Normal Dağılım Ortalamasının µ Güven Aralıkları: Populasyon Varyansı σ 2 Biliniyor Varsayım: X 1, X 2,..., X n rassal değişkenlerinin her biri ortalaması µ varyansı σ 2 olan bir NORMAL dağılımdan çekilmiş ve bağımsızdır. Anakütle varyansı σ 2 biliniyor. µ için güven aralığı oluşturmak istiyoruz. σ 2 bilindiğine göre güven aralıklarını aşağıdaki büyüklüğe dayandırabiliriz: Z = X µ σ/ n N(0, 1) Standart Normal Dağılımın birikimli dağılım fonksiyonundan P (Z < 1.645) = F Z (1.645) = 0.95, P (Z > 1.645) = 0.05 ve P (Z < 1.645) = 0.05 Öyleyse bir standart normal r.d. nin %90 olasılıkla içinde kalacağı aralık: P ( < Z < 1.645) = 1 P (Z > 1.645) P (Z < 1.645) Ekonometri: İstatistiksel Çıkarsama - H. Taştan=

123 Örnek: devam µ için %90 güven aralığı tahmin edicisi: 0.90 = P ( < Z < 1.645) ( = P < X µ ) σ/ n < ( 1.645σ = P < X µ < 1.645σ ) n n ( = P X 1.645σ < µ < X σ ) n n Belli bir örneklem gerçekleşmesine dayanan güven aralığı şöyle olur: x 1.645σ n < µ < x σ n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 58

124 Örnek: devam Basit Bir Simulasyon: N(5, 1) dağılımından çekilmiş n = 15 büyüklüğündeki örneklemden hareketle µ için %90 güven aralığı oluşturmak istediğimizi düşünelim. Bu deneyi N = 10 kere tekrarladığımızda oluşturulan güven aralıkları: Simulasyon No X a b µ = 5 içeriliyor mu? evet evet evet evet evet evet evet hayır evet evet Ekonometri: İstatistiksel Çıkarsama - H. Taştan 59

125 µ icin GUVEN ARALIKLARI, N=

126 µ icin GUVEN ARALIKLARI, N= N = 100 için Güven Aralıkları. Bu 100 simulasyondan 91 tanesi gerçek µ değerini içeriyor.

127 µ icin GUVEN ARALIKLARI, N= N = 1000 için Güven Aralıkları. Bu 1000 simulasyondan 908 tanesi gerçek µ değerini içeriyor.

128 NOKTA TAHMİN YÖNTEMLERİ Nokta tahmininde sıklıkla kullanılan klasik tahmin yöntemleri şunlardır: Momentler Yöntemi (Method of Moments) Maksimum Olabilirlik Yöntemi (Method of Maximum Likelihood) En Küçük Kareler (Least Squares) Diğer tahmin yöntemleri: minimum ki-kare, genelleştirilmiş momentler yöntemi, genelleştirilmiş en küçük kareler, simülasyon bazlı tahmin yöntemleri, vd. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 63

133 MOMENTLER YÖNTEMİ (METHOD of MOMENTS) 1 Elimizde k tane bilinmeyen populasyon parametresi olsun. 2 Bunları θ 1, θ 1,..., θ k ile gösterelim. 3 Bu parametrelerin Momentler Yöntemi tahmin edicileri aşağıdaki sistemin çözümüyle bulunur: E(X) = 1 n E(X 2 ) = 1 n n i=1 n i=1 X i X 2 i. =. E(X k ) = 1 n n i=1 X k i 4 k bilinmeyenli k denklem sistemi Ekonometri: İstatistiksel Çıkarsama - H. Taştan 64

137 Momentler Yöntemi Popülasyon ve Örneklem Moment Koşulları k Population Moments Sample Moments 1 µ 1 = E(X) ˆµ 1 = n 1 X i 2 µ 2 = E(X 2 ) ˆµ 2 = n 1 X 2 i 3 µ 3 = E(X 3 ) ˆµ 3 = n 1 X 3 i 4 µ 4 = E(X 4 ) ˆµ 4 = n 1 X 4 i. k. µ k = E(X k ). ˆµ k = n 1 Xi k Ekonometri: İstatistiksel Çıkarsama - H. Taştan 65

138 MOMENTLER YÖNTEMİ (METHOD of MOMENTS) ÖRNEK: X 1, X 2,..., X n Binom(1,p) dağılımından çekilmiş rassal bir örneklem olsun. p nin momentler yöntemi tahmin edicisini bulun. Burada bilinmeyen populasyon parametresi bir tanedir. Öyleyse momentler yöntemi tahmin edicisi E(X) = p = X eşitliğinden hareketle olur. ˆp mom = X Ekonometri: İstatistiksel Çıkarsama - H. Taştan 66

139 MOMENTLER YÖNTEMİ (dvm) ÖRNEK: N(µ, σ 2 ) anakütlesinden çekilmiş n boyutlu rassal bir örneklemden hareketle µ ve σ 2 parametrelerinin MOM tahmin edicilerini bulun. Burada bilinmeyen iki parametre olduğundan ilk iki populasyon momentini örneklem momentlerine eşitlersek E(X) = µ = X E(X 2 ) = µ 2 + σ 2 = 1 n n i=1 X 2 i Buradan da ˆµ mom = X ˆσ mom 2 = 1 n bulunur. n (X i X) 2 i=1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 67

140 MAKSİMUM OLABİLİRLİK TAHMİN YÖNTEMİ (MAXIMUM LIKELIHOOD ESTIMATION) İstatistik ve ekonometride en sık kullanılan nokta tahmin yöntemlerinden biridir. Anakütleyi betimleyen olasılık yoğunluk fonksiyonunu (ya da olasılık kütle fonksiyonunu, eğer r.d. kesikli ise) f(x; θ) ile gösterelim. Bu anakütleden çekilmiş n gözlemli r.ö. X 1, X 2,..., X n, bunun belli bir gerçekleşmesi ise x 1, x 2,..., x n olsun. Maksimum Olabilirlik tahmin yöntemi (kısaca MLE) belli bir örneklem değerlerinin gerçekleşme olabilirliğini en yüksek yapan anakütle parametrelerini bulmaya çalışır. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 68

144 MLE Bağımsızlık özelliğinden hareketle ortak olasılık yoğunluk fonksiyonu f(x 1, x 2,..., x n ; θ) = f 1 (x 1 ; θ) f 2 (x 2 ; θ),..., f n (x n ; θ) n = f(x i ; θ), i = 1, 2,..., n i=1 olarak yazılabilir. Burada X 1 = x 1, X 2 = x 2,..., X n = x n olduğuna, örneklem yinelense başka gözlem değerleri elde edileceğine dikkat edin. Rassal örneklemin belli bir gerçekleşmesini x = {x 1, x 2,..., x n } ile gösterelim. Olabilirlik fonksiyonu x verilmişken θ yı bilinmeyen olarak ifade eden bir fonksiyondur: n L(θ x 1, x 2,..., x n ) = L(θ x) = f(x i ; θ), i = 1, 2,..., n i=1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 69

147 MAKSİMUM OLABİLİRLİK (dvm) Maksimum Olabilirlik tahmin edicileri olabilirlik fonksiyonunu en yükseğe çıkaran tahmin ediciler olarak tanımlanır. Anakütlenin dağılımının ne olduğu biliniyorsa bu aşağıdaki matematiksel probleme dönüşür: MLE t.e. ˆθ mle dersek: max L(θ x) = θ n f(x i ; θ) i=1 ˆθ mle = arg max L(θ x) = θ n f(x i ; θ) Bu maksimizasyon probleminin çözümünde kolaylık sağlaması için, ortak olasılık fonksiyonunun e tabanına göre logaritması (ln, doğal log) kullanılabilir: ( n ) n max ln L(θ x) = ln f(x i ; θ) = ln (f(x i ; θ)) θ i=1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 70 i=1 i=1

148 MAKSİMUM OLABİLİRLİK (dvm) θ nın MLE t.e.: ya da ˆθ mle = arg max ln L(θ x) θ ˆθ mle = arg max θ n ln (f(x i ; θ)) Bu maksimizasyon probleminin çözümü için gerekli ve yeterli koşullar: i=1 θ ln L(θ x) = 0, 2 ln L(θ x) < 0 θ2 θ k bilinmeyen parametreden oluşuyorsa logolabilirlik fonksiyonunun bu parametrelere göre birinci türevleri sıfır (gerekli koşul), ikinci türev matrisi (Hessian) negatif belirli olmalı (yeterli koşul). Ekonometri: İstatistiksel Çıkarsama - H. Taştan 71

149 MAKSİMUM OLABİLİRLİK (dvm) 1 Başarı olasılığının p (0 < p < 1) olduğu Bernoulli dağılımından 10 r.d. çekilmiş olsun: X 1, X 2,..., X Bunların gözlemlenen değerlerine x 1, x 2,..., x 10 diyelim. 3 Toplam başarı sayısını y = x 1 + x x 10 ile gösterelim. 4 Olabilirlik fonksiyonu bilinmeyen populasyon parametresi p nin bir fonksiyonudur: L(p x 1, x 2,..., x 10 ) = p y (1 p) n y 5 Bu 10 denemenin 6 sının başarı ile sonuçlandığını varsayalım, yani y = x 1 + x x 10 = 6. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 72

154 MAKSİMUM OLABİLİRLİK (dvm) 1 Bu durumda olabilirlik fonksiyonu, başka bir deyişle, 10 bağımsız Binom denemesinde 6 başarı gözlemleme olasılığı olur. L(p x 1, x 2,..., x 10 ) = p 6 (1 p) , 0.2,..., 0.9 aralığında olabilirlik fonksiyonu değerleri şöyledir: p L(p x) = p 6 (1 p) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 73

155 MAKSİMUM OLABİLİRLİK (dvm) 1 Bu durumda olabilirlik fonksiyonu, başka bir deyişle, 10 bağımsız Binom denemesinde 6 başarı gözlemleme olasılığı olur. L(p x 1, x 2,..., x 10 ) = p 6 (1 p) , 0.2,..., 0.9 aralığında olabilirlik fonksiyonu değerleri şöyledir: p L(p x) = p 6 (1 p) Ekonometri: İstatistiksel Çıkarsama - H. Taştan 73

156 x L(p): Olabilirlik Fonksiyonu p

157 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK: n bağımsız Bernoulli(p) denemesinde örneklem gerçekleşme değerlerine x = (x 1, x 2,..., x n ) diyelim. Bu örneklem değerlerinden hareketle bilinmeyen parametre p nin MLE t.e. bulun. Olasılık fonksiyonu: f(x i ; p) = p x i (1 p) 1 x i, x i = 1, 0, i = 1, 2,..., n Olabilirlik fonksiyonu L(p x) = n f(x i ; p) = i=1 n p x i (1 p) 1 x i i=1 n denemede toplam başarı sayısına y dersek (y = x 1 + x x n ) olabilirlik fonksiyonu n L(p x) = p x i (1 p) 1 x i = p y (1 p) n y, i=1 y = x 1 +x x n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 75

158 MAKSİMUM OLABİLİRLİK (dvm) Olabilirlik fonksiyonunun doğal logaritmasını alırsak: Buradan p ye göre 1.türev: 2.türev ln L(p x) = y ln(p) + (n y) ln(1 p) p ln L(p x) = y p n y 1 p = 0, = p = y n 2 p 2 ln L(p x) = y p 2 n y < 0, her p değeri için (1 p) 2 Öyleyse p nin MLE tahmin edicisi ˆp mle = y n = X Ekonometri: İstatistiksel Çıkarsama - H. Taştan 76

159 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK: x = (x 1, x 2,..., x n ), Poisson dağılımına uyan bir anakütleden çekilmiş n gözlemli rassal örneklem değerlerini göstersin. Bu örneklem değerlerinden hareketle bilinmeyen parametre λ nın MLE t.e. bulun. X P oisson(λ) olduğuna göre olasılık fonksiyonu: f(x i ; λ) = e λ λ x i, x i = 1, 2, 3,..., i = 1, 2,..., n x i! Log-olabilirlik fonksiyonu: [ n ] [ e λ λ x i n ] ln L(λ x) = ln = ln e nλ λ x i x i=1 i! x i=1 i! [ n n ] = nλ + ln(λ) x i ln x i! i=1 i=1 [ n ] = nλ + n ln(λ) x ln x i! Ekonometri: İstatistiksel Çıkarsama - H. Taştan 77 i=1

160 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK (dvm): Poisson(λ) dağılımdan çekilen n gözlemli rassal örneklem değerleri için log-olabilirlik fonksiyonu: [ n ] ln L(λ x) = nλ + n ln(λ) x ln x i! λ ya göre 1. türev: 2. türev: λ ln L(λ x) = n + n x = 0, λ 2 ln L(λ x) = n x λ2 λ 2 < 0, Öyleyse λ nın MLE t.e.: ˆλ mle = X i=1 = λ = x her λ değeri için Ekonometri: İstatistiksel Çıkarsama - H. Taştan 78

161 L( λ) Poisson(λ) icin Log olabilirlik fonksiyonu λ

162 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK: x = (x 1, x 2,..., x n ), ortalaması µ, varyansı σ 2 olan Normal dağılan bir anakütleden çekilmiş rassal örneklem değerleri olsun. Populasyon parametreleri µ ve σ 2 nin MLE tahmin edicilerini bulun. X N(µ, σ 2 ) olduğundan olasılık yoğunluk fonksiyonu: ( f(x i ; µ, σ 2 1 ) = exp 1 ) 2πσ 2 2σ 2 (x i µ) 2, < x i <, i = 1 Olabilirlik fonksiyonu: n L(µ, σ 2 x) = f(x i ; µ, σ 2 ) = = i=1 n i=1 ( ) 1 n n exp 2πσ 2 i=1 ( = (2πσ 2 ) n/2 exp Ekonometri: İstatistiksel Çıkarsama - H. Taştan 80 ( 1 exp 1 2πσ 2 ( 1 2σ 2 (x i µ) 2 1 2σ 2 ) n (x i µ) 2 i=1 ) 2σ 2 (x i µ) 2 )

163 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK: Log-olabilirlik fonksiyonu: ln L(µ, σ 2 x) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 1. türevler: µ ln L(µ, σ2 x) = 1 σ 2 n (x i µ) = 0 i=1 σ 2 ln L(µ, σ2 x) = n 2σ σ 4 Bu sistemin eşanlı çözümünden n (x i µ) 2 i=1 n (x i µ) 2 = 0 i=1 elde edilir. ˆµ mle = X, ˆσ 2 mle = 1 n Ekonometri: İstatistiksel Çıkarsama - H. Taştan 81 n (X i X) 2 i=1

164 MAKSİMUM OLABİLİRLİK (dvm) ÖRNEK: 2. türevler: 2 µ 2 ln L(µ, σ2 x) = n σ 2 2 µ σ 2 ln L(µ, σ2 x) = 1 σ 4 n (x i µ) i=1 2 (σ 2 ) 2 ln L(µ, σ2 x) = n 2σ 4 1 σ 6 2 σ 2 µ ln L(µ, σ2 x) = 1 σ 4 n (x i µ) 2 i=1 n (x i µ) i=1 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 82

165 MAKSİMUM OLABİLİRLİK (dvm) Hessian matrisini MLE çözümlerinde değerlersek [ ] 2 H ˆµmle,ˆσ mle 2 = ln L(µ, σ 2 x) 2 ln L(µ, σ 2 x) µ 2 µ σ 2 2 σ 2 µ ln L(µ, σ2 x) 2 ln L(µ, σ 2 x) (σ 2 ) 2 = [ n 0 ˆσ mle 2 0 n 2ˆσ mle 4 Bu matris negatif belirli olduğundan 2. derece koşulları da sağlanmış olur. ] Ekonometri: İstatistiksel Çıkarsama - H. Taştan 83

166 MAKSİMUM OLABİlİRLİK TAHMİN YÖNTEMİNİN ÖZELLİKLERİ Değişmezlik (Invariance): ˆθ mle, θ nın MLE tahmin edicisi olsun. θ nın γ = g(θ) gibi bir fonksiyonu tanımlanmış olsun. Değişmezlik özelliğine göre γ nın MLE t.e.si ˆγ mle = g(ˆθ mle ) olur. Tutarlılık: MLE tahmin edicisi ˆθ mle tutarlıdır. Asimptotik Normallik: θ nın MLE tahmin edicisi ˆθ mle asimptotik normaldir: ( ) n, n(ˆθmle θ) N 0, σ 2ˆθ burada σ 2 θ = 1 I(θ), I(θ) = E θ [ ] 2 ln L(θ x) θ MLE tahmin edicisi doğru parametre değeri θ çevresinde yaklaşık olarak normal dağılır. Yukarıdaki varyans ifadesindeki I(θ) terimi Fisher information olarak bilinir. Bu değer ne kadar büyükse (ne kadar çok bilgi varsa) varyans o kadar küçük olur. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 84

167 HİPOTEZ TESTİ Tanımlar: Bilinmeyen popülasyon parametresi: θ Boş Hipotez (Null Hypothesis): Tersine kanıt bulunmadığı sürece doğru olduğu kabul edilen, araştırmacı tarafından ortaya atılan hipotez, H 0 ile gösterilir. Alternative Hipotez: Sıfır hipotezine karşı geliştirilen, lehine kanıt aranacak olan hipotez: H 1 ya da H a ile gösterilir. Örneğin popülasyon ortalamasının 10 olduğunu, bundan farklı olduğunu söyleyen alternatif hipotezle test etmek istersek: H 0 : µ = 10 vs H 1 : µ 10 Ekonometri: İstatistiksel Çıkarsama - H. Taştan 85

173 HİPOTEZ TESTLERİ KARAR: Sıfır ve karşı hipotezler kurulup örneklem bilgisi elde edildikten sonra belli bir kural çerçevesinde sıfır hipotezine ilişkin bir karar verilmesi gerekir. İki alternatif vardır: Sıfır hipotezini kabul etmek (red edememek) ya da karşı hipotez lehine sıfır hipotezini reddetmek Bu iki sonuçtan birine ulaşmak için örneklem bilgisine dayanan bir karar kuralı geliştirmek gerekir. Bu karar kurallarını nasıl oluşturacağımızı bu derste göreceğiz. Gerçekte bir sıfır hipotezinin doğru mu yoksa yanlış mı olduğu kesinlikle bilinemez. Bir başka deyişle karar kuralımız ne olursa olsun yanlış sonuçlara ulaşma şansı hep vardır. Bir sıfır hipotezi gerçekte ya doğrudur ya da yanlış (bunu kesin olarak bilemeyiz). Öyleyse iki tür hata yapabiliriz. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 86

179 HİPOTEZ TESTLERİ I. Tür Hata (Type I Error): Gerçekte doğru olan bir sıfır hipotezi reddediliyorsa bu hataya 1. Tür Hata denir. Karar kuralı doğru bir sıfır hipotezini reddetme olasılığını α olarak alıyorsa, bu α ya testin anlamlılık düzeyi denir. Bu durumda doğru sıfır hipotezini kabul etme olasılığı (1 α) olur. II. Tür Hata (Type II Error): Gerçekte yanlış olan bir sıfır hipotezinin kabul edilmesine II. tür hata denir. II. Tür Hata olasılığını β ile gösterelim. Bu durumda yanlış bir sıfır hipotezini reddetme olasılığı (1 β) olur. Buna testin gücü denir. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 87

182 HİPOTEZ TESTLERİ KARAR GERÇEK DURUM H 0 DOĞRU H 0 YANLIŞ H 0 KABUL Doğru Karar II. Tür Hata Olasılık= 1 α Olasılık= β H 0 RED I. Tür Hata Doğru Karar Olasılık= α Olasılık= 1 β α: Testin anlamlılık düzeyi 1 β: Testin gücü Ekonometri: İstatistiksel Çıkarsama - H. Taştan 88

183 HİPOTEZ TESTLERİ I. tür hata yapma olasılığı α veriyken karar kuralı (sıfır hipotezinin red ya da kabul edilmesi) belirlenir. Bir sıfır hipotezini test ederken bu iki hatanın olasılığının küçük olmasını isteriz. Ancak bu iki hata olasılığı arasında bir trade-off vardır. yani I. tür hata azalırken II. tür hata artar. α β (1 β) Klasik yaklaşım: önce anlamlılık düzeyini belirleyip karar kuralını oluşturacağız ve II. tür hata olasılığı kendiliğinden belirlenmiş olacak. Uygulamada bu iki hata olasılığını birlikte azaltmanın tek yolu daha fazla gözlem toplamaktır. Ekonometri: İstatistiksel Çıkarsama - H. Taştan 89

189 Test Türleri

190 Tek Yanlı Test: Sağ kuyruk

191 İki Yanlı Alternatif Hipotez

Daha göster