DOKTORA TEZİ. Deniz ÜNAL

Transkript

1 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ DOKTORA TEZİ Deniz ÜNAL STEIN-RULE TAHMİN EDİCİLERİN KAYIP FONKSİYONLARI ÖLÇÜTÜNE GÖRE UYGUNLUĞUNUN İNCELENMESİ İSTATİSTİK ANABİLİM DALI ADANA, 006

2 ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ STEIN-RULE TAHMİN EDİCİLERİN KAYIP FONKSİYONLARI ÖLÇÜTÜNE GÖRE UYGUNLUĞUNUN İNCELENMESİ Deniz ÜNAL DOKTORA TEZİ İSTATİSTİK ANABİLİM DALI Bu tez... tarihinde aşağıdaki jüri üyeleri tarafından oybirliği/oyçokluğu ile kabul edilmiştir. İmza... Prof.Dr. Fikri AKDENİZ DANIŞMAN İmza... Prof.Dr Altan ÇABUK ÜYE İmza... Prof.Dr. Sadullah SAKALLIOĞLU ÜYE İmza... Prof.Dr. Hamza EROL ÜYE İmza... Doç.Dr. Aşır GENÇ ÜYE Bu tez Enstitümüz İstatistik Anabilim Dalında hazırlanmıştır. Kod No: Prof.Dr. Aziz ERTUNÇ Enstitü Müdürü İmza ve Mühür Bu Çalışma Ç.Ü. Bilimsel Araştırma Projeleri Birimi Tarafından Desteklenmiştir. Proje No: FEF006D9 Not: Bu tezde kullanılan özgün ve başka kaynaktan yapılan bildirişlerin, çizelge, şekil ve fotoğrafların kaynak gösterilmeden kullanımı, 5846 sayılı Fikir ve Sanat Eserleri Kanunundaki hükümlere tabidir.

3 ÖZ DOKTORA TEZİ STEIN-RULE TAHMİN EDİCİLERİN KAYIP FONKSİYONLARI ÖLÇÜTÜNE GÖRE UYGUNLUĞUNUN İNCELENMESİ Deniz ÜNAL ÇUKUROVA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ İSTATİSTİK ANABİLİM DALI Danışman: Prof.Dr. Fikri AKDENİZ Yıl: 006, Sayfa: 8 Jüri: Prof.Dr. Fikri AKDENİZ Prof.Dr. Sadullah SAKALLIOĞLU Prof.Dr. Hamza EROL Prof.Dr Altan ÇABUK Doç.Dr. Aşır GENÇ İstatistik biliminin uygulamalı alanlarında, örneğin Ekonometri ya da Tıp gibi bilimlerde, özellikle lineer model kuramında, tahmin edilecek parametre sayısının den fazla olduğu durumlarla sıkça karşılaşılmaktadır. Bu gibi durumlarda alışılmış en küçük kareler tahmin yöntemi ile parametre tahmini yapmak çok iyi sonuç vermemektedir. Bu sorunla başa çıkmak için Stein (1956) parametre sayısının den çok olduğu durumlarda hata kareleri kayıp fonksiyonu ölçütüne göre en küçük kareler tahmin edicisinden daha iyi sonuç veren Stein-rule tahmin edicisini önermiştir. Bu çalışmada ilk olarak Stein-rule tahmin edicilerinin özellikleri, daha sonra ise bu alanda yapılmış olan bazı çalışmalar incelenerek bu tahmin ediciler ile ilgili bazı temel bilgiler verilmektedir. Son bölümde ise verilen bu temel bilgiler ışığında Stein-rule tahmin ediciler ile ilgili yeni bulunan sonuçlar yer almaktadır. Anahtar Kelimeler: Kayıp Fonksiyonları, Stein-Rule Tahmin Ediciler, Tahmin Ediciler, Uygunluk I

4 ABSTRACT PhD THESIS INADMISSIBILITY OF THE STEIN-RULE ESTIMATORS UNDER THE LOSS FUNCTIONS Deniz ÜNAL DEPARTMENT OF STATISTICS INSTITUTE OF NATURAL AND APPLIED SCIENCES UNIVERSITY OF ÇUKUROVA Supervisor: Prof.Dr. Fikri AKDENİZ Year: 006, Pages: 8 Jury: Prof.Dr. Fikri AKDENİZ Prof.Dr. Sadullah SAKALLIOĞLU Prof.Dr. Hamza EROL Prof.Dr Altan ÇABUK Assoc.Prof.Dr. Aşır GENÇ In applied fields of Statistics, such as econometrics or medical sciences, especially in general linear model, it s commonly seen that the number of parameters to be estimated is greater than. In such situations, estimating the parameters by ordinary least squares estimation method does not give the correct results. To cope with this problem, Stein (1956) proposed Stein-rule estimators giving better results than ordinary least squares estimation method, under the criteria of squared error loss function, if the number of parameters is greater than. In this study, first of all, the properties of Stein-rule estimators will be given, then some fundamental information will be given about these estimators by analayzing the previous works in this field. In the final chapter, using these information, the recently found results about Stein-rule estimators will be presented. Key Words: Admissibility, Estimators, Loss Functions, Stein-Rule Estimators II

5 TEŞEKKÜR Öncelikle doktora çalışmam sırasında vermiş olduğu her türlü destek ve katkı için Sayın Prof. Dr. Fikri AKDENİZ e teşekkür ederim. Tez formatının düzenlenmesine yardım eden Araş. Gör. Orhan SÖNMEZ e, karşılaştığım her sorunu sahiplenerek yanımda olan arkadaşım Özlem BOĞA KOZAN a teşekkür ederim. Hayatımın her döneminde daima yanımda olan yaşamlarını örnek aldığım annem Fatma ÜNAL ve babam Enis ÜNAL a, her anımda beni hiç yalnız bırakmamayı alışkanlık haline getiren ve doktora çalışmam süresince bana destek olan eşim Hakan ÖZPALAMUTÇU ya ve son olarak hiç yaramazlık yapmadığı ve işimi zorlaştırmadığı için biricik oğlumuza teşekkür ederim. III

6 KISALTMALAR Admissible= Uygun BLF= Dengelenmiş kayıp fonksiyonu Feasible= Uygulanabilir FGLS= Uygulanabilir genelleştirilmiş En küçük kareler Improved= Geliştirilmiş Iterative= Yinelenmiş ISRE= Yinelenmiş SR tahmin edicisi MSE= Hata kareleri ortalaması N= Normal dağılım NID= Bağımsız normal dağılım nnd= Negatif olmayan (non-negative) tanımlı OLS= En küçük kareler Overestimation= Fazla değerli tahmin Pre-test= Ön-test pd= Pozitif tanımlı psd= Pozitif yarı tanımlı PSR= Pozitif parçalı Stein-rule Shrinkage= Küçültülmüş SR= Stein Rule SRSV= Geliştirilmiş SR tahmin edicisi Underestimation= Düşük değerli tahmin Usual Estimator= Alışılmış tahmin edici WLS= Ağırlıklı en küçük kareler IV

7 TANIMLAR Tanım 1. (Pozitif tanımlı) Simetrik A matrisi için x Ax karesel formu ele alınsın. x 0 için x Ax karesel formu 0 dan büyük ise A matrisine pozitif tanımlı (pd) denir. Tanım. (Pozitif yarı tanımlı) Simetrik A matrisi için x Ax karesel formu ele alınsın. En az bir x 0 için x Ax karesel formu 0 dan büyük ya da 0 a eşit ise A matrisine pozitif yarı tanımlı (psd) denir. Tanım 3. (Negatif olmayan tanımlı) Bir A matrisi pozitif tanımlı ya da pozitif yarı tanımlı ise A matrisine negatif olmayan tanımlı (nnd) denir. Tanım 4. (Kayıp fonksiyonu) θ, Ω parametre uzayından alınan ve bir tahmin edicisi ˆθ olan bir parametre olsun. Aşağıdaki özellikleri sağlayan L(ˆθ, θ) fonksiyonuna kayıp fonksiyonu denir. i) θ Ω ve ˆθ için L(ˆθ,θ) > 0 dır. ii) θ = ˆθ için L(ˆθ,θ) = 0 Tanım 5. (Risk fonksiyonu) Kayıp fonksiyonunun beklenen değerine risk fonksiyonu denir ve genelde R ile gösterilir. Tanım 6. (Minimax tahmin edici) Ω tahmin edici uzayından alınan ˆθ tahmin edicisi bütün θ parametreleri için aşağıdaki koşulu sağlıyorsa ˆθ tahmin edicisine minimax tahmin edici denir. sup θ R(θ, ˆθ) supr(θ, θ), θ Ω θ Tanım 7. (Admissible=Uygun) Bütün θ tahmin edicileri için ˆθ aşağıdaki koşulu sağlıyorsa ˆθ tahmin edicisine uygun tahmin edicidir denir. R(ˆθ,θ) R( θ,θ), θ Burada R(ˆθ,θ) = R( θ,θ) eşitliği de doğrudur. Yani ˆθ başka bir tahmin ediciden kesin olarak (strictly) küçük olmak zorunda değildir. Tanım 8. (Inadmissible=Uygun olmayan) ˆθ aşağıdaki koşulu sağlıyorsa ˆθ tahmin edicisine uygun olmayan bir tahmin edicidir denir. θ, R( θ,θ) R(ˆθ,θ), θ Burada bazı θ lar için R( θ,θ) < R(ˆθ,θ) eşitsizliği de vardır. V

8 Tanım 9. (O(.)) f (x) ve g(x) reel sayılar kümesinin herhangi bir alt kümesinde tanımlı fonksiyonlar olmak üzere x iken f (x) fonksiyonuna O(g(x)) derecesindedir denilebilmesi için gerek ve yeter koşul x > x 0 için f (x) M g(x) koşulunu sağlayacak x 0 ve M bulunabilmesidir. VI

9 İÇİNDEKİLER SAYFA ÖZ I ABSTRACT II TEŞEKKÜR III KISALTMALAR IV TANIMLAR V İÇİNDEKİLER VII 1 GİRİŞ YÖNTEM VE TEKNİKLER KÜÇÜLTÜLMÜŞ TAHMİN EDİCİLER ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Çok Değişkenli Normal Dağılımın Ortalaması için Minimaks Tahmin Edicilerin Ailesi (Baranchik, 1970) Minimaks Tahmin Edici Örnekleri Minimaks Özelliği ile İlgili Diğer Bazı Teoremler SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ SR Tahmin Edicisinin Çıkarılışı SR Tahmin Edicisinin Özellikleri SR ve PSR Tahmin Edicileri SR Tahmin Edicisi Hakkında Ek Bilgiler Regresyon Modelinde SR Tahmin Edicisi SR TAHMİN EDİCİSİ İLE İLGİLİ GELİŞMELER VE KARŞILAŞTIRMALAR VII

10 6.1 Lineer Regresyon Modelinde Katsayılar için Gelişmiş Tahmin Ediciler (Sclove, 1968) Lineer Regresyonda Hataların Varyansının Yinelenmiş SR Tahmin Edicisi Kullanılarak Tahmin Edilmesinin Uygunsuzluğu (Ohtani, 1987) Dengelenmiş Kayıp Fonksiyonu Altında SR Tahmin Edicisinin Uygulanamazlığı (Ohtani, 1999) Ağırlıklı Hata Kareleri Kayıp Ölçütüne Göre SR Tahmin Edicisi ve Alışılmış Tahmin Edicinin Karşılaştırılması (Judge ve Bock, 1976) Minimum MSE Tahmin Edicisinin Serbestlik Derecesinde Düzeltme (Ohtani, 1996) Karma Modelde SR Tahmin Edicisi (Shalabh ve Wan, 000) SR ve Pozitif Değerli SR Tahmin Edicilerinin MSE Karşılaştırmaları ve Momentleri için Tam Formül (Ohtani ve Kozumi, 1996) Regresyon Modelinde Proxy Değişkenler Olması ya da Olmaması Durumunda SR ve PSR Tahmin Edicilerin PMSE Performansının İncelenmesi (Namba ve Ohtani, 006) HATALARIN VARYANSININ YİNELENMİŞ SR TAHMİN EDİCİSİ VEKİL DEĞİŞKEN KULLANILAN LİNEER REGRESYON MODELİNDE SR TAHMİN EDİCİSİ İLE İLGİLİ ELDE EDİLEN SONUÇLAR Vekil Değişken Kullanılan Lineer Regresyon Modelinde F nün Dağılımı Vekil Değişkenlerin Hataların Varyansının Yinelenmiş SR Tahmin Edicisi Üzerindeki Etkisi Vekil Değişkenli Lineer Regresyon Modelinde Hataların Varyansının Yinelenmiş SR Tahmin Edicisi SONUÇLAR VE ÖNERİLER VIII

11 KAYNAKLAR ÖZGEÇMİŞ EK A EK B IX

12 1. GİRİŞ Deniz ÜNAL 1. GİRİŞ Stein (1956), ikiden fazla parametre olduğunda hata kareleri kayıp fonksiyonu altında maksimum likelihood tahmin edicisine ek olarak başka minimaks tahmin edicilerin de bulunduğunu göstermiştir. James ve Stein (1961) bir minimaks tahmin edici önermiş ve önerilen bu tahmin edicinin maksimum likelihood tahmin edicisinden daha iyi olduğunu ve maksimum likelihood tahmin edicisinin uygun olmadığını (inadmissible) risk fonksiyonlarını karşılaştırarak göstermişlerdir. Genel teori, genel lineer modelde ortalama vektörünün maksimum likelihood tahmin edicisinin en iyi tahmin edici olduğunu söylerken, Stein (1956), MSE (hata kareleri ortalaması) ölçütüne göre parametre sayısı den çok ise SR (Stein-rule) tahmin edicisinin maksimum likelihood tahmin edicisinden daha iyi bir tahmin edici olduğunu göstermiştir. Diğer bir deyişle, standart ölçüt kullanıldığında alışılmış tahmin edicinin sağlıksız sonuç verdiğini ispatlamıştır. Stein in alışılmış tahmin edici ile ilgili yaptığı bu saptama istatistik bilimindeki en önemli tekniklerden biridir. Şimdiye kadar SR tahmin edicisi ile ilgili birçok çalışma yapılmıştır. Bunlardan bazıları şunlardır: James ve Stein (1961) SR tahmin edicisini MSE ölçütünü kullanarak incelemiş ve OLS (en küçük kareler) tahmin edicisi ile karşılaştırarak SR tahmin edicisinin OLS den daha iyi bir tahmin edici olduğunu göstermişlerdir. Stein (1964) tarafından ortalama bilinmediğinde normal dağılımda varyansın alışılmış tahmin edicisinin kullanılamazlığına (uygun olmamasına) karşı Stein varyans tahmin edicisi önerilmiştir. Baranchik (1970), SR tahmin edicileri üzerinde bazı çalışmalar yaparak pozitif parçalı SR tahmin edicilerini önermiştir. Bugüne kadar yapılmış olan araştırmalarda SR tahmin edicilerin incelenmesinde L(ˆβ) = (ˆβ β) (ˆβ β) hata kareler kayıp fonksiyonunun oldukça sık kullanıldığı görülür, fakat Judge ve Bock (1976), SR tahmin edicisi ile alışılmış tahmin ediciyi karşılaştırmak için ağırlıklı risk fonksiyonu yani ağırlıklı en küçük kareler (WLS) kayıp fonksiyonunun beklenen değeri E[ (ˆβ β) W(ˆβ β) ] yi kullanmışlardır. Ullah (198) SR tahmin edicisinin dağılım σ fonksiyonunu incelemiş ve SR ve OLS tahmin edicilerini SAD ( smaller absolute distance - daha küçük mutlak uzaklık) ölçütüne göre karşılaştırmıştır. Daha sonra Ohtani (1987) lineer regresyon modelinde OLS yerine SR tahmin edicisi kullanıldığı zaman hata vektörünün varyansının tahmin edicisini (hatanın varyansının yinelenmiş (iterative) SR tahmin edi- 1

13 1. GİRİŞ Deniz ÜNAL cisi (ISRE)) ele almış ve açıklayıcı değişken sayısı 5 e eşit ya da daha fazla olduğunda, karesel hata kayıp ölçütüne göre OLS kullanılarak hesaplanan hatanın varyansının tahmin edicisinin, hatanın varyansının yinelenmiş SR tahmin edicisinden daha iyi olabildiğini göstermiştir. Berry (1994), alışılmış varyans tahmin edicisi yerine Stein(1964) tarafından önerilen Stein varyans tahmin edicisini kullanarak SR tahmin edicisini tekrar oluşturmuş ve elde ettiği yeni ve karesel kayıp fonksiyonu ölçütüne göre alışılmış SR tahmin edicisinden daha iyi olan bu tahmin ediciye geliştirilmiş (improved) SR tahmin edicisi (SRSV=SR estimator using stein variance estimator) adını vermiştir. Giles, Giles ve Ohtani (1995), BLF ölçütüne göre ön-test, SR, OLS tahmin edicilerinin risklerini karşılaştırmışlardır. Bu yöntemle OLS ile SR tahmin edicilerini karşılaştırırken WLS ölçütüne göre hangi koşullarda SR tahmin edicisinin riskinin alışılmış tahmin edicinin riskinden daha küçük olduğunu araştırmışlardır. Ayrıca Bednarek-Kozek in (1973) S = X X olmak üzere önermiş olduğu E[ S 1/ (ˆβ β) (ˆβ β)s 1/ ] risk ölçütünü kullanarak OLS ile SR tahmin edicisinin risklerini σ karşılaştırmıştır. Ohtani (1999) dengelenmiş kayıp fonksiyonu (BLF) ölçütüne göre SR ve SRSV tahmin edicilerinin risklerini karşılaştırmış ve SRSV nin riskinin BLF ölçütüne göre SR tahmin edicisinden daha küçük olmasının SRSV ya da SR tahmin edicisinin yine bu ölçüt altında OLS tahmin edicisinden daha küçük riske sahip olacağı anlamına gelmeyeceğinin sayısal hesaplamalarla gösterilebileceğini ifade etmiştir. Stein (1955), p = 1 veya için OLS tahmin edicisinden daha iyi bir tahmin edici olmadığını, yani bütün β parametreleri için R(ˆβ,β) < R(ˆβ,β) eşitsizliğini sağlayacak bir ˆβ tahmin edicisinin bulunamayacağını ispatlamıştır. James ve Stein (1961), y = Xβ + ε, ε N(0,σ I n ) (1.1) lineer regresyon modelini alışılmış varsayımlarla ele almıştır. Bu model için verdikleri teoremde p 3, 0 < c 1 < (p )/(n p + ), e = y Xˆβ ve ˆβ = (X X) 1 X y OLS tahmin edicisi olmak üzere SR tahmin edicisi ˆβ S = (1 c 1e e ˆβ )ˆβ nin uygunluğunu R(ˆβ S,β) < ˆβ R(ˆβ,β) eşitsizliğinin bütün β değerleri için sağlandığını göstererek ispatlamışlardır. Burada R( ˆϕ, ϕ) fonksiyonu ˆϕ tahmin edicisinin risk fonksiyonudur (yani kayıp fonksiyonunun beklenen değeridir). Hatta c 1 = göstermişlerdir. p n p+ değeri için R(ˆβ S,β) değerinin minimum olduğunu Bu çalışmanın amacı OLS tahmin edicisine alternatif olarak önerilen yanlı tahmin edicilerden biri olan SR (Stein-rule) tahmin edicisini tanıtmak, özelliklerini incelemek ve SR

14 1. GİRİŞ Deniz ÜNAL tahmin edicisi ile ilgili yeni sonuçlar elde etmeye çalışmaktır. Bu çalışmanın ikinci bölümünde lineer tahmin edicilerin karşılaştırılmasında ölçüt olarak kullanılan bazı önemli kayıp fonksiyonları ve bu kayıp fonksiyonlarının temel özellikleri verilmiştir. Ayrıca bu kayıp fonksiyonları kullanılarak tahmin ediciler ile ilgili yapılmış olan karşılaştırmalardan örnekler verilmiştir. Üçüncü bölümde, küçültülmüş tahmin ediciler kısaca tanıtılarak bu tür tahmin edicilere bazı örnekler verilmiştir. Dördüncü bölümde, bir tahmin edicinin uygunluğu, iyiliği ve minimaks olma gibi özellikleri tanıtılarak Baranchik (1970) tarafından yapılmış olan Çok değişkenli normal dağılımın ortalaması için minimaks tahmin edicilerin ailesi başlıklı çalışma incelenmiştir. Ayrıca bu türde tahmin edicilerle ilgili bazı teoremler ve örnekler verilmiştir. Beşinci bölümde, SR tahmin edicisinin elde edilişi ve temel özellikleri verilmiştir. PSR (pozitif parçalı SR) tahmin edicisi kısaca tanıtılarak SR ve PSR tahmin edicilerinin karşılaştırılması yapılmıştır. Ayrıca SR tahmin edicisi hakkında bazı ek özellikler ve teoremler ifade edilerek SR tahmin edicisi hakkında daha ayrıntılı bilgi verilmiştir. Altıncı bölümde SR tahmin edicisi ile ilgili şimdiye kadar yapılmış olan çalışmalardan bazıları incelenerek SR tahmin edicisi hakkında bazı önemli özellikler ve ipuçları verilmiştir. Yedinci bölümde hataların varyansının yinelenmiş SR tahmin edicisinin varyansı hesaplanmıştır. Sekizinci bölümde vekil değişkenlerin kullanıldığı lineer regresyon modelinde, iki bağımsız merkezi olmayan ki-kare dağılımının farklı kuvvetlerinin oranlarının beklenen değeri hesaplanmıştır. Ayrıca lineer regresyon modelinde vekil değişken kullanılması durumunda hataların varyansının yinelenmiş SR tahmin edicisinin açıklayıcı değişken sayısı 5 e eşit ya da 5 ten büyük iken kullanılmasının MSE ölçütüne göre uygun olmadığı gösterilmiştir. Son olarak, vekil değişken kullanılan lineer regresyon modelinde, yinelenmiş tahmin edici pozitif parçalı SR tahmin edicisi kullanarak tanımlandığında, SR tahmin edicisi kullanılarak elde edilen yinelenmiş tahmin ediciden daha iyi bir tahmin edici oluşturup oluşturmadığı incelenmiştir. 3

15 . YÖNTEM VE TEKNİKLER Deniz ÜNAL. YÖNTEM VE TEKNİKLER Bu bölümde SR tahmin edicileri ve SR tahmin edicisi ile aynı forma dönüştürülebilen bazı tahmin edicilerin birtakım özellikleri incelenecektir. Ayrıca SR tahmin edicisi çeşitli kayıp fonksiyonları ölçütlerine göre incelenecektir. Kaynaklarda sıkça kullanılan birçok kayıp fonksiyonu bulunmaktadır. Bunlardan en çok bilinenleri karesel hata kayıp fonksiyonu, LINEX kayıp fonksiyonu, sınırlı LINEX kayıp fonksiyonu, dengelenmiş kayıp fonksiyonudur. n 1 boyutlu θ parametresinin tahmin edicisi ˆθ olmak üzere tahmin edicilerin karşılaştırılmasında bir ölçüt olarak kullanılan bu kayıp fonksiyonları kısaca aşağıdaki şekilde verilebilir. Karesel Kayıp Fonksiyonu: L(θ, ˆθ) = (ˆθ θ) A(ˆθ θ) fonksiyonuna karesel kayıp fonksiyonu (SLF) denir. Burada A simetrik ve nnd bir matristir. Kayıp fonksiyonunun beklenen değerine risk fonksiyonu denir. Eğer A = I alınırsa elde edilen karesel fonksiyonun beklenen değerine skaler değerli hata kareler ortalaması denir. L(θ, ˆθ) = (ˆθ θ)(ˆθ θ) fonksiyonuna matris değerli kayıp fonksiyonu ve beklenen değerine matris değerli hata kareler ortalaması (MSE) denir. Dengelenmiş Kayıp Fonksiyonu: L(θ, ˆθ) = w(y Xˆθ) (y Xˆθ) + (1 w)(ˆθ θ) (ˆθ θ) fonksiyonuna dengelenmiş kayıp fonksiyonu (BLF) denir. Burada w, uyumun iyiliği parçası için relatif ağırlıktır. (y Xˆθ) (y Xˆθ) yani rezidü kareler toplamı, uyumun iyiliğinin ölçüsüdür. (1 w), tahminin hassaslığı parçası için relatif ağırlıktır. (ˆθ θ) (ˆθ θ) ise tahminin hassaslığının ölçüsüdür. Bu fonksiyon w = 0 için karesel kayıp fonksiyonuna ve w = 1 için ise OLS tahmin edicisine eşit olur. Sınırlı LINEX Kayıp Fonksiyonu: L B ( ) = L( ) 1 + λl( ) = 1 λ [ λl( ) ] biçiminde 0 ve 1/λ (λ > 0) ile sınırlandırılmış bu fonksiyona sınırlı LINEX kayıp fonksiyonu (BLINEX) denir. Burada L( ) = b[e a a 1] ile verilen LINEX kayıp fonksiyonudur. Burada a sabitinin işareti simetrinin yönünü, yani fonksiyonun şeklini, büyüklüğü simetrinin derecesini yansıtır ve b sabiti fonksiyonun büyüklüğünü belirler. a nın Sözü edilen bu kayıp fonksiyonlarını kullanarak FGLS (en uygun genelleştirilmiş en küçük kareler) tahmin edicisi ile SR tahmin edicisinin risk fonksiyonlarının karşılaştırması 4

16 . YÖNTEM VE TEKNİKLER Deniz ÜNAL yapılabilir. Ayrıca Ohtani (1999) tarafından dengelenmiş kayıp fonksiyonu (BLF) ölçütüne göre incelenmiş olan SR tahmin edicisinin uygunluğu problemi SR tahmin edicisinin OLS yerine FGLS kullanılarak tanımlanması durumunda ele alınabilir. Tanım.1 y = Xβ + ε, ε N(0,Σ) (.1) Genel lineer modelini gözönüne alırsak, burada y : n 1 tipinde bağımlı değişken üzerinde gözlemlerin bir vektörü, X : n p tipinde tam kolon ranklı gözlemlerin bir sabit matrisi, β : p 1 tipinde bilinmeyen parametrelerin bir kolon vektörü ve ε : n 1 tipinde 0 ortalamalı, Σ varyans kovaryans matrisli hataların vektörüdür. Burada Σ simetrik pd bir matristir. β nın genelleştirilmiş en küçük kareler (GLS) tahmin edicisi ˆβ G = (X Σ 1 X) 1 X Σ 1 y (.) şeklindedir. Σ bilinmediğinden ˆΣ ile tahmin edilir. Bu durumda uygulanabilir genelleştirilmiş OLS tahmin edicisi (FGLS) ˆβ FG = (X ˆΣ 1 X) 1 X ˆΣ 1 y (.3) elde edilir. Φ sembolleri OLS tahmin edicisi ˆβ nın başındaki çarpanı göstermek üzere, SR tahmin edicisi ile aynı forma dönüştürülebilen bazı tahmin ediciler kısaca aşağıdaki gibidir: p 3, e = y Xˆβ ve 0 c 1 (p ) n p+ olmak üzere, ˆβ S = (1 c 1e e )ˆβ ˆβ X Xˆβ formunda verilen SR tahmin edicisi ˆβ S = ˆΦ S ˆβ olarak yazılabilir. Theil (1971) β T H = β X y σ + β (X X)β β 5

17 . YÖNTEM VE TEKNİKLER Deniz ÜNAL tahmin edicisini vermiştir, fakat Farebrother (1975) β T H nin β ve σ ye bağlı olduğu için pratik kullanımda uygun olmadığını, bu parametreler yerine yansız OLS tahmin edicileri olan ˆβ ve s yi kullanmayı önermiştir. Yani, ˆβ X y ˆβ F = ˆβ σ + ˆβ = ˆΦ F ˆβ (X X)ˆβ tahmin edicisini önermiştir. Ayrıca Hoerl ve Kennard (1970) tarafından önerilen Ridge tahmin edicisinin de ˆβ R = (X X + ki) 1 X y = (I + k(x X) 1 ) 1 ˆβ = ΦR ˆβ olduğu bilinmektedir. önerdiği ˆk HKB = ps ˆβ değeri kullanılırsa ˆβ Burada k 0 dır ve Hoerl, Kennard, Baldwin in (1975) k için ˆβ HKB = (I + ˆk HKB (X X) 1 ) 1 ˆβ = ˆΦ R ˆβ elde edilir. Ullah ve Ullah ın (1978) ortaya koyduğu ve çift k-sınıfı olarak bilinen tahmin edici k 1 > 0 ve k sabitleri ve e = y Xˆβ için, e e β k1,k = [1 k 1 y y k e e ]ˆβ = ˆΦ U ˆβ dır. Burada k 1 = c 1 ve k = 1 için SR tahmin edicisi elde edilir. Hoa ve Chaturvedi (1990) e = y Xˆβ olmak üzere SR tahmin edicisi ile SHI ( stage hierarchical information) tahmin edicisi ˆβ h = [1 cw e e e e + c(1 w) ]ˆβ = ˆΦ ˆβ X Xˆβ ˆβ h ˆβ X Xˆβ + c e e yı Pitman Yakınlık ölçütüne göre karşılaştırmıştır. Burada c = 0 ya da w = 1 alınırsa SHI tahmin edicisi SR tahmin edicisine dönüşmüş olur. Tanım. (Pitman Yakınlık Ölçütü) β nın iki tahmin edicisi ˆβ ve β, ve karesel kayıp fonksiyonu M(ˆβ) = (ˆβ β) X X(ˆβ β) olmak üzere eğer P[M( β) M(ˆβ) > 0] > 1/ sağlanıyorsa ˆβ, β ya Pitman ölçütüne göre yakındır denir. 6

18 3. KÜÇÜLTÜLMÜŞ TAHMİN EDİCİLER Deniz ÜNAL 3. KÜÇÜLTÜLMÜŞ TAHMİN EDİCİLER p boyutlu normal dağılımın ortalamasının tahmini probleminde Stein (1956) ve James ve Stein (1961) SR tahmin edicilerin hata kareleri kayıp fonksiyonu kullanıldığında MSE ölçütüne göre, p 3 iken alışılmış ML (Maksimum likelihood) tahmin ediciden daha iyi olduğu sonucuna varmışlardır. Öngörülmüş (predictive) hata kareler kayıp fonksiyonu kullanıldığı durumda da SR tahmin edicisi MSE ölçütüne göre, p 3 iken alışılmış ML ve alışılmış OLS tahmin edicilerinden daha iyidir. Bu çalışmalardan sonra OLS tahmin edicisinin MSE performansını iyileştirecek birçok tahmin edici önerilmiştir. Bu tahmin ediciler, ortak özellikleri OLS tahmin edicisini orijine doğru küçültmeleri olması nedeniyle, genelde küçültülmüş (shrinkage) tahmin ediciler olarak bilinirler. Küçültülmüş Tahmin Edici Örnekleri Bu bölümde küçültülmüş tahmin edici örneklerinden kısaca bahsedilmiştir. y = Xβ + ε, ε N(0,σ I n ) (3.1) modeli ele alınsın. Burada y : n 1 boyutlu bağımlı değişkenlerin gözlem vektörü, X : n p boyutlu bilinen bağımsız değişkenlerin gözlemlerinin tam ranklı matrisi, β : p 1 boyutlu parametre vektörü ve ε : n 1 boyutlu normal dağılımlı hata terimlerinin vektörüdür. S = X X olmak üzere β için OLS tahmin edicisi, b = S 1 X y (3.) formundadır ve Gauss-Markov teoremine göre BLUE olarak bilinir. e = y Xb ve ν = n p için 0 a (p )/ν + olmak üzere Stein (1956) tarafından verilen SR tahmin edicisi, b SR = (1 ae e b )b (3.3) Sb olur. Parametre sayısı 3 e eşit ya da büyük olduğunda karesel kayıp fonksiyonunda A = S alınarak elde edilen kayıp fonksiyonu kullanılırsa MSE ölçütüne göre SR tahmin edicisi OLS tahmin edicisinden daha iyidir. James ve Stein (1961) SR tahmin edicisinin a = (p )/(ν + ) değeri için minimum MSE ye sahip olduğunu göstermiştir. Baranchik (1970) ise pozitif değerli SR (PSR) tahmin edicisi b PSR = max[0,1 ae e b Sb ]b 7

19 3. KÜÇÜLTÜLMÜŞ TAHMİN EDİCİLER Deniz ÜNAL nin SR tahmin edicisinden daha iyi bir tahmin edici olduğunu göstermiştir. Theil (1971), minimum MSE (MMSE) tahmin edicisi olan β X y b M = ( σ + β )β (3.4) Sβ tahmin edicisini önermiştir. Fakat bu tahmin edicinin bilinmeyen parametre içermesi nedeniyle uygulanabilirliği yoktur. Bu nedenle Farebrother (1975) kullanılabilir MMSE tahmin edicisi olan b Sb b M = ( b Sb + e )b (3.5) e/ν tahmin edicisini önermiştir. Uygulanabilirliği nedeniyle istatistikçiler MMSE tahmin edicisi denildiğinde Farebrother (1975) tarafından önerilmiş olan tahmin ediciyi ele alırlar. MMSE tahmin edicisi p 3 için küçültülmüş tahmin edicidir, çünkü Baranchik (1970) tarafından verilen ve ileriki bölümlerde Teorem (4.1) olarak verilen koşulu sağlar. Ohtani (1996) düzeltilmiş MMSE (AMMSE) tahmin edicisini önermiştir. Bu tahmin ediciye düzeltilmiş denilmesinin nedeni MMSE tahmin edicisinin serbestlik dereceleri kullanılarak düzenlenmesidir. AMMSE tahmin edicisi (b Sb)/p b AM = ( (b Sb)/p + e )b (3.6) e/ν formundadır. Aynı zamanda bu tahmin edicinin p 5 için SR ve PSR tahmin edicilerinden daha küçük MSE ye sahip olduğunu göstermiştir. Daha sonra Ohtani (1999), AMMSE ve SR tahmin edicisini içeren heterojen ön-test (HPT) tahmin edicisini önermiş ve ön-test için uygun seçilmiş bir τ kritik değer ve p = 3 için HPT nin PSR tahmin edicisinden daha iyi olduğunu sayısal olarak göstermiştir. H 0 : β = 0 ön-testi için τ kritik değer ve F = (b Sb/p)/(e e/ν) test istatistiği olmak üzere bu tahmin edici şeklindedir. ˆβ AM (τ) = I(F τ)b AM + I(F > τ)b SR (3.7) SR tahmin edicisini geliştirmek için Hoa ve Chaturvedi (1990) SHI tahmin edicisini b H = (1 cw e e b Sb e e c(1 w) b Sb + c e )b (3.8) e olarak tanımlamıştır. Burada c ve c negatif olmayan sayılar ve w, [0,1] aralığında bir sabittir. 0 c (p )/(ν+) aralığında SHI tahmin edicisi Baranchik (1970) koşulunu sağladığı için küçültülmüş tahmin edicidir. Bu tahmin edici c = 0 ya da w = 1 için SR tahmin edicisine, w = 0 ve c = c = 1/ν için MMSE tahmin edicisine ve w = 0 ve c = c = p/ν için AMMSE tahmin edicisine dönüşür. 8

20 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Daha iyi tahmin edici nedir? δ 1 ve δ gibi iki tahmin edici ele alınsın, R(θ,δ) ifadesi kayıp fonksiyonunun beklenen değeri (risk fonksiyonu) olmak üzere, R(θ,δ 1 ) R(θ,δ ) ifadesi her θ parametresi için sağlanıyorsa ve bazı θ lar için de kesin küçük oluyorsa δ 1 tahmin edicisi δ tahmin edicisinden daha iyidir (better) denir. Uygun ve Uygun Olmayan tahmin edici nedir? Eğer tüm mümkün tahmin ediciler kümesi içinde δ tahmin edicisinden daha iyi olan başka bir tahmin edici δ varsa bu durumda δ tahmin edicisine uygun olmayan (inadmissible) tahmin edici denir. Tersi söz konusu ise yani bahsedilen şekilde bir δ tahmin edicisi bulunamıyorsa δ tahmin edicisine uygun (admissible) tahmin edici denir. Minimaks tahmin edici nedir? Kaynaklarda minimaks tahmin ediciler için birçok bilgi mevcuttur. Burada minimaks tahmin edicinin tanımını verdikten sonra önemli bazı özellikleri üzerinde durulacak ve son olarak bazı örnekler verilecektir. Maksimum riski minimum olan bir tahmin edici δ M ele alınırsa, yani inf sup R(θ,δ) = supr(θ,δ M ) δ θ θ eşitliği sağlanırsa δ M tahmin edicisi minimakstır denir. Bir tahmin edici tek minimaks tahmin edici (unique minimax) ise bu tahmin ediciye uygundur denir. Bunun uygun olmayan tahmin edici olması durumunda bu tahmin ediciden tüm mümkün tahmin ediciler kümesi içinde risk bakımından daha iyi bir tahmin edici bulunabilirdi. Fakat bulunan bu tahmin edici minimaks olacağından bu durum minimakslığın tek olması varsayımı ile çelişirdi. Eğer bir tahmin edici sabit riskli ve uygun tahmin edici olsaydı, bu tahmin edici minimaks olurdu. Tersi sözkonusu olsaydı yani minimaks olmasaydı, bu durumda daha küçük maksimum riske yani daha küçük riske sahip bir tahmin edici bulunabilirdi, bu da uygunluk özelliği ile çelişirdi. 9

21 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL Minimakslık özelliği ile ilgili yapılmış olan en önemli çalışmalardan birisi Baranchik (1970) tarafından yapılan çalışmadır. 4.1 Çok Değişkenli Normal Dağılımın Ortalaması için Minimaks Tahmin Edicilerin Ailesi (Baranchik, 1970) X, p boyutlu (p 3) normal rasgele vektörünün dağılımının bilinmeyen θ ortalamalı ve σ I varyans kovaryans matrisli normal dağılım olduğu kabul edilsin. Alışılmış tahmin edici X in minimaks ve p için uygun bir tahmin edici olduğu bilinmesine rağmen, p 3 için uygun olmayan bir tahmin edici olduğu kaynaklarda sıkça görülmektedir. X ten bağımsız bir T istatistiği σ χ (n) için θ yı tahmin etmede L(ˆθ,θ,σ ) = (ˆθ θ) (ˆθ θ)/σ (4.1) kayıp fonksiyonu kullanılırsa, F = X X/T alarak aşağıdaki minimaks teoremi verilebilir. Teorem 4.1 (Baranchik, 1970) (4.1) de verilen kayıp fonksiyonu ölçütüne göre aşağıdaki (i) ve (ii) koşulunu sağlayan formundaki tahmin ediciler minimakstır: (i) r(.) monoton azalmayan, (ii) 0 r(.) (p )/(n + ). ϕ(x,t ) = (1 r(f) )X (4.) F İspat: James ve Stein (1961), r(.) nın herhangi bir sabit için (ii) koşulunu sağladığını göstermiştir. Alışılmış tahmin edici X minimaks olduğundan E ϕ(x,t ) θ E X θ (4.3) ifadesinin her (θ,σ ) parametre değerleri için pozitif olmadığını göstermek ispatın tamamlanması için yeterlidir. u = u u olmak üzere g(f) = 1 r(f)/f alınırsa (4.3) eşitliği E ϕ(x,t ) θ E X θ = = E g(f)x θ E X θ = E[(g(F)X θ) (g(f)x θ)] E[(X θ) (X θ)] = E[X Xg (F)] θ E[g(F)X] + θ pσ (4.4) 10

22 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL formunda elde edilir. Verilen T = t için koşullu beklenen değerler incelenirse, χ p+k ifadesi p + k serbestlik dereceli ki-kare dağılımı olmak üzere, elde edilir. E[X Xg (X X/t)] = e θ /σ k=0 ( θ /σ ) k k! E[σ χ p+k g ( σ χ p+k )] (4.5) t θ E[g(X X/t)X] (4.6) ifadesini bulmak için ise ortogonal bir dönüşüm yapılabilir. Yani X, Y ye ve θ, ( θ,0,...,0) ifadesine dönüştürülebilir. Bu işlemler σ ve t nin değerlerini etkilemez. Bu durumda (4.6) eşitliği, θ E[g(Y Y/t)Y 1 ] (4.7) olur ve burada Y 1, Y nin ilk bileşenidir. (4.7) ifadesi Y nin dağılımı cinsinden yazılırsa, veya σ θ e θ /σ (πσ ) p/ d d θ [... g(y i /t)e (y i θ y i)/σ p i=1 dy i ] θ σ e θ /σ d d θ e θ /σ E[g( σ χ p+k )], (4.8) t elde edilir. Burada K, θ /σ ortalamalı Poisson dağılımlı rasgele değişkendir. Böylece (4.7) ifadesi aşağıdaki gibi elde edilir, σ e θ /σ ( θ k=0 σ )k ke[g( σ χ p+k t )/k!]. (4.9) (4.5), (4.9)ve E[K] = θ σ eşitlikleri kullanılarak (4.4) eşitliği düzenlenirse, σ e θ /σ k=0 p + k}. ( θ /σ ) k k! {E[χ p+k g ( σ χ p+k t )] 4kE[g( σ χ p+k )] t (4.10) elde edilir. Bu ifadenin T üzerinden ortalaması alınırsa, T = σ χ n alarak, teoremin ispatını tamamlamak için E[χ p+k g ( χ p+k χ n ) 4kg( χ p+k χ ) p + k] (4.11) n ifadesinin her k = 0,1,.. için pozitif olmadığını göstermek yeterli olacaktır. Hesaplamaları yaparken U = χ p+k χ n alarak r(u) = [1 g(u)]u (4.1) 11

23 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL gösterimi ve g(u) 1 p n + U 1 (4.13) eşitsizliği kullanılırsa (4.11) eşitliği aşağıdaki şekilde ifade edilebilir. E[χ p+k g (U) 4kg(U) p + k] = E[Uχ ng (U) 4kg(U) p + k] = E[χ n(u r(u))g(u) 4k + 4k r(u) U p + k] = E[χ nug(u) χ nr(u)g(u) + 4k r(u) U χ p+k ] = E[χ nug(u) χ nr(u)g(u) + 4k r(u) U Uχ n] = E[χ nu(g(u) 1) χ nr(u)g(u) + 4k r(u) U ] = E[ χ nr(u) + χ nr(u) χ nr(u)g(u) + 4k r(u) U ] = E[ χ nr(u) + r(u)(1 g(u))χ n + 4k r(u) U ]. = E[r(U)χ n( 1 g(u) + 4k/χ p+k )] (4.14) (4.13) eşitsizliği kullanılarak (4.14) eşitliği için üst sınır aşağıdaki şekilde bulunur: E[r(U)χ n( + p n + U 1 + = E[r(U)χ n[ + p n + χ n χ p+k 4k χ p+k )] ] + 4k χ ] p+k = E[r(U)χ n[ + ( p n + χ n + 4k)/χ p+k ] = E[r(U)Z] = E[r(χ p+k /χ n)z χ n] (4.15) Burada Z = χ n[ + ( p n+ χ n + 4k)/χ p+k ] dir. χ n i sabit tutarak a sabiti + ( p n + χ n + 4k)/a = 0 (4.16) olacak şekilde seçilir. (4.1) teoreminde verilen (i) koşulu kullanılarak aşağıdaki eşitsizlik yazılabilir, E[r(χ p+k /χ n)z χ n] r(a/χ n)e[z χ n;χ p+k a]p[χ p+k a] + r(a/χ n)e[z χ n;χ p+k > a]p[χ p+k > a] = r(a/χ n)e[z χ n] = r(a/χ n)χ n[ + ( p n + χ n + 4k)/(p + k)] 1

24 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL Bu ifade genelliği bozmaksızın p +k (p ) ile çarpılıp sonra da (4.15) ve (4.16) eşitlikleri kullanılırsa, = p k + k (p ) r(a/χ n)χ n[ + ( p n + χ n + 4k)/(p + k)] = r(a/χ n)χ n[ 1 + χ n n + ] elde edilir. Burada a = k + p n+ χ n olduğundan E[r(χ p+k /χ n)z χ n] r( k χ + p n n + )χ n[ 1 + χ n n + ] (4.17) sonucuna ulaşılır. Yani (4.) nin minimaks olması için (4.17) ifadesi 0 dan küçük ya da 0 a eşit olmalıdır. (i) koşulundan dolayı (4.17) ifadesi r( k + p n + ) E{χ n[ 1 + χ n/(n + )] χ n < n + }P[χ n < n + ] + r( k + p )E{χ n + n[ 1 + χ n/(n + )] χ n n + }. P[χ n n + ] = r( k + p )E{χ n + n[ 1 + χ n/(n + )]} = 0 ile üstten sınırlıdır. Yani (4.17) pozitif olamaz ya da diğer bir deyişle (4.) pozitif olamaz. 4. Minimaks Tahmin Edici Örnekleri Bu bölümde Teorem (4.1) kullanılarak bazı tahmin edicilerin minimaks olma özelliği incelenecektir. 1. James-Stein tahmin edicisi r = c sabiti alınırsa, 0 c (p ) n+ için James-Stein tahmin edicisi elde edilir ve Teorem (4.1) e göre minimakslık ölçütünü sağlar. Bu tahmin ediciler (1 F c ) yerine max(0,1 F c ) alınarak geliştirilebilir (Ohtani ve Kozumi, 1996). Geliştirilmiş tahmin edicilerin de Teorem (4.1) i sağlayacağı açıktır. (Burada c < F iken r(f) = c, diğer durumlarda r(f)=f alınmıştır.). Alam-Thompson tahmin edicisi 0 c p n+ (1 X X X X + cs )X olmak üzere r(f) = c 1+cF 1 alınırsa, tahmin edicisi (Alam ve Thompson, 1964) elde edilir. Bu tahmin edici için alınan r(f), Teorem (4.1) i sağladığından Alam-Thompson tahmin edicisi de minimaks bir tahmin edicidir denir. 13

25 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL 3. F > c için r(f) = c sabiti alınırsa (diğer durumlarda 0), 0 c (p ) n+ için Teorem (4.1) in koşulları sağlanacağından aşağıda verilen minimaks tahmin edici elde edilir, (1 c/f)x, F > c ϕ(x) = X, F c 4. a > 0 ve 0 < b < (p ) sabitleri için δ a,b = (1 b a + X X )X formunda verilen tahmin edicilerin minimaks olduğu söylenebilir (Maruyama ve Strawderman, 005). 5. k 3 için MMSE (minimum mean squared error) tahmin edicisi (Farebrother, 1975), de minimakslık ölçütünü sağlar. b Sb b M = ( b Sb + e e/ν )b 6. c ve c negatif olmayan skalerler olmak üzere b H = (1 cw e e b Sb e e c(1 w) b Sb + c e e ) ile verilen SHI (two-stage hierarchial information) tahmin edicisi de (Hoa ve Chaturvedi, 1990), c (k )/(ν + ) değerleri için minimakslık ölçütünü sağlar. Bu tahmin edici, c = 0 ya da w = 1 için Stein-rule tahmin edicisine, w = 0 ve c = c = k/ν için MMSE tahmin edicisine dönüşeceğinden buradan elde edilen tahmin ediciler de minimakslık ölçütlerini sağlayacaktır. 4.3 Minimaks Özelliği ile İlgili Diğer Bazı Teoremler Teorem 4. (Stein, 1973) g(x) ifadesi, g(x) + p i=1 x i g i (x) 0 kısmi diferansiyel eşitsizliğinin çözümü olacak şekilde seçilirse bu durumda X + g(x) formundaki tahmin ediciler minimakstır. Teorem 4.3 (Efron ve Morris, 1976) δ φ (X) = (1 φ( X )/ X )X 14

26 4. ÇOK DEĞİŞKENLİ NORMAL DAĞILIMIN ORTALAMASININ MİNİMAKS TAHMİN EDİCİLERİ Deniz ÜNAL formunda verilen tahmin ediciler için, φ(w)((p ) φ(w))/w + 4φ (w) 0 diferansiyel eşitsizliğinin çözümü olan φ(w) ifadesi monoton azalmayan ise ve 0 φ(w) (p ) eşitsizliğini her ω 0 için sağlıyorsa δ φ minimakstır. Böylece X ten daha iyi bir tahmin edici sınıfı tanımlanmış olur. Burada φ(w) = p alarak James-Stein tahmin edicisinin bu sınıfa dahil olduğu görülebilir. 15

27 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ 5.1 SR Tahmin Edicisinin Çıkarılışı Bu bölümde (Namba, 1999) p boyutlu normal dağılımın ortalaması için SR tahmin edicisinin çıkarılışını elde etmek amacı ile Brandwein ve Strawderman (1990) tarafından verilen grafiksel yöntem incelenmiştir. Burada X, µ ortalamalı, σ I p kovaryans matrisli p boyutlu normal dağılıma sahip ve σ biliniyor olsun. Bu durumda grafiksel yöntemle SR tahmin edicisi elde edilmek istenirse aşağıda verilenler ile Şekil 5.1 elde edilir. E[(X µ) µ] = 0 olduğundan µ ve X µ hemen hemen ortogonal olarak kabul edilebilir. Ayrıca E[ X ] = pσ + µ olduğundan eğer X, µ için bir tahmin edici olarak kullanılırsa bu durumda µ nün olduğundan uzun tahmin edildiği görülür. Bu nedenle µ için tahmin edici olarak X i kullanmak yerine µ nün X üzerine izdüşümünü kullanmak daha iyi bir seçim olur. Fakat µ bilinmediğinden bahsedilen bu izdüşüm hemen elde edilemez. Şekil 5.1 Bu izdüşümü elde etmek için X µ ve µ kesin ortogonal olarak kabul edilsin. Ayrıca X ve X µ nin sırasıyla beklenen değerleri olan µ µ+ pσ ve pσ ye eşit oldukları varsayılsın. İzdüşüm (1 a)x olarak alınsın ve a nın tahmin edicisi â olsun. Bu durumda Z = X µ â X = pσ â X, (5.1) 16

28 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL ve Z = µ (1 â) X şeklinde ifade edilebilir. (5.1) ve (5.) kullanılarak, elde edilir. Buradan izdüşüm için tahmin edici ise = X pσ (1 â) X (5.) â = pσ X (5.3) (1 â)x = (1 pσ )X (5.4) X olur. Bulunan bu eşitlik ise bilinen kovaryans matris σ I p ya sahip olan p boyutlu normal dağılımın ortalaması için SR tahmin edicisidir. 5. SR Tahmin Edicisinin Özellikleri θ 1,...,θ p parametrelerini içeren model ele alınsın. Burada her θ i, i = 1,.., p için z i bağımsız normal değişkenleri E(z i ) = θ i ve Var(z i ) = σ değerlerine sahip olsun. Vektör formunda yazılmak istenirse z normal dağılımlı rasgele vektör olmak üzere E(z) = θ ve Cov(z) = σ I p olur. θ için maksimum likelihood tahmin edicisinin ˆθ = z olup, θ ortalama vektörüne ve σ I p varyans-kovaryans matrisine sahip normal dağılımlı olduğu açıktır. σ nin biliniyor olduğu ve genelliği bozmaksızın 1 e eşit olduğu varsayılsın. Bu durumda maksimum likelihood tahmin edicisinin riski olur. R(θ, ˆθ) = E θ [(ˆθ θ) (ˆθ θ)] = p Bu tahmin edicinin parametre sayısı p, den fazla olduğu durumlarda hata kareleri kayıp fonksiyonu ölçütüne göre uygun olmadığını Stein (1956) göstermiştir. Yani p > için θ gibi R(θ,θ SR ) R(θ, ˆθ) eşitsizliğini sağlayan alternatif bir tahmin edici vardır. Fakat bu özelliğe sahip bir tahmin ediciyi tanımlayabilmek her zaman kolay olmayabilir. James ve Stein (1961) bu koşulu sağlayan lineer olmayan bir tahmin edici bulmuştur. James ve Stein tarafından verilen bu tahmin edici maksimum likelihood tahmin edicisinin bir fonksiyonudur ve θ SR = (1 a ˆθ ˆθ )ˆθ (5.5) 17

29 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL formundadır. Burada a, 0 a (p ) aralığında bir sabittir. Bu tahmin edicinin riskini hesaplamak için öncelikle aşağıdaki teoremin (Judge ve Bock, 1978) bilinmesi gerekir. Teorem 5.1 w : J 1 vektörü θ ortalamalı ve I J kovaryans matrisli normal dağılıma sahip ise E[φ(w w)w] = θe[φ(χ )] olur. (J+, θ θ ) Bu durumda, R(θ,θ SR ) = E[(θ SR θ) (θ SR θ)] olur ve burada λ = θ θ ve E[1/χ (p,λ)] = e λ Σ = p a[(p ) a]e[1/χ (p,λ)] λ j ( j!(p + j)) dir. θ için 0 < a < (p ) ise ρ(θ,θ SR ) ρ(θ, ˆθ) eşitsizliği sağlanır. Bu ilişki θ θ nın sonlu değerlerinde R(θ,θ SR ) değerinin R(θ, ˆθ) dan kesin olarak küçük olması şeklinde ortaya çıkar. Bu riski minimum yapan a değeri birinci türev 0 a eşitlenerek p olarak bulunur. Bu durumda σ = 1 ve p > varsayımı altında elde edilecek James-Stein tahmin edicisi ˆθ SR = (1 p ˆθ ˆθ )ˆθ (5.6) formundadır ve bu eşitliğe optimum James-Stein tahmin edicisi denir. Optimum James- Stein tahmin edicisinin riski R(θ, ˆθ SR) = p (p ) E[1/χ (p,λ)] (5.7) olur ve bu risk λ = θ θ yi sonlu yapan θ nın bütün değerlerinde maksimum likelihood tahmin edicisinin riskinden kesin olarak küçük olur. (5.6) eşitliğinin ortalaması E(ˆθ SR) = θ (p )E(1/χ (p +,θ θ))θ şeklinde Teorem (5.1) kullanılarak bulunabilir (Judge ve Bock, 1978). Burada ˆθ SR tahmin edicisinin (p )E(1/χ (p +,θ θ)) şeklinde bir yanlılığa sahip olduğu görülmektedir. Yani (5.6) da verilen James-stein tahmin edicisi lineer olmayan ve yanlı bir tahmin edicidir. Bu tahmin edicinin kovaryans matrisi ise Σˆθ SR = E[(ˆθ SR E(ˆθ SR))(ˆθ SR E(ˆθ SR)) ] (p ) = {1 (E[1/χ (p,λ)] + θ θ[e(1/χ (p +,λ))] )}I p p + (θθ θ θ p I p p){e[(1 χ (p + 4,λ) ) ] (1 (p )E[χ (p +,λ)]) } 18

30 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL şeklinde elde edilir. Burada Σˆθ sonucu bilinmeyen parametre vektörü θ ya bağlı olduğu SR için uygulamada ve risk hesaplamasında kullanılamaz. Riskin, kovaryans matrisin izi ile yanlılığın normunun karesinin toplamına eşit olduğu bilinir. Bu durumda E[(ˆθ SR θ) (ˆθ SR θ)] = trσˆθ + θ θ(p ) (E[1/χ (p +,λ)]) SR = p (p ) [E(1/χ (p,λ))] riski (5.7) de bulunan risk ile aynıdır. 5.3 SR ve PSR Tahmin Edicileri y = Xβ + ε,ε N(0,σ I n ) lineer regresyon modelinde y : nx1 boyutlu bağımlı değişkenlerin gözlem vektörü, X : nxp boyutlu bağımsız değişkenlerin gözlem matrisi, β : px1 boyutlu parametre vektörü, ε : nx1 boyutlu normal dağılımlı hata terimlerinin vektörüdür. Bu bölümde ν = n p olmak üzere ve OLS tahmin edicisi b alınarak aşağıdaki teoremler ispatlanmıştır. Teorem 5. p 3 için SR tahmin edicisi MSE ölçütüne göre OLS tahmin edicisinden daha iyidir. Teorem 5.3 a = (p )/(ν + ) değerinde SR tahmin edicisinin minimum MSE değeri elde edilir. Teorem 5.4 PSR tahmin edicisi MSE ölçütüne göre SR tahmin edicisinden daha iyidir. Teoremleri ispatlamak için öncelikle b PT = I(τ < b Sb/e e)(1 ae e b )b (5.8) Sb ön-test tahmin edicisi ele alınsın. Burada I(A), A olayı gerçekleşirse 1, gerçekleşmezse 0 değerini alan gösterge fonksiyonudur. τ = 0 olması durumunda ön-test tahmin edicisi SR tahmin edicisine, τ = a olması durumunda ise ön-test tahmin edicisi PSR tahmin edicisine indirgenmiş olur. Bu durumda ön-test tahmin edicisi için hesaplanacak olan MSE değeri SR ve PSR tahmin edicilerinin MSE değerini içerecektir. Ön-test tahmin edicisi için MSE 19

31 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL değeri, MSE(b PT ) = E[(b PT β) S(b PT β)] = E[b PT Sb PT ] E[β Sb PT ] + β Sβ = E[I(τ < b Sb/e e)(1 ae e b Sb ) b Sb] E[I(τ < b Sb/e e)(1 ae e b Sb )β Sb] + β Sβ = H(,1;a,τ) J(1,0;a,τ) + β Sβ (5.9) elde edilir. Burada C(t,m) = t!/m!(t m)!, w i (λ) = exp( λ/)(λ/) i /i!, w 1 (λ) = 0, λ = β Sβ/σ olmak üzere ve H(t,q;a,τ) = E[I(τ < b Sb/e e)(1 ae e b Sb )t (b Sb) q ] = = p m=0 p m=0 C(t,m)( a) m E[I(τ < b Sb/e e)( ae e b Sb )m (b Sb) q ] C(t,m)( a) m (σ ) q w i (λ) Γ(m + ν/)γ(i + q m + p/) Γ(ν/)Γ(i + p/) I τ (ν/ + m, p/ + i + q m) J(t,q;a,τ) = E[I(τ < b Sb/e e)(1 ae e b Sb )t (b Sb) q β Sb] = = p m=0 p m=0 C(t,m)( a) m E[I(τ < b Sb/e e)( ae e b Sb )m (b Sb) q β Sb] C(t,m)( a) m β Sβ(σ ) q w i (λ) Γ(m + ν/)γ(i q m + p/) Γ(ν/)Γ(i p/) I τ (ν/ + m, p/ + i q m) şeklindedir. Burada I x (a 1,a ) = [B(a 1,a )] 1 x 0 t a 1 1 (1 t) a 1 dt tamamlanmamış beta fonksiyonudur (Namba ve Ohtani, 006) ve τ = 1/(1 + τ) dır. Bu durumda SR, PSR ve OLS tahmin edicileri için MSE formülleri sırasıyla, MSE(b SR ) = H(,1;a,0) J(1,0;a,0) + β Sβ, (5.10) MSE(b PSR ) = H(,1;a,a) J(1,0;a,a) + β Sβ, (5.11) 0

32 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL ve MSE(b) = H(0,1;0,0) J(0,0;0,0) + β Sβ, (5.1) olarak elde edilir. Buradan (5.9) ifadesi, MSE(b PT )/σ = m=0 C(,m)( a) m w i (λ) Γ(m + ν/)γ(i + 1 m + p/) Γ(ν/)Γ(i + p/) I τ (ν/ + m, p/ + i + 1 m) 1 λ C(1,m)( a) m (σ ) q w i (λ) Γ(m + ν/)γ(i + 1 m + p/) Γ(ν/)Γ(i p/) I τ (ν/ + m, p/ + i + 1 m) + λ olarak elde edilir. MSE karşılaştırmaları için, p 3 değerlerinde, bulunur. MSE(b SR )/σ MSE(β)/σ = 4a + a w i (λ) + aλ = = Γ(1 + ν/)γ(i + p/) w i (λ) Γ(ν/)Γ(i + p/) Γ( + ν/)γ(i 1 + p/) Γ(ν/)Γ(i + p/) Γ(1 + ν/)γ(i + p/) w i (λ) Γ(ν/)Γ(i p/) ν/ w i (λ) a[(ν + )a (p )] p/ + i 1 ν/ w i (λ) p/ + i 1 (ν + )[(a p ν + ) ( p ν + ) ] Buradan p 3 ve 0 a (p )/(ν + ) için SR tahmin edicisinin MSE ölçütüne göre OLS tahmin edicisinden daha iyi olduğu söylenebilir. Ayrıca a = p ν+ için SR tahmin edicisinin minimum MSE değerine sahip olduğu görülebilir. Böylece Teorem (5.) ve Teorem (5.3) ispatlanmış olur. Teorem (5.4) ün ispatı için MSE(b PT ) nin τ ya göre türevi incelenmelidir. Yani, pozitif a 1, a değerleri için tamamlanmamış beta fonksiyonunun τ ya göre türevi I τ (a 1,a ) τ = [B(a 1,a )] 1 (τ + 1) (a 1+a ) τ a 1 1

33 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL olmak üzere, MSE(b PT ) nin τ ya göre türevi, MSE(b PT )/σ τ = Γ(i + (ν + p)/) w i (λ) Γ(ν/)Γ(i + p/) (τ + 1) (ν+p)/+i+1 τ p/+i (τ a)[ ((ν + p)/ + i)(τ a) + 4i(τ + 1)] elde edilir. Bu eşitlikten, 0 τ a aralığında MSE(b PT ) fonksiyonunun azalan olduğu görülmektedir. b PT nin, τ = 0 da SR ve τ = a değerinde ise PSR tahmin edicisine dönüştüğü biliniyordu. Bu durumda PSR tahmin edicisi, MSE ölçütüne göre SR tahmin edicisinden daha iyidir denir. 5.4 SR Tahmin Edicisi Hakkında Ek Bilgiler Stein (1955), ξ ortalamalı I p kovaryans matrisli p değişkenli normal dağılımda karesel kayıp fonksiyonu kullanarak ortalama vektörü ξ ın tahmini problemini ele almıştır. Yani X N p (ξ,i) alındığında kayıp fonksiyonu olarak L(ξ, ˆξ) = ˆξ ξ = (ˆξ ξ) (ˆξ ξ) = p i=1 (ˆξ i ξ i ) (5.13) kullanılarak ξ nin tahmin edicisi ˆξ ele alınmıştır. Blyth (1951) tarafından p = 1 için alışılmış tahmin edici ϕ 0 (X) = X (5.14) in kullanılabilirliği ispatlanmıştır. Bu alışılmış tahmin edicinin riski R(ξ,ϕ 0 ) = E[L(ξ,ϕ 0 (X))] = E[L(ξ,X)] = E(X ξ) (X ξ) = p (5.15) ile verilebilir. Stein (1955), p için bu tahmin ediciyi incelerken, p = için ϕ 0 (X) uygun olsa da p 3 için uygun olmadığını göstermiştir. Özel olarak p 3 için ϕ 0 (X) = X ten daha uygun bir tahmin edici olan ϕ a,b (X) = (1 b )X (5.16) a + X küçültülmüş tahmin edicisini yeterince küçük b > 0 ve yeterince büyük a için vermiştir. James ve Stein (1961), X N p (ξ,i) olmak üzere ϕ b (X) = (1 b )X (5.17) X

34 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL tahmin edicisi için MSE(ϕ b (X)) = E[(ϕ b (X) ξ) (ϕ b (X) ξ)] (5.18) yi incelemişlerdir. Bu hesaplamalar yapılırken, p serbestlik dereceli ve ξ merkezi olmama parametreli ki-kare dağılımlı rasgele değişkeni ile ξ ortalamalı poisson dağılımına sahip K rasgele değişkeni ve W/K χ (p+k) alınarak elde edilen W rasgele değişkeninin aynı dağılımlı oldukları gerçeği kullanılmıştır. Burada W/K, K verilmişken W nın koşullu dağılımını ifade eder. Oldukça karmaşık hesaplamalar sonucunda (5.18) eşitliği MSE(ϕ b (X)) = δ 1 + b δ b(p )δ (5.19) 1 1 formunda bulunur ki burada δ 1 = p ve δ = E[ ] = E[ X p +K ] dir (James ve Stein, 1961). Stein (1981) Stein in lemması olarak bilinen riskin yansız tahmini tekniğini vermiştir. Bu teknik James ve Stein in (1961) MSE için yaptıkları ispatı oldukça kolaylaştırmıştır. Lemma 5.1 (Stein in Lemması) X, θ ortalamalı ve 1 varyanslı tek değişkenli normal dağılımdan alınan bir rasgele değişken ve g gerçel değerli türevlenebilir ve E g (X) < koşullarını sağlayan bir fonksiyon ise dir. İspat. E(g(X)(X θ)) = = E(g(X)(X θ)) = E(g (X)) (5.0) 1 π 1 π g(x)(x θ)e 1 (x θ) dx (5.1) g(x) d dx (e 1 (x θ) )dx = [ 1 π g(x)e 1 (x θ) ] π = E(g (X)) g (x)e 1 (x θ) dx g (X) için yapılmış olan varsayıma dayalı olarak eşitliğin sağ tarafındaki ilk kısım 0 olarak bulunacağından diğer kısım g (X) in beklenen değerini vermektedir. 1999). Böylece James ve Stein in (1961) verdikleri ispat çok daha kolay yapılabilir (Namba, 3

35 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL Teorem < b < (p ) ve p > olmak üzere ϕ b (X) = (1 b X )X ile gösterilen tahmin edici alışılmış tahmin edici olarak bilinen ϕ 0 (X) = X ten daha iyi bir tahmin edicidir ve ϕ p (X) = (1 p X )X tahmin edicisi bu formdaki tahmin ediciler arasındaki en küçük riske sahip olanıdır. İspat. (5.18) eşitliği tekrar ele alınırsa; MSE(ϕ b (X)) = E[(ϕ b (X) ξ) (ϕ b (X) ξ)] = p + b p 1 E[ X ] b E[ X i(x i ξ i ) i=1 p j=1 X j ] elde edilir. Burada toplamdaki her bir bileşene Stein in lemması uygulanırsa, MSE(ϕ b (X)) = p + b p 1 E[ X ] b E[ d X i ( i=1 dx i p j=1 X j )] (5.) = p + (b 1 b(p ))E[ X ] elde edilir. Yani (5.19) eşitliği ile aynı sonuca ulaşılır. MSE(ϕ b (X)) = p + (b b(p ))E[ 1 X ] eşitliğinde (b b(p )) < 0, yani 0 < b < (p ) olursa ϕ b nin riski ϕ 0 ın riskinden küçük olur. Diğer bir anlatımla MSE(ϕ b (X)) < MSE(ϕ 0 (X)) = p olur. Böylece, p > için ϕ b (X) in 19. yüzyılın ilk yarısından beri en iyi tahmin edici olarak bilinen OLS tahmin edicisi ϕ 0 (X) e tercih edileceği gösterilmiş olur. ϕ b (X) in minimum olduğu b değerinin MSE(ϕ b (X)) in b ye göre birinci türevinin sıfıra eşitlenmesiyle b = p olarak bulunduğu ve bulunan bu en uygun b değerini kullanarak yazılabilecek tahmin ediciye en uygun James Stein tahmin edicisi denildiği önceki bölümde ifade edilmişti. Sclove (1968), James ve Stein (1961) tarafından verilen teoremin genelleştirilmiş formu üzerinde çalışmıştır ve aşağıdaki sonuçları elde etmiştir. Teorem 5.6 F = ˆβ ˆβ e e bir fonksiyon olsun. R(Ψ,β) < R(ˆβ,β) eşitsizliğini sağlar. (p ) alınsın ve a(.), 0 < a(.) < n p+ aralığında monoton azalmayan Ψ(ˆβ,e e) = (1 a(f) F )ˆβ tahmin edicisi bütün β parametreleri için Burada a(f) c 1 alınırsa James ve Stein in (1961) verdiği tahmin edici bulunur. Eğer, c 1, F > c 1 a(f) = F, F c 1 4

36 5. SR TAHMİN EDİCİSİ VE ÖZELLİKLERİ Deniz ÜNAL alınırsa Ψ(ˆβ,e e) = (1 a(f) F )ˆβ = (1 c 1 F ) + ˆβ olur. f + (x) = max{0, f (x)} fonksiyonu f (x) fonksiyonu için pozitif parçalı fonksiyondur. Böylece aşağıdaki sonuç elde edilebilir. Sonuç 5.7 c 1, 0 < c 1 < (p )/(n p + ) aralığında bir sabit olmak üzere ˆβ + SR = (1 c 1e e ) + ˆβ (5.3) ˆβ ˆβ pozitif parçalı SR tahmin edicisi bütün β lar için Risk fonksiyonu ölçütüne göre OLS tahmin edicisinden daha iyi bir tahmin edicidir. Yani R(ˆβ + SR,β) < R(ˆβ,β) eşitsizliği sağlanır. Bunlara ek olarak Baranchik (1964) ˆβ + SR nin ˆβ SR den daha iyi bir tahmin edici olduğunu göstermiştir. ˆβ + SR nın diğer bir özelliği de ˆβ nın işaretini değiştirmemesidir. F = ˆβ ˆβ e e < c 1 olduğunda β nın tahmini 0 olacaktır. Böylece (5.3) ün kullanılması ile 0 < c 1 < (p )/(n p+) aralığındaki bir c 1 önem düzeyinde H 0 : β = 0 ön-testinin yapılması durumu ortaya çıkar. Böylece H 0 red edilemediğinde β, 0 ile tahmin edilir, H 0 red edildiğinde ise (1 c 1e e ˆβ )ˆβ ile ˆβ tahmin edilir. Her iki durumda da (1 c 1e e ˆβ ) negatif olmayan bir sayıdır. ˆβ 5.5 Regresyon Modelinde SR Tahmin Edicisi basit lineer regresyon modeli ele alınsın, burada y i = β i + ε i, ε i NID(0,σ ) (5.4) E(y i ) = β i, MSE(y i ) = σ (5.5) dir. (5.5) te verilen eşitlikler ile β i nin maksimum likelihood tahmin edicisinin y i olduğu ve y i nin MSE sinin sabit değer aldığı görülmektedir. (5.4) modelinin p 1 vektörler cinsinden ifadesi olacaktır. Burada MSE(y) = p i=1 y = β + ε (5.6) MSE(y i ) = E[(y β) (y β)] = pσ 5