EKONOMETRİK MODEL SEÇİM KRİTERLERİ ÜZERİNE KISA BIR İNCELEME. Meltem Şengün UCAL *

Transkript

1 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, EKONOMETRİK MODEL SEÇİM KRİTERLERİ ÜZERİNE KISA BIR İNCELEME Meltem Şegü UCAL * Özet Hagi değişkeler öemli?, Bir model asıl seçilir? gibi sorular modellemede çok öemlidir. İyi araştırma (ekoometrik) tekikleri altıda iyi bir model kesilikle verileri uygu tahmi eder. Birde fazla uygu model taımlamasıı buluduğu durumlarda ekoometrisye ve istatistikçi mevcut ola veri setide uygu modeli seçmek ister. Model seçim kriterleride e uygu model kararıı verilmesi içi bir yoldur. Bu çalışma farklı model seçim kriterlerii kısa icelemesii ve birbirleriyle karşılaştırmasıı içermektedir. Aaliz edile model seçim kriterleri geleeksel hipotez testie bağlı metodlarda farklı olarak bilgi teorisie dayamaktadır. Kullback-Leibler uyumsuzluğua dayaa Akaike Bilgi Kriteri ile bilgi teorisi yaklaşımı 1970 lerde popülerdi. Daha soraları bu yaklaşım Bayes Bilgi Kriteri(BIC), Schwartz Bilgi Kriteri (SIC), Mallow u Cp kriteri gibi öreklerle çeşitleerek gelişmiştir. Bu çalışmada ayrıca yeide örekleme methodlarıda bootstrap ve çapraz-geçerlilik.te model seçim kriterleri içide alatılmıştır. Aahtar Kelime: Bilgi Teorisi, Model Seçim Kriterleri, Bootstrap, Çapraz Geçerlilik. A Brief Survey Of Ecoometrics Model Selectio Criteria Abstract Which variables are importat?, How to select a model? kid of questios are very importat for the modelig. A good model certaily fits the well i to the data uder ivestigatio (ecoometrics). The ecoometricia ad statisticia would like to select most appropriate model from data sets, where there may be more tha oe defiitio of appropriate. Model selectio criteria are oe way to decide o the most appropriate model. This paper surveys briefly the differet model selectio criteria ad compares them with each other. The aalyzed model selectio criteria are based o the iformatio theory ad are quite differet from the usual methods based o ull hypothesis testig. Iformatio theory approaches were popular i the 1970s with the lad mark Akaike Iformatio Criteria based o the Kullback-Leibler discrepacy. Later, those approaches were diversified ad such criteria as Bayes Iformatio Criterio (BIC), Schwartz Iformatio Criterio (SCI), ad Mallow s Cp were developed. * Dr., Kadir Has Üiversitesi, İİBF, İktisat Bölümü, Istabul

2 4 UCAL I the paper, the resample methods (bootstrap ad cross validatio) were also explaied i the cotets of model selectio criteria. Key Words: Iformatio Theory, Model Selectio Criteria, Bootstrap, Cross-Validatio. I. GİRİŞ Tüm çalışmalarda ekoometrik modeli doğru kurulduğu varsayımı altıda ilerleir. Klasik doğrusal regresyo modelii bilidik ösav sıamaları gözde geçirilerek model desteklemeye çalışılır. Fakat modeli istatistik testlerideki sorular modeli yeide kurulmasıa yöledirebilir (model kurma hatası yapıldığı düşüülerek). Ekoometristler doğru model kurma ve seçme kavramları üzerie uzu yıllarda beri tartışırlar. Tartışmalarda e çok karşılaşıla sorular şöyledir: Hagi değişkeler modelde öemlidir 1?, İyi bir model asıl taımlaır?. Bir model asıl seçilir?. Tüm bu soruları başlagıç cevapı aslıda cimrilik presibi (The priciple of parsimoy, Box ve Jekis, 1977) ile ortaya çıkar. Presibe gore verii e iyi şekilde yasıtılabilmesi içi gerekli e az sayıda parametre yai değişke kullaılmalıdır. Böylece başta bazı sapmalar egellemiş olacaktır. Aslıda doğru modeli kurulma aşamasıı dikkatli ve e az eğilimle tamamlaması istemektedir. Bu süreç verileri toplaması, doğru veri 3 /örek büyüklüğüü oluşturulması ile başlar. Modeli yapısıı doğru kurulup kurulmadığıı sıamasıda araştırmacıya yardımcı olacak tekikler ise model yapı testleridir Bular, R ve Durbi - Watso d, Ramsey s RESET (Ramsey, 1969), değişke eklemede Lagrage Çarpaı (Egel, 198), Wald test, White test, vb.sayılabilir.. Modeli yapısıı irdelemesi dışıda bizi ilgiledire diğer bir soru da araştırma içi kurula modeler arasıda e iyi performasa sahip olaı asıl seçilmesi gerektiğidir. Söz kousu soru araştırılırke belirli model kalıpları içi düşüülmüş model seçim kriterleride faydalaılmalıdır (Mcquarrie, Tsai, 1998). Acak o zama daha etki bir çalışma platformu yaratılabilir. Bu kapsamda model seçimide e göze çarpa yaklaşımlar Leamer (Leamer, 1978) ve Hedry (Hedry, ; SSS:sıa,sıa,sıa ;TTT:test test test matığıa dayaa) yaklaşımlarıdır. Bilidik bu yaklaşımları haricide Gaver ve Geiels 1 Seçile değişkeleri ekoomik ve istatistik olarak e etki olması ile model e iyi performası sağlar. Ekoomik olarak alt örek kütlei bulumasıyla değişke seçim süreci başlar. Değişkeleri seçilmesideki ekoomik kriterler aşağıdaki kriterlerle yakıda ilgilidir (Oishi, 1983): İşaret kriteri Öem kriteri. Bular tamamladıkta sora istatistiksel kriterler işlemeye başlar. Cimrilik presibi ek. de kısaca alatılmıştır. 3 (Sample bias, errors of measuremet ) Örek büyüklüğüü yalış seçme veya toplaa verilerde/değişkelerde kayaklaa ölçme hataları model kurmada dikkat edilmesi gereke oktalardadır.

3 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, (1974), Jeffreys (1961), Kiefer ve Richard (1979), Leamer (1978), Lidley (1957), Poirrier (1981) ve Zeller (1971, 1978, 1979) model seçimide ö bilgii miimizasyoua dayalı posterior odds( evvelki şarta bağlı ve veri-örek bilgisi) kriterii kullaarak model seçimie destek vermeye çalışmışlardır. Bu çalışmaları alteratifi olarak da ekoometriciler rakip modeler arasıdaki seçimi kolaylaştırma amaçlı model seçim sıamaları geliştirmişlerdir. Geel olarak sıamalar iki grupta toplaır: Yuvalamış(ested) model sıamaları 4 Yuvalamamış(oested) model sıamaları 5 o Ölçüte gore ayrıt edici yaklaşım o Öteki model bilgisiyle ayırt edici yaklaşım olmak üzere iki türlü iceleir ( Harvey, 1990) Çalışmada yuvalamış, yuvalamamış model sıamalarıı ayrıtılarıa girilmede, araştırmacı tarafıda oluşturula modelleri karşılaştırılmasıı sağlaya seçim tekikleri irdeleecektir. Bu gükü çalışmaları çoğuda da görüle ve e çok kullaıla model seçim kriteri R, R (düzeltilmiş) dir. Fakat modele alıa değişke sayısıı artmasıyla değişe R, R (düzeltilmiş) i yaıda diğer model seçim kriterlerii kullamak daha doğru olacaktır. Model seçim kriterleri ilk olarak 60 ları başı ve 70 leri solarıda Akaike i FPE (Akaike, 1969) ve Mallow u C p testleri ile ortaya çıktı. Kullback.-Leibler (Kullback ve Leibler, 1951) uyumsuzluğua dayaa ve daha çok zama serileride kullaıla Akaike Bilgi kriterii (Akaike, 1973, 1974) ortaya çıkmasıyla başlaya bu döüm oktasıda 70 lerde bilgi teorileri yaklaşımı görülmeye başladı. 70 leri solarıa gelidiğide bilgi teorileri alaıda çalışmalar artarak gelişti ve yei kriterler doğdu. Bularda bazıları: Bayes bilgi kriteri (BIC, Akaike, 1978), Schwarz bilgi kriteri (SIC, Schwarz, 1978), Haa ve Qui Kriteri (HQ, Haa ve Qui,1979), FPE (Bhasali ve Dowham, 1977), GM (Geweke ve Meese, 1981), yeide öreklemeye dayaa cross-validatio ve bootstrap (Efro, 1979) sayılabilir. Ayrıca 1980 leri souda küçük örek içi Kullback.-Leibler uyumsuzluğuu eğilimsiz tahmi edicisi, Hurvich ve Tsai (1989) tarafıda geliştirilerek model seçim kriterleri alaıa sokulmuştur. 4 Bezerlik oraı, Wald ve Lagrage çarpaı yuvalamış modelleri karşılaştırmalarıda kullaıla e bilidik testlerdir. 5 Pesara ad Deato (1978), Davidso ve Mackio(1981) yuvalamamış modeller içi seçim kriterleri oluşturmuşlardır.

4 44 UCAL II. MODEL SEÇİM KRİTERLERİ 1. R, Kriteri Herhagi bir regresyou uyguluk derecesii ölçmede R, i kullaıldığı bilimektedir. 0 ve 1 aralığıda değerler alabile ve 1 e yaklaştığıda e iyi açıklaabilirliği vere istatistiği aşağıdaki şekliyle elde edebiliriz. R = ESS = 1 TSS RSS TSS (1.1) Fakat R model seçim kriteri olarak alıdığıda bazı sorularla kaşılaşılır (Gujarati, 003). Verile örek büyüklüğü içide tahmii değerler gerçek değerlere e kadar yakı bulusalarda gelecek tahmiide bu garatiyi sağlamak mümkü olmayabilir. R leri karşılaştırılabilmeleri içi modelleri foksiyoel yapısıı ve tahmi edicilerii ayı olması gerekmektedir. Farklı model yapıları içi bir çok R öreği verilebilir. Bularda bazıları: Maddala R, Gragg- Uhler R, McFadde R, Estrella R, Pseudo R (McFadde a bezer fakat probit modellemeleride kullaılır) Modele alıa açıklayıcı değişke sayısı arttıkça R değeride artmaktadır. Bu yötemle maksimum R ye ulaşılabiliir. Fakat bu durum gelecek tahmi hata varyasııda yükselmesie ede olacaktır. Bu edele model seçim kriteri olarak alıması her zama yeterli değildir.. Düzeltilmiş R Hery Theil, açıklayıcı değişkeleri katkılasıyla ortaya çıka değerideki yükselmeyi ölemek içi düzeltilmiş R yi geliştirmiştir. R R = RSS /( k) 1 = 1 (1 R ) 1 (1.) TSS /( 1) k

5 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, Düzeltilmiş R, R de farklı olarak eklee değişkei sadece mutlak t değerii 1 de büyük olduğu durumlarda yükselir ve daima R R dir. Fakat uutulmaması gereke model karşılaştırmalarıda ister R veya R kullaılsı herzama modeli foksiyoel yapısı ve tahmi edicilerii ayı olmasıdır. Modeller seçim aalizide karşılaştırıldığıda her zama maximum R değerii vere model tercih edilir. Maximum düzeltilmiş R miimum kalıtıvaryas seçim kriterie 6 eş değer bir seçim kriteridir (Ebbeler, 1975). Düzeltilmiş R e küçük kareler ile tahmi edilmiş regresyolarda daha çok kullaılmaktadır. Bayes yaklaşımlarıda zayıf kaldığı görülmektedir (Burham ve Aderso, 1998). 3. Akaike Bilgi Kriteri (AIC: Akaike Iformatio Criterio) Akaike Bilgi Kriteri (Akaike, 1973,1974 ve düzeltimiş AICc, Siugiura, 1978-Hurvich ve Tsai, 1989) modele eklee değişkeleri yarattığı yükselmeye sıırlama getirerek düzelemiştir. k / ui k / AIC = e = e RSS (1.3) veya N ˆ = 7 AIC log( L) + k (1.3) ve (1.4) eşitlikleride k sabit terim dahil parameter sayısı ve gözlem sayısıı, L=bezer (likelihood) liği vermektedir. (1.3) eşitliğii matematiksel olarak her iki tarafıı logaritması alıarak uygulaştırılırsa, ( A ) γ = X β + ε (B) γ = X ν + τ, γ N ( µ, σ I 6 ' 1 ' M X = I N X ( X X ) X ' 1 ' M = I Z ( Z Z ) Z X N N ) A ve B modelleri arasıda seçim yaparke yukarıdaki miimum kalıtı-varyas kriteri dahilide ˆ σ = γm k /( N k ) i = x z miimum yapa model seçilir. i i i, 7 Kullback-Leibler Uyumsuzluğu (Discrepacy) K L ( f, gϑ ) = EF log gϑ ( x) = log gϑ ( x) f ( x) dx

6 46 UCAL ( k ) l( RSS ) l AIC = + veya AIC = log( L) + k (1.4), (1.4) eşitliğide laic=aic i doğal logaritması ve k/ ise sıırlama (pealty) faktörüdür. Yukarıdaki formüldede görüldüğü üzere AIC, R de eklee yei açıklayıcı değişkeler hususuda dahada serttir. Daha soraki döemlerde Hurvich ve Tsai (1989) i küçük örek zama serisi regresyo modeleri içi kullaıla eğilimsiz AIC de türetmiş oldukları AICc aşağıdaki gibidir (Zucchii, 000). AIC C = AIC + k( k + 1) /( k 1) (1.5) Shibata (1981) AIC ve FPE i asimtotik olarak yeterli kriterler olduğuu söylerke, Nishii (1984) ve diğerleri de AICc, Cp i asimtotik olarak yeterli olmakla beraber; AIC, FPE, Cp i de asimtotik olarak eşit oldukları soucua varmışlardır. AIC i bazı özellikleri söyle sıralaır: Model karşılaştırmalarıda her zama e düşük AIC değerii vere model tercih edilir. AIC sadece seçili örek büyüklüğü içide değil ayı zamada seçili örek büyüklüğü dışıdaki gelecek tahmii içide geçerlidir. Yuvalamış, yuvalamamış ve geçikmeli modellerde rahatlıkla kullaılabilir. 4. Bayes Bilgi Kriteri (BIC: Bayes Iformatio Criterio) Akaike (1978) ve Schwarz (1978) bayes perspektifide birbirie yakı tutarlı iki model seçim kriteri tasarlamışlardır. Schwarz Koopma-Darmois türüde seçme modeler içi SIC (Schwarz Iformatio Criteria) kriterii türetirke bua karşı Akaike doğrusal regresyoda seçilmiş model problemleri içi BIC (Bayesia Iformatio Criterio) model seçim kriterii türetmiştir (McQuarrie, Tsai, 1998). Eşitlik (1.6) daki gibidir.

7 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, BIC = log( L) + k log( ) (1.6) BIC eşitliği sağ tarafıdaki örek büyüklüğüe bağlı ola ikici kısım itibariyle AIC de farklılık gösterir. Fakat AIC ve BIC arasıdaki yüzeysel bezerliğe rağme, daha soraları bayes 8 yapısı içide farklılıklar gösterdiği ortaya çıkmıştır (Rafley, 1995 ve Wasserma, 000). Literatür içideki çalışmalara bakacak olursak BIC bayes factörü 9 de daha fazla kullaılmaktadır. Buu da sebepleride biri aaliz sorasıda büyük hesaplamalara ihtiyaç duyulmasıdır (Zucchii, 000). 5. Schwarz Bilgi Kriteri (SIC: Schwarz Iformatio Criteria) SIC kriteride AIC ye bezemektedir. Formülü aşağıdaki gibidir: ˆ / u k / k SCI = = RSS / (1.7) Logaritmik form ise: k l SCI = l + l( RSS / ) (1.8) k/ l sıırlama ( pealty) faktördür. SIC i bazı özellikleri söyle sıralaır: SIC, AIC ye göre yei değişkeleri modele eklediğide ortaya çıkacak durumu değerledirme hususuda daha dikkatli düzelemiştir. SIC herzama AIC de daha düşük çıkar 8 Bayes kuramı, ösezi olabilecek bilgileri somut çıkarımlar olarak değerledirilmesii sağlar ( Essay Towards Solvig A Problem i the Doctie of Chace, Joural of Royal Society, 1763.) Bayes elde bir bulgu yokke, ösel olasılığı 0 ile 1 arasıda herhagi bir değer alabileceğii iddia ederek, ösel olasılık ile baş etmeye çalışır. P( G 9 BAYES FAKTÖRÜ: ΙD) P( DΙG ) P( G ) = eşitliği sağ tarafıdaki ilk bölüm P( GΙD) P( DΙG1 ) P( G1 ) bayes faktörü, ikici bölüm ise prior odd ( öcekide arta) olarak biliir.

8 48 UCAL AIC de olduğu gibi sadece seçili örek büyüklüğü içide değil ayı zamada seçili örek büyüklüğü dışıdaki gelecek tahmii içide geçerlidir. 6. Mallow u C p Kriteri Sabit terimide içere k açıklayıcı değişkei buluduğu model varsayımı altıda p (p k) kadar açıklayıcı değişkei seçildiği ve burada kalıtı kareler toplamı hesaplaırsa C.P. Mallow u model seçim kriteri (Mallows, 1973, 1995) (1.9) daki gibi olur: C p RSS p = ( p) (1.9) σ ˆ E ( ˆ σ ) aakütle varyasıı sapmasız tahmi edicisidir. Eğer etki bir tahmi içi p açıklayıcı değişke yeterli ise, görülür. Souç olarak, ( p) σ E( C p ) ( p) σ p (1.10) buluur E( RSS p ) ( p) σ = olduğu Mallow u C p Kriterii bazı özellikleri söyle sıralaır: Cimrilik (parsimoy) presibi dahilide p<k yaklaşımı altıda modeler karşılaştırılırke e düşük C p değerii vere model seçilir (Gujarati,003). Mallow u C p Kriteri, diğerleri gibi sabit varyas ve ormal dağılımlı e küçük kareler tahmi regreyouda kullaılırke bayes yaklaşımlarıda.bu methodu göze çarpmadığı dikkat çekicidir (Seber, Burham ve Aderso, 1998). 7. Bootstrap Model Seçim Kriteri Efro (1979) tarafıda literature katıla bootstrap methodu ögörü veya tahmi hatasıa dayaa model seçim kriteri olarak diğer kriterler içide yer almaktadır. Lihart ve Zucchii (1986) istatistiksel özelliklerii tam olarak bahsedilmediği bootstrap model seçim algoritmaları geliştirmişlerdir. Schall ve Zucchii (1990) bu algoritmaları kullaarak bootstrap model seçim kriterii tekrar yeilemişlerdir. Çalışmada, kriteri modifikasyoları ile birlikte parametrik ve

9 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, oparametrik açıda ayrı ayrı icelemek gerektiği uutulmayarak temel alayış yasıtılmaya çalışılmıştır. X ve y arasıdaki ilişkii doğrusal olduğu bir durumda bootstrap gözlemlerii oluşturulması içi iki farklı yol ola bootstrap kalıtıları ve bootstrap çifti (x,y) model ve değişke seçim içi kullaılabilir (Draper, 1998). Fakat bootstrap çifti bootstrap kalıtılarıa azara varsayımlara daha az duyarlıdır. Ayrıca bootstrap kalıtıları x i determiistik olduğu bir durum içi daha uygudur. Eğer x rastlatısal ise bootstrap çifti daha uygu bir durum sergiler, fakat boostrap çifti determiistik x içide kullaılabilmektedir. Her iki durumda da amaç ögörü hatasıı bootstrap metodu kullaılarak tahmi edilmesidir (Efro-ve Tibshirai, 1993). Öcelikle ayrı ayrı model seçimie geçmede öce bootstrap ve çaprazgeçerlilik (cross-validatio) içi açıklamalara ışık tutacak bazı kavramlar ele p alımalıdır. -1(model seçimi içi kullaılacak alteratif model sayısı) e dayaa doğrusal modellerde biri içi V ifadesii matris matığı içide kullaalım. V bir alt karakter olarak kulladığıda ise söz kousu modeli elemaları kastedilmektedir. pv taımlı X V matrisi, model V içideki beraber değişkeleri ihtiva ede X matrisii p V tae sütuuu içerir; X V i j. T satırı ise X VJ, V deki e küçük kareler katsayı tahmicileri βˆ V, ve HV ise modeli tahmi edilmiş değerlerii taımlaya şapka matrisidir ( hat matris T 1 T XV ( XV XV ) XV ). Model V içideki regresyo katsayılarıı toplam adedi q V = p V +1 dir ve burada her zama sabit katsayıı olduğu varsayılır. Ayı ifadeler basit doğrusal bir model içide söz kousudur. Tüm bu bilgiler ışığıda çapraz geçerlilik ve bootstrap metodlarıı model seçimi içi asıl kullaılacağıa geçilebilir. Kütle ögörü hatasıı (aggregate predictio errror) çapraz geçerlilik ve bootstrap metodu kullaılarak miimize edilmesiyle e uygu V modelie ulaşılacağı düşüülmektedir (Hikley ve Davidso, 1997). Bua göre V modeli kullaılarak ortalama ögörü karesi (average square predictio) şöyledir. = 1 T ˆ (y+ j xv j βv ) (1.11) burada kütle ögörü hatası, j= 1 D(V)= - 1 σ + (µ x βˆ ) (1.1) de yer ala j= 1 j T V j V T µ = ( µ 1,... ) gerçek çoklu regresyo modelii ortalama (resposes) µ

10 50 UCAL tepkilerii vektörüdür. Yukarıdaki ifadei veri dağılımı üzeride bekletisi alıırsa aşağıdaki (1.13) elde edilir. ( V ) = Ε{ D( V )} = (1 + 1 T qv ) σ + µ ( I H V ) µ (1.13) T bu ifade de eğer model V doğruysa µ ( I H V ) µ sıfıra eşit olacaktır. Presipte, e iyi model D(V) i miimize ede modeldir, fakat modeli parametreleri bilimediği içi D(V) ve (V) içi iyi birer tahmici bulumalıdır. Böylece e iyi yaklaşım, iyi bir yötem seçerek buu bütü olabilecek modellere uygulamaktır Bootstrap metod amaca göre uygulaırke bootstrap öreklemi B i belirlemesi öem taşımaktadır. Bua göre kouu yazarlarıı edimiş oldukları tecrübelerde biraraya getirile iki kural göze çarpar (Efro, 198).. 1- Küçük sayıda bootstrap öreklemleri öreği, B=5 kou içi geellikle aydılatıcı ike B=50 i acak se (θˆ F ) ı iyi tahmiii vermekte yeterli olduğu ifade edilmektedir. - Bir stadart hataı tahmi edilmesi içi B=00 de fazla örekleme çok fazla ihtiyaç duyulmazke, güve aralıklarıı belirlemeside B i daha büyük değerleri istemektedir. Bootstrap metodu model seçimi içi diğer metodlara ve özelliklede ayı grupta yer almaları açısıda çapraz geçerliliğe rağme kullaılmasıı e az iki edei sayılabilir (Shao,1996). 1. Doğrusal regresyo durumuda bootstrap farklı çıkarsamalar sağlamaktadır (öreği, güve setlerii oluşturulabilmesi..) ki bu diğer metodlar ile elde edilede asimtotik olarak daha doğrudur. Kullaıcı açısıda seçilmiş modele dayaa ardışık çıkarsama ve model seçimi, her ikisi de çalışmada tercih edilebilir. Eğer ardışık çıkarsama ve model seçimi içi bootstrap kullaılıyorsa, model seçimi içi oluşturula bootstrap gözlemleri ayı zamada ardışık çıkarsama içide kullaılır. Bootstrap i model seçimi içi kullaılırke ayı zamada ardışık çıkarsama içi de kullaılması araştırma açısıda ekstra bir maliyet getirmemektedir. Fakat ardışık çıkarsama içi bootstrap ve model seçimi içi çapraz geçerlilik metoduu kullaılması ekstra bir yeide öreklem oluşturulmasıı gerektirecektir. Bu edele model seçimi içi çapraz geçerlilik metoduda kaçıılmalıdır.

11 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, Bootstrap model seçim prosedürleri, doğrusal regresyo içi oluşturulmasıa rağme daha zor problemlerde de öreği doğrusal olmaya modeller, geelleştirilmiş doğrusal modeller ve otoregresyo modelleride de diğer kriterlerde (AIC, BIC,.) olduğu gibi kullaım içi ortam sağlayabilir. Fakat çapraz geçerlilik metodu bir yeide örekleme metodu olmasıa rağme otoregresyo modelleri içi düşüülemez. Bootstrap model seçim kriterii performası uygulamada diğer bilie bazı seçim kriterlerie gore parametrik olarak sıadığıda daha fazla üstülük sergilediği görülmektedir (Ucal, 005). Bu kouda da öe sürüle bazı tartışmalar mevcuttur. Çapraz-geçerlilik ve bootstrap metod birlikte veya karşılaştırmalı olarak model seçimide kullaılırke yukarıdaki ayrımlara kesilikle dikkat edilmelidir. 8. Çapraz-Gerçerlilik ( Cross-validatio) Model Seçim Kriteri Eğer kare hatalar kullaılacaksa iyi bir tahmi edici olarak birii-dışardabırak çapraz geçerlilik tahmicisi düşüülebilir. Bu metod modelleri ögörü kabiliyetie göre model seçimi yapılmasıı beimsemektedir (Shao, 1993). Öcelikle basit bir y = p-1 β0 + β j x j + ε (1.14) modeli içi i = 1 QCV = 1 PRESS L(y j,yˆ j ) = j=1 (1.15) olarak alıabilir ( PRESS=predictio Error Sum of Square, yai ögörü hata karesi). L(y j,yˆ j ) ifadesi kayıp foksiyouu ( loss fuctio) verirke, L(y j,yˆ j ) = (y j yˆ j ) ile de açıklaabilir (Bake ve Drage, 1984). Regresyo modelide yer ala katsayılar yalız bir kez tahmi edileceğie, birii-dışarda-bırak çapraz geçerlilik ile bir çok 1 PRESS kez tekrarlamaktadır. Ayrıca QCV = L(y j,yˆ j ) =, j= 1 s = RSS/( p) ile de karşılaştırılabilir (=gözlem sayısı, p=sabit terim dahil parametre sayısı, RSS=Residual sum of square-kalıtı kareler toplamı). Fakat Q CV, s ye göre her zama daha büyük değerler verecektir. Ayrıca, PRESS geellikle s (1+ p/) e hayli yakı souçlar vermektedir (Hjorth, 1994).

12 5 UCAL Çapraz-geçerlilk geiş bir model ve matris matığı içide şöyle olacaktır, (y j yˆ VJ ) ˆ 1 CV ( V) = (1.16) j= 1 (I hvj ) ŷ VJ bütü verilere dayaarak model V i tahmi edilmiş değeri, ise j vakası içi model V i kaldıracıdır. (1.16) da hvj ˆ CV( V ) i sapması küçüktür, fakat bu iyi bir seçim yapmak içi yeterli değildir. Buu içi olduğuu görmek içi herşeyde öce bir geiş formülasyoa ihtiyaç vardır. Formülasyo, ˆ T T CV (V) = ε (I HV )ε + pv + µ (I HV )µ (1.17) şeklidedir. Burada eğer V doğru model ve daha büyük bir modeli ifade ediyorsa, bu durumda büyük içi şular geçerlidir: Pr{ ˆ CV ( V ) < ˆ CV ( V ')} = Pr(χ d < d) eşitliği sağlamalıdır ki burada d = PV' - P V dir. Bu olasılık eğer d büyük değilse, 1 i altıda sağlamaktadır. T Dolayısıyla, ˆ CV (V) modelideki µ (I H V )µ terimii doğru olmaya modelleri seçilemeyeceğii garati etmesie rağme, ˆ CV (V) i miimizasyou tutarlı seçimi sağlamaz. Daha yeterli ve doğru bir (V) i tahmi etmek içi hem model V yi oluşturacak çok büyük miktarda veriye hem de büyük sayıda bağımlı ögörüye ihtiyaç vardır. Buda dolayı (V) i daha da geelleştirerek şöyle ifade edebiliriz. ˆ CV (V) = R R 1 r= 1 V 1 {y J S a,r j ŷ VJ (S t,r )} (1.18) de h = m ve d = m büyüklüğüde hazırlama ve değerledirme kümeleri içi R farklı parçayı kullaa bir ifade vardır. Ayı zamada, ifade de T ŷ VJ (S t,r ) = X VJ βˆ V (St,r ) ve βˆ V (St, r ) ise V i e küçük kareler kullaılarak r ici hazırlama kümesii tahmi edildiği katsayıları ve (S t,r ) ise hazırlama kümelerii ifade eder. Burada dikkat edilmesi gereke R parçaı (split) tüm modeller içi kullaılmasıdır.

13 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, ike m ve m/ 1 olacak şekilde m i seçildiği varsayılırsa, bu ˆ CV (V) i miimizasyou ile ike R ike doğru model içi tutarlı bir seçim sağlaacağı mümküdür.. III. SONUÇ Ekoomik bir olguyu icelerke modeli sağlam ve yeterli olduğuda emi olmak gerekir. Diğer bölümlerde de bahsedildiği gibi, kurula modeli veri aşamasıda başlayarak bir süreç içide sıaması gerekmektedir. Ekoomik araştırmalarda yö verici olması dolayısıyla uygu modeli seçilmesie büyük öem gösterilmelidir. Amaç sadece model kurmak değil ekoomik olguyu ve seçili kütleyi doğru yasıtmasıı sağlamak olmalıdır. Model Hedry ve Richard ı öerdiği üzere, yapıla kestirimler matığa uymalı, kuramla uyumlu olmalı, açıklayıcı değişkeleri hata terimiyle ilişkisiz olmalı, katsayıları durağa olmalı, tahmi edile kalıtılar beyaz gürültülü olmalı, so olarakta model tüm diğer rakip modelleri kapsamalı ve oları bulgularııda açıklayabilmelidir. Modelleri birbirleri arasıdaki performasıı belirlemede sadece klasik regresyo testlerii yeterli kalmadığı buları yaıda daha öceki bölümlerde bahsedile model seçim kriterlerie ihtiyaç duyulduğu açıktır. Model seçim kriterlerii birbirlerie göre üstülükleri ve asıl kullaılacaklarıa dikkat edilmelidir. Aslıda McQuarrie ve Tsai i tasarladığı üzere tüm kriterleri modelleri yapılarıa (tek değişkeli, çok değişkeli, vektör otoregresif, robust, oparametrik ve semiparametrik modeller gibi) göre ayrı ayrı iceleerek karşılaştırılmasıdır. Çükü her kriteri modelli yapısıa göre göstereceği performas farklıdır. So olarak, araştırmacı Hedry i TTT: test, test, test (bahsedile model seçim kriterleri düşüülerek) alayışıı ve cimrilik presibii, kullaılacak doğru modele ulaşmak içi hedef olarak kabul etmelidir. KAYNAKLAR Akaike, H. (1970), Statistical Predictor Idetificatio, Aals of the Istitute of Statistical Mathematics,, pp (1973), Iformatio Theory ad a Extesio of the Maximum Likelihood Priciple. IB.N. Petro ad F. Csaki ed. d Iteratioal Symposium o Iformatio Theory, pp

14 54 UCAL (1978), A Bayesia aalysis of the Miimum AIC Procedure, Aals of the Istitute of Statistical Mathematics, 0, pp Bake, O. ad Drage, B.(1984), Bootstrap ad Cross-Validatio Estimates of the Predictio Error for Liear Regressio Models, The Aals of Statistics, 1, pp Bhasalli, R. J. Ve Dowham, D. Y. (1977), Some Properties of the Order of a Autoregressive Model Seected by a Geeralizatio of Akaike s EPF Criterio, Biometrika, 64, pp Box, G.E.P. ve Jekis, G.M. (1970), Time Series Aalysis: Forcastig ad Cotrol, Holde-Day, Lodo. Burham, K.P. ve Aderso, D.R.(1998), Model Selectio a Iferece: A Practical Iformatio Theoric Approach, Spriger-Verlag, New York. Mallows, C.L.(1973), Some Commets o C p, Techometrics, 15, pp (1995), More Commets o Cp, Techometrics, 37, pp Davidso, A. C. ve Hikley, D.V. (1997), Bootstrap Methods ad Their Applicatio, New York, Cambridge Uiversity Press. Draper, N. R., Applied Regressio Aalysis, Joh Wıley & Sos, New York, Ebbler, D. H.(1975), O the Probability of Correct Model Selectig Usig the Maximum R-Square Choıce Criterio, Iteratioal Ecoomic Review, 16-, pp Efro, B. (1979), Bootstrap methods: Aother look at the jackkife, A. Statist., 1, pp (198), The Jackife, the Bootstrap ad other Resamplig Plas, Philadelphia, Society for Idustrial ad Applied Mathematics (1983), Estimatig the Error Rate of Predictio Rule Improvemet o Cross-Validatio, Joural of the America Statistical Associatio, 78, Efro, B. ve Tibshirai, R. J. (1993), A Itroductio to the Bootstrap, New York: Champma & Hall. Geweke, J. Ve Meese, R. (1981), Estimatig Regressio Models of Fiite but Ukow Order, Iteratioal Ecoomic Review,, pp Gujarati, D. (003), Basic Ecoometrics, McGraw Hill, Sigapure. Hamam E. J. ve Qui, B. G. (1979), The Determiatio of the Order of a Auturegressio, Joual of the Royal Statistical Society, 41, pp

15 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, Harvey, A. (1990), The Ecoometric Aalysis of Time Series, The MIT Press,.b., Cambridge Mass. Hedry, D.F. (1980), Ecoometrics-Alchemy or Sciece, Ecoomica, c.47. Hjorth, J.S. (1994), Computer Itesive Statistical Methods Validatio Model Selectio ad Boostrap, New York: Champma & Hall. Hurvich, C.M. ve Tsai, C. (1989), Regressio ad Time Series Model Selectio i Small Samples, Biometrika, 76, pp Kullback, S. ve Leibler, R. A.(1951), O Iformatio ad Sufficiecy, Aals of Mathematical Statistics,, pp Leamer, E. E.(1979), Iformatio Criteria for Choice of Regressio Models: A Commet, Ecoometrica, 47, pp Lidley, D.(1956), O A Measures of the Iformatio Provided By A Experimet. Aals of Mathematics ad Statistics, 7, pp Lihart, H. ve Zucchii, W (1986), Model Selectio, Joh Wıley & Sos, New York. McQuarrie, A.D. ve Tsai, C. L., Regressio ad Time Series Model Selectio, World Sciecetific, Nishi, R. (19849, Asymptotic Properties of Criteria for Selectio of Variable i Multible Regressio, Aals of Statistics, 1, pp Oish, H. (1983), A Variable Selectio Procedure for Ecoometrics Models, Computatioal Statistics & Data Aalysis, pp Poirier, D. (1991), Posterior Odds Aalysis Whe All Competig Models are False, Ecoometric Society Meetig, Amsterdam, The Netherlads. Raftery, A. E. (1995), Bayesia Model Selectio i Social Research(with Discussio by Adrew Gelma, Doald B. Rubi ad Robert M. Hauser). I P.V. Marsd (Ed.), Socialogical Methodology, pp Saho, J. (1993), Liear Model Selectio by Cross-Validatio, Joural of the America Assosiatioal, Vol (1996), Bootstrap Model Selectio, Joural of the America Statistical Associatio, 91, 434, pp Shao, J.ve. Tu, D (1996), The Jackife ad Bootstrap, Newyork, Spriger. Schwarz, G. (1978), Estimatig the Dimesios of a Model, The Aals of Statistical, 6, pp Seber, G.A.F.(1977), Liear Regressio Aalysis, Joh Wıley & Sos, New York.

16 56 UCAL Segu, M. (1999), A Noparametric Approach to Resamplig (Bootstrap) Methods, Fourth Natioal Symposium of Ecoometrics ad Statistics, Atalya. Shibata, R. (1981), A Optimal Selectio of Regressio Variables, Biometrika, 68, pp Sugiua, N. (1978), Further Aalysis of the Data by Akaike s Iformatio Criterio ad the Fiite Correctios, Commuicatio i Statistics-Theory ad Methods, 57, pp Ucal, Ş. M. (005), Parametric Bootstrap Model Selectio Criteria with i Liear Model Compared to Other Criteria, The 9 th World Multi-Coferece o Systemics, Cyberetics ad Iformatics, July 10-13, 005-Orlado, Florida. Weasserma, L. (000), Bayesia Model selectio ad Model averagig, Joual of Mathematical Psychology, 44, Wu, C.F.J. (1986), Jackkife, bootstrap ad other resamplig methods i regressio aalysis(with discussios), A. of Statist., 14, pp Zeller, A. (1971), A Itroductio Bayesia Iferece i Ecoometrics, Joh Wiley ad Sos. Ic., NewYork (1977), Maximal Data Iformatio Prior Distributio, i New Developmets i the Applicatios of Bayesia Methods ed. By A. Ayka ad C. Brumat, Amesterdam, North-Hollad, pp (1977), Posterior Odds Ratio for Regressio Hypothesis: Geeral Cosideratios ad Some Specific Results, Ecoometric Society Meetig (1978), Jeffreys Bayes Posterior Odds Ratio ad the Akaike Iformatio Criterio for Discrimiatig Betwee Models, Ecoomics Letters, pp Zucchii, W.(000), A Itroductio to Model Selectio, Joural of Mathematical Psychology, 44, pp

17 C.Ü. İktisadi ve İdari Bilimler Dergisi, Cilt 7, Sayı, EK Cimrilik Presibi: Box ve Jekis (1970:17) verii e iyi şekilde yasıtılabilmesi içi e az sayıda parametre yai değişke kullaılmalıdır ifadesiyle ortaya attıkları cimrilik presibi, tüm model seçim kriterleride geişletilerek kullaılmıştır. Breima (199) ve Zhag (1994) yazdıkları makaleleride bu kouya ayrıtılı olarak değimişlerdir. Presibi aşağıdaki şekil ile açıklayabiliriz.. Yukarıdaki şekle dikkatlice bakıldığıda, eğilim ve varyas arasıdaki ilişkii parametre sayısıylada yakıda ilişkili olduğu görülür. Parametre sayısıı artırılmasıyla sağlaa modelde eğilimi azaldığı bua karşı varyası büyüdüğü görülür. Fakat seçilmiş bir modelde çıkarsamalar açısıda varyası artması düşüdürücü olmaktadır. Ayrıca, e iyi modeli eğilim ve varyası kesiştiği oktaya ihtiyacı yoktur. Cimrilik presibi eğilim ve varyas arasıdaki uygu degeyi başarmaya çalışmaktadır. Zate tüm model seçim kriterlerii temelide de bu yaklaşım vardır. Daha soraları presip geişletilerek kriterlerde yer almaya devam etmiştir.