MARKOV ZİNCİRİ MONTE CARLO YÖNTEMİNİN DİNAMİK DOĞRUSAL MODELLERE UYGULANMASI

Transkript

1

2 MARKOV ZİNCİRİ MONTE CARLO YÖNTEMİNİN DİNAMİK DOĞRUSAL MODELLERE UYGULANMASI AN APPLICATION OF MARKOV CHAIN MONTE CARLO METHOD TO DYNAMIC LINEAR MODELS HATİCE YAĞMUR GÜRKAN Prof. Dr. GÜL ERGÜN Tez Danışmanı Haceepe Üniversiesi Lisansüsü Eğiim Öğreim ve Sınav Yönemeliğinin İsaisik Anabilim Dalı İçin Öngördüğü YÜKSEK LİSANS TEZİ olarak hazırlanmışır. 2013

3

4

5 ÖZET MARKOV ZİNCİRİ MONTE CARLO YÖNTEMİNİN DİNAMİK DOĞRUSAL MODELLERE UYGULANMASI HATİCE YAĞMUR GÜRKAN Yüksek Lisans, İsaisik Bölümü Tez Danışmanı: Prof. Dr. GÜL ERGÜN Haziran 2013, 111 sayfa Bu çalışma, üç farklı dinamik doğrusal modelin R programında dlm pakei kullanılarak işleimiyle ilgilidir. Bu modeller: durgun model, doğrusal büyüme modeli ve mevsimsel ekili ikinci dereceden polinomiyal yapıda bir bileşik modeldir. Tez çalışmasında ençok olabilirlik yönemi, ileriye doğru filreleme geriye doğru örnekleme algoriması ve/veya Gibbs örneklemesi yönemi incelenen her bir modele uygulanmışır. İlk iki model için benzeim verileri kullanılmış; bileşik model için ise, Türkiye Geçinme Endeksi (Ücreliler) serisi ele alınmışır. Tez çalışmasında, bilinmeyen varyans bileşenlerinin ahminlerinin yanı sıra Kalman filresi sonuçları elde edilmişir. Anahar Kelimeler: Dinamik Doğrusal Modeller, Bayesci Tahmin, Kalman Filresi, İleriye Doğru Filreleme Geriye Doğru Örnekleme, Gibbs Örneklemesi, R, dlm. i

6 ABSTRACT AN APPLICATION OF MARKOV CHAIN MONTE CARLO METHOD TO DYNAMIC LINEAR MODELS HATİCE YAĞMUR GÜRKAN Maser of Science, Deparmen of Saisics Supervisor: Prof. Dr. GÜL ERGÜN June 2013, 111 pages This sudy deals wih implemening hree differen ypes of dynamic linear models using dlm package in R. These models are he seady model, he linear growh model and he combined model as a second order polynomial model wih a seasonal effec. Several mehods such as maximum likelihood, forward filering backward sampling and/or Gibbs sampling are applied for each model considered in he sudy. Daases are generaed for he firs wo models; Turkey Cos of Living Index (Wage Earners) series is used for he combined model. The esimaions of he unknown variance componens besides, he Kalman filer resuls are obained in he sudy. Keywords: Dynamic Linear Models, Bayesian Inference, Kalman Filering, Forward Filering Backward Sampling, Gibbs Sampling, R, dlm. ii

7 TEŞEKKÜR Öncelikle, yüksek lisans eğiimim boyunca ve ez çalışmamın her aşamasında büyük bir özveri, sabır ve içenlikle bana desek olan; engin bilgisini, deneyimlerini ve yol gösericiliğini benden esirgemeyen ez danışmanım ve saygı değer hocam sayın Prof. Dr. Gül ERGÜN e, Ayrıca, lisans ve yüksek lisans eğiimim boyunca beni yeişirmiş olan değerli hocalarıma, Son olarak, bana inanan ve maddi, manevi bana yardımcı olan sevgili anne ve babama eşekkürlerimi sunarım. iii

8 İÇİNDEKİLER Sayfa ÖZET...i ABSTRACT.ii TEŞEKKÜR...iii İÇİNDEKİLER.... iv ÇİZELGELER DİZİNİ vi ŞEKİLLER DİZİNİ.....vii 1. GİRİŞ GENEL BİLGİLER Bayesci Yaklaşım ile Modellemenin Kısa Tarihi Wiener-Kolmogorov Teoremi Box-Jenkins Zaman Serisi Modelleme Yönemi Ooregresif-Harekeli Oralama Süreci Bayes Teoremi MARKOV ZİNCİRİ MONTE CARLO YÖNTEMİ İLE ÇIKARSAMA Mone Carlo İnegrasyonu Gibbs Örneklemesi Tanımı ve Özellikleri İleriye Filreleme Geriye Örnekleme DURUM-KONUM MODELLERİ VE KALMAN FİLTRESİ Durum Konum Modellerinin Yapısı ve Özellikleri Kalman Filresi Dinamik Doğrusal Modeller DİNAMİK MODELLERİN R DA İŞLETİLMESİ R Programı ve Dlm Pakei 45 iv

9 5.2. Uygulamada Kullanılan Pake Fonksiyonlar Durgun Model Doğrusal Büyüme Modeli Bileşik Model SONUÇLAR VE TARTIŞMA..104 KAYNAKLAR..107 ÖZGEÇMİŞ.111 v

10 ÇİZELGELER DİZİNİ Çizelge Sayfa 2.1. ARIMA(p, d, q) için Model Tanımı Özel Modeller için Yaraıcı Fonksiyonlar Durgun Model için Haa Terimlerine Ai Varyansların Ençok Olabilirlik Tahminleri ve Tahminlerin Sandar Haaları Durgun Model için Kalman Filresi Sonuçları Durgun Modele Uygulanan Kalman Filresi Sonucunda Elde Edilen Arıklara İlişkin Box-Ljung Tesi ( α=0.05) Durgun Model için Haa Terimlerine Ai Varyansların Mone Carlo Tahminleri ve Tahminlerin Sandar Haaları Doğrusal Büyüme Modeli için Haa Terimlerine Ai Varyansların Ençok Olabilirlik Tahminleri ve Tahminlerin Sandar Haaları Doğrusal Büyüme Modeli için Kalman Filresi Sonuçları Doğrusal Büyüme Modeli için Haa Terimlerine Ai Varyansların Mone Carlo Tahminleri ve Tahminlerin Sandar Haaları Bileşik Model için Haa Terimlerine Ai Varyansların Ençok Olabilirlik Tahminleri ve Tahminlerin Sandar Haaları Bileşik Model için Haa Terimlerine Ai Varyansların Mone Carlo Tahminleri ve Tahminlerin Sandar Haaları Bileşik Model için Kalman Filresi Sonuçları Bileşik Model için Kalman Filresinden Elde Edilen C Değerleri. 79 vi

11 ŞEKİLLER DİZİNİ Şekil Sayfa 5.1 Durgun Modele Ai Kalman Filresi ve Öngörü Sonuçları Grafiği Durgun Modelin Gibbs Örneklemesine İlişkin Tanısal Grafikleri Doğrusal Büyüme Modeli için Üreilmiş Serinin Zaman Serisi Grafiği Doğrusal Büyüme Modeline Ai Kalman Filresi ve Öngörü Sonuçları Grafiği Doğrusal Büyüme Modelinin Gibbs Örneklemesine İlişkin Tanısal Grafikleri Türkiye Ücreliler Geçinme Endeksi Serisinin Zaman Serileri Grafiği Bileşik Modelin Gibbs Örneklemesine İlişkin Tanısal Grafikleri vii

12 1. GİRİŞ Zaman serilerinin analizi, zaman boyunca gelişen serilerin ve sisemlerin anımlanması, modellenmesi ve öngörülmesi için gerekli yönemler büünü olup; İsaisik, Endüsri Mühendisliği, Aküerya, İkisa, İşleme, Ekonomeri, Tıp, Meeoroloji gibi birçok disiplinde karşımıza çıkmakadır. Son yıllarda zaman serileri analizinde, dinamik doğrusal modeller popüler bir yönem haline gelmişir. Bu modellere duyulan alebin sebepleri olarak, Bayesci zaman serileri modellerinin işleiminde bazı ileri isaisik pakelerinin yanı sıra sokasik emelli simülasyon ekniklerinin sağladığı uygulama kolaylığı ve hesaplama zorluklarını kaldırması göserilebilir. Bayesci yaklaşım, örneklem bilgisi ile öznel bilgileri birleşirerek çıkarsama ve karar verme yönemlerine farklı bir bakış açısı geiren isaisiksel bir ahmin yönemidir. Başka bir deyişle Bayesci yaklaşım, örneklemden elde edilen olabilirlik formundaki objekif bilgi ile bir eoriden ya da gerçekliği kabul görmüş bir savdan gelen ya da araşırmanın başında subjekif olarak biçimlenen önsel dağılım formundaki bilgi veya öznel düşünceyi Bayes eoremi yardımıyla birleşiren bir çıkarsama ve karar verme yönemidir. Ancak, klasik isaisikçiler Bayesci yaklaşımda önsel dağılım ile analize dahil edilen bu subjekif bilgiyi kabul ememekedirler. Buna rağmen klasik bir araşırmacı olan Freedman, verilerden çıkarsama yapılacağı zaman, en uucu klasik isaisikçinin bile, bazı varsayımları ve önsel bilgileri kullanmak zorunda kalacağını ifade emişir [26]. Bu öznel bilgilerin çıkarsama ve karar verme sürecinde nasıl kullanılacağı ve analize emel oluşuran bu varsayımların nasıl es edileceği ise cevaplanması gereken bir sorudur. İşe bu nokada Bayesci yaklaşım, elde bulunan bu önsel bilgilerin formüle edilmesiyle birlike paramereler için sonsal; gözlemler için ise, öngörü dağılımlarının praik olarak elde edilmesini sağlayan ideal bir yönem olarak oraya çıkmakadır. Bayesci yaklaşımda genel olarak analiik çözümleme ve sayısal çözümleme söz konusudur. Yüksek boyulu modellerin ve/veya eşlenik olmayan önsellerin varlığında sonsal dağılımların elde edilmesinin güç olmasının yanı sıra bileşik sonsal dağılımlardan çıkarsama yapmak karmaşık hesaplamaları da beraberinde geirmekedir. Dolayısıyla, bu gibi durumlarda analiik çözümlemelerle isenen 1

13 sonuçlara ulaşmak oldukça güç olacağından sayısal çözümlemeler ercih edilmekedir. Son yirmi yılda bilgisayar eknolojisinin hızla ilerlemesiyle birlike Markov Zinciri Mone Carlo (MCMC) yönemleri gibi sokasik simülasyon ekniklerinin gelişirilmesi sayesinde Bayesci yaklaşıma dayalı uygulamalarda büyük mesafeler kaedilmişir. Zaman serilerinin modellenmesinde genellikle klasik sokasik süreçler kuramına dayalı olan ooregresif-harekeli oralama modelleri ya da dinamik doğrusal modeller kullanılmakadır [24]. Son yıllarda, durum-konum (sae-space) modellerinin Bayesci bir yorumu olan dinamik doğrusal modellere aran bir ilgi görülmekedir. Sokasik simülasyon ekniklerinin kullanılmasıyla birlike bahsedilen karmaşık hesaplama ve diğer zorlukların üsesinden kolaylıkla gelinebilmesi bu aran ilginin başlıca sebebi olarak göserilebilir. Aynı zamanda, kuramsal emellerini Wiener-Kolmogorov eoreminden alan ooregresif-harekeli oralama modellerinde durağanlık (saionariy) gerek koşul iken; dinamik doğrusal modellerde bu kısı yer almamakadır. Dinamik doğrusal modellerde durum değişkeni θ nin zaman içerisindeki gelişimi yalın bir Markov süreci ile açıklanmaka ve gözlemler için durum değişkeni açıklayıcı değişken olarak kullanılmakadır. Durum-konum modellerinde modele dahil edilen her yeni bilgi ışığında, durum değişkenine ilişkin bilgilerin yenilenmesi emel amaçır ve dinamik doğrusal modellerde bu işlem, Bayes formülü yardımıyla kolaylıkla yapılmakadır [24]. Peris [60] çalışmasında, bir dinamik doğrusal modelde bilinmeyen paramerelerin ahmininin sayısal eknikler gerekirdiğini ancak bu durumda, Kalman filresinin olabilirlik fonksiyonunun hesaplanmasında ya da gözlenemeyen durumların simülasyonu amacıyla emel bir yapı aşı olarak kullanılabileceğini ifade emişir. Tez çalışmasının amacı, durum-konum modellerinin Bayesci bir yorumu olan dinamik doğrusal modellerde sokasik simülasyon yönemlerinden biri olan Gibbs örneklemesi yardımıyla bilinmeyen paramerelerin ahminlerinin elde edilmesi ve Kalman filresinin uygulanmasıdır. Tez çalışmasının ilk bölümünde konuya giriş yapılmış; Bayesci yaklaşıma ilişkin genel bilgiler Bölüm 2 de verilmişir. Markov Zinciri Mone Carlo yönemi, ardından 2

14 bir sokasik simülasyon ekniği olan Gibbs örneklemesi ve ileriye doğru filreleme geriye doğru örnekleme algoriması Bölüm 3 e deaylı olarak incelenmişir. Bölüm 4 e dinamik doğrusal modellerin genel anımı yapılmış ve Kalman filresi deaylı olarak açıklanmışır. Bölüm 5 e ezde yer alan modellerin işleildiği R programı ve kullanılan pake kısaca anlaılmış ve R da işleilen modellerin, haa erimlerine ai varyans ahminleri ile elde edilen Kalman filre sonuçları verilmişir. Son olarak Bölüm 6 da çalışmadan elde edilen sonuçlar ve arışmalara yer verilmişir. 3

15 2. GENEL BİLGİLER 2.1. Bayesci Yaklaşım ile Modellemenin Tarihsel Gelişimi Koşullu olasılık kavramını maemaiksel olarak açıklayarak güncel ahminler üremek için eski bilgiyle yeni bilginin nasıl birleşirileceğini ilk kez göseren kişi ünlü İngiliz maemaikçi Thomas Bayes olmuşur [9]. Buna karşın, yapığı çalışmalarla bugünkü Bayesci olasılık kuramının öncüsü olarak ünlü Fransız maemaikçi Pierre Simon Laplace [51] görülmekedir. Bayesci yaklaşım 1950 li yıllara kadar çok fazla ilgi görmemiş; 1950 li yıllar ve sonrasında ise, DeFinei [20], Jefferys [45], Savage [75] ve diğer bazı isaisikçiler yapıkları çalışmalarla yeniden hak eiği önemi kazandırmışır. Günümüzdeyse Bayesci yaklaşım bilimsel öğrenme ve karar vermede, oldukça önemli bir yere sahipir ve gün geçikçe mühendislik, çevrebilim, geneik ve ekonomi gibi birçok uygulamalı alanda popülariesi armakadır. En küçük kareler yönemi ilk olarak 1795 yılında Gauss arafından, gürülü erimini bünyesinde barındıran gözlemlerin modellenmesine ve bu modellerin çözümlenmesine yönelik olarak gelişirilmişir [29]. Placke [65], Gauss un formülasyonunun en küçük kareler paramere ahminlerinin yinelemeli bir şekilde nasıl güncellenebildiğini gösermiş ve gelişirdiği akışlı çözüm yönemi ile doğrusal en küçük kareler yöneminin uygulanmasında önemli kolaylıklar sağlamışır. Filreleme, praike elefon mühendisliğinin arihinde çok daha eski yıllara kadar gidiyorsa da, Wiener ve Kolmogorov un birbirlerinden bağımsız olarak gelişirdikleri kesirim eoremi, sinyal arı gürülü modellerindeki sinyallerin ayrışırılmasına yönelik önemli bir çalışmadır ve filreleme eorisinin kuramsal emellerini oluşurmuşur. Wiener ve Kolmogorov un oraya koyduğu bu eorem üzerinde Kalman [46], Kalman ve Bucy [47] yapıkları çalışmalarda durum-konum modellerini kullanarak, dinamik doğrusal sisemlerin kesirimi için akışlı bir filre düzenlemişlerdir. Kalman, problemi en uygun filreyi asarlamayı olanaklı hale geiren diferansiyel denklemler üzerinden ifade emişir. Bu sonuç, o dönemde konrol mühendisleri arafından kapsamlı olarak rokelerden kimyasal esislere kadar hemen her şeyin konrolünde kullanılmış; yapılan çalışmaların çoğu ağırlıklı olarak mühendislik dergilerinde yayınlanmışır. Young [85], Kalman denklemlerinin Placke ın çalışmasının [65] bir uzanısı olarak elde edilebileceğini gösermişir; bu 4

16 aynı zamanda, Kalman filresiyle en küçük kareler prensibinin eşdeğerliğinin de bir göserimidir. Kalman ın modeli üzerinde çalışan Ho, Lee [43] ve Aoiki [4] ise, bu modele Bayesci yaklaşımı uyarlayarak, dinamik doğrusal süreçlerin akışlı kesirimi için kuramsal bir dayanak oraya koymuşlardır. Zaman serilerinin modellenmesinde klasik sokasik süreçler kuramına dayalı ARMA modelleri, özellikle 1970 li yıllarda yoğun bir kullanım alanı bulmuşur. Ooregresif-harekeli oralama süreçlerine dayalı olan bu modellerin kuramsal dayanakları 1940 lı yıllardan bu yana gelişirilmekedir ve günümüzde kullanılan yönemler ise Box ve Jenkins arafından 1970 li yıllarda oraya konuşmuşur. Temel olarak Wiener-Kolmogorov eoremi sonuçlarına dayandırılan çözümlemeler, geçmiş gözlemlerin doğrusal fonksiyonlarından elde edilen durağanlık savı ile eniyileme (opimizasyon) için oralama karesel yanılgı ölçüüne (mean square error crierion) bağlı kılınmakadır [24]. Zaman serilerinin modellenmesinde kullanılan bir diğer yaklaşım ise, 1971 deki çalışmalarının [38] genelleşirilmiş hali olan Harrison ve Sevens ın [39] dinamik doğrusal modeller üzerine gelişirdikleri yaklaşımdır. Bu yaklaşım bir değişkenin yerel düzeyini, değişme oranını, değişkenin kademe alayıp alamadığını ya da süreksiz olduğunu belirlemek için Kalman filresini kullanır; Kalman filrelerinin Bayesci bir yorumunu içeren dinamik doğrusal modeller, üsünde en çok çalışılan durum-konum model ürü olma özelliğine de sahipirler. Bir sonraki al bölümde, sokasik modelleme alanında önemli bir eorem olan Wiener-Kolmogorov eoremi kısaca anıılacakır. 5

17 2.2. Wiener-Kolmogorov Teoremi Sokasik bir kesirim, gürülü erimli gözlemlere dayanarak bilinmeyen paramereye uygun bir değer verilmesi işlemidir. Birçok uygulamada elde edilen kesirimin ekinliği kayıp fonksiyonları ile sınanmakadır. Günümüzde zaman anım alanındaki kesirim kuramına ilişkin ölçüler, Wiener-Kolmogorov eoreminden alınmışır. Wiener-Kolmogorov eoremi, gürülü erimini bünyesinde aşıyan y ölçümlerinden, gözlenemeyen s sinyallerinin opimal şekilde ayrışırılmasına ilişkin bir eoremdir ve bu eoreme göre y 1, y 2, ardışık ölçümleri aşağıda verilen ilişki çerçevesinde gelişim gösermekedirler [59] : y = s + v, =1, 2,, T (2.1) Burada v, gürülü erimini ifade emekedir. Wiener-Kolmogorov eoremi, incelenen sisemlerin doğrusal olduğu varsayımına dayanmakadır. Sisemler, öğeleri maemaiksel ilişkilerle anımlanmış modeller ile açıklanırlar. Uygulamada bir sisemi üm özellikleri ile oraya koyabilecek uygun bir modelin seçimi oldukça önemlidir. Burada sisemi ifade edecek modelin yalın yapıda seçilmesi, bazı durumlarda modelciyi yeersiz bırakabilirken; karmaşık yapıda bir modelin kullanılması ise çözümlemeleri olanaksız hale geirebilmekedir. Gerçek yaşamda sisemler birçok girdi ve çıkı ile ifade edilmekedirler. Genel olarak sisemler deerminisik ve sokasik olmak üzere ikiye ayrılmakadırlar. Deerminisik sisemler, sokasik sisemlere kıyasla, daha kolay modellenebilirler. Gerçek yaşamda çok az sayıda sisem doğrusaldır; buna karşın çalışma güçlüğünden dolayı doğrusal olmayan sisemler de doğrusal modeller ile ifade edilebilmekedirler. (2.1) modelindeki sinyalin en iyi kesiricisi ŝ olduğunda, Wiener-Kolmogorov eoremi ile s 1,s 2,s 3, ardışık sinyallerinin enküçük oralama karesel haa kesiricisinin bulunması hedeflenir. Burada sinyaller için elde edilen opimal çözümün, s ve v lerin özorakdeğişke fonksiyonları cinsinden sağlandığı oraya konulmuşur [59]. Dolayısıyla bu eorem, zaman anım alanında bir çözümlemeyi vurgulamakadır. Sinyal erimi s olarak ele alındığında, sinyallerin en iyi kesiricisi s olacakır. Buna göre, e erimi aşağıdaki gibi anımlanır [6] : e +α = s ˆ +α - s +α (2.2) Wiener-Kolmogorv eoreminde aşağıda verilen anılar söz konusudur: 6

18 i. >0 için, ŝ +α, s +α nın en iyi öngörüsüdür; ii. iii. =0 için, ŝ, s nın en iyi filresidir; <0 için, ŝ +α, s +α nın en iyi düzleşirme (smoohing) değerini verir. Sinyallerin düzleşirilmesi ve öngörü sorunları, ilk olarak Wiener arafından ele alınmış ve elde edilen filrelerin uygulanabilir olması için, s, v ve y lerin sıfır oralamalı durağan süreçler olması gerekiği vurgulanmışır [77]. Wiener-Kolmogorov eoreminin uygulanmasında kullanılan diferansiyel denkleme Wiener-Hopf denklemi adı verilmişir. Ancak, bu denklem çok zor çözümlendiğinden, birkaç akademik çalışma dışında, çok sayıda kullanım alanı bulamamışır. Bu durum da Wiener-Kolmogorov eoreminin uygulanabilirliğini önemli ölçüde kısılamışır [77]. Yukarıda belirilen sorunun çözümlenmesi amacıyla, Wiener-Kolmogorov eoremine ilişkin çalışmalar yılları arasında da sürdürülmüşür. Niekim Booon [11], özel durumlar için Wiener- Kolmogorov eoremindeki durağanlık varsayımının gerek koşul olmadığını gösermişir, ama Booon algorimasının da bazı uygulama güçlükleri aşıdığı oraya konulmuşur [77]. kesikli zaman için, Swerling in [78] gelişirdiği sinyal arı gürülü modeli, y = f (s )+ v (2.3) biçiminde yazılabilir ve sinyallerin gelişimi, s = g -1(s -1) (2.4) olur. Burada f(.) ve g(.) doğrusal olmayan fonksiyonlardır. Swerling, sinyallerin akışlı doğrusal kesiricilerinin elde edilişinde enküçük kareler yaklaşımını kullanmışır [77]. Kesikli zamanlı süreçler için Kalman [46], sürekli zamanlı süreçler için Kalman ve Bucy [47], Wiener-Kolmogorov eoremini yeniden inceleyerek bu yöneme seçenek bir yönem oraya koymuşlardır. Özellikle Kalman ve Bucy nin [47] çalışması, kuramda var olan sorunları ümüyle oradan kaldırmışır. Zaman serilerinin modellenmesinde kullanılan ooregresif-harekeli oralamalar süreci, kuramsal emellerini Wiener-Kolmogorov eoreminden almakadır. Bu nedenle bu yaklaşım izleyen al bölümde kısaca anıılacakır. 7

19 2.3. Box-Jenkins Zaman Serisi Modelleme Yönemi Genel olarak, zaman serilerinin çözümlenmesinde amaçlardan biri, ilgilenilen serinin özelliklerini iyi bir şekilde özelemekir. Box-Jenkins in zaman serisi çözümlemelerinde bu işlem, zaman ve frekans anım alanlarında olmak üzere, iki farklı alanda gerçekleşirilmekedir. Gözlemlerin zaman nokalarındaki ilişkileri, zaman-anım alanında; serinin dönemsel harekeleri, sıklık-anım alanında incelenmekedir. Aslında bu iki kavram rakip kavramlar değil, birbirlerini amamlayıcı özellikler aşıyan kavramlardır [13]. Genel olarak zaman serisi modelleri, regresyon ya da ekonomerik modellerden farklı bir kuramsal yapıya sahipirler. Örneğin, ekonomerik bir modelde, her açıklayıcı değişkenin kasayısının bir yorumu vardır ve kurulan ekonomerik model ile önsel ekonomik kuramın geçerliliğinin es edilmesi amaçlanabilir. Buna karşın (p,q) dereceli ooregresif-harekeli oralama modellerinde asıl amaç öngörüdür ve burada öngörüler, bir çeşi dışdeğerbiçim ile yapılmakadır. Bunun nedeni de zaman serilerinin başka değişkenlerle değil yalnızca kendi geçmiş gözlemleri ile açıklanmalarıdır. Zaman serileri sokasik bir süreçir. Süreçeki gözlemler raslanı değişkenleridir ve belirli olasılık kuralları çerçevesinde zaman boyunca gelişim gösermekedirler. Örneğin, birinci derecen bir harekeli oralama- MA(1) süreci aşağıda verilen model ile ifade edilebilir: y =ε +Ωε -1, =1, 2,, T (2.5) 2 Burada Ω, model parameresi; T, zamanın üs sınırı ve ε ~ N0,σ dir. ε değişkeni beyaz gürülü olarak adlandırılmakadır. (2.5) modelinden görüleceği gibi, ε 0, ε 1,, ε T lerden gerçekleşecek her farklı değer kümesi, y 1, y 2, y T lerin farklı değerler almasına neden olacakır. Buna göre (2.5) modeli, =1, 2,, T zamanlarında sonsuz sayıda gözlem değeri oluşurabilecek durumdadır. Sürecin zaman nokasındaki oralaması, μ = E y, =1, 2,, T (2.6) biçiminde ifade edilebilir. İkinci momenler için de benzer yorumlar yapılabilir. Buna göre varyans, 2 Var(y )=E y-μ, =1, 2,, T (2.7) 8

20 ve y ile y -τ arasındaki kovaryans, Cov(y, y -τ )=E y-μ y-τ -μ -τ, =1,, T (2.8) biçiminde yazılır. Box-Jenkins zaman serisi modelleri Wiener-Kolmogorov eoremine dayalı olduğundan, incelenen serilerin zaman boyunca durağan olması gerek koşuldur. Genel olarak durağanlık anımı üç anlamda yapılabilir. Bu anımlardan birincisi kuvveli anlamda durağanlık anımı olup, bu uygulamada kullanışlı olmayan ve varlığının anıı oldukça güç olan bir anımdır. Buna göre, {y } sokasik sürecinin kuvveli anlamda durağan olması y, y,..., y ve 1+τ 2+τ m+τ 1 2 m y, y,..., y raslanı değişkenleri kümelerinin her 1,, m ve τ için aynı dağılıma sahip olmalarını gerekirir. Durağanlık için ikinci anım ise sürecin p. dereceden durağanlığının anımlanmasıdır. Buna göre, herhangi bir sokasik sürecin p. dereceden durağan bir süreç olabilmesi için, sürecin p. dereceye kadar üm momenlerinin durağanlık özelliğine sahip olması gerekir. Box-Jenkins zaman serisi modellerinde zayıf anlamda durağanlık anımı yeerli olmakadır. Zayıf anlamda durağanlık, öeki iki anıma göre incelenmesi çok daha kolay bir anımdır. Buna göre durağan bir sokasik süreç, aşağıda verilen koşulları üm nokalarınsa sağlamakadır: μ=e y, (2.9) 2 γ(0)=e[(y -μ) ], (2.10) -τ (2.11) γ τ =E y -μ y -μ, (2.9)-(2.11) de verilen ifadelerin örneklemden elde edilen kesiricileri ise aşağıda verilmişir: ˆμ=y=T (y -y), (2.12) -1 T 2 =1 T (2.13) 1-1 y 2 ˆγ 0 =T y -, T -1 -τ ˆγ τ =T y -y y -y, τ=1, 2, 3, (2.14) 1 Box-Jenkins zaman serisi modellerinde incelen sürecin ergodik olduğu da kabul edilmekedir. Böylece (2.12)-(2.14) e verilen isaisikler (2.9)-(2.11) de verilen kuramsal oralama, varyans ve kovaryanslar için uarlı birer kesiriciler 9

21 olabilmekedirler. Ergodiklik eoremi, τ gecikmeli değerler için örneklem kovaryanslarının kullanılması gerekliliğini oraya koymakadır [22]. Bu özellik, zaman serilerinin zaman anım alanındaki çözümlemelerinde en önemli kuramsal dayanağı oluşurur. 10

22 Ooregresif - Harekeli Oralama Süreci (p,q) dereceli ARMA süreci, açık biçimde aşağıdaki gibi yazılabilir: y =Φ1y Φpy -p + ε +Ω1ε Ωqε -q. (2.15) Burada Φi ve Ω j (i=1,, p ve j=1,, q), model paramereleridir ve (2.15) modeli, geri kaydırma işleci anımından, aşağıda verilen kapalı biçimde yazılabilir: Φ L y = Ω L ε. (2.16) Burada, p Φ L =1- Φ1L - - ΦpL, (2.17) p Ω L =1+Ω1L + +ΩpL. (2.18) olarak ifade edilebilir. ARMA modellerinin formülasyonunda kullanılan geri kaydırma işleci, serilerin çözümlemelerinde cebirsel işlemlerde önemli kolaylıklar sağlar. İşleç aşağıda verilen dönüşümle anımlanır: k L y = y -k, k =1,2,... (2.19) Box-Jenkins in zaman serisi modellerinde uygun p ve q derecelerinin belirlenmesi için, durağan süreçlerin bilinen kuramsal özilişki fonksiyonları ile örneklemden elde edilen özilişki fonksiyonları karşılaşırılmakadır. Bu nedenle durağan olmayan süreçler, farklar alınarak durağan hale geirilmekedir [70]. Bu durumda kurulan model ARIMA(p,d,q) dir ve d, fark derecesini ifade eder. ARIMA(p,d,q) modeli kapalı biçimde aşağıdaki gibi yazılabilir: Φ L z = Ω L ε. (2.20) Burada, d z = 1-L y (2.21) şeklinde anımlanır. Uygulamada durağan olmayan süreçlerin modellenmesi için üç farklı yol izlenmekedir. Bunlardan en çok kullanılan yol (2.21) eşiliği yardımıyla sürecin durağan hale geirilmesi ve daha sonra (2.20) modelinin kurulmasıdır. Durağan olmayan y 1 zaman serisinin modellenmesinde ikinci yol, y = f +u, u ~ ARMA(p,q) (2.22) olarak anımlanmasıdır. Burada, f(), zamanın sokasik olmayan bir fonksiyonudur 11

23 ve eğer f() için herhangi bir önsel bilgi yoksa, polinomiyal alınması önerilmekedir [41]. Ancak, burada kesirilen modelin düşük bir öngörü yekinliğine (performance) sahip olması önemli bir sorundur. Durağan olmayan süreçlerin modellenmesinde 1 önerilen son yaklaşım ise y zaman serisine Box-Cox dönüşümünün uygulanmasıdır [12]. Seri için uygun dönüşüm biçimi, α y α = y -1 /α, 0 < α 1 = logy, α= 0 ile anımlanır. Burada (2.23) değeri ençok olabilirlik fonksiyonunun enbüyüklenmesiyle elde edilmekedir [1]. Box-Jenkins zaman serisi modelleme yönemi, modelin anımlanması, kesirilmesi, geçerliliğinin es edilmesi ve öngörü olmak üzere oplam dör aşamayı içermekedir. Çizelge 2.1. ARIMA(p, d, q) için model anımı Model Kuramsal Özilişki Fonksiyonunun Biçimi Kuramsal Kısmi Özilişki Fonksiyonunun Biçimi MA(q) q'uncu zamandan sonra kesilir IMA(d,q) q'uncu zamandan sonra kesilir Yaklaşık olarak azalan yapıda bir sinüs dalgalanması Yaklaşık olarak azalan yapıda bir sinüs dalgalanması AR(p) ARMA(p,q) Azalan yapıda bir sinüs dalgalanması İlk q-p zaman nokasına kadar düzensiz, sonra azalan sinüs dalgalanması p'inci zamandan sonra kesilir İlk p-q zaman nokasına kadar düzensiz, sonra azalan yapıda bir sinüs dalgalanması ARIMA(p,d,q) İlk q-p zaman nokasına kadar düzensiz, sonra azalan sinüs dalgalanması İlk p-q zaman nokasına kadar düzensiz, sonra azalan yapıda bir sinüs dalgalanması ARI(p,d) Azalan yapıda bir sinüs dalgalanması p'inci zamandan sonra kesilir İncelenen seri için uygun bir ARMA sürecinin anımlanmasının ardından modeldeki bilinmeyen paramerelerinin kesirimi aşamasına geçilir. (p,q) dereceli bir ARMA modelinde, oplam p+q+1 ade bilinmeyen paramere bulunur. Box-Jenkins in zaman serisi modellerinde kesirim, olabilirlik fonksiyonunun enbüyüklenmesi ilkesine dayanmakadır. Burada doğrusal olmayan enküçük kareler yönemi de 12

24 kullanılabilir. Zaman serilerinde her gözlem geçmiş gözlemlere koşulludur ve bu durum, olabilirlik fonksiyonunun klasik olabilirlik fonksiyonuna göre daha karmaşık olmasına neden olabilir. Bu sorunun çözümünde öngörü haasının ayrışımı gibi yalın hale geirme işlemlerine başvurulmakadır [40]. Olabilirlik fonksiyonunun enbüyüklenmesinde kullanılan önemli bir sayısal opimizasyon algoriması aşağıda verilen yineleme yönemi ile anımlanmışır [41]: -1 ogl / d β ˆ i = β ˆ i-1 + I β ˆ i-1 dl β ˆ i-1 (2.24) Burada ˆβ i, ˆβ i-1 parameresinin bir sonraki adımındaki kesirimi ve I (β ˆ i-1), bilgi marisi (informaion marix) olarak adlandırılmakadır. Eğer I (β ˆ i-1) marisi Hesiyen marisi olarak anımlanırsa, kullanılan opimizasyon ekniği Newon-Raphson ekniği adını alır [41]. Bu çalışma, zaman serilerinin nasıl modelleneceği üzerine odaklanmışır. Bu nedenle önceki al bölümlerde öncelikle klasik zaman serisi yönemi hakkında kısaca bir anıım yapılmışır. Tez çalışmasında, esas olarak paramerelerin zaman boyunca değişebileceği bir yapı düşünülmüşür. Bölüm 4 e bu yönem ve dinamik doğrusal modeller anıılacakır. Ancak bundan önce, yaklaşımın dayandığı Bayes eoremi, ez çalışmasının akip eden al bölümünde kısaca açıklanmışır. 13

25 2.4. Bayes Teoremi Koşullu olasılık ve oplam olasılık formüllerine dayanan Bayes eoremi, veriler opladıkan sonra paramereler hakkında olasılıksal yorumlar yapabilmemize olanak sağlayan bir eoremdir. Burada veriler elde edildiken sonra paramerelerin koşullu dağılımı sonsal dağılım olup, bu dağılım örneklem bilgisi ile paramere hakkındaki önsel bilginin bir birleşimi olarak yorumlanabilir. Bayesci uygulamalarda paramerelere ilişkin önsel bilgiler, uygun dağılımlarla modelleme sürecine dahil edilirler. Bu nedenle Bayesci yaklaşımda önsel bilgilerden önsel dağılımlara, sonsal dağılımlardan da sonsal bilgilere bir geçiş söz konusudur [58]. Burada, paramere vekörü ve y, gözlemleri emsil eden simgeler olsun. Gözlemlerin ve paramerelerin bileşik olasılık dağılımlarının elde edilmesi sonsal dağılımın elde edilmesi sürecindeki ilk adımdır. Burada f θ,y bileşik dağılımı, f y/θ ile ifade edilen olabilirlik fonksiyonu ve f θ önsel dağılımının çarpımıyla aşağıdaki biçimde ifade edilir. f θ,y = f y / θf θ. (2.25) Koşullu dağılımlara ilişkin emel bir özelliğin kullanılmasıyla aşağıdaki eşilik yazılabilir: f θ / y = f θ,y / f y. (2.26) (2.25) ifadesi, (2.26) eşiliğinde yerine yazıldığında model paramerelerine ilişkin sonsal dağılım aşağıda verilen Bayes formülü ile elde edilir. f y / θ f θ f θ / y =. f(y) (2.27) θ'ya göre sabi erim olarak algılanabilen ve gözlemlerin marjinal dağılımı olan f(y), f y = f y / θf θdθ (2.28) Biçiminde elde edilir. Burada f(y), sonsal dağılımın inegralinin bire eşi olmasını sağlayan sabi bir erim olup, lieraürde normalleşirme kasayısı olarak adlandırılmakadır. Bayesci analizlerde amaç, 'nın dağılımını elde emek olduğundan, (2.27) eşiliğinde yer alan f(y) erimi ihmal edilirse aşağıda verilen oranısal sonuca ulaşılır: 14

26 f y / θf θ f θ / y (2.29) Buna göre, Sonsal Dağılım labilirlik Önsel Dağılım yazılabilir. (2.29) ifadesinin sözel olarak yorumu sonsal bilginin, önsel bilgi ile örneklemden gelen bilginin çarpımına oranısal olarak eşi olmasıdır. Bayesci isaisiksel çıkarsamada (2.29) ifadesi ile elde edilen sonsal dağılım, araşırmanın başlangıcı sayılabilir. Elde edilen sonsal dağılımlardan paramereler için sonsal bilginin elde edilmesi ve elde edilen bilgilerin anlamlı bir şekilde yorumlanması gerekmekedir. Buna rağmen, sonsal dağılımın da elde edilmesi için araşırmacının hem veriye hem de önsel dağılıma ihiyacı vardır. Önsel dağılımın seçimi, araşırmacının bilgi ve ecrübesinin yanında kişinin konu ile ilgili özgün bilgisini analize dahil eme niyeine de bağlıdır. Tabi bu iki kısıın yanında eorik bazı varsayımlar da önsel dağılımların seçiminde eki yapmakadır. Önsel bilgilerin uygun bir biçimde çözümlemelere dahil edilmesine yönelik birçok farklı fikir vardır. Karar vermede en önemli noka, Bayes eoreminin uygulanabilirliğidir. Bayesci yaklaşımın analiik olarak uygulanmasında 'nın boyuu önemli bir ekendir. Ancak, son yıllarda gelişen eknoloji bu kısıları oradan kaldırmışır. Bayesci yaklaşımın karmaşık birçok problemin çözümünde kullanılmasını sağlayan yeni yönemler gelişirilmişir [50]. Bilgi içermeyen ya da bilgi içeren önsel dağılımlardan hangisi ercih edilirse edilsin, önsel dağılımların seçiminde belirgin bir kural bulunmamakadır. Analizlerde bilgi içermeyen bir önsel bilginin kullanılması, araşırmacının ilgili paramere hakkında herhangi bir önsel bilgiye sahip olmadığı veya kullanmak isemediği anlamını aşır [50]. Araşırmalarda önsel dağılım için birçok farklı belirleme yönemi Gamerman ın çalışmasında [27] verilmişir. Paramere sayısının fazla olduğu durumlarda bu yaklaşım modeldeki paramere vekörünü gruplara ayırır ve diğer yaklaşımlarda gözlenen bazı güçlükleri önler. Faka boyu sayısı arığı için, önsel dağılımın belirlenmesi güçleşir. Bayesci isaisikçiler, bilinmeyen paramereler hakkındaki fikirlerini, bilgi ve deneyimlerini modelleme sürecine dahil emek iserler. Bu gibi durumlarda mevcu bilgiler, önsel dağılımlar ile çıkarsama sürecinde kullanılır. Bunlar bilgi içeren 15

27 önsellerdir. Bayesci çıkarsamanın bir başka önemli unsuru da, Eşilik (2.28) deki f(y) yoğunluk fonksiyonu ile verilen y nin marjinal olasılık yoğunluk fonksiyonudur. Bu dağılım gözlenen y için beklenen dağılımı sağlar. y değerleri gözlendiken sonra, y değişkenine ilişkin gelecek nokaların öngörüsünde y +1 /y olasılık fonksiyonu kullanılır. Bu fonksiyon aşağıdaki eşilikle elde edilir [52]: f y / y = f y,θ /y dθ = f y,θ /y f θ /y dθ. (2.30) Bu dağılım bir adım ileri öngörü dağılımı olarak adlandırılır. Öngörü dağılımı, çıkarsamada öngörüsel yaklaşımın emelini oluşurur. Önsel ve olabilirlik fonksiyonları aynı aileye mensup ise, sonsal dağılımlar analiik olarak elde edilebilir. Önsel ve sonsal dağılımların aynı aileye mensup olduğu durumlarda ele alınan önseller eşlenik (conjugae) önseller olarak adlandırılır. Eşlenik önseller çıkarsama problemlerinde büyük işlem kolaylıkları sağlar. Eşlenik aileye mensup olmayan önsellerin kullanılması ise, oldukça karmaşık sonsal dağılımlara neden olabilir. Bu durumda da analiik çözümler yeerli olmamakadır. Sonsal dağılım elde edildiken sonra, içerdiği bilgi değişik biçimlerde özelenebilir. Sonsal dağılımdaki değişimi (önsel dağılıma göre) gösermek için konum ve dağılım ölçüleri hesaplanabilir. Bilindiği gibi, emel konum ölçüleri oralama, oranca ve epe değeri; dağılım ölçüleri ise, varyans, sandar sapma, oralama mulak sapma, çeyrek değerler, vs. dir. Sonsal dağılımın oralaması, θ nın beklenen değerini; epe değeri, fonksiyonu maksimum yapan değeri ve oranca da paramere uzayını iki eşi parçaya bölen değeri anımlamakadır. Çok değişkenli durumda ise, varyans bir marisle anımlanır ve sandar sapma, köşegen ögelerinin karekökünden oluşan bir vekördür. ranca dışında büün ölçüler, bileşik ve marjinal dağılımlar için hesaplanabilir. ranca ise, sadece ek değişkenli durumlar için hesaplanabilir [50]. Çok değişkenli uzayda, marjinal yoğunluklar paramere uzayının bir elemanı üzerinde çıkarsama yapabilmek için yararlıdırlar. Marjinal yoğunluklar aşağıda verilen inegral ile elde edilebilirler: i 1 d (2.31) -i f θ =... f θ θ dθ. Burada, θ -i =( θ 1,, θ i-1, θ i+1,, θ d ) vekörü, θ i elemanı çıkarılmış vekördür. Her 16

28 θ i için mümkün koşullu dağılımlar aşağıdaki gibi ifade edilebilir: i j i, j j, j f θ / θ, jc = f θ θ, jc / f θ C (2.32) Burada, C=(1,, i-1, i 1,, p) dir. Burada en önemli noka, θ i /θ i-1 in θ i nin am koşullu fonksiyonu olarak adlandırılması ve f i (θ i ) ile göserilmesidir. Yukarıdaki anımlar her θ i nin vekör olduğu durumlar için genişleilebilir. Elde edilen marjinal olasılık dağılımları, paramerelerin olasılık aralıklarıyla bilgiyi özelemek için kullanışlıdırlar. Eğer f θ dθ =1- α ise c, bu θ parameresi için %100(1- ) güven c aralığıdır. Verilen bir değeri için, aralığın içinde olmayan nokalardan en yüksek bir sonsal dağılım içeren c aralığı, en küçük aralıkır. Bu aralıklar daha yüksek sonsal yoğunluk aralıkları (highes densiy region, HDR) olarak adlandırılırlar [50]. Elde edilen sonsal dağılımın yapısına bağlı olarak birçok özeleme yönemi kullanılır. Kesin çıkarsamalarda analiik yollar uygulanabilirken; bazı durumlarda sayısal yaklaşımlara başvurulabilir [52]. Tez çalışmasında incelenen modeller için sayısal çözümleme ekniklerine başvurulmuşur. Bu nedenle, çalışmanın izleyen bölümünde bir sokasik simülasyon ekniği olan Markov Zinciri Mone Carlo yönemine kısaca değinilecekir. 17

29 3. MARKOV ZİNCİRİ MONTE CARLO YÖNTEMLERİ İLE ÇIKARSAMA Basi modeller ya da eşlenik aileler için olabilirlik fonksiyonu ve üm önsellerin çarpımı ile bileşik sonsal dağılımların elde edilmesi zor değildir. Haa düşük boyulu durumlarda marjinal sonsal dağılımların elde edilmesi de analiik olarak mümkündür. Ancak, karmaşık problemlerde ve eşlenik olmayan önsellerde, sonsal dağılımdan çıkarsamalar yapmak oldukça zordur. Marjinal sonsal dağılımların hesaplanması yüksek boyulu inegral hesapları gerekirmeke ya da elde edilen sonsal dağılımlardan örneklem çekmek oldukça güç olmakadır. Burada vurgulanan sıkını, 20 yıl öncesine kadar Bayesci yaklaşımı kullanacak araşırmacılar için önemli bir kısı olmakaydı. Bu problemin aşılmasında sayısal inegral eknikleri içeren birçok yaklaşım oraya konmuşur. Bu ekniklerin uygulanması ileri düzey pakelerin yanında araşırmacıların uzmanlığını da gerekirmekeydi. Bu ekniklerin ilki karesel yönemlerdir [50]. Karesel yönemler aşağıda verilen formdaki fonksiyonların inegralinin alınmasına yardımcı olur: f(x)n(α,φ). (3.1) n n-1 Burada f x = a0x +a1x + +an-1x +a n ve N(α,φ) normal dağılımı emsil emekedir. Ancak bu yönem, boyu sayısı 6 dan küçük olduğu durumlarda ekili olabilmekedir. Karezyen çarpımını kullanan karesel yönemler [19], Mone Carlo yönemlerine dayalı sayısal inegrasyon yönemleri [34] ve önem örneklemesi [30, 73, 74] gibi bazı alernaif sayısal inegrasyon yönemleri boyu sorununun aşılması için önerilmişir. İeraif olmayan bu yönemlerin amacı, sonsal dağılımları am ya da yaklaşık olarak elde emekir. Ancak bu yaklaşımlar da boyuu yüksek modeller için haalı sonuçlara neden olmaka; ieraif eşlerine göre daha düşük verime sahip görünmekedirler. Örnekleme emelli ieraif yönemlerin kullanılması Bayesci isaisike bir devrim yaramış ve bu yönemler ile yukarıda belirilen sorunlar amamen oradan kaldırılmışır. Bu yönemler araşırmacıların yüksek boyulu modellerle baş edebilmesine ve sonsal dağılımların başarı ile araşırılmasına ve özelenmesine olanak sağlamışır. Özellikle 1990 ların başından iibaren önemli bir arış kaydeden Bayesci yaklaşıma dayalı çalışmaların büyük bir kısmında MCMC yönemleri sonsal dağılımların benzeiminde kullanılmakadır [27]. 18

30 Markov zinciri simülasyonunda ana fikir paramere uzayında bir rasgele yürüyüş benzeimi ile f(θ/y) bileşik sonsal dağılımına yakınsayan bir durağan dağılım elde emekir. Markov Zinciri Mone Carlo yönemleri denince emel olarak Meropolis- Hasings algoriması ve Gibbs örneklemesi akla gelmekedir. Bu yönemler ile karışık sonsal dağılımlardan örneklemler çekme ve sonsal momenleri hesaplamak mümkün olmakadır. Her bir paramereye ilişkin çıkarsamalar yapmak, marjinal sonsal dağılımların grafiklerini elde emek için sonsal dağılımların hesaplanması Bayesci analizde önemli bir parçadır. MCMC yönemleri bu amaçlara hizme emekedir. Ancak bu iki yönem dışında da birçok farklı ve melez algorima, MCMC içinde yer almakadır [16]. Tez çalışmasında sadece Gibbs örneklemesi anıılacak ve uygulama bölümünde sadece bu yöneme ilişkin çözümler verilecekir. 19

31 3.1. Mone Carlo İnegrasyonu Mone Carlo yaklaşımı, karmaşık fonksiyonların inegrallerinin hesaplanmasında kullanılmak üzere eorik fizikçiler arafından oraya konulmuş bir yönemdir. Bu yönemde amaç, b ah(x)dx şeklinde anımlanan bir inegralin çözümlenmesidir. Burada a ve b aralığında anımlı bir h(x) fonksiyonu, Eşilik (3.2) de anımlandığı gibi parçalandığında, Mone Carlo yönemi ile h(x) ile verilen karmaşık fonksiyonun inegrallenebileceği görülebilir [80]. b a b h(x)dx = g(x)f(x)dx (3.2) a Burada g(x), X raslanı değişkeninin bir fonksiyonu ve f(x) ise bir olasılık fonksiyonudur. Buna göre emel olasılık kuramı çerçevesinde (3.2) eşiliğinin sağ arafında yer alan inegralin, E f(x) [g(x)] ile ifade edilen beklenen değere eşi olduğu söylenebilir. Burada emel problem, (3.2) inegralinin hesaplanmasındaki zorlukur. Bu nedenle, eğer f(x) yoğunluğundan doğrudan örnekler çekilirse, (3.2) ile verilen inegralin çözümü aşağıdaki yaklaşık eğere eşi olur. b 1 n h(x)dx = E f(x) [g(x)] g(x i). (3.3) a n i=1 Burada çekilen örnekler bağımsız olduğu için, n da elde edilen örnek oralamasının kile oralamasına yakınsayacağı vurgulanır. Buna göre büyük sayılar yasası ile aşağıdaki durum sağlanır: 1 g = g(x ) E g(x). n n i f(x) n n i1 (3.4) Böylece örneklem değerlerinden oluşurulan fonksiyonların oralamasıyla hedef dağılımın beklenen değeri ahmin edilebilir. Eşilik (3.3), Mone Carlo inegrasyonu olarak adlandırılır. Mone Carlo inegrasyonu Bayesci yaklaşımda sonsal (ya da marjinal sonsal) dağılımları bulmak için de kullanılabilir. Iy = gy / xf xdx ile ifade edilen bir inegral göz önüne alındığında, inegral aşağıda verildiği gibi yaklaşık olarak çözümlenebilir. 1 n Î y g(y / x i). n i1 (3.5) 20

32 Burada x i ler f(x) yoğunluğundan çekilmişir. Tahmine ilişkin Mone Carlo sandar haası ise, aşağıdaki şekilde anımlanmışır: 1 1 n 2 2 SH ˆI y i ˆ g y / x I y. n n 1 i 1 (3.6) Markov zincirine dayalı örneklemlerin yaraılmasıyla, (3.3) eşiliğinde verilen inegralin çözümü mümkün olmakadır. İzleyen bölümde Markov zincirine dayalı Mone Carlo inegrasyonlarından biri olan Gibbs örneklemesi yönemi deaylı bir şekilde verilecekir. 21

33 3.2. Gibbs Örneklemesi Markov zincirlerini kullanan sokasik simülasyonlarda yaygın olarak kullanılan Gibbs örneklemesi ilk kez uzakan algılama sürecinde oraya çıkmışır. Bu anlamda, örneklemede ilgili olunan sonsal dağılım bir Gibbs dağılımıdır. Gibbs örneklemesi, başlangıça Gibbs dağılımlarını analiz emek için uygulanmasına rağmen uygulanabilirliği Gibbs dağılımlarıyla sınırlandırılmamışır. Bu nedenle yönemin Gibbs örneklemesi adıyla adlandırılmasının yanlış olduğunu savunanlardan biri olan Rober [72], bu yöneme Bayesci örnekleme adının verilmesini önermişir. Geman ve Geman [33] arafından 1984 e oraya konulan Gibbs dağılımı aşağıdaki şekilde anımlanmışır: 1 f(x 1,...x d) E(x 1,...x d). ks (3.7) Burada, k, poziif bir sabi; S, sisemin sıcaklığı; E, sisemin enerjisi olan poziif bir fonksiyon ve x i, sisemin i. bileşeni için ilgili olunan bir özellikir (i=1, 2,, d). (3.7) Eşiliğinde yer alan değişkenlerin uzakan algılama süreçlerine uygun oldukları görülmekedir. Geman ve Geman [33] ele aldıkları modelleme probleminde, örnekleme yönemine ve Markov rasgele alanlarını karşılaşırılmasına odaklanmışlardır. Çalışmada ele alınan örnekleme yöneminde, kısmi özellikler ile ifade edilen koşullu yapılar incelenmişir. Ancak çalışma, ekili bir makale olmasına rağmen, bir isaisik dergisinde yayınlanmamış ve bu nedenle Bayesci problemlerin çözümü için bu yönemin anıılmasında önemli bir gecikme olmuşur. Geman ve Geman [33] ın örnekleme yönemini isaisik camiasına anıan ilk yazarlar Gelfand ve Smih [30] ir. Bu çalışmada birçok sonsal dağılım için Gibbs örneklemesinin kullanılabilirliği göserilmişir. Bu makalede ayrıca Gibbs örnekleme yönemi ile veri arırımı algoriması ve önem örneklemeleri karşılaşırılmışır. Temel olarak Gibbs örneklemesi, aday nokaların kabul edilmesi olasılığı nın 1 olduğu durumda Meropolis-Hasings örneklemesinin özel bir durumudur. Burada yapılması gereken, değerleri hedef dağılıma yakınsayan bir Markov zinciri belirlemekir. Gibbs örneklemesindeki anahar bu yönemin sadece ek değişkenli koşullu dağılımları ele almasıdır. Bu nedenle koşullu dağılımların benzeimi karmaşık bileşik dağılımlardan oldukça kolaydır ve genellikle dağılımlar çoğu kez 22

34 normal, ers ki-kare ya da diğer yaygın önsel dağılımlar gibi basi ve bilinen biçimlere sahipirler. Bu nedenle, ele alınan raslanı değişkenlerinin bileşik olasılık dağılımından n boyulu bir vekörü yaramak yerine n ane ek değişkenli koşullu dağılımdan ardışık olarak n ane rasgele örneklemi yaramak daha kolaydır [50]. 23

35 Tanımı ve Özellikleri Gibbs örneklemesi, geçiş dağılımının ya da başka bir deyişle geçiş olasılığının am koşullu dağılımlar ile anımlandığı bir MCMC yönemidir. Burada ilgilenilen dağılım π( θ ) dır ve θ= (θ 1, θ 2,, θ d )' dır. θ nın d bileşeninin her biri bir ek boyulu (skaler) ya da bir vekör şeklinde anımlı olabilir. Her bir θ i için am koşullu dağılım aşağıdaki biçimde ifade edilir: π(θ i,θ -i) π(θ i) = π(θ i / θ -i) =, i =1,...,d π(θ,θ )dθ i -i i (3.8) Eşiliği daha açık bir ifade ile, (3.8) π(θ 1,...,θ i-1,θ i,θ i+1,...,θ d) π(θ i) = π(θ i / θ 1,...,θ i-1,θ i+1,...,θ d) =, i =1,...,d π(θ,...,θ,θ,θ,...,θ )dθ 1 i-1 i i+1 d i (3.9) verilir. Burada öncelikle θ i lerin, i=1,,d için am koşullu dağılımlarının elde edilebilir olduğu düşünülmeke ve bu da am koşullu dağılımların amamen bilindiği ve bu dağılımlardan örneklem çekilebildiği anlamına gelmekedir. Gibbs örneklemesi am koşullu dağılımlardan birbirini izleyen (ardıl) oluşumlara dayalı alernaif bir veri üreme planı sağlar. Gibbs örneklemesinin adımları aşağıdaki şekilde anımlanmışır: i. Zincirin ierasyon sayacının j=1 de başlaılması ve başlangıç değerlerinin aşağıdaki şekilde anımlanması: (0) (0) (0) θ =(θ 1,...,θ d ). ii. Aşağıda anımlandığı gibi birbirini izleyen değerlerin üreimi ile θ =(θ,...,θ ) nin değerlerinin elde edilmesi: (j) (j) (j) 1 d θ π(θ /θ,...,θ ), (j) (j-1) (j-1) d θ π(θ /θ,θ,...,θ ), (j) (j) (j-1) (j-1) d θ π(θ /θ,...,θ ) ve (j) (j) (j) d d 1 d-1 iii. Sayacı j den j 1 e değişirerek yakınsamaya ulaşılıncaya kadar ikinci adıma geri dönerek işlemlere devam edilmesidir. Yukarıda da görüldüğü gibi Gibbs algoriması, Markov zincirinin θ (j). durumunu her bir koşullu dağılımdan elde ememizi sağlamakadır [50]. 24

36 Gibbs örneklemesinin gücü [27], ek değişkenli koşullu raslanı değişkenlerinin bir dizisi hesaplanırken her marjinal dağılımın herhangi bir özelliğini hesaplayabilmesidir. Gibbs örneklemesinde başlangıç değerleri üm gözlenmemiş paramereler ve üm kayıp veriler için sağlanmalıdır. Temelde Gibbs örneklemesi ya da herhangi bir MCMC örneklemesi, yeerli uzunluka çalışırıldığı zaman, başlangıç değerleri unuulur ve bundan dolayı başlangıç değerlerinin seçimi önemli değildir. Ancak, çok karmaşık modeller için bilgisayarda hem hafıza sorunu hem de zaman kısıı çok uzun ierasyon sayılarının ercihinde bir sorun olabilmekedir. Ayrıca Gelman [31] belirmişir ki, başlangıç değerlerinin seçiminde sonuçların duyarlı olup olmadığını konrol emek amacıyla genişçe dağılmış başlangıç değerlerinin seçimi ile birkaç çalışmayı gösermek yararlı olacakır. Şaye zincir indirgenemez ise, θ (0) başlangıç değerinin seçiminin durağan dağılımı ekilemeyeceği de unuulmamalıdır. Yakınsamaya ulaşıldığı zaman, oraya çıkan θ (j), π(θ) den bir çekilişir. İerasyon sayısı arıkça, zincir denge durumuna yaklaşır (limi durumunda denge dağılımına ulaşıldığı varsayılır). Böylece yakınsamanın yaklaşık olarak sağlandığı varsayılır. Tek-Bileşen Meropolis-Hasings algorimasının özel bir durumu olan Gibbs örneklemesi üm gözlenmemiş mikarlar için oluşurulan am koşullu dağılımlardan ieraif örnekler çekmeye çalışır. Burada am koşullu dağılım, π(.) dağılımı alında diğer üm bileşenler üzerinde koşullanan paramerenin bir dağılımıdır. Gibbs örneklemesinde θ nın i. bileşenini güncellemek için öneri dağılımı, q i (Y.i / θ.i,θ.-i ) = π(y.i / θ.-i) (3.10) dir. Burada, π(y.i /θ. i) am koşullu bir dağılımdır. (3.10) Eşiliğine göre q(θ /Y,θ )=π(θ /θ )eşiliği yazıldıkan sonra aşağıda verilen kabul edilme i.i.i. i.i. i olasılığı, π(y / θ )π(θ / θ ).i.-i.i.-i α(θ.-i,θ.i,y.i ) = min1, = min(1,1) =1 π(θ.i / θ.-i)π(y.i / θ.-i) (3.11) elde edilir. Görüldüğü gibi Gibbs örneklemesinde Y.i aday nokasının kabul edilme olasılığı, 1 dir. Buna göre, Gibbs örneklemesi adayları her zaman kabul edilir. Gibbs örneklemesi am koşullu dağılımlar kümesi ile isenen hedef dağılımdan 25

37 örneklem yaraır. Bu durumda π(.) hedef dağılımı alında θ.i nin. ierasyonda am koşullu dağılımı, π(θ,θ ).i. i π(θ.i /θ. i)=,i=1,...,d π(θ.i,θ. i )dθ.i (3.12) şeklinde anımlanır. Tam koşullu dağılımlar ierasyondan ierasyona değişir. Bu nedenle, am koşullu dağılımlar yalnızca bir kez kullanılır ve daha sonra elden çıkarılır. Böylece, am koşullu dağılımlardan örnekleme oldukça ekilidir. Tam koşullu dağılımın analiik olarak indirgenmesi mümkün olmadığı zaman birkaç nokada am koşullu dağılımı değerlendirmek gerekli olacakır ve uygulamada her fonksiyonun değerlendirilmesi hesaplama açısından pahalı olacakır. Bu nedenle am koşullu dağılımlardan örnekleme için herhangi bir yönemin fonksiyon sayısını minimuma indirmesi amaçlanır. Bundan dolayı çok sayıda fonksiyonun değerlendirmelerine ihiyaç duyan, ersine çevrilme gibi örnekleme meolarından mümkünse kaçınılmalıdır. Tam koşullu dağılımlardan örnekleme için iki yönem red örneklemesi ve ekbiçim oranıdır. Bağımsız örnekler üremeyen üçüncü bir yönem ise, Meropolis-Hasings algorimasıdır. Üç yönem de çok değişkenli dağılımların örneklenmesi için kullanılabilir ve üçü de normalleşirme sabiinin değerlendirmesine ihiyaç duymaz. Bu durum, normalleşirme sabiinin elde edilmesi zor olduğu için praik bir nokadır [80]. Tam koşullu dağılımın biçimi ayır edilebilir değilse, bu durum sıradan algorimalar aracılığıyla örneklemeyi engeller. Carlin ve Louis [17] e göre bu gibi durumlarda yapılması gereken Gibbs örneklemesi yerine amamen farklı bir yaklaşımın kullanılmasıdır. Gibbs örneklemesinde Markov zincirinin denge dağılımına benzeşimini sağlayan kuramsal sonuçlara rağmen, uygulamada ele alınan modellerin karmaşıklığı yüzünden örneklemin benzeşimini karakerize emek zorlaşır. Sıralı ve ekrarlı bir meo düşünüldüğünde, meodun ekinliğini arıracak uygulama sraejileri hesaplama maliyei üzerinde oldukça ekili olabilir. Ekinlik büyük ölçüde ekrar sayısının ve her bir ekrarda gereken arimeik işlem sayısının azalılmasına bağlıdır. Bu eknikler emel MCMC yönemleriyle ilişkilidir. Örneklem oluşurulurken izlenecek yollardan birkaçı Gelfand ve Smih [30], Gelman ve Rubin [32], Geyer [36], Rafery ve Lewis [71] arafından önerilmişir. 26

38 Gibbs algorimasının n kez gerçekleşirilmesi ile, her bir bilinmeyen mikara ilişkin marjinal dağılımlar elde edilir ve her bir marjinale ai ilgili üm sorular yanılanabilir. X raslanı değişkeninin herhangi bir f fonksiyonunun beklenen değeri yaklaşık olarak aşağıdaki şekilde elde edilir: 1 n E f(x) = f(x ). (3.13) n n i1 i Eşilik (3.13) ile verilen ahmin, f(x) in Mone-Carlo ahminidir ve Bölüm 3.1 de deaylı bir şekilde verildiği gibi, n aşağıdaki kile değerine yakınsar: için örneklemden elde edilen bu ahmin E f(x) E f(x). n n (3.14) Benzer olarak, (θ 1,θ 2,,θ d ) raslanı değişkenlerinin herhangi bir fonksiyonu için Mone-Carlo ahmini, 1 n Ef,, = f,,. (3.15) 1 d n i1 id n i1 dir. Bu örneklemeyi kullanarak her ür momenin Mone-Carlo ahmininin hesaplanması oldukça kolaydır. Gibbs örneklemesi ile oluşurulan x i dizisinden yola çıkılarak X in marjinal dağılımı yaklaşık olarak elde edilmekedir. Bu nedenle özellikle dağılımın kuyruklarının elde edilmesinde Gibbs örneklemesi bazı durumlarda ekili olmamakadır. Bu ip sorunların oradan kaldırılmasında x i lerin bireysel uygulamaları dizisinden daha fazla bilgi içeren π(x/y=y i) koşullu fonksiyonlarının oralamalarının kullanılabileceği Gelfand ve Smih [30], Liu ve arkadaşlarının [54] çalışmalarıyla da belirilmişir. Çünkü, p(x) = π(x / y)f(y)dy = EY π(x / Y) (3.16) marjinal yoğunluğu aşağıda anımlanan ifade ile yaklaşık olarak elde edilebilir. 1 n ˆp (x) = π(x / Y = y ). n i n (3.17) i=1 Ergodik eorem, ˆp nın uygun bir ahmin edici olmasını sağlar ve ahmin edici her bir x i değeri için, Merkezi Limi Teoremi ne uyar. Bu ahmin ediciler sürekli paramereler için her zaman süreklidir ve sonsalın biçimi hakkındaki bilgiye dayanır. Gelfand ve Smih [30], Rao-Blackwellized yoğunluk ahmin edicisi adı alında, ahmin edicilerin yeerli isaisikler üzerinde koşullanarak gelişirildiğini öne süren Rao-Blackwell eoremine bir gönderme ve bu sonucu bağımsız örneklem 27

39 kapsamında yoğunluk ahmini için kanılayarak bir ahmin edici anımlamışlardır. Markov zinciri örneklemi için sonucun genel bir kanıı Liu, Wong ve Kong [55] un çalışmasında verilmişir. Bu alandaki gelişmeler büyük olmamasına rağmen, aynı fikir momenlerin daha iyi ahminlerini elde emek için de kullanılabilir [50]. Başlangıç değerlerinin ekilerinden arındırılmış olan bir (θ 1,,θ n ) Gibbs dizisinden hedef dağılımın h(θ) ile ifade edilen fonksiyonlarının ahmini ile ilgili olunsun. Burada h(θ), dağılımın oralaması, varyansı ya da belirli bir çeyreğidir. Gibbs örneklemesi ile elde edilen Mone-Carlo ahmini aşağıdadır: 1 n ĥ= h(θ ). (3.18) n i1 i Bu ahmine ilişkin varyans da hesaplanabilir. Zincirin uzunluğu arıkça, ĥ nın örneklem varyansı da küçülür. Örneklem varyansının ahmin edilmesi elde edilen ahminin değerlendirilmesi için önemlidir. Örneklem varyansının hesaplanmasında bir yaklaşım birden fazla zincirin oluşurulması ve zincirler arası varyansın kullanılmasıdır. Buna göre örneklem varyansına ilişkin Mone-Carlo ahmini aşağıdaki şekilde elde edilir: 1 n -1 (3.19) m * 2 Var(h) ˆ = (hˆ ˆ j - h ). j=1 Burada, 1 m * h ˆ = n j1 hˆ j olup; ĥ j, j.zincirin Mone-Carlo ahminidir. Şaye birden fazla zincir yerine sadece ek bir zincir kullanılacaksa; bu durumda örneklem varyansının hesaplanabilmesi için zaman serisi eorisine başvurulur. Varyans için gerekli olan k.gecikmeli ookovaryans ahmini aşağıdaki şekilde elde edilir: i i+k 1 n-k ˆ ˆ γ(k) = h(θ - h) h(θ ) - h. (3.20) n i=1 Bu, h(θ) i ile yaraılan raslanı değişkeni için k. dereceden ookorelasyonun doğal bir genelleşirilmesidir. Buna göre varyansa ilişkin Mone-Carlo ahmini, 1 21 Var(h) ˆ = γ(0) ˆ + 2 γ(i) ˆ n i1 (3.21) dir. Örneklemdeki bileşenler arasındaki ookorelasyon ekilerinin bir ölçüsü, ekili zincir genişliğidir ve şu şekilde ahmin edilir [80]: 28