9. ARDIŞIK BAĞIMLILIK SORUNU (AUTOCORRELATION) 9.1. Ardışık Bağımlılık Sorunu Nedir? Ardışık bağımlılık sorunu, hata terimleri arasında ilişki olmadığı (E(u i,u j ) = 0, i j) varsayımının geçerli olmamasıdır. Diğer bir deyişle hata terimleri arasında ilişki vardır: E(u i,u j ) 0, i j. Hata terimleri zaman içinde aşağıdaki gibi hareket edebilir. Devresel patika Artan doğrusal trend u u Zaman Zaman Azalan doğrusal trend Doğrusal ve karesel hareket u u Zaman Zaman u Ardışık bağımlılık yok Zaman Ardışık bağımlılık olmaması durumunda hata terimlerinin zaman içindeki seyrinde bir sistematik şekil yoktur (bkz. son grafik). Ancak diğer grafiklerde olduğu gibi hata terimi bir şekil içeriyorsa ardışık bağımlılık sorunu söz konusudur. 9-1
Matrisler cinsinden gösterecek olursak, Y = Xβ + u genel doğrusal modelinde ardışık bağımlılık sorunu, Var, Cov(u) = E(uu') = σ I olmayıp aşağıdaki gibi olmasıdır. 1 Var, Cov(u) = E(uu') = σ P = σ p p 1 n1 p 1 1 p n p1n p n 1 Ardışık bağımlılık sorunu genellikle zaman serisi verileriyle tahmin yapıldığında ortaya çıkar. Ardışık bağımlılığın bazı nedenleri aşağıdaki gibidir. i) Zaman serilerinde, özellikle trend içermeleri durumunda hata terimleri arasında bir ilişki olması beklenir. Bu tür verilerde devresel hareketler olur, bir momentum vardır ve bu durum değişkenlerin kendileri ile ilişkili olmalarına neden olur. Bir dönemde hata yüksekse diğer dönemde de yüksek olur vb. ii) Denklemde bulunması gerektiği halde yer almayan değişkenler olması durumunda da bu sorun ortaya çıkabilir. Örneğin aslında Y t = β 1 + β X t + β 3 X 3t + u t denklemi tahmin edilmesi gerektiği halde Y t = β 1 + β X t + v t tahmin edildi diyelim. Bu durumda v t X 3 ün etkilerini içerecektir. Çünkü v t = β 3 X 3t + u t dir. Eğer X 3 Y yi etkiliyorsa v bir sistematik şekil içerir. iii) Denklemin matematiksel biçimi yanlış belirlenmişse de ardışık bağımlılık sorunu ortaya çıkabilir. Örneğin model karesel (Y t = β 1 + β X t + β 3 X t + u t ) iken doğrusal bir model (Y t = β 1 + β 1 X t + v t ) tahmin edilmiş olsun. Bu durumda hata terimi matematiksel biçim hatasını da içerir. Örneğin grafikte hatalar (karesel ilişkiyi gösteren noktalar ile tahmin edilen denklemi gösteren düz çizgi arasındaki fark) önce artmakta sonra azalmaktadır. Y Yt = β1 + βxt + β3xt + ut Yt = β1 + β1xt + vt X iv) Yapısal değişiklik de hata terimlerini ardışık bağımlı yapabilir. v) Bağımlı değişkende sistematik ölçme hataları da ardışık bağımlılığa neden olabilir. 9-
5.1.1 Ardışık Bağımlılık Süreçleri Ardışık bağımlılık, hata terimlerini üreten iki farklı süreç nedeniyle ortaya çıkabilir. Bunlardan birincisi otoregresif (autoregressive) süreçtir. Kısaca AR ile gösterilir. Eğer t dönemindeki hata terimi sadece t-1 dönemindeki hata terimi ile ilişkili ise AR(1) süreci söz konusudur: AR(1): u t = ρu t-1 + e t Burada ρ otokovaryans katsayısı ( ρ <1), e t beklenen değeri 0, varyansı sabit ve ardışık bağımlı olmayan hata terimidir 1. AR sürecinde gecikme sayısı ardışık bağımlılığın derecesini gösterir. AR(1) süreci birinci derece ardışık bağımlılığa neden olmaktadır. Yine bu süreçte ρ katsayısı, hata terimleri arasındaki ilişkinin yönünü gösterir. Eğer ρ>0 ise artı birinci derece ardışık bağımlılıktan, ρ<0 ise eksi birinci derece ardışık bağımlılıktan söz edilir. Eğer t dönemindeki hata terimi iki dönem gecikmeli hata terimi ile de ilişkili ise AR() süreci geçerlidir: AR(): u t = ρ 1 u t-1 + ρ u t- + e t Bu durumda hata terimleri arasında birinci ve ikinci derece ardışık bağımlılık vardır. Burada ρ 1 birinci derece, ρ ikinci derece ardışık bağımlılığın işaretini gösterir. Örneğin ρ 1 <0, ρ >0 ise eksi birinci derece, artı ikinci derece ardışık bağımlılık vardır. Hata terimi e t yine tüm ideal varsayımları sağlamaktadır. Daha genel olarak AR(m) aşağıdaki gibidir. AR(m): u t = ρ 1 u t-1 + ρ u t- + + ρ m u t-m + e t 1 ρ <1 koşulu hata terimi varyansının sonsuza gitmemesi için gereklidir. 9-3
Ardışık bağımlılığa neden olabilecek ikinci tür bir süreç hareketli ortalamalar (moving average) sürecidir. Kısaca MA ile gösterilir. Birinci, ikinci, ve m inci derece ardışık bağımlılığa neden olan MA süreçleri sırasıyla aşağıdaki gibidir. MA(1): u t = e t + λe t-1 MA(): u t = e t + λ 1 e t-1 + λ e t- MA(m): u t = e t + λ 1 e t-1 + λ e t- + + λ m e t-m Burada ardışık bağımlılığın işareti λ katsayısı ( λ <1) tarafından belirlenir. Örneğin MA() sürecinde λ 1 >0, λ <0 ise artı birinci derece, eksi ikinci derece ardışık bağımlılık vardır. Buradaki ifadelerde yer alan e t ise yine beklenen değeri 0, varyansı sabit ve ardışık bağımlı olmayan hata terimidir. Ardışık bağımlılık AR ve MA süreçleri yanında ikisinin bir bileşimi olarak da karşımıza çıkabililir. Böyle bir süreç otoregresif hareketli ortalamalar (autoregressive moving average) süreci olarak adlandırılır ve kısaca ARMA ile gösterilir. AR(p) ve MA(q) sürecinin bileşiminden oluşan ARMA(p,q) süreci aşağıdaki gibidir. u t = ρ 1 u t-1 + ρ u t- + + ρ p u t-p + e t + λ 1 e t-1 + λ e t- + + λ q e t-q Örneğin ARMA(,3) süreci aşağıdaki gibidir. u t = ρ 1 u t-1 + ρ u t- + e t + λ 1 e t-1 + λ e t- + λ 3 e t-3 9.. Ardışık Bağımlılık Sorunu EKK Tahmin Edicilerini Nasıl Etkiler? 1. Ardışık bağımlılık sorunu varken EKK sapmasızlık özelliliğini korur.. Ancak etkinlik özelliliğini kaybeder. 3. Hata terimlerinin varyansının (σσ uu ) tahmin edicisi uu ii aşağı doğru sapmalı olur. Dolayısıyla Var(ββ jj ) aşağı doğru, t istatistikleri yukarı doğru sapmalı olur. Benzer bir şekilde R ve F istatistiği de yukarı doğru sapmalıdır. nn kk 9-4
9.3. Ardışık Bağımlılık Sorununun Varlığı Saptanabilir mi? 9.3.1. Grafik incelemesi i. Hata terimi tahminlerinin (uu tt ) zaman içindeki seyri ardışık bağımlılığın varlığı ile ilgili bir gösterge olabilir. Hata terimleri tahmini (u t ) hata terimlerine (u t ) eşit olmamakla beraber hata terimlerinin şekli ile ilgili bir ipucu verebilir. Aşağıdaki şekil bir ardışık bağımlılık sorunu olduğunu göstermektedir. u t zaman ii. Hata terimi tahminlerinin (uu tt ) ile (uu tt 1 ) arasındaki ilişkiyi gösteren grafik de ardışık bağımlılık ile ilgili fikir verebilir. Aşağıdaki grafik de ardışık bağımlılığa işaret etmektedir. 6 ut 4 0-6 -4-0 4 6 ut-1 8 - -4-6 9-5
9.3.. Durbin-Watson Test i Birinci Ardışık bağımlılık sorununun AR(1) süreci ile ortaya çıktığını varsayalım: u t = ρu t-1 + e t Bu ilişkideki ρ katsayısı için H 0 : ρ=0, (H 1 : ρ 0) hipotezini test ederek ardışık bağımlılık sorunu test edilebilir. Bu hipotezi test etmek için kullanılacak test istatistiği (DW) aşağıdaki gibi hesaplanmaktadır. DW = tt=nn tt= (u t u t 1 ) tt=nn (u t ) tt= DW testinin arkasında aşağıdaki varsayımlar yatmaktadır: 1- Regresyon modeli sabit terim içerir, - Hata terimleri AR(1) süreci ile üretilmiştir. 3- Regresyon modelinde açıklayıcı değişkenler arasında gecikmeli bağımlı değişken yoktur. 4- Verilerde eksik gözlem yoktur. Örneğin 1985-014 arası veri ile tahmin yapıyorsak bu dönem içindeki bir veya daha fazla yıl (örneğin 1988 ve 001) eksik değildir. DW istatistiği ρ nun tahmini olan ρ cinsinden yazılabilir. DW = u t + u t 1 u t u t 1 u t u t ile u t 1 arasında yalnızca bir gözlemlik fark olduğu için birbirlerine yaklaşık olarak eşittirler. Dolayısıyla DW yeniden aşağıdaki gibi yazılabilir. DW u t u t u t 1 u t = 1 u t u t 1 u t Diğer yandan ρρ = CCCCCC(uu tt, uu tt 1 ) VVVVVV(uu tt ) olduğundan ρ = (u t u t )(u t 1 u t 1 ) (u t u t ) = u tu t 1 u t Bu durumda DW aşağıdaki gibi bulunur. DW (1 ρ) 9-6
DW ın ρ ile olan ilişkisi bu istatistiğin alabileceği değerlerle ilgili fikir verebilir. Hatırlanacağı gibi -1<ρ<1 dir. Eğer ρ = -1 ise (eksi ardışık bağımlılık) DW = 4, ρ = 0 ise (ardışık bağımlılık yok) DW = ve ρ = 1 ise (artı ardışık bağımlılık) DW = 0 bulunur. Demek ki DW istatistiği 0 ile 4 arasında değerler almaktadır (0<DW<4) ve beklenen değeri dir (E(DW)=). H 0 : ρ=0, H 1 : ρ 0 hipotezinin testinde hesaplanan DW değeri tablo değeri ile karşılaştırılmalıdır. Aşağıdaki grafik kabul, ret ve belirsizlik alanlarını göstermektedir. 1. Ret alanı + Ardışık Bağımlılık var 1. Belirsizlik alanı. Belirsizlik alanı. Ret alanı - Ardışık Bağımlılık var f(dw) H o kabul alanı Ardışık bağımlılık yok 0 d L d U 4-dU 4-d L 4 0 DW h < d L ise DW h 1. Ret alanındadır. H 0 reddedilir. Artı birinci derece ardışık bağımlılık sorunu vardır. d L DW h d U ise DW h 1. Belirsizlik alanındadır. H 0 ın reddi veya kabulu konusunda bir karar verilemez. d U DW h 4-d U ise DW h Kabul alanındadır. H 0 kabul edilir. Artı veya eksi ardışık bağımlılık sorunu yoktur. 4 - d U DW h 4-d L ise DW h. Belirsizlik alanındadır. H 0 ın reddi veya kabulu konusunda yine bir karar verilemez. 4-d L DW h < 4 ise DW h. Ret alanındadır. H 0 reddedilir. Artı eksi birinci derece ardışık bağımlılık sorunu vardır. 9-7
Daha önce de belirtildiği gibi DW testi sabit terim olan denklemler için kullanılabilir. Eğer tahmin ettiğimiz denklemde sabit terim yoksa sabit terim ekleyerek yeniden tahmin edilmeli ve test uygulanmalıdır. Ayrıca denklemde gecikmeli bağımlı değişken varsa da bu test uygulanamamaktadır. Böyle bir durumda Durbin bir h istatistiği önermiştir. Y t = β 1 + β X t + β 3 X 3t + + β k X kt + γy t-1 + u t modeli için h istatistiği aşağıdaki gibi hesaplanmaktadır. n h = ρ 1 nvar(γ) DW (1 ρ) ve böylece ρ 1 (DW/) olduğundan h istatistiği aşağıdaki gibi yeniden yazılabilir. h = 1 ( DW ) n 1 nvar(γ) Burada nvar(γ) denklemin sağ tarafında yer alan gecikmeli bağımlı değişkenin katsayısının varyansının tahminidir. Eğer varyans yüksekse ve nvar(γ) kullanılamaz. > 1 bulunuyorsa bu test Bu testte de H 0 : ρ=0, H 1 : ρ 0 hipotezi test edilmektedir. Hesaplana h istatistiği yaklaşık olarak standart normal dağılıma sahiptir. Bu nedenle hesaplana değer standart normal dağılım tablosu ile karşılaştırılmalıdır. Eğer h >z* ise (burada z* kritik değerdir) H 0 reddedilir, ardışık bağımlılık sorunu vardır. Yüzde 5 anlamlılık düzeyinde z* kritik değeri 1.96 dır. 9-8
9.3.3. Breusch-Godfrey LM Test i Durbin Watson yalnızda birinci derece ardışık bağımlılığı ve yalnızca AR sürecini dikkate almaktadır. Ayrıca denklemde sabit terim yoksa veya gecikmeli bağımlı değişken varsa kullanılamamaktadır. Yine Durbin in önerdiği h testi gecikmeli bağımlı değişkenin varyansı yüksek ise yine kullanılamamaktadır. Bu sınırlamları aşan, daha yüksek dereceden ve örneğin MA sürecini de dikkate alan daha genel bir test, Breusch ve Godfrey tarafından geliştirilen LM Test idir. Testte öncelikle asıl denklem tahmin edilerek aşağıdaki adımlar izlenmelidir. Y t = β 1 + β X t + β 3 X 3t + + β k X kt + u t 1- Asıl denklem tahmininden hata tahminleri bulunur: u t - Hata tahminlerinin bağımlı değişken olduğu aşağıdaki yardımcı denklem tahmin edilir: u t = β 1 + β 1 X t + + β k X kt + d 1 u t 1 + d u t + + d p u t p + w t Burada dikkat edilecek bir nokta gecikmeler nedeniyle gözlem sayısının n-p olmasıdır. Bu yardımcı denklem için R hesaplanır. Buna R Y diyelim. 3- Bu testte boş hipotez ardışık bağımlılığın olmamasıdır: H 0 : AR(m), MA(m) veya ARMA(p,q) ilişkisi yok H 1 : AR(m), MA(m) veya ARMA(p,q) ilişkisi var R Y nin gözlem sayısı (n-p) ile çarpımı asimptotik olarak ki-kare dağılımına sahiptir ve serbestlik derecesi yardımcı denklemde yer alan gecikme sayısıdır. (n-p)r Y χ (p) 4- Eğer hesaplanan χ değeri tablo değerinden büyükse H 0 reddedilir. Yani ardışık bağımlılık sorunu var demektir. Eğer büyük değilse ardışık bağımlılık sorunu yoktur. 9-9
LM yönteminde herhangi bir derece ardışık bağımlılık test edilebilir. Örneğin 1. derece için u t = β 1 + β 1 X t + + β k X kt + d 1 u t 1 w t (p=1) 4. derece için u t = β 1 + β 1 X t + + β k X kt + d 1 u t 4 w t (p=1) 1. den 4. dereceye kadar için u t = β 1 + β 1 X t + + β k X kt + d 1 u t 1 + d u t + d 3 u t 3 + d 4 u t 4 (p=4) 1.,. ve 4. derece için u t = β 1 + β 1 X t + + β k X kt + d 1 u t 1 + d u t + d 4 u t 4 (p=3) yardımcı denklemleri tahmin edilir. 9.4. Ardışık Bağımlılık Sorununun Çözümü Var mıdır? Ardışık bağımlılığın dışlanan değişken, matematiksel kalıp hatası veya yapısal değişiklik gibi bir nedenden kaynaklanıyorsa bu sorunların çözülmesi, örneğin dışlanan değişkenin modele eklenmesi, modelin doğru olarak tanımlanması veya yapısal değişikliğin dikkate alınması çözüm olabilir. Eğer bu önlemler çözüm olmuyorsa aşağıdaki yöntemler izlenmelidir. 9.4.1. Ardışık bağımlılığın yapısı ve ρ biliniyorsa: GEKK Yöntemi Daha önce de belirtildiği gibi, GEKK yöntemi asıl denklemden bir dönüştürülmüş denklem elde edip bu dönüştürülmüş denklemi EKK ile tahmin etmek anlamına gelir. Y t = β 1 + β X t + β 3 X 3t + + β k X kt + u t asıl denklemimiz olsun ve birinci dereceden ardışık bağımlılık olduğunu varsayalım: u t = ρu t-1 + e t. e t beklenen değeri 0, varyansı sabit ve ardışık bağımlı olmayan hata terimidir. Bu durumda dönüştürme için asıl denklemin bir gecikmesini alıp ρ ile çarpalım. ρy t-1 = ρβ 1 + β ρx t-1 + β 3 ρx 3t-1 + + β k ρx kt-k + ρu t-1 asıl denklem ile bu denklemin farkı aşağıdaki gibidir: (Y t - ρy t-1 ) = β 1 (1-ρ) + β (X t -ρx t-1 ) + β 3 (X 3t - ρx 3t-1 )+ + β k (X kt - ρx kt-k ) + (u t - ρu t-1 ) veya Y * t = β * 1 + β X * t + β 3 X * 3t + + β k X * kt + e t Burada Y * t = (Y t - ρy t-1 ), β * 1 = β 1 (1-ρ), X * it = (X it ρx it-1 ) ve e t = (u t - ρu t-1 ) dir. Bu dönüştürme ile elde edilen hata terimi tüm ideal varsayımları sağladığından dönüştürülmüş denkleme EKK uygulanması ardışık bağımlılık sorununu çözer. 9-10
8.4.. ρ bilinmiyorsa GEKK yönteminin uygulanabilmesi için ρ değerinin bilinmesi gerekir. Ancak ρ değeri genellikle bilinmez, tahmin edilmesi gerekir. Bu değerin nasıl tahmin edileceğine bağlı olarak iki farklı GEKK uygulaması vardır. i- Cochrane-Orkutt Yöntemi Cochrane-Orkutt yöntemi bir yineleme yöntemidir. 1- Öncelikle asıl denklemin (Y t = β 1 + β X t + β 3 X 3t + + β k X kt + u t ) tahmini sonucu hata terimleri tahminleri elde edilir: u t (u t = Y t - β 1 + β X t + + β k X kt ) 1 - Bu tahminler kullanılarak u t = ρu t 1 + v t tahmin edilir ve ρ bulunur. Buna ρ diyelim. 3- Elde edilen değerle (Y t - 1 ρ Y t-1 ) = β 1 (1-1 ρ ) + β (X t - 1 ρ X t-1 ) + + β k (X kt - 1 ρ X kt-k ) + (u t - 1 ρ u t-1 ) denklemi tahmin edilir. Bu tahminde kullanılan 1 ρ değerlerinin ρ nun iyi bir tahmini olduğu önceden bilinemediğinden son denklemden elde edilen katsayı tahminlerine de 1 ( β i ) güvenmek mümkün değildir. Bu nedenle katsayı tahminlerini asıl denklemde yerine koyarak bu denklemin hata tahminleri hesaplanır: 1 1 1 1 u t = Y t - β 1 + β X t + + β k X kt 1 1 4- Elde edilen hata terimleri ile u t = ρ u t 1 + w t denklemi tahmin edilir. Bulunan katsayıya ρ diyelim. 5- Üçüncü maddedeki yöntemle yine hata terimleri tahminlerini bulalım: u. Bu şekilde devam ettiğimizde ρ tahminleri arasındaki fark çok küçük (örneğin 0.005 den küçük) bir değer almışsa yineleme durdurulur. 9-11
ii- İki aşamalı Durbin Yöntemi Bu yöntem iki aşamadan oluşmaktadır. 1- Birinci aşamada öncelikle aşağıdaki dönüştürülmüş denklem tahmin edilir. Y t = β 1 (1-ρ) + β (X t -ρx t-1 ) + + β k (X kt -ρx kt-k ) + ρy t-1 + e t Y t-1 in katsayısı tahmin edilen değerini ρ nun tahmini olarak ele alalım: ρ - İkinci aşamada, birinci aşamada bulunan ρ değeri kullanılarak Y t * = (Y t - ρy t-1 ), β 1 * = β 1 (1-ρ), X it * = (X it ρx it-1 ) ve e t = (u t - ρu t-1 ) tanımları yapılarak aşağıdaki dönüştürülmüş denklem tahmin edilir. Y t * = β 1 * + β X t * + + β k X kt * + e t Bu denklemin hata terimi e t tüm ideal varsayımları sağladığından dönüştürülmüş denkleme EKK uygulanması ardışık bağımlılık sorununu çözer. 9-1