YAPAY SİNİR AĞLARI VE ARIMA MODELLERİNİN MELEZ YAKLAŞIMI İLE ZAMAN SERİLERİNDE ÖNGÖRÜ Erol EĞRİOĞLU Haceepe Üniversiesi, Fen Fakülesi, İsaisik Bölümü, 06532, Beyepe, Ankara, TÜRKİYE, erole@haceepe.edu.r Çağdaş Hakan ALADAĞ Haceepe Üniversiesi, Fen Fakülesi, İsaisik Bölümü, 06532, Beyepe, Ankara, TÜRKİYE, aladag@haceepe.edu.r ÖZET Son yıllarda zaman serilerinde öngörü elde emek için yapay sinir ağları başarıyla kullanılmakadır. Zaman serilerindeki doğrusal yapının yanında eğrisel yapıyı da modelleyebilen yapay sinir ağları ooregresif harekeli oralamalar modellerine iyi bir seçenek olarak düşünülebilir. Yapay sinir ağları ve ooregresif harekeli oralamalar modellerinin birleşirildiği bir melez yaklaşım ile öngörü performansı arırılabilir. Bu çalışmada, bir melez yaklaşımla Ankara hava kirliliği ahminleri elde edildi ve diğer model ahminleri ile karşılaşırıldı. Anahar Kelimeler: Zaman Serileri, Ooregresif Harekeli Oralamalar Modeli, Öngörü, Box-Jenkins Yönemi, Melez Yaklaşım, Yapay Sinir Ağları, Geri Yayılım Algoriması, Hava Kirliliği Verisi. 1. GİRİŞ Yapay sinir ağları diğer zaman serisi modelleme yönemlerine göre daha iyi öngörü sonuçlar vermekedir. Çünkü yapay sinir ağları zaman serilerindeki hem eğrisel hem de doğrusal yapıyı öğrenebilme yeeneğine sahipir. Bu nedenle lieraürde son yirmi yıl içerisinde zaman serilerinin yapay sinir ağları ile incelendiği bir çok çalışma yer almışır (Zhang, 1998:381). Yapay sinir ağları ve Box-Jenkins yönemini ayrı ayrı kullanmak yerine kombine ederek kullanmak öngörü doğruluğunu arırmakadır. ARIMA modellerinin emel sınırlaması model formunu doğrusal varsaymasıdır. ARIMA modelleri zaman serisi değerleri arasındaki doğrusal korelasyon yapısını dikkae alır. Doğrusal model yaklaşımı, gerçek dünya problemleri için her zaman yeerli değildir. Yapay sinir ağlarının avanajı esnek ve eğrisel modelleme yeeneğidir. Yapay sinir ağı ile çözümleme yapıldığında, bir model formu belirlemeye gerek duyulmaz. Bunun yerine model formu, verilerin özelliğine göre oluşur. Bir zaman serisi yapısının doğrusal mı yoksa eğrisel mi olduğunu belirlemek zordur. Gerçek hayaaki zaman serileri nadiren amamen doğrusal ya da amamen eğrisel yapıya sahipir. Genellikle hem doğrusal hem de eğrisel yapı içerirler. Çözümlemede sadece ARIMA modelleri kullanılırsa eğrisel yapı modellenemez. Sinir ağları ise doğrusal ve eğrisel yapılara aynı ağırlığı veremez. Öngörü lieraüründe de genellikle ek bir yönemin her durum için iyi olmayacağı kabul edilmişir. Farklı modelleri birleşirmek farklı yapıları yakalamayı sağlar ve öngörü performansını arırır. Hem kuramsal hem de deneysel bulgular, farklı yönemleri birleşirmenin öngörü performansını arırdığını gösermişir (Zhang, 2003:159). Çalışmanın ikinci bölümünde genel olarak yapay sinir ağlarının bileşenleri incelendi. Üçüncü bölümde, mevsimsel ve mevsimsel olmayan ARIMA modelleri kısaca verildi. Bir sonraki bölümde, 2003 yılında Zhang arafından önerilen melez yaklaşımın uygulaması verildi. Melez yaklaşımla Ankara hava kirliliği verisinin çözümlenmesi beşinci bölümde arışıldı. Son bölümde ise elde edilen sonuçlar ayrınılı biçimde yorumlandı.
2. YAPAY SİNİR AĞLARI BİLEŞENLERİ Yapay sinir ağları, insan beyninin özelliklerinden olan öğrenme yolu ile yeni bilgi üreebilme, yeni bilgi oluşurabilme ve keşfedebilme gibi yeenekleri herhangi bir yardım almadan doğrudan gerçekleşirmek amacı ile gelişirilen algorimalardır (Özemel, 2003). Bir başka sözle, biyolojik sinir ağlarını akli eden seneik ağlardır. Yapay sinir ağları ve biyolojik sinir ağları arasında hem mimarileri hem de yeenekleri yönünden büyük farklılıklar vardır (Zurada, 1992). Yapay sinir ağları maemaiksel bir model oluşurur ve genel bir fonksiyon yaklaşırıcı olarak bilinir (Zhang, 1998:35). Yapay sinir ağlarının işleyişini yönlendiren bileşenler genel olarak aşağıda verilmişir Mimari Yapı: En basi hali ile çok abakalı ileri beslemeli bir yapay sinir ağı mimari yapısı Şekil 1 de verilmişir. Şekilde de görüldüğü gibi çok abakalı ileri beslemeli bir yapay sinir ağı mimarisi üç kısımdan oluşur. Bunlar girdi abakası, gizli abaka (ya da abakalar) ve çıkı abakasıdır. Tabakalar, nöron (düğüm) adı verilen birimlerden oluşmakadır. Mimarinin am olarak belirlenmesi abakalardaki nöron sayısına karar verilmesi ile gerçekleşir. Yapay sinir ağlarında nöronlar birbirlerine ağırlıklar ile bağlıdırlar. İleri beslemeli ağlarda bu bağlanılar ek yönlü ve ileri doğrudur. Aynı abakanın birimleri arasında bağlanı yokur. Çıkı abakası Gizli abaka Girdi abakası Şekil 1. Çok abakalı ileri beslemeli yapay sinir ağı Zaman serilerinin gelecek ahmininde en yaygın kullanılan ürü üç abakalı ileri beslemeli sinir ağıdır. Tek değişkenli zaman serileri için ağın girdileri geçmiş veya gecikmeli değişkenler, çıkısı ise ahmin değeridir. Öngörü problemi için yapay sinir ağı eğrisel ooregresif modele denkir. Girdi abakasındaki nöronlardan gizli abakayı alayarak doğrudan çıkı abakasına bağlanı yapılması ile elde edilecek yeni yapay sinir ağı modeli ise eğrisel ve doğrusal iki ooregresif modelin oplamına eşi olur. Öğrenme Algoriması: Yapay sinir ağlarında ağırlıkların belirlenmesinde kullanılan bir çok öğrenme algoriması vardır. En yaygın kullanılan öğrenme algorimalarından biri Geri Yayılım (Back Propagaion) algorimasıdır. Geri yayılım algoriması eldeki veri ile ağın çıkısı arasındaki farka dayalı olarak ağırlıkların güncellenmesini gerçekleşirir. Geri yayılım
algorimasında kullanılan öğrenme parameresi opimal sonuca yeerli derecede yaklaşılmasında önemli rol oynar. Öğrenme parameresi sabi olarak alınabileceği gibi, algorima içinde dinamik olarak da güncellenebilir. Akivasyon Fonksiyonu: Akivasyon fonksiyonu girdi ve çıkı birimleri arasındaki eğrisel eşleşmeyi sağlar. Akivasyon fonksiyonunun doğru seçilmesi, ağın performansını önemli derecede ekiler. Akivasyon fonksiyonu genelde ek kuuplu, çif kuuplu ya da doğrusal olarak seçilebilir. Seçilen akivasyon fonksiyonu doğrusal olmadığında, eğim parameresinin belirlenmesi gerekmekedir. Eğim parameresi de opimal sonuca yeerli derecede yaklaşılmasında önemli rol oynayan bir fakördür. 3. MEVSİMSEL VE MEVSİMSEL OLMAYAN ARIMA MODELLERİ Z µ oralamalı bir zaman serisi olmak üzere, ϕ ( Θ a (1) s s D s B ) Φ( B )(1 B ) ( Z µ ) = θ ( B) ( B ) ϕ ( B )( Z µ ) = θ ( B) (2) a şeklindeki iki model formu göz önüne alınsın. Eğer Z, (1) model formuna sahip ise SARIMA(p, d,q)(p,d,q) s ile göserilmeke ve bu model, mevsimsel ARIMA olarak bilinmekedir. Eğer Z, (2) model formuna sahip ise ARIMA(p, d, q) ile göserilmeke ve bu model mevsimsel olmayan ARIMA olarak bilinmekedir. Mevsimsel ve mevsimsel olmayan ARIMA modelleri, Box-Jenkins arafından ileri sürülmüş ve doğrusal zaman serilerinin öngörülmesinde başarıyla kullanılmışır. Bu modellerin kullanıldığı bir çok çalışma lieraürde yer almakadır. Ancak (1) ve (2) modelleri sadece zaman serisindeki doğrusal yapıyı modelleyebildiğinden, eğrisel yapılı zaman serileri için doğru öngörüler verememekedir. Mevsimsel ve mevsimsel olmayan ARIMA modellerinin kullanımı için ayrınılar Box-Jenkins arafından 1976 yılında verilmişir. 4. MELEZ YAKLAŞIMIN UYGULANIŞI Zhang in 2003 yılındaki çalışmasında kullandığı ARIMA modelleri ile yapay sinir ağlarını birleşiren melez yaklaşım aşağıda verilmişir (Zhang, 2003:159). Bir zaman serisi doğrusal yapılı bileşen ve eğrisel bileşenin oplamı olarak düşünülebilir. Yani, şeklinde ifade edilebilir. Burada, L doğrusal bileşen ve Z = L + N (3) İlk olarak zaman serisi için ARIMA modelleri ile Lˆ ahminleri elde edilir. N doğrusal olmayan bileşendir. e = Y Lˆ (4) ile bulunan e değerleri, N eğrisel bileşenini içeren arıklardır. Dolayısıyla bu arıklara yapay sinir ağları yönemi uygulanırsa, eğrisel bileşen de modellenmiş olur. Her iki yönemden elde edilen öngörülerin oplamı ise gerçek öngörü değerlerini verir.
Öze olarak melez yaklaşım iki adımdan oluşmakadır: 1. Adım: Problemin doğrusal kısmını modellemek amacı ile zaman serisi mevsimsel veya mevsimsel olmayan ARIMA modelleri ile ahmin edilir. 2. Adım: ARIMA modelinden gelen arıklar yapay sinir ağı kullanılarak ahmin edilir. Böylece zaman serisinin eğrisel bileşeni de ahmin edilmiş olur. Melez yaklaşımda opimal olmayan yönemleri bile kombine ederek iyi sonuçlara ulaşmak mümkündür. Yani en düşük Akaike Informaion Crier (AIC) değerine sahip bir ARIMA modelini kullanmak zorunlu değildir (Zhang, 2003:159). 5. UYGULAMA Yapay sinir ağları bileşenlerinin isenilen şekilde seçilmesine olanak vererek çözümleme yapabilen hazır bir bilgisayar programı mevcu değildir. Bu nedenle çalışmada, incelenen durumlar için sonuçları elde emek amacıyla Delphi 7.0 programlama dili kullanılarak bir bilgisayar programı yazılmışır. Çözümlenen Ankara hava kirliliği verileri 1994 yılı Mar ile 2002 yılı Kasım ayları arasındaki aylık zaman serisi verileridir. Çözümlemede kullanılan yapay sinir ağı bileşenleri aşağıda verilmişir: Mimari Yapı: Uygulamadaki her bir durum için, girdi abakasındaki birim sayısının 2 ile 12, gizli abakadaki birim sayısının 1 ile 12 arasında değişiği ve çıkı abakasında ek biriminin kullanıldığı 132 değişik mimaride çözümleme yapılarak en iyi mimariler belirlenmişir. Öğrenme Algoriması: Öğrenme parameresinin her bir ierasyonda güncellendiği Geri Yayılım Algoriması, en iyi ağırlıkların bulunmasında kullanılmışır. Akivasyon Fonksiyonu: Akivasyon fonksiyonu olarak lojisik fonksiyonu kullanılmışır. ( 1+ exp( )) 1 f ( x) = γ x (5) İlk olarak, çözümlenen veriye uygun Box-Jenkins modeli araşırıldı. En iyi model olarak SARIMA(1,1,1)(0,1,1) 12 modeli belirlendi. Bu modelden elde edilen arıkları modellemek amacıyla en iyi iki yapay sinir ağı modeli belirlendi. Birinci model, girdi birimleri ile çıkı birimi arasında doğrudan bağlanının bulunduğu ve girdi abakasında üç, gizli abakada bir birim bulunan ([3-1-1]-bağlı) mimariye sahipir. İkinci model ise girdi birimleri ile çıkı birimi arasında doğrudan bağlanının bulunmadığı ve girdi abakasında on bir, gizli abakada bir birim bulunan ([11-1-1]-bağsız) mimariye sahipir. Ayrıca SARIMA(1,1,1)(0,1,1) 12 modeli yerine SARIMA(4,1,0)(0,1,0) 12 opimal olmayan modeli kullanılarak arıklar elde edildi. Bu arıklar için en uygun iki sinir ağı modeli belirlendi. Birinci model, girdi birimleri ile çıkı birimi arasında doğrudan bağlanının bulunduğu ve girdi abakasında alı, gizli abakada dör birim bulunan ([6-4-1]-bağlı) mimariye sahipir. İkinci model ise girdi birimleri ile çıkı birimi arasında doğrudan
bağlanının bulunmadığı ve girdi abakasında beş, gizli abakada dör birim bulunan ([5-4-1]-bağsız) mimariye sahipir. Bunlara ek olarak Ankara hava kirliliği verileri yapay sinir ağları ile modellenerek yine en uygun iki model belirlenmişir. Birinci model, girdi birimleri ile çıkı birimi arasında doğrudan bağlanının bulunduğu ve girdi abakasında on iki, gizli abakada iki birim bulunan ([12-2-1]-bağlı) mimariye sahipir. İkinci model ise girdi birimleri ile çıkı birimi arasında doğrudan bağlanının bulunmadığı ve girdi abakasında on iki, gizli abakada iki birim bulunan ([12-2-1]-bağsız) mimariye sahipir. Belirlenen modellerden elde edilen öngörülerin Haa Kareler Oralaması Karekök (HKOK) ve Haa Kareler Oralaması (HKO) değerleri, Ankara hava kirliliği verisinin 2002 Temmuz ve 2002 Kasım ayları için hesaplandı. Sonuçlar Tablo 1 de göserildi. Tablo 1 ve Tablo 2 de yer alan modeller aşağıda verilmişir: Model 1: SARIMA(1,1,1)(0,1,1) 12 ve [3-1-1]-bağlı melez modeli. Model 2: SARIMA(1,1,1)(0,1,1) 12 ve [11-1-1]-bağsız melez modeli. Model 3: SARIMA(4,1,0)(0,1,0) 12 ve [6-4-1]-bağlı melez modeli. Model 4: SARIMA(4,1,0)(0,1,0) 12 ve [5-4-1]-bağsız melez modeli. Model 5: SARIMA(1,1,1)(0,1,1) 12 Box-Jenkins modeli. Model 6: [12-2-1]-bağlı yapay sinir ağı modeli. Model 7: [12-2-1]-bağsız yapay sinir ağı modeli. Tablo 1. Ankara hava kirliliği verisi 2002 Temmuz ve 2002 Kasım ayları HKOK ve HKO değerleri Modeller HKOK HKO Model 1 3,82 14,5924 Model 2 3,74 13,9876 Model 3 9,97 99,4009 Model 4 10,48 109,8304 Model 5 4,45 19,8025 Model 6 4,51 20,3401 Model 7 2,95 8,7025 Belirilen 7 modele göre elde edilen öngörüler ve gerçek değerler Tablo 2 de verilmişir. Tablo 2. Modellerin öngörü değerleri Gerçek Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Değerler Öngörü Öngörü Öngörü Öngörü Öngörü Öngörü Öngörü Temmuz 2002 17 19,4 19,7 20,5 22,2 18,3 17,8 20,7 Ağusos 2002 24 16,5 16,6 19,1 18,5 15,5 15,2 20,5 Eylül 2002 23 22,6 22,7 26,1 25,7 21 18,9 25,4 Ekim 2002 30 29,6 29,6 33,1 32,6 28,7 27,9 30,5 Kasım 2002 55 51,6 52,3 33,9 33,1 50,6 56,9 58,3
6. SONUÇLAR Ankara hava kirliliği verisi için melez yaklaşımın uygulandığı Model 1 ve Model 2 nin, Box-Jenkins yaklaşımının uygulandığı Model 5 e göre daha iyi öngörü sonuçları verdiği görülmüşür. Melez yaklaşımın uygulandığı Model 1 ve Model 2 nin, sadece yapay sinir ağı yöneminin kullanıldığı Model 6 dan da daha iyi öngörü sonuçları verdiği görülmekedir. Ancak en iyi öngörü sonucu girdi birimlerinden çıkı birimine doğrudan bağlanının bulunmadığı yapay sinir ağı modeli (Model 7) ile elde edilmişir. Melez yaklaşımda kullanılan Box-Jenkins modelinin opimal olmadığı Model 3 ve Model 4 de en köü öngörü sonuçları elde edildiği görülmüşür. KAYNAKLAR BOX, G.E.P. and JENKINS, G.M. (1976), Time Series Analysis: Forecasing and Conrol. Holdan-Day, San Francisco, CA. CICHOCKI, A. and UNBEHAUEN, R. (1993), Neural Neworks for Opimizaion and Signal Processing, John Willey & Sons, New York. DANIEL P., GEORGE C. T. and RUEY S. T. (2001), A Course in Time Series Analysis, John Willey & Sons, New York. ÖZTEMEL, E. (2003), Yapay Sinir Ağları, Papaya Yayıncılık, İsanbul. SMITH, K.A. (2002), Neural neworks in business: echniques and applicaions, Imprin Info Hershey: Idea Group. TANG, Z. and FISHWICK, P.A. (1993), Feedforward Neural Nes as Models for Time Series Forecasing, Operaions Research Sociey of America, 5:4, 374-385. ZHANG G. PETER (2003), Time series forecasing using a hybrid ARIMA and neural nework model, Neurocompuing, 50, 159-175. ZHANG, G., PATUWO, B.E. and HU, Y.M. (1998), Forecasing wih Arificial Neural Neworks: The Sae of he Ar, Inernaional Journal of Forecasing, 14, 35-62. ZURADA, J.M. (1992), Inroducion of Arificial Neural Sysems, S. Paul: Wes Publishing. A HYBRID NEURAL NETWORK AND ARIMA MODEL FOR FORECASTING IN TIME SERIES Absrac In recen years, arificial neural neworks have been used for forecasing in ime series. Neural neworks which can modeled boh linear and nonlinear srucure in ime series, is a good alernaive for auoregressive moving average model. Using a hybrid approach in which neural neworks is combined wih auoregressive moving average model can provide beer resuls in forecasing. In his sudy, a hybrid neural nework and auoregressive moving average model is discussed. The daa of air polluion of Ankara is forecased by using his hybrid approach. The hybrid approach is compared wih oher models. Key Words: Time Series, Auoregressive Moving Average Model, Forecasing, Box-Jenkins Mehods, Hybrid Approach, Neural Neworks, Back Propagaion Algorihm, Daa of Air Polluion.