ZAMAN SERİLERİ TAHMİNİNDE ARIMA-MLP MELEZ MODELİ

Aaürk Üniversiesi İkisadi ve İdari Bilimler Dergisi, Cil: 23, Sayı: 3, 2009 4 ZAMAN SERİLERİ TAHMİNİNDE ARIMA-MLP MELEZ MODELİ Oğuz KAYNAR (*) Serkan TAŞTAN (**) Öze: Bu çalışmada zaman serilerinin ahmini için ooregresif harekeli oralamalar(auoregressive inegraed moving average-arima) modeli ve çok kamanlı yapay sinir ağları (muli layer percepron-mlp) modeli birleşirilerek bir melez model oluşurulmuşur. Melez modelde, zaman serisinin doğrusal bileşeni ARIMA modeli ile doğrusal olmayan bileşeni ise MLP modeli ile ahmin edilmişir. ARIMA ve MLP modellerinin ek başına kullanılması ile elde edilen ahmin sonuçları Melez modelin ahmin sonuçları ile karşılaşırılarak Melez modelin ahmin performansı ölçülmüşür. Anahar Kelimeler: Yapay Sinir Ağları, MLP, ARIMA, Melez Model Abrac: In his sudy, a hybrid model was creaed by combining auoregressive inegraed moving average(arima) model and muli layer percepron(mlp) model for ime series forecasing. In hybrid model lineer componen of ime series is forecased by ARIMA and nonlinear componen is forecased by MLP respecively. Forecasing performance of hybrid model is measured hrough he forecas resuls obained from he model ha used only ARIMA and MLP is compared wih he forecas resuls of hybrid model. Key Words: Arifical Neural Neworks, MLP, ARIMA, Hybrid Model I.Giriş Geçmiş dönemlere ilişkin gözlem değerleri yardımıyla geleceğe yönelik ahminler yapmayı amaçlayan zaman serisi modelleri ıp, mühendislik, işleme, ekonomi ve finans gibi birçok alanda yaygın bir şekilde kullanılmakadır. Zaman serileri yardımıyla ahmin yapmak için değişik yönemler kullanılarak oluşurulan farklı modeller bulunmakadır. Bu modeller arasında en çok bilinen ve yaygın olarak kullanılan ARIMA modelleridir. Seriyi oluşuran veriler arasında doğrusal bir ilişkinin olduğunu varsayan ve bu doğrusal ilişkiyi modelleyebilen ARIMA modelleri durağan ya da çeşili isaisiksel yönemlerle durağan hale geirilen zaman serilerine başarıyla uygulanabilmekedir. Oysa uygulamada karşılaşılan birçok zaman serisi sadece doğrusal ilişki içermemekedir. Yapısı gereği hem doğrusal hem de doğrusal olmayan ilişkileri modelleyebilen yapay sinir ağları (YSA) son yıllarda zaman serilerinin analizinde kullanılan alernaif yönemlerden biri olmuşur. Yapay sinir ağlarının zaman serilerinin ahmininde kullanıldığı çalışmalara ilişkin geniş bir derleme Zhang vd. arafından yapılmışır(zhang vd, 998). Yapay sinir ağlarının en önemli avanajı, veri seine ilişkin fonksiyonel yapının am olarak belirlenemediği durumlarda, veriden harekele birçok değişik formdaki fonksiyonel yapıyı başarıyla modelleyebilmesidir. Genel (*) Yrd. Doç. Dr. Cumhuriye Üniv. İİBF Yöneim Bilişim Sisemleri Bölümü (**) Arş.Gör. Yöneim Bilişim Sisemleri Bölümü

42 Sülayman YÜKÇÜ, Seçkin GÖNEN fonksiyon yaklaşırıcısı olarak da bilinen yapay sinir ağları, isaisiksel yönemlerin aksine veri sei üzerinde her hangi bir ön varsayıma gerek duymaz. Praike, kullanılan zaman serisindeki ilişkinin, doğrusal ya da doğrusal olmaması konusunda kesin bir sonuca varmak zordur. Bu yüzden ek yönem kullanılarak oluşurulan modeller her zaman en iyi sonuçları vermezler. Farklı yönemlerin bir arada kullanılması ile oluşurulan modellerin başka bir deyişle melez modellerin daha iyi ahminler yapması beklenir. Lieraürde zaman serilerinin ahmininde melez yaklaşım kullanımına ilişkin çeşili çalışmalar bulunmakadır. Zhang ARIMA ve YSA modellerini birleşirerek melez bir model oluşurmuş, bu melez modeli 3 farklı zaman serisine uygulamış ve YSA, ARIMA ve melez modellerle elde edilen ahmin sonuçlarını karşılaşırmışır(zhang, 2003: 59). Haa kareleri oralaması dikkae alınarak gerçekleşirilen kıyaslamada her üç veri sei içinde melez modelin diğer iki modelden daha iyi sonuçlar verdiğini belirmişir. ARIMA ve YSA kullanılarak oluşurulan melez bir model saalik sıcaklığın ahmin edilmesinde kullanılmışır (Hipper vd., 2000: 44). Radyal abanlı sinir ağları ile Box-Jenkins modellerinin birleşirildiği bir çalışmada Wedding ve Cios arafından yapılmışır(wedding ve Cios, 996: 49). Diğer bir çalışmada ise, mevsimsel eki içeren iki farklı zaman serisinin ahmini için, mevsimsel ARIMA (SARIMA) ve YSA modelleri birlike kullanılmışır(tseng vd., 2002: 7). Tseng vd. her iki veri sei için de melez modelin ahmin performansının diğer modellerden daha iyi olduğunu gösermişlerdir. Benzer şekilde Hansen ve Nelson da yapıkları çalışmada melez modelin ek yönem kullanılarak oluşurulan modellerden daha iyi sonuç verdiğini belirmişlerdir(hansen ve Nelson, 2003: 35). ARIMA ve yapay sinir ağlarının birleşirilerek kullanıldığı melez modellerin yanında, ahmin performansını arırmak için farklı yapay sinir ağlarının birleşirilerek kullanıldığı bir çok çalışmada mevcuur(pelikan vd.,992:70; Donaldson ve Kamsra, 996: 49; Ginzburg ve Horn, 994: 224). Bu çalışmada ise ARIMA, MLP ve melez model kullanılarak TEFE (Topan Eşya Fiya Endeksi) verileri üzerinde bir uygulama gerçekleşirilmiş ve elde edilen sonuçları karşılaşırılmışır. II. Yönem A. ARIMA Modelleri ARIMA modelleri, durağan olmayan ancak fark alma işlemiyle durağan hale dönüşürülmüş serilere uygulanan modellerdir. Durağan olmayan ancak fark alma işlemiyle durağan hale dönüşürülmüş serilere uygulanan modellere durağan olmayan doğrusal sokasik modeller denir. Bu modeller d dereceden farkı alınmış serilere uygulanan, değişkenin -dönemindeki değerinin belirli sayıdaki geri dönem değerleri ile aynı dönemdeki haa eriminin doğrusal bir fonksiyonu olarak ifade edildiği AR ve değişkenin -dönemindeki değerinin aynı dönemdeki haa erimi ve belirli sayıda geri dönem haa erimlerinin

Aaürk Üniversiesi İkisadi ve İdari Bilimler Dergisi, Cil: 23, Sayı: 3, 2009 43 doğrusal fonksiyonu olarak ifade edildiği MA modellerinin birer birleşimidir. Modellerin genel göserimi ARIMA (p, d, q) şeklindedir. Burada p ve q sırasıyla ooregresif(ar) modelin ve harekeli oralama(ma) modelinin derecesi, d ise fark alma derecesidir. Genel ARIMA(p,d,q) modeli aşağıdaki gibi formüle edilir. Z = Φ... Z + Φ 2 Z 2 +... + Φ p Z p + δ + a Θ a Θ 2a 2 Θ q a q () Eşilike; Z, Z -,, Z -p d dereceden farkı alınmış gözlem değerlerini, Ф, Ф 2,.. Ф p d dereceden farkı alınmış gözlem değerleri için kasayıları, δ sabi değeri, a, a -,,a -q haa erimlerini ve Θ, Θ 2,, Θ q haa erimleri ile ilgili kasayıları gösermekedir. B. Çok Kamanlı İleri Beslemeli Yapay Sinir Ağları (MLP) Yapay sinir ağları, biyolojik sinir ağlarından esinlenilerek oraya çıkarılan ve biyolojik sinir ağlarına benzer bazı performans özellikleri içeren bir bilgi işleme sisemidir(fause,994: 3). YSA da nöron adı verilen bir dizi sinir hücresinin ileri sürümlü ve geri beslemeli bağlanı şekilleri ile birbirine bağlanmasından oluşan çok çeşili ağ yapıları ve modelleri vardır. Bunlar içerisinde en yaygın olarak kullanılanı MLP ağlarıdır. X v 0 j Eşik Degeri Z w 0 k Eşik Degeri Y X 2 Y 2.. X n vij.. Z 2 w jk Y m Giriş Kamanı i=..n Z P Gizli Kaman j=..p Çıkış Kamanı k=..m Şekil : Çok Kamanlı İleri Beslemeli Yapay Sinir Ağı MLP ağlarında nöronlar kamanlar şeklinde organize edilmişir. MLP de ilk kaman girdi kamanıdır. Girdi kamanı, çözülmesi isenilen probleme ilişkin bilgilerin YSA ya alınmasını sağlar. Diğer kaman ise ağ içerisinde işlenen bilginin dışarıya ileildiği çıkı kamanıdır. Girdi ve çıkı kamanlarının arasında yer alan kamana ise gizli kaman adı verilir. MLP ağlarında birden fazla gizli kaman da bulunabilir. Şekil, ipik bir MLP ağının yapısını gösermekedir.

44 Sülayman YÜKÇÜ, Seçkin GÖNEN Teknik olarak, bir YSA nın en emel görevi, örnek veri seindeki yapıyı öğrenerek, isenilen görevi yerine geirecek şekilde genelleşirmeler yapmasıdır. Bunun yapılabilmesi için ağ, ilgili olayın örnekleri ile eğiilerek genelleme yapılabilecek yeeneğe kavuşurulur(özemel, 2003: 30). MLP ağlarının zaman serisi ahmininde kullanılabilmesi için ağın yapısının belirlenmesi gerekmekedir. Ağ yapısının belirlenme süreci, ağın kaç kamandan oluşacağının, her kamanda kaç işlem elemanı bulunacağının, bu işlem elemanlarının hangi ransfer fonksiyonuna sahip olacağının belirlenmesi işlemlerini kapsar. Kaç dönemlik ahmin yapılacağına bağlı olarak çıkış nöron sayısı belirlenir. Girişe kullanılacak nöron sayısını belirlemek çıkış nöron sayısını belirlemek kadar kolay değildir, çünkü serinin zamandaki değerinin geçmiş kaç gözlem değerinden ekilendiğinin belirlenmesi kriik bir sorudur ve bu sorunun cevabı girdi işlem elemanı sayısının kaç olacağını gösermekedir. Girdi işlem elemanı sayısını belirlenmesine ilişkin çeşili görüşler olmasına karşın genel bir kural bulunmamakadır. Zaman serisi modellemede genellikle ek gizli kamana sahip ağ yapıları kullanılmakadır. Çıkış değeri ( y ) ile geçmiş N gözlem değerlerinden oluşan girişler( y, y 2,... y N ) arasındaki ilişki eşilik 2 de verilmişir. p N y = wo + w j f v0 j + vij y i + e (2) j= i= Eşilike; w j, vij nöronlar arasındaki ağırlık değerlerini, p gizli nöron sayısını, f ise gizli kamanda kullanılan doğrusal olmayan akivasyon fonksiyonunu gösermekedir. En çok kullanılan akivasyon fonksiyonları sigmoid(3) ve hiperbolik anjan(4) fonksiyonlarıdır. f ( x) = (3) x + e x x e e f ( x) = (4) x x e + e C. Melez Model Birçok zaman serisi doğrusal ilişkinin yanında doğrusal olmayan ilişkilerde içermekedir. ARIMA modelleri zaman serisindeki doğrusal ilişkiyi iyi bir şekilde modellerken, doğrusal olmayan ilişkileri modellemede yeersiz kalmakadır. Yapay sinir ağları ise hem doğrusal hem de doğrusal olmayan ilişkileri modelleyebilmesine karşın, her veri sei için aynı ekinlike sonuçlar sağlayamamakadır. Melez modeller zaman serilerindeki doğrusal ve doğrusal olmayan bileşenlerin ayrı ayrı modellenmesi prensibine dayanır. Bir zaman serisi eşilik 5 de göserildiği gibi doğrusal ve doğrusal olmayan bileşenlerin oplamı şeklinde ifade edilebilir.

Aaürk Üniversiesi İkisadi ve İdari Bilimler Dergisi, Cil: 23, Sayı: 3, 2009 45 y = L + N (5) L zaman serisinin doğrusal bileşenini göserirken, N ise doğrusal olmayan bileşeni gösermekedir. Melez yaklaşımda ilk olarak zaman serisinin doğrusal bileşeni L ARIMA modeli kullanılarak ahmin edilir. Daha sonra gözlenen değerlerden ARIMA modeliyle elde edilen ahmin değerleri çıkarılarak eşilik 6 da göserildiği gibi kalınılar hesaplanır. e = y Lˆ (6) Lˆ, zamanı için ARIMA modelinden elde edilen ahmin değeridir. Tüm doğrusal bileşenlerin ARIMA arafından modellendiği varsayımı alında, kalınılar zaman serisinin doğrusal ilişki içermeyen bölümünü olarak kabul edilir. Modelin ikinci aşamasında doğrusal olmayan ilişkileri içeren kalınılar uygun yapay sinir ağı modeli kullanılarak ahmin edilir. ARIMA ve YSA modelleri kullanılarak bulunan ahminler birleşirilerek melez modelin ahminleri eşilik 7 yardımıyla elde edilir yˆ = Lˆ + Nˆ (7) III. Uygulama ve Sonuçlar Çalışmada kullanılan veriler, T.C. Merkez Bankasının elekronik veri dağıım siseminden alınan ve İsanbul Ticare Odası nın(ito) hazırladığı Ocak 999 ile Mayıs 2008 arihleri arasındaki aylık Topan Eşya Fiya Endeksi(TEFE) serisidir. Farklı yönemlerin ahmin performanslarını karşılaşırmak için veri seinin son 4 gözlemi es verisi olarak kullanılmışır. Ayrıca ilk 80 veri MLP ağları ileri oluşurulan modellerin eğiimi için, sonraki 9 veri ise ağların eğiimi sırasında oluşabilecek ezberleme problemine karşın doğrulama verisi olarak ayrılmışır. Veriler düzenlendiken sonra ARIMA, MLP ve Melez modelleri kurularak es verileri ahmin edilmişir. Tahmin sonuçlarından harekele Melez model diğer iki modelle karşılaşırılmışır. Çalışmamızda iki farklı yönem için MLP modelleri oluşurulmuşur. İlk yönem için oluşurulan modeller orijinal zaman serisini ahmin emek amacıyla, diğer yönem için oluşurulan modeller ise ARIMA modelinden elde edilen kalınıları ahmin emek için kullanılmışır. Çalışma kapsamında oluşurulan üm MLP modelleri ade gizli kamandan oluşan 3 kamanlı bir mimariye sahipir. Malab oramında gerçekleşirilen bir yazılımla, giriş ve gizli kamandaki nöron sayıları değişirilerek 200 farklı yapay sinir ağı modeli elde edilmişir.

46 Sülayman YÜKÇÜ, Seçkin GÖNEN Zaman serisinin YSA kullanılarak ahmin edildiği yönemde, veriler ağın yapısına uygun hale geirilerek; gerekli giriş ve çıkış vekörleri oluşurulmuş, elde edilen bu vekörler ağa sunularak ağın öğrenme işlemi gerçekleşirilmişir. Kurulan üm YSA modelleri içerisinde es verileri için en küçük haa kareleri oralaması(mse) ve oralama mulak yüzde haa (MAPE) değerini veren MLP modeli seçilmişir. Sonuça giriş nöron sayısı 3, gizli nöron sayısı 5 olan MLP modeli en uygun model olarak belirlenmişir. 3x5x MLP ağının ahmin değerleri ile serinin gözlenen değerleri Şekil 2 de verilmişir. Şekil 2: MLP Modeli Tahminleri ve Gözlenen Değerler ARIMA modelinin oluşurulması için durağan olmayan veri sei fark alma yönemiyle durağan hale geirilmiş, AR ve MA erimlerinin belirlenmesi için kısmi-ookorelasyon ve ookorelasyon fonksiyonları kullanılmışır. Oluşurulan modeller içerisinden MSE ve MAPE krierleri kullanılarak yapılan karşılaşırma sonucunda veri seine en uygun olan modelin ARIMA(0,,) modeli olduğu belirlenmiş ve zaman serisinin ahmini için kullanılmışır. Elde edilen sonuçlar Şekil 3 de verilmişir.

Aaürk Üniversiesi İkisadi ve İdari Bilimler Dergisi, Cil: 23, Sayı: 3, 2009 47 Şekil 3: ARIMA Modeli Tahminleri ve Gözlenen Değerler ARIMA modelinin ahmin değerleri gözlenen değerlerinden çıkarılarak kalınılar hesaplanmış ve bu değerler melez yönemde yer alan YSA modeli için kullanılmışır. Kalınıların ahmininde giriş nöron sayısı 8, gizli nöron sayısı 5 olan MLP modeli kullanılmışır Sonuça YSA nın üreiği kalını ahminleri ARIMA(0,,) modelinin ahminleriyle oplanarak Melez modelin ahminleri hesaplanmış ve Şekil 4 de göserilmişir. Şekil 4: Melez Model Tahminleri ve Gözlenen Değerler

48 Sülayman YÜKÇÜ, Seçkin GÖNEN Uygulama sonuçları Tablo de verilmişir. Tablo incelendiğinde MLP, ARIMA ve Melez modellerlinin MSE değerleri sırasıyla 333443593,42, 276874340368,45 ve 90335944395,79 olarak hesaplanmışır. MSE değerleri dikkae alındığında Melez modelin daha iyi sonuç verdiği görülmekedir. MAPE değerlerine bakıldığında ise MLP için 0,93884, ARIMA için 0,7572957 ve Melez model içinse 0,6279367 olduğu görülmekedir. Benzer şekilde MAPE değerleri açısından yapılan kıyaslamada da Melez modelin diğer iki modele göre daha iyi sonuçlar verdiği gözlemlenmişir. Tablo : TEFE Verilerine İlişkin Tahmin ve Gözlenen Değerler Gözlenen MLP ARIMA(0,,) Melez 4902039.30 49353965.42 49408593.00 49464020.02 4908722.0 4880397.62 49239094.00 4948536.40 4862697.60 49242946.30 4944042.00 4903773.88 497974.50 48935427.57 486089.00 4908579.45 5007373.40 50365243.05 49939064.00 49978362.06 50484947.00 505583.3 50502322.00 50533592.46 50903640.30 5025097.72 5095078.00 50737453.67 5394780.60 594.54 533773.00 5837336.70 533367.30 5836608.8 5867869.00 546029.92 5793779.00 5575649.6 5466920.00 580777.08 52307337.0 5293557.59 524222.00 52234924.2 5369490.70 52857790.88 52682234.00 52754638.74 55779782.00 54583363.08 5470978.00 5490955.08 56462966.80 55992922.58 56832873.00 56938644.88 MSE 333443593.42 276874340368.45 90335944395.79 MAPE 0.93884 0.7572957 0.6279367 MSE değerleri dikkae alındığında melez model ARIMA modeli ile yapılan ahminlere göre %45 lik, MLP modeli ile yapılan ahminlere göre de %63 lük bir performans arışı sağlamışır. Aynı şekilde MAPE krieri açısından Melez modelden, ARIMA modeline göre %2, MLP modeline göre %50 daha iyi ahmin sonuçları elde edilmişir. Lieraürdeki çalışmalar zaman serilerini ek bir yönemle ahmin emek yerine, veri seindeki farklı fonksiyonel ilişkileri modelleyebilen birden fazla yönemi birleşirerek ahminler yapmanın daha ekin sonuçlar verdiğini

Aaürk Üniversiesi İkisadi ve İdari Bilimler Dergisi, Cil: 23, Sayı: 3, 2009 49 gösermekedir. Çalışmamız sonucunda elde edilen bulgular da bunu doğrular nielikedir. Kaynaklar Wedding D.K. ve Cios K.J. (996), Time series forecasing by combining RBF neworks, cerainy facors, and he Box Jenkins model, Neurocompuing, 0, ss.49 68. Donaldson, R.G. ve Kamsra, M. (996), Forecasing combining wih neural neworks, Journal of Forecasing, 5, ss.49 6. Pelikan, E., Groo, C. ve Wurz, D. (992) Power consumpion in Wes- Bohemia: improved forecass wih decorrelaing connecionis Neworks, Neural Nework World, 2, ss.70 72. Tseng,F.-M.,Yu, H.-C. ve Tzeng, G.-H. (2002),"Combining neural nework model wih seasonal ime series ARIMA model", Technological Forecasing and Social Change, 69, ss.7-87. Fause, L. (994), Fundamenals of Neural Neworks: Archiecures, Algorihms and Applicaions, Prenice Hall. Hansen, J. ve Nelson, R. (2003), Time-series analysis wih neural Neworks and ARIMA-neural nework hybrids, Journal of Experimenal and Theoreical Arificial Inelligence, 5(3), ss.35 330. Hipper, H.S., Pedreira, C.E. ve Souza, R.C. (200), Neural neworks for shorerm load forecasing: a review and evaluaion, IEEE Transacions on Power Sysem, 6, ss.44 55. Ginzburg, I. ve Horn, D. (994), Combined neural neworks for ime series analysis, Adv. Neural Inf. Process.Sysems, 6, ss.224 23. Özemel, Ercan (2003), Yapay Sinir Ağları, Papaya Yayıncılık, İsanbul. Zhang G. P. (2003), Time series forecasing using a hybrid ARIMA and neural nework model, Neurocompuing, 50, ss.59-75. Zhang, G., Pauwo, B. E. ve Hu, M. Y. (998) Forecasing wih arificial neural neworks: he sae of he ar, Inernaional Journal of Forecasing, 4, ss.35-62.