LINZ-SPROTT 1999 KAOTİK SİSTEMİNİN YAPAY SİNİR AĞLARI İLE MODELLENMESİNDE FARKLI EĞİTİM FONKSİYONLARININ MODELLEME PERFORMANSINA ETKİSİ Murat Alçın 1, İsmail Koyuncu 2, İhsan Pehlivan 3 Özet Bu çalışma, Linz-Sprott 1999 Kaotik Sistemi nin (LS99KS) Çok Katmanlı Algılayıcılar (ÇKA) kullanılarak modellenmesinde farklı eğitim fonksiyonlarının modelleme performansına etkisini sunmaktadır. Tasarlanan ağ modellerinin yapısında, giriş katmanı için 3 giriş ve çıkış katmanı için 3 çıkış bulunmaktadır. Gizli katmanda 10 nöron bulunmaktadır ve her bir nöron yapısında Tan-Sigmoid transfer fonksiyonu yer almaktadır. 3x10x3 ağ yapısı MATLAB ile oluşturulmuştur. Ağ modeli için girişler LS99KS nin durum değişkenlerini, çıkışlar ise LS99KS nin çıkışlarını göstermekle birlikte aynı zamanda durum değişkenlerinin bir sonraki durumunu ifade etmektedir. LS99KS yi tanımlayan denklemlerin nümerik çözümü için, diferansiyel denklemlerin çözüm metotları arasında daha hassas sonuçlar üreten Runge Kutta 5 Butcher (RK-5-B) algoritması kullanılmıştır. Modellenen ağ yapıları için, farklı eğitim fonksiyonları kullanılmış ve performans analizleri yapılmıştır. Anahtar Kelimeler: Yapay sinir ağları, kaotik sistem, modelleme, eğitim fonksiyonları. THE PERFORMANCE EFFECT OF DIFFERENT TRAINING FUNCTIONS ON LINZ-SPROTT 1999 CHAOTIC SYSTEM MODELED USING ARTIFICIAL NEURAL NETWORKS Abstract This paper presents the effect of different training functions on Linz-Sprott 1999 Chaotic System (LS99CS) modeled using Multi Layer Perceptrons (MLP). For the designed network structure, there are 3 inputs for input layer and 3 outputs for output layer. Hidden layer has 10 neurons, each of them has Tan-Sigmoid transfer functions. 3x10x3 network structure has been created using MATLAB. For the network model, the inputs represent the state variables of LS99CS, outputs represent not only the outputs of LS99CS but also the iterative version of state variables. For the numerical solution of equations which describes LS99CS, Runge Kutta 5 Butcher (RK-5-B) algorithm which gives more accurate results, has been employed among the other solution methods. For the modeled network structures, different training functions have been used and performance analyses have been performed. Key words: Artificial neural network, chaotic system, modeling, training functions. 1 Araş. Gör., Anadolu Üniversitesi, muratalcin@anadolu.edu.tr 2 Öğr. Gör. Dr., Düzce Üniversitesi, ismailkoyuncu@duzce.edu.tr 3 Doç. Dr., Sakarya Üniversitesi, ipehlivan@sakarya.edu.tr
Giriş Kaotik sistemler, başlangıç koşullarına karşı oldukça hassas davranışlar sergileyen kompleks sistemlerdir. Bu sistemler zaman boyutunda düzensiz, gürültü benzeri davranış, aperiyodik salınım ile karakterize edilirler. Diğer özelliklerinden farklı olarak sistem parametrelerine ve başlangıç şartlarına hassasiyet en önemli olanlardır (Molaie vd. 2014). Kaotik sistemlerin uzun dönemli davranışlarının doğru bir şekilde tahmin edilebilmesi için, başlangıç koşullarının tümüyle ve hassasiyetle bilinmesi gerekmektedir. Kaotik sistemlerin modellenmesi amacıyla var olan çalışmaların performansları bu sistemlerin yoğun karmaşıklığa sahip olması nedeniyle, yeterli düzeyde değildir. Bu sebeple, son yıllarda bu konu ile ilgili çalışmalar yapılmakta ve bu sistemlerin tatmin edici düzeyde bir başarı ile modellenmesi önem arzetmektedir (Archana vd. 2011). Yapay Sinir Ağları (YSA), kompleks problemlerin çözümü için kontrol, görüntü işleme, medikal teşhis ve modelleme gibi bir çok alanda yaygın ve başarılı bir şekilde kullanılmaktadır (Cavuslu vd. 2012; Narendra vd. 1990; Farrugia vd 1993 Cavuslu vd 2008). Kaotik sistemlerin aperiyodik, gürültü benzeri davranış göstermekle bilinmeleri göz önünde bulundurulduğunda YSA, gürültülü verilerin üstesinden gelme yeteneği, hata toleransı, karmaşık nonlineer ilişkilerin eşleştirilmesi gibi bir çok sayıda avantajı sunarlar (Chatzidakis vd. 2014). Sunulan bu avantajlar, kaotik sistemlerin YSA ile modellenebilmesinde uygun bir zemin hazırlar. Bu çalışmada Linz-Sprott 1999 Kaotik Sistemi nin (LS99KS) Çok Katmanlı Algılayıcılar (ÇKA) kullanılarak modellenmesinde farklı eğitim fonksiyonlarının modelleme performansına etkisi üzerine analiz çalışmaları sunulmuştur (Linz vd. 1999). Kaotik sistemin nümerik çözümü için, diferansiyel denklemlerin çözüm metotlarından biri olan Runge Kutta 5 Butcher (RK-5-B) algoritması kullanılmıştır (Tsitouras, 2011). Modellenen ağ yapıları için, farklı eğitim fonksiyonları kullanılmış ve bu fonksiyonlar için performans analizleri yapılmıştır. Linz-Sprott 1999 Kaotik Sistemi Linz ve Sprott un 1999 yılında tanıttığı doğrusal olmayan denklem sistemi aşağıda sunulmuştur. x y y z (1) z a. z y x 1 a = 0.6 parametresi ve başlangıç şartları için sistem kaotik davranış sergiler. Elde edilen kaotik çekiciler şekil 1 de verilmiştir (Linz vd. 1999). 146
(a) (b) Şekil 1: Linz-Sprott Kaotik Sisteminin a) x-y, b) y-z, ve c) x-z kaotik çekicileri. (c) Çok Katmanlı Algılayıcılar YSA, bir sistemin giriş ve çıkışı arasındaki nonlineer kompleks korelasyonu başarılı bir şekilde modelleyebilir. En sık kullanılan ANN, Çok Katmanlı Algılayıcı (ÇKA) dır. ANN, modellenecek sistemin giriş-çıkış ilişkisi ile uyumlu bir veri seti kullanılarak eğitilir (Tripathy vd. 2013; Haykin, 1999).Şekil 2 de Tek Gizli Katmanlı bir Çok Katmanlı Algılayıcı (ÇKA) nın mimari grafiği sunulmaktadır. Giriş Sinyaller i Çıkış Sinyaller i Giriş Katmanı Gizli Katman Çıkış Katmanı Şekil 2: Tek Gizli Katmanlı bir Çok Katmanlı Algılayıcı (ÇKA) nın mimari grafiği 147
Şekilde de görüldüğü gibi ağ tümüyle bağlantılıdır. Bir başka deyişle, ağın herhangi bir katmanındaki bir nöron önceki katmandaki tüm nöronlar ile bağlantılıdır. Ağdaki sinyal akışı soldan sağa ileri yönlüdür (Ortigosa vd. 2006). Ağın eğitim aşamasında verilen bir problem için hangi eğitim fonksiyonunun daha hızlı sonuç vereceği ve modelleme için gerçek değerlere daha yakın olacağını bilmek zordur. Bu, problemin karmaşıklığı, eğitim setindeki veri sayısı, ağdaki ağırlık ve eşik sayısı ve hata hedefini içeren birçok faktöre bağlıdır (Chandra, 2015). MATLAB Neural Network Toolbox ta yer alan eğitim fonsiyonları şunlardır: Tablo 1: MATLAB Neural Network Toolbox ta yer alan eğitim fonsiyonları Kısaltma Fonksiyon Tanım BR Trainbr Bayesian regularization backpropagation CGB Traincgb Conjugate Gradient with Powell/Beale Restarts CGF Traincgf Fletcher-Powell Conjugate Gradient CGP Traincgp Polak-Ribiére Conjugate Gradient GD Traincgd Gradient descent backpropagation GDA Traingda Gradientdescent with adaptive learning rate backpropagation GDM Traingdm Gradient descent with momentum backpropagation GDX Traingdx Variable Learning Rate Backpropagation LM Trainlm Levenberg-Marquardt OSS Trainoss One Step Secant RP Trainrp Resilient Backpropagation SCG Trainscg Scaled Conjugate Gradient Yöntem Linz-Sprott 1999 Kaotik Sistemi, Tablo 1 de gösterilen ÇKA ile ağ modeli oluşturulmuştur. Tablo 2: Model Parametreleri Parametre Açıklama Katman Sayısı 3 Giriş: 3 Katmanlardaki Nöron Sayıları Gizli:10 Çıkış:3 Başlangıç ağırlıkları ve eşik değerleri Rasgele Transfer Fonksiyonu Gizli:Tan-Sigmoid Çıkış:Lineer Performans Fonksiyonu Mean Square Error (mse) Örnek Veri Sayısı 6000 İterasyon Sayısı 5000 Hata hedefi 1e-15 Oluşturulan bu model için sırasıyla BR, CGB, CGF, CGP, GD, GDA, GDM, GDX, LM, OSS, RP, SCG eğitim fonksiyonlarını içeren ve şekil 3 te gösterilen ağ modeli için ayrı ayrı eğitimi gerçekleştirilmiştir. 148
Ortalama Karesel Hata (Mean Square Error, mse), ÇKA nın modelleme performansını ölçmek için kullanılmıştır (Chandra, 2015). Şekil 3: MATLAB ile oluşturulan ağ modeli Bulgular Değişik eğitim fonksiyonlarının, aynı ağ modeli üzerinde performans analizleri yapılmıştır. Tablo 2 eğitim fonksiyonlarına ait hata miktarını sunmaktadır. Tablo 2: Eğitim fonksiyonlarına ait hata değerleri Eğitim Fonksiyonu Hata (mse) Eğitim Fonksiyonu Hata (mse) Trainbr 7.8e-09 Traingdm 1.8e-02 Traincgb 1.6e-05 Traingdx 4.3e-04 Traincgf 5.6e-05 Trainlm 5.6e-09 Traincgp 3.7e-05 Trainoss 1.2e-05 Traincgd 1e-02 Trainrp 7.2e-05 Traingda 1.8e-03 Trainscg 9.6e-06 Sonuçlar ve Öneriler Bu çalışmada, Linz-Sprott 1999 Kaotik Sistemi nin (LS99KS) Çok Katmanlı Algılayıcılar (ÇKA) kullanılarak modellenmesinde farklı eğitim fonksiyonlarının modelleme performansına etkisi üzerine analiz çalışmaları yapılmıştır. Yapılan analizler neticesinde, Trainbr ve Trainlm fonksiyonlarının 10-9 mertebesinde diğerlerine göre daha düşük bir hata ile ağ eğitim performansına etki ettiği görülmüştür. Sonuç olarak yapılan bu çalışma, bir kaotik sistemin modellenmesinde, ağ eğitim performansına eğitim fonksiyonlarının etkisi üzerine somut sonuçlar vermektedir. Güvenilir haberleşme için kullanılan kaotik sistemlerin, YSA ile modellenmesi durumunda gerekli hassas sonuçların üretilmesi açısından önem taşımaktadır. Kaynakça Archana, R., Unnikrishnan, A., Gopikakumari, R., and Rajesh, M.V. (2011). An Intelligent Computational Algorithm based on Neural Networks for the Identification of Chaotic systems. IEEE. Cavuslu, M.A., Karakuzu, C., ve Karakaya, F. (2012). Neural identification of dynamic systems on FPGA with improved PSO learning. Applied Soft Computing 12, 2707 2718. Cavuslu, M,A., Karakaya, F., ve Altun, H. (2008). ÇKA Tipi Yapay Sinir Ağı Kullanılarak Plaka Yeri Tespitinin FPGA da Donanımsal Gerçeklenmesi. In: Proceedings of Akıllı Sistemlerde Yenilikler ve Uygulamalar Sempozyumu 2008 (ASYU 2008) Isparta, Turkey (in Turkish). 149
Chandra, R. (2015). Competition and Collaboration in Cooperative Coevolution of Elman Recurrent Neural Networks for Time-Series Prediction. IEEE Transactıons On Neural Networks And Learnıng Systems. Chatzidakis, S., Forsberg, P., and Tsoukalas, L.H. (2014). Chaotic Neural Networks for Intelligent Signal Encryption. The 5th International Conference on Information, Intelligence, Systems and Applications, IISA 2014, IEEE, 100 105. Farrugia, S., Yee, H., and Nickolls, P. (1993). Implantable cardioverter defibrillator electrogram recognition with a multiplayer perceptron. PACE: Pacing Clin Electrophysiol 16(1):228 234. Haykin, S. (1999). Neural Networks A Comprehensive Foundation. Prentice Hall. Linz, S.J., and Sprott, J.C. (1999). Elementary chaotic flow. Physics Letters, A 259, 240 245. Molaie, M., Falahian, R., Gharibzadeh, S., Jafari, S., and Sprott, J.C. (2014). Artificial neural networks: powerful tools for modeling chaotic behavior in the nervous system. Frontiers in Computational Neuroscience, Volume8, Article 40. Narendra K.S., and Parthasaraty, K. (1990). Identification and control of dynamical systems using neural networks. IEEE Trans. Neural Networks 1(1):4 27. Ortigosa, E.M., Canas, A., Ros, E., Ortigosa, P.M., Mota, S., and Diaz, J. (2006). Hardware description of multi-layer perceptrons with different abstraction levels. Microprocessors and Microsystems 30, 435 444. Tripathy, E.J.R., Tripathy, H.K., and Nayak, M. (2013). FPGA Implementation of a Fully and Partially Connected MLP-A Dedicated Approach. IJCSI International Journal of Computer Science Issues, Vol. 10, Issue 2, No 3. Tsitouras, C. (2011). Runge Kutta pairs of order 5(4) satisfying only the first column simplifying assumption. Computers and Mathematics with Applications 62, 770 775. 150