Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı. Mehmet Ali Çavuşlu

Transkript

1 Geriye Yayılım ve Levenberg Marquardt Algoritmalarının YSA Eğitimlerindeki Başarımlarının Dinamik Sistemler Üzerindeki Başarımı Mehmet Ali Çavuşlu Özet Yapay sinir ağlarının eğitiminde genellikle geriye yayılım algoritması tercih edilmektedir. Son zamanlarda geriye yayılım algoritmasının dezavantajlarından dolayı LM algoritması da tercih edilmektedir. Bu çalışmada dinamik sistem öğrenemsinde geriye yayılım ve LM algoritmalarının başarımları karşılaştırılmıştır. LM algoritması geriye yayılım algoritmasına göre daha maliyetli olmasına rağmen ağ eğitiminde ve eğitim hızında üstünlük kurmuştur.. Giriş Son zamanlarda yapay sinir ağları(ysa) kontrol[], görüntü işleme[2-3], modelleme[4] gibi uygulama alanlarında başarıyla kullanılmıştır. Bu ağlarda, giriş çıkış eşleşmesine uygun veri setine ile modelleyebilmek için genellikle geriye yayılım algoritması tercih edilmektedir[5]. Birinci dereceden türev bilgisi gerektiren bu algoritma, düşük eğitim verimi[5] ve kötü yakınsama hızı gibi dezavantajlara sahiptir[6]. Dinamik öğrenme oranı ile geriye yayılım algoritmasının hızını, momentum da yakınsama hızını artırabilir[5,7]. Buna ek özelliklere rağmen geriye yayılım algoritması pratik uygulamalar için maliyetlidir[5]. Newton, Levenberg&Marquardt(LM) gibi ikinci dereceden türev gerektiren algoritmalar öğrenme hızını belirgin bir şekilde artırmaktadır[5]. Newton algoritması hızı ve steepest descent metodonun kararlılığını birleştiren LM algoritması[6] gümümüzde ağ eğitiminde etkili olarak kullanılmaktadır[8-9]. Bu çalışmada dinamik sistemlerin modellenmesinde geriye yayılım ve LM algoritmalarının başarımları test edilmiştir. Algoritma başarımları eğitim datalarıyla birlikte test dataları üzerinde de test edilmiştir. 2. Yapay Sinir Ağlarının Eğitilmesi Yapay Sinir Ağları, öğrenme sürecinden sonra bilgiyi toplama, hücreler arasındaki bağlantı ağırlıkları ile bu bilgiyi saklama ve genelleme yeteneğine sahip paralel dağıtık bir işlemcidir. Öğrenme süreci, arzu edilen amaca ulaşmak için YSA ağırlıklarının yenilenmesini sağlayan öğrenme algoritmalarını ihtiva eder. Öğrenme algoritmaları öğrenme denen olguyu matematiğin kuralları ile ölçülebilir büyüklüklere dönüştürerek başarım ölçütünün oluşturulmasına ve bu ölçütün zaman içerisinde artırılmasını sağlayacak parametre değişikliklerinin hesaplanmasına dayanır. Öğrenme algoritmaları YSA çıkışında elde edilen hata bilgisini kullanarak parametre değişikliklerini belirlerler. Denklem ()'da YSA çıkışında elde edilen hata değeri gösterilmektedir. Denklem ()'da d ağ eğitimi esnasında giriş olarak verilen data setine k ilişkin k. çıkış hücresine ait beklenen değerini göstermektedir. e k ise giriş data setine ilişkin k. çıkış hücresinde oluşan hata değerini göstermektedir. ek dk yk ()

2 2. Geriye Yayılım Algoritması Geriye Yayılım algoritması, ağa gösterilen o anki data setinden elde edilen hata değerini kullanarak eğim düşüm bilgisini hesaplayarak parametre güncelleme işlemini yapmaktadır (Şekil ). Denklem (2)'de ağa eğitimi esnasında giriş olarak verilen data setine ilişkin ağ çıkışında elde edilen hataların karelerinin toplamı ile elde edilen maliyet fonksiyonunun ( E ) en küçük değeri aldığı noktanın Denklem (3) ile verilen kural ile iteratif olarak bulunabilmesine dayalıdır. Denklem (3)'de J Jacobian matrisini, ise güncellenecek ağ parametresini göstermektedir. n 2 E ek 2 k (2) E J e (3) Şekil. Eğim düşümü grafik gösterimi Çok Katmanlı Algılayıcı için ağ paramtere güncelleme işlemi Şekil 2'de gösterilmiştir.

3 Şekil 2. Geriye Yayılım Algoritması ile ÇKA parametre güncelleme blok diyagramı Şekil (2)'de gösterilen v değerleri Denklem (4)'deki gibi bulunur. katmanındaki eşik parametrelerinin güncelleme değeri Denklem (5)'deki gibi bulunur. Gizli katmanda bulunan hücrelerin çıkış değerlerine ait ağırlıklandırma parametrelerinin güncelleme değeri Denklem (6)'daki gibi bulunur. Şekil (2)'de gösterilen z değerleri Denklem (7)'daki gibi bulunur. Gizli katmanındaki eşik parametrelerinin güncelleme değeri Denklem (8)'deki gibi bulunur. Girişlere ait ağırlıklandırma parametrelerinin güncelleme değeri Denklem (9)'deki gibi bulunur. ' k k k v e. ; k,, n (4) 2 b v k n (5) ;,, k k 2 s v ; k,, n; i,, q (6) ik i k n ' 2 i k kik k i i z. v ; i,, q (7) b z ; i,, q (8) x z ; i,, q; k,, m (9) ki k i 2.2 Levenberg & Marquardt Algoritması Steepest descent ve Newton algoritmalarından türetilerek, LM algoritması güncellemesi Denklem () da verilmiştir. Denklem ()'da ω ağırlık vektörü, I birim matris, kombinasyon katsayısıdır. J, P n, N boyutunda Jacobian matrisini, e P n, boyutunda hata vektörünü göstermektedir. P, eğitim örnek sayısını, n çıkış sayısını ve N ağırlık sayısını göstermektedir.

4 ( T T ω J J I ) J e () Levenberg & Marquardt algortiması Geriye Yayılım algoritmasından farklı olarak parametre güncelleme işlemleri için tüm giriş örnek değerleri için oluşturduğu hata vektörünü ve Jacobian matrisini kullanarak yapmaktadır. Denklem ()'de Jacobian matrisini elde edilmesi gösterilmektedir. Jacobian matrisi parametrelerinin oluşumu ise Şekil (3)'de gösterilmiştir. vektörü ise Denklem (2)'deki gibi elde edilir. Şekil 3. Geriye Yayılım Algoritması ile ÇKA parametre güncelleme blok diyagram J e e e 2 N e n e n e n 2 N ep ep ep 2 N epn epn epn 2 N ()

5 e en e (2) e P e Pn Denklem ()'da ayarlanabilir bir parametredir (Denklem (3)). Eğer bu parametre çok büyükse yöntem steepest descent metodu gibi davranmaktadır. Eğer çok küçükse Newton metodu gibi davranmaktadır. t t k E( t) E( t ) t k E( t) E( t ) (3) 3. Sonuçlar Bu çalışmada LM ve geriye yayılım algoritmaları ile eğitilmiş çok katmanlı algılayıcıların başarımı 2 farklı dinamik sistem üzerinde denenmiştir. Dinamik sistem tanıma problemi sistemi temsil edecek olan parametrelerin uygun bir şekilde ayarlanması işlemidir. Bu ayarlama işlemi, tanınacak sistemin gerçek çıkışı ile tanıma için seçilen modelin çıkışı arasındaki hata üzerine kurulmuş başarım işlevinin en iyilemesi(optimizasyonu) ile gerçeklenir. : Bu örnek için Denklem. (4) de verilen sistem tanımlaması yapılmıştır. Sisteme giriş olarak Denklem (5)'de verilerek eğitim yapılmıştır. 2 y k 3 y k u k y k (4) Sistem tanıma için girişleri [ uk, 2 k cos, k, 2,, (5) u k yk ] olan, gizli katmanında 3 ve çıkış katmanında hücresi olan ileri beslemeli YSA kullanılmıştır. Gizli katman hücreleri için logaritmik sigmoidal seçilmiş, çıkış hücresi için lineer aktivasyon fonksiyonları kullanılmıştır. Şekil 4a LM algoritması kullanılarak eğitilen ağın dinamik sistem tanıma işlemine ait çıktıları göstermektedir. Şekil 4b dinamik sistem tanımanın hatalarını göstermektedir. Şekil 5a geriye yayılım algoritması kullanılarak eğitilen ağın dinamik sistem tanıma işlemine ait çıktıları göstermektedir. Şekil 5b dinamik sistem tanımanın hatalarını göstermektedir.

6 .5.5 Sistem ı Şekil 4 için LM algoritması kullanılarak eğitilen ağ için deneysel sonuçlar: a) Deneysel başarım b) Sistem tanıma hatası Sistem ı Şekil 5 için geriye yayılım algoritması kullanılarak eğitilen ağ için: a) Deneysel başarım b) Sistem tanıma hatası Denklem (5) de verilen giriş dizisine göre eğitilen YSA Denklem (6) teki giriş dizisi için test edilmiş ve elde edilen deneysel sonuçlar LM algoritması için Şekil 6 ve geriye yayılım algoritması için Şekil 7 de verilmiştir. 2 k sin, k, 2,, (6) u k

7 .5.5 Sistem ı Şekil için LM algoritması kullanılarak eğitilen ağın eğitimde kullanılmayan girişler için: a) Deneysel başarım b) Sistem tanıma hatası.5.5 Sistem ı Şekil için geriye yayılım algoritması kullanılarak eğitilen ağın eğitimde kullanılmayan girişler için: a) Deneysel başarım b) Sistem tanıma hatası Çizelge 'de geriye yayılım algoritması ve LM algoritmalarının eğitim ve test datalarından elde edilen ortalama karesel hata değerleri gösterilmektedir. Çizelge Eğitim ve test dataları için MSE değerleri Eğitim MSE Test MSE İterasyon LM BP : Bu örnek için Denklem. (7) de verilen sistem tanımlaması yapılmıştır. Sisteme giriş olarak Şekil 8'de oluşturulan rastgele oluşturulmuş giriş dizisi verilmiştir. (7).5uk.4 yk. y k.6 e

8 Sistem tanıma için girişleri [ uk, yk ] olan, gizli katmanında 3 ve çıkış katmanında hücresi olan ileri beslemeli YSA kullanılmıştır. Gizli katman hücreleri için logaritmik sigmoidal seçilmiş, çıkış hücresi için lineer aktivasyon fonksiyonları kullanılmıştır Giriş Şekil 8. 2 için eğitimde kullanılacak giriş dizisi Şekil 9a LM algoritması kullanılarak eğitilen ağın dinamik sistem tanıma işlemine ait çıktıları göstermektedir. Şekil 9b dinamik sistem tanımanın hatalarını göstermektedir. Şekil a geriye yayılım algoritması kullanılarak eğitilen ağın dinamik sistem tanıma işlemine ait çıktıları göstermektedir. Şekil b dinamik sistem tanımanın hatalarını göstermektedir Sistem ı Şekil 9 2 için LM algoritması kullanılarak eğitilen ağ için deneysel sonuçlar: a) Deneysel başarım b) Sistem tanıma hatası

9 Sistem ı Şekil 2 için geriye yayılım algoritması kullanılarak eğitilen ağ için: a) Deneysel başarım b) Sistem tanıma hatası Şeki (8) de verilen giriş dizisine göre eğitilen YSA Şekil () deki giriş dizisi için test edilmiş ve elde edilen deneysel sonuçlar LM algoritması için Şekil 2 ve geriye yayılım algoritması için Şekil 3 de verilmiştir Giriş Şekil. 2 için test işleminde kullanılacak giriş dizisi

10 Sistem ı Şekil 2 2 için LM algoritması kullanılarak eğitilen ağın eğitimde kullanılmayan girişler için: a) Deneysel başarım b) Sistem tanıma hatası Sistem ı Şekil 3 2 için geriye yayılım algoritması kullanılarak eğitilen ağın eğitimde kullanılmayan girişler için: a) Deneysel başarım b) Sistem tanıma hatası Çizelge 2 geriye yayılım algoritması ve LM algoritmalarının eğitim ve test datalarından elde edilen ortalama karesel hata değerleri gösterilmektedir. Çizelge 2 Eğitim ve test dataları için MSE değerleri Eğitim MSE Test MSE İterasyon LM BP Yorumlar

11 YSA'ların eğitim esnasında hız ve maliyet problemleri ön plana çıkmaktadır. Çalışma da elde edilen sonuçlara LM algoritmasının geriye yayılım algoritmasına göre daha maliyetli olduğunu göstermekte fakat daha başarılı sonuçlar verdiğini göstermektedir. Kaynaklar. Szabó, T., Fehér, B., Horváth, G., Neural network implementation using distributed arithmetic, in Proceedings of the International Conference on Knowledge-Based Electronic Systems, Adelaide, Australia, vol. 3, Pages. 5-52, Chau, K. W., A split-step PSO algorithm in predicting construction litigation outcome, Lecture Notes in Artificial Intelligence, Vol. 499, Pages.2-25, Kennedy, J., Eberhart, R. C., Particle swarm optimization, Proc. IEEE int'l conf. on neural networks, Vol. IV, IEEE service center, Piscataway, NJ, Pages , Guerra, F.A., Coelho, L. dos S., Multi-step ahead nonlinear identification of Lorenz s chaotic system using radial basis neural network with learning by clustering and particle swarm optimization, Chaos, Solitons & Fractals, Volume 35, Issue 5, Pages , March Wilamowski, B. M., Yu, H., Improved Computation for Levenberg Marquardt Training, IEEE Transactions on Neural Networks, vol. 2, no. 6, pp , 2 6. Wilamowski, B. M., Chen, Y.,"Efficient algorithm for training neural networks with one hidden layer," in Proceedings of the International Joint Conference on Neural Networks, vol. 3, pp , S. Ferrari and M. Jensenius, A constrained optimization approach to preserving prior knowledge during incremental training, IEEE Trans. Neural Netw., vol. 9, no. 6, pp , Jun Dohnal, J.: Using of Levenberg-Marquardt Method in Identification by Neural Networks. In Student EEICT 24. Student EEICT 24. Brno: Ing. Zdeněk Novotný CSc., 24, str , ISBN Khosravi.Z, M.H, Barghinia S., Ansarimehr, New Momentum Adjustment Technique for Levenberg- Marquardt Neural Network Used in Short Term Load Forecasting, 2st International Power System Conference (PSC 26), Tehran, Iran