GERİ-YAYILMALI ÖĞRENME ALGORİTMASINDAKİ ÖĞRENME PARAMETRELERİNİN GENETİK ALGORİTMA İLE BELİRLENMESİ

Transkript

1 SDU International Technologic Science Vol., No, October 9 pp. -73 Computer Technologies GERİ-YAYILMALI ÖĞRENME ALGORİTMASINDAKİ ÖĞRENME PARAMETRELERİNİN GENETİK ALGORİTMA İLE BELİRLENMESİ Oğuz ÜSTÜN, İlker YILDIZ Özet :Bu çalışmada, ileri beslemeli bir sinir ağının eğitiminde kullanılan geri-yayılmalı öğrenme algoritmasındaki öğrenme parametreleri genetik algoritmalar kullanılarak belirlenmiştir. Öğrenme parametreleri öğrenme ve momentum katsayıları olarak bilinmektedir. Öğrenme parametreleri ağın öğrenme hızının arttırılması, öğrenme esnasında oluşabilecek osilasyonların giderilmesi ve lokal minimumlardan kaçılması gibi özellikleri belirlemektedirler. Dolayısıyla bu parametrelerin uygun biçimde seçilmesi ağın daha etkin olarak eğitilmesinde oldukça önemlidir. Öğrenme parametrelerinin genetik algoritma ile belirlenmesi için, dört katmanlı ileri beslemeli bir ağ tasarlanmıştır. Tasarlanan ağdaki üç öğrenme ve üç momentum katsayısı, genetik bir kromozom ile iade edilmiştir. Çalışmanın amacı; en uygun kromozomun seçilmesidir. Ortaya konulan yöntemin te edilmesinde özel tanımlı iki boyutlu regresyon oblemlerinden yararlanılmıştır. Yapılan te çalışması ortaya konulan yöntemin geleneksel sabit parametreli öğrenme algoritmasına göre daha etkin olduğunu göermiştir. Anahtar kelimeler: Geri-yayılmalı öğrenme algoritması, öğrenme parametreleri, ileri beslemeli sinir ağları,genetik algoritmalar, öğrenme katsayısı, momentum katsayısı. DETERMINATION OF THE LEARNING PARAMETERS IN BACKPROPAGATION LEARNING ALGORITHM BY GENETIC ALGORITHM Abract : In this udy, the learning paramete in backopagation learning algorithm, which is used or training o a eedorward neural network are determined by using genetic algorithms. Learning paramete are known as learning rate and momentum rate. The learning paramete identiy the eatures such as imoving o the learning speed, eliminating the oscillations and avoiding rom the local minima during learning o the network. Thereore, a selection o these paramete is quite important or training o the network more eiciently. A eedorward neural network with our laye is designed to deine learning paramete by genetic algorithm. Three learning rates and three momentum rates in the designed network have been denoted by single genetic chromosome. The aim o the udy is to choose the ideal chromosome. In order to te the oposed method, a speciic described two dimensional regression oblems are used. Te results show that the suggeed method is more eicient than the conventional learning algorithm with ied parameter. Key Words: Backopagation learning algorithm, learning paramete, eedorward neural networks, genetic algorithms, learning rate, momentum rate. Abant İzzet Baysal Üniveitesi Mühendislik Fakültesi, Elektrik-Elektronik Mühendisliği Bölümü, Bolu. E-poa: oguzuun@ibu.edu.tr Abant İzzet Baysal Üniveitesi Bolu Meslek Yüksekokulu, Teknik Programlar Bölümü, Bolu. E-poa: yildiz_i@ibu.edu.tr Volume No October 9

2 Oğuz ÜSTÜN, İlker YILDIZ. Giriş İleri beslemeli sinir ağları, yapılarının esnek olması, iyi bir göerim kapasitesi ve çok sayıda öğrenme algoritmasına sahip olması nedeniyle en popüler mimari haline gelmiştir (Kwok ve Yeung, 997). Geriyayılmalı danışmalı öğrenme yöntemi ileri beslemeli ağların eğitiminde en çok tercih edilen öğrenme yöntemidir. Etkinlik onksiyonları yanında öğrenme ve momentum katsayılarının uygun biçimde belirlenmesi de ağın perormansı açısından önemli bir aktördür. Öğrenme katsayısının düşük seçilmesi öğrenme hızını yavaşlatırken yüksek seçilmesi de öğrenme esnasında büyük osilasyonlara sebep olup en nihayetinde öğrenme işleminin gerçekleşmemesine neden olmaktadır. Uygulamalar göermiştir ki momentum katsayısının küçük tutulması osilasyonları azaltırken öğrenme hızında düşüşlere sebep olmaktadır. Büyük değerli olması ise karaızlıklara ve hedeten uzaklaşılmasına sebep olmaktadır. Bu nedenle momentum katsayısının belirlenmesi kendi başına önemli bir sorundur (Kandi vd.,93). Öğrenme parametrelerin belirlenmesinde literatürde dikkat çekici çalışmalar gerçekleştirilmiştir. Yu vd. (993) geri-yayılmalı öğrenme algoritmasının hızını artırmak için öğrenme ve momentum katsayılarını nümerik yöntemler kullanarak dinamik olarak ayarlamışlardır. Sheell vd. (7) ağın ienen ve çıkışı arasındaki hatanın işaretine bağlı olarak heuriik bir yaklaşımla öğrenme katsayılarını ayarlamışlar. Yu ve Liu () ağın ienen ve gerçek çıkışı arasındaki hata ve hatanın işaretine bağlı olarak öğrenme ve momentum katsayılarını üssel onksiyon olarak iade etmişler. Böylece hataya bağlı adapti bir yaklaşım ortaya koymuşlar. Yu ve Chen (997) hata ölçütüne göre öğrenme ve momentum katsayılarının birinci ve ikinci dereceden kısmi türevlerinden yararlanarak dinamik olarak öğrenme parametrelerini elde etmişlerdir. Zaghwl ve Dong (99) öğrenme ve momentum katsayılarını belirlemede eşlenik eğim metodunu (conjugate gradient method) kullanmışlardır. Kamiyama vd. (99) arklı öğrenme ve momentum katsayılarına bağlı verilere dayanarak momentum ve öğrenme katsayısını lineer bir eşitlik halinde tanımlamışlardır. Bu çalışmalarda ağ için sadece birer öğrenme ve momentum katsayısı kullanılmıştır. Buna rağmen iki parametrenin dinamik olarak hesaplanması için oldukça yüksek bir hesaplama yükü olduğu görülmektedir. Daha çok sayıda örneğin katman sayısına göre öğrenme ve momentum katsayılarının hesaplanması durumunda bu hesaplama yükü ile parametrelerin belirlenmesi algoritmanın çalışma hızını oldukça çok düşürecektir. Bu nedenle gerçek zamanlı siemlerde bu yaklaşımların kullanılması oldukça zordur. Evrim algoritmaları, doğal evrim mantık ve ensiplerine göre geliştirilen popülasyon tabanlı okaik araştırma algoritmalarıdır. EA lar özellikle birçok lokal optimumun üretildiği büyük kompleks oblemlerin çözümünde aydalıdır. Klasik gradient tabanlı araştırma algoritmalarına göre lokal minimuma takılma olasılıkları daha azdır. EA lar gradient bilgisine bağlı değildirler ve bu nedenle bu tip bilginin elde edilmesinin çok zor olduğu oblemlerin çözülmesi için oldukça elverişlidirler. EA lar tam bir objekti onksiyonun olup olmamasına bakmaksızın da çözüm üretebilirler (Yao, 999). Bu özelliklerinden dolayı genetik algoritmalar sinir ağlarının optimize edilmesinde sıkça kullanılmaktadır. Uun (9a) ileri beslemeli sinir ağlarındaki etkinlik onksiyonlarının belirlenmesinde genetik algoritmaları kullanmıştır. Blanco vd. () recurrent sinir ağlarının eğitilmesinde kullanılan eğim algoritmaları yerine genetik ogramlama kullanarak ağ eğitimini gerçekleştirmişlerdir. Marwala (7), Markov zinciri tabanlı Monte Carlo tekniğini genetik ogramlamada kullanarak bayesian sinir ağının eğitilmesini gerçekleştirmiştir. Seton ve Gupta () sinir ağlarının eğitilmesinde genetik algoritmaları kullanılmışlardır. Leung vd. (3) ileri beslemeli sinir ağlarındaki bağlantı sayılarının optimize edilmesinde genetik algoritmalar kullanmışlardır. Angeline vd. (99) recurrent sinir ağının yapısal düzenlemesi ve bağlantı SDU International Journal o Technologic Sciences

3 ağırlıklarının hesaplanmasında genetik algoritmaları kullanmışlar. Pedrajas vd. () recurrent sinir ağları için benzer bir çalışma gerçekleştirmişler. Ariovica ve Gencay () ileri beslemeli ağların düğüm sayısı katman sayısı gibi ağ yapısına yönelik parametrelerin belirlenmesinde genetik algoritmaları kullanmışlardır. Bu makale, genetik algoritmalar kullanılarak ileri beslemeli yapay sinir ağlarındaki öğrenme ve momentum katsayılarının belirlenmesinde yeni bir yöntem ortaya koyar. Ortaya konulan bu çalışmayla, aynı örnek sayısında ağın en kısa zamanda ve en iyi doğrulukta sonuç vermesi sağlanmaktır. Öğrenme parametreleri öğrenme ve momentum katsayıları olarak bilinmektedir. Öğrenme parametreleri ağın öğrenme hızının artırılması, öğrenme esnasında oluşabilecek osilasyonların giderilmesi ve lokal minimumlardan kaçılması gibi özellikleri belirlemektedirler. Dolayısıyla bu parametrelerin uygun biçimde seçilmesi ağın daha etkin biçimde eğitilmesinde oldukça önemlidir. Bu çalışmada katmanlı ileri beslemeli bir ağdaki 3 öğrenme ve 3 momentum katsayısı bir genetik kromozom ile iade edilmiştir. En uygun kromozom, buna bağlı olarak en uygun öğrenme parametreleri, genetik algoritma ile belirlenmiştir. Ortaya konulan yöntemin te edilmesinde özel tanımlı boyutlu regresyon oblemlerinden yararlanılmıştır. Yapılan te çalışması ortaya konulan yöntemin geleneksel sabit parametreli öğrenme algoritmasına göre daha etkin olduğunu göermiştir. Çalışmanın bundan sonraki bölümü şu şekilde düzenlenmiştir. İkinci bölümde genetik tabanlı sinir ağ modeli ve algoritması anlatılmış, üçüncü bölümde te çalışması gerçekleştirilmiş ve son bölümde genel bir değerlendirme yapılmıştır.. Genetik Algoritmanın Oluşturulması Genetik algoritmaların araştırmadaki başarısı kullanılarak yapay sinir ağlarının optimizasyonu gerçekleştirilmiştir. Bu bölümde ilk olarak optimizasyonu gerçekleştirilecek olan sinir ağı tanıtılmış, ikinci olarak genetik algoritmadaki yapılar ve özellikleri ortaya konulmuş ve son olarak bu iki yapının birleştirilmesinde kullanılan algoritma ayrıntılı olarak anlatılmıştır... Sinir ağının tanımlanması Çok katmanlı ileri beslemeli sinir ağlarında her bir düğüm için en uygun etkinlik onksiyonunun ve öğrenme katsayılarının belirlenmesinde genetik algoritma seçim perormansının göerilmesi için dört katmanlı (P, R, S, T) klasik bir ileri beslemeli ağ yapısı tercih edilmiştir. Benzer ağ modelleri ayrıntılı olarak kaynak (Uun, 9b; Uun, 9c) de görülebilir. Tasarlanan ağ yapısı Şekil de verilmiştir. Ağ iki girişli ve tek çıkışlıdır. Burada ağ girişleri, ve ağ çıkışı y a dır. w katmanlar arasındaki bağlantı ağırlıklarını,, y çitleri sırasıyla bulundukları katmandaki düğümlerin ağırlıklandırılmış giriş toplamını ve çıkışını temsil etmektedir. y d ienen çıkış değerini ve e ienen ile gerçek çıkış arasındaki hatayı göermektedir. Volume No October 9

4 Oğuz ÜSTÜN, İlker YILDIZ w w w y d p = y p r, y r, y s s t, y t y a - + e P R S T... İleri besleme algoritması Şekil. Tasarlanan sinir ağının mimarisi İleri besleme algoritmasında girişten çıkışa doğru bir akış vardır. Eşitlik de verilen her bir giriş çiti için ağırlık değerleri ve etkinlik onksiyonlarına bağlı olarak aşağıda verilen akış kullanılarak gerçek çıkış değeri y a hesaplanır. {, } p =, p p r s t = = = P p= R r = S s= y. w p y. w r s y. w y = () ve yr = yn( r ) () ve ys = yn( s ) (3) ve yt = yn( t ) () Burada ağın gerçek çıkış değeri y = y Eşitlik ile bulunur.... Geri-yayılım algoritması a t Danışmanlı eğim tabanlı geri yayılmalı öğrenme algoritması için Eşitlik 5 de verilen enerji onksiyonuna bağlı olarak, hata değerleri geriye yayılır ve Δ w ağırlık değişimleri aşağıda olduğu gibi bulunur. Burada η öğrenme ve α momentum katsayısıdır. K E( k ) = e ( k ), Eort = E( k ) k K = (5) e( k ) = y ( k ) y ( k ) () d a E Δw = + ( k ) α Δw( k ) η (7) w E Δw = + ( k ) α Δw( k ) η w () E Δw ( k ) = α Δw( k ) η w (9) w ( k + ) = w ( k ) + Δw ( k ) () SDU International Journal o Technologic Sciences

5 w ( k + ) = w ( k ) + Δw ( k ) () w ( k + ) = w ( k ) + Δw ( k ) ().. Genetik yapının belirlenmesi Genetik algoritmaların yapısını belirleyen özellikler kromozom yapısının teşkil edilmesi, kromozomu oluştururken kullanılacak kodlama tekniğinin belirlenmesi, popülasyon büyüklüğünün belirlenmesi, uygunluk onksiyonunun seçimi, ailelerin seçim yöntemi, genetik operatör tiplerinin belirlenmesidir. Bu yapısal ayarlamalar belirlendikten sonra genetik yapı oluşturulur. Bu yapı ve yöntemler kullanılarak algoritma çıkartılır (Uun, 9a)....Kromozom yapısının belirlenmesi: Popülasyon içerisinde bulunan bir kromozomun görünümü Şekil de verilmiştir. Kromozom sinir ağındaki 3 öğrenme ve 3 momentum katsayısının her biri için 3 gen olmak üzere toplam genden meydana gelmiştir. Klasik genetik algoritmalarda ikili kodlama tekniği kullanılmaktadır. Bu çalışmada genetik algoritma işlem süresinin düşürülmesi için gerçek sayılarla kodlama tercih edilmiştir. Kromozomdaki her bir genin tanımlanmasında ile 9 arasında tam sayılar kullanılmıştır η η η α Şekil. Kromozom yapısı α α... Popülasyonunun belirlenmesi Popülasyonun belirlenmesi iki önemli nokta vardır. Bunlardan birincisi hangi büyüklükte olacağı ikincisi ise başlangıç değerlerinin nasıl seçileceğidir. Genetik algoritmalar tasarlanırken popülasyon büyük seçilie, genetik algoritmanın ienen çözüme ulaşması daha uzun zaman alır. Teine popülasyon çok küçük seçilie bu durumda popülasyon içerisindeki bireylerin çeşitliliği düşeceği için lokal minimumda kalmasına neden olacaktır. Bu nedenle algoritma çevrim süresine göre mümkün olduğunca popülasyonun büyük seçilmesi önerilir. Bu çalışmada bireyden oluşan bir popülasyon kullanılmıştır. Başlangıç değerleri bir oblem konusunda geçmiş tecrübeler göre belirlenebileceği gibi ragele olarak da atanabilir (Uun, 9a)...3. Değerlendirme Uygunluk onksiyonu her bir kromozomun bir sonraki jenerasyonda bulunup bulunmayacağını göeren parametredir. Bir kromozoma ait uygunluk değeri ne kadar yüksek olua o kromozomun aile olarak seçimi daha güçlü bir olasılıktır. Bu çalışmada genetik algoritmanın kullanım amacı sinir ağındaki öğrenme ve momentum katsayılarını temsil eden en uygun kromozomun elde edilmesidir. Buna göre her bir kromozom dizisi için sinir ağı eğitilir ve K sayıda örnek için ileri beslemeli olarak çalıştırılarak hata değerleri elde edilir. Elde edilen hata değerlerinin toplamına bağlı olarak aşağıda verilen uygunluk değeri hesaplanır (Uun, 9a).. Volume No October 9

6 Oğuz ÜSTÜN, İlker YILDIZ = K + k = e( k ) (3)... Aile seçimi Bir sonraki jenerasyonun üretilmesi için popülasyon içerisindeki bireyler arasından uygunluk değerlerine bağlı olarak aileler belirlenir. Bu çalışmada öncelikle uygunluk değerine göre popülasyon içerisindeki bireyler en yüksekten aşağıya doğru sıralanmıştır. En yüksek uygunluk değerine sahip birey hem aile olarak seçilmiş hem de doğrudan bir sonraki jenerasyona dahil edilmiştir. Böylece en iyi perormansı sağlayan bireyin algoritma tamamlanana kadar korunması sağlanmıştır (Uun, 9a)...5.Üreme yöntemi Üreme işleminde çaazlama ve mutasyon olarak adlandırılan iki genetik operatör kullanılır. a.çaazlama Çaazlama işlemi bir sonraki neslin üretilmesi için kullanılan bir genetik işlemdir. Aile seçiminden elde edilen aileler kullanılarak yeni döller meydana getirilir. Burada dikkat edilmesi gereken husus popülasyon içerisindeki çeşitliliğin kaybolmaması ve bunun teine uygun bireylerin çaazlamada tamamen kaybedilmemesidir. Bu çalışmada bir sonraki nesil için gerekli bireylerin oluşturulması için çok noktadan çaazlama işlemi gerçekleştirilmiştir. Çaazlamaya girecek olan bireyler ragele seçilmiş ve.75 olasılık değeri kullanılmıştır. Çaazlama noktaları yine ragele seçim ile belirlenmiştir (Uun, 9a). b.mutasyon Çaazlama sonucu elde edilen bireylere popülasyondaki çeşitliliği artırmak için mutasyon uygulanarak yeni popülasyonun oluşumu tamamlanır. Mutasyon oranı büyük seçilirde popülasyondaki bireylerin çeşitliliği artarken uygun bireylerin tamamen kaybedilmesine de yol açabilir. Her bir bireyin mutasyon olasılığı. olarak seçilmiştir (Uun, 9a)..3. Genetik algoritma Genetik tabanlı sinir ağı algoritmasına ait akış diyagramı Şekil 3 de verilmiştir. Burada işlemler temel olarak başlangıç popülasyonunun tanımlanması, değerlendirme işlemi, seçim işlemi ve üreme işlemi olarak verilebilir. Akıştan da görüleceği gibi amaç oblemin çözümüne yönelik en uygun kromozomun seçilmesidir. Göerilen akışa ait algoritma işlemleri aşağıda ayrıntılı olarak verilmiştir (Uun, 9a). SDU International Journal o Technologic Sciences

7 Başla Başlangıç popülasyonunu tanımla Değerlendirme Üreme Belirlenen iterasyon sayısı aşıldımı Hayır Seçim Evet En uygun bireyi kaydet Bitir Şekil 3. Geliştirilen genetik algoritma akış diyagramı.başlat.başlangıç popülasyonunu üret. 3.Her bir birey için sinir ağı algoritmasını tüm örnekler için eğitimini gerçekleştirerek uygunluk değerlerini hesapla. Uygunluk değerlerini sıralayarak en uygun olan bireyi belirle..ienen uygunluk değerinin yakalanıp yakalanmamasına bak. Eğer yakalanmışsa en uygun bireyi saklayarak algoritmayı sonlandır. Değilse bir sonraki adımdan devam et. 5.Üreme için ailelerin seçimini gerçekleştir..çaazlama ve mutasyon işlemleri ile yeni bireyleri üret. 7.Yeni jenerasyonla eskileri yer değiştir. Üçüncü adımdan devam et.. Dur 3. Simülasyon Sonuçları Bu bölümde, önerilen algoritma ve geleneksel algoritmanın perormansı te edilmektedir. Te aşamasında öğrenme parametrelerinin, genetik algoritmalarla ayarlanmasının tasarlanan ağ üzerindeki etkileri gözlenecektir. Volume No October 9

8 Oğuz ÜSTÜN, İlker YILDIZ 3.. Te düzeneği Te aşamasında ilk olarak Hwang vd. (99) taraından ortaya konulan ve daha sonra literatürde (Kwok ve Yeung, 997; Uun, 9a) yer alan te onksiyonları kullanılmıştır. Kullanılan non-lineer te onksiyonları aşağıda olduğu gibi tanımlanmıştır, Basit etkileşimli onksiyon: ( ) (, ) =. 39((. )( +. ) +. 3 ) Radial onksiyon: ) (, ) =. 3( r (. 75 r ( r (. 5 ) + (. 5 ) burada = dir. Harmonik onksiyon: (, ~ ( ) =. 59( ~ ~ ~ + 5~ ( 3 ) Burada ~ =. 5, ~ = 5 dir.. )) Eklemeli onksiyon: ( ) 3(. 5 ) (, ) =. 335(. 5( ) + e sin( 3π (. ) ) + e sin( π (. 9 ) )) Karmaşık etkileşimli onksiyon: )) ( 5 ) (, ) =. 9(. 35( ) + e sin( 3(. ) ) + e sin( 7 )) Geliştirilen genetik tabanlı sinir ağının perormansının te edilmesinde te ve eğitim için [, ] aralığında düzgün dağılımlı 5 örnek çiti ( k,k ) kullanılmıştır. 5 onksiyonun eğitiminde de aynı veri kümesi kullanılmış ve örnek kümenin tanımlaması aşağıda verilmiştir, ( j ) ( j ) yk = ( k,k ) () burada k =,, L, 5 ve j =,, 3. Belirlenen veri kümesi ile genetik sinir ağının Bölüm de belirtilen algoritmalar kullanılarak eğitiminden sonra elde edilen ağın te edilmesinde düzgün dağılımlı örnek çitinden oluşan bir veri kümesi kullanılmıştır. ( j ) ( j ) yk = ( k,k ) (5) burada k =,, L, ve j =,, 3. Eşitlik 5 deki bağımsız örnek kümesi kullanılarak ağın tei yapılırken (riction o variance uneplained - FVU) (Hwang vd., 99; Kwok ve Yeung, 997; Uun, 9a) FVU perormans ölçütü kullanılmıştır. FVU aşağıda olduğu gibi tanımlanır, K k= ( yd ( k ) ya( k )) FVU = () K (( y ( k ) y ) k= d SDU International Journal o Technologic Sciences

9 K burada, y = K = y k d ( k ) dır. FVU genel olarak kullanılan hataların kareleri ortalamasının oranı olarak iade edilir. 3.. Te sonuçları Bölüm de ayrıntılı olarak verilen genetik tabanlı sinir ağı algoritması ve yukarıda verilen te düzeneği kullanılarak simülasyon çalışmaları gerçekleştirilmiştir. Hem genetik algoritma hem de geri yayılmalı sinir ağı algoritması iterasyon ile gerçekleştirilmiştir. ) Şekil te genetik algoritma eğitimi esnasında 5 onksiyon için uygunluk değerinin değişim graiği verilmiştir. Uygunluk değerleri,, 3 ( 5 ), ve 3 şeklinde elde edilmiştir. Şekil 5.a da genetik algoritma ile elde edilen en uygun kromozom kullanılarak gerçekleştirilen ağ eğitimleri için hata ölçütünün ortalamasının değişimi görülmektedir. Yine genetik algoritma için elde edilen sonuçlarla paralel olduğu açıkça görülmektedir. Şekil.b de geleneksel algoritma kullanılarak gerçekleştirilen ağ eğitimi için hata ölçütünün ortalamasının değişimi görülmektedir. () uygunluk değeri..5 () (3) () (5) 5 iterasyon sayısı Şekil. Genetik algoritma eğitiminde iterasyona bağlı uygunluk değerleri (3) (3) E ort. () () () (5) E ort. () () () (5) 5 iterasyon sayısı (a) 5 iterasyon sayısı (b) Şekil 5. İterasyona göre hata değişimleri (a) Genetik algoritma (b) Geleneksel algoritma Volume No October 9

10 Oğuz ÜSTÜN, İlker YILDIZ 7 Beş te onksiyonuna göre, önerilen genetik algoritma ve geleneksel algoritma için elde edilen sonuçlar Tablo de verilmiştir. Tablo de her bir öğrenme parametresi için kromozom yapısı ve FVU değerleri verilmiştir. Tablo : Genetik ve geleneksel algoritma için te sonuçları Te onksiyonları Genetik algoritma ile belirlenen öğrenme parametreleri η kromozom yapısı η η α α α FVU Geleneksel algoritma ile belirlenen öğrenme parametreleri kromozom yapısı η η η α α α FVU (),,,,7,,5,,7,3,,7,,5,9,,,.93,5,,,,,,5,,,,,,5,5,,,7.59 () 9,,,5,9,7,5,,,,,,,9,,,,.753,5,,,,,,5,,,,,,5,5,,,7.93 (3),,,,,9,5,,,7,9,,,5,,,3, 3,5,,,,,,5,,,,,,5,5,,,7.75 (),,,9,7,7,,3,,,,9,3,,3,9,5,.579,5,,,,,,5,,,,,,5,5,,,7.95 (5),,,7,,,9,5,,,,,,7,3,,7,.93339,5,,,,,,5,,,,,,5,5,,, Örneğin, Tablo de için genetik tabanlı sinir ağı ile elde edilen kromozom yapısında,,,,7,,5,,7,3,,7,,5,9,,, değerleri görülmektedir. Şekil de göerildiği gibi her üç bit bir öğrenme parametresine karşılık gelmektedir. Buna göre, η = / =. dir. Diğer parametreler de benzer şekilde hesaplanır. Her bir onksiyon için ağ eğitimi gerçekleştirilerek uygun bağlantı ağırlık değerleri elde edilmiştir. Bağımsız te verileri kullanılarak da her bir onksiyon için FVU değerleri hesaplanmıştır. Şekil, 5 de eğitim aşamasında verilen hata yaklaşım eğrileri ile Tablo de verilen FVU değerleri arasında doğrudan ilişki olduğu görülmektedir. Buna göre yine FVU sıralaması,, ( 5 ), ve 3 şeklinde olmaktadır. Yine sabit yapılı klasik sinir ağında FVU ölçütü,, ( 5 ), ve 3 şeklinde gerçekleşmiştir. FVU oranlarına bakıldığında klasik yapı ile önerilen yapı arasında oldukça büyük arkların olduğu görülmektedir. ().. ().. ().. (a) (b) (c) Şekil. onksiyonu için sonuçlar (a) ideal (b) genetik (c) geleneksel SDU International Journal o Technologic Sciences

11 () 3.. () 3.. () 3.. (a) (b) (c) Şekil 7. onksiyonu için sonuçlar (a) ideal (b) genetik (c) geleneksel (3).. (3).. (3) 3.. (a) (b) (c) Şekil. 3 onksiyonu için sonuçlar (a) ideal (b) genetik (c) geleneksel () () () (a) (b) (c) ( ) Şekil 9. onksiyonu için sonuçlar (a) ideal (b) genetik (c) geleneksel (5).. (5).. (5). (a) (b) (c). Şekil. ( 5 ) onksiyonu için sonuçlar (a) ideal (b) genetik (c) geleneksel Örneğin ) ( onksiyonunu ele alacak oluak FVU oranı önerilen algoritmada.93 iken aynı veriler için klasik yapıda.59 değerlerinde olduğu görülmektedir. Yaklaşık olarak kat bir iyileşmenin olduğu görülmektedir. Diğer dört onksiyon içinde benzer sonuçların olduğu görülmektedir. Şekil - da beş onksiyon için ideal, genetik algoritma ve geleneksel yaklaşımla elde edilen graikler verilmiştir. Bu graikler incelendiğinde tüm onksiyonlar için genetik tabanlı olarak öğrenme parametreleri belirlendiğinde ağ yapısı sabit olsa da ağ perormansında oldukça önemli bir iyileşme sağladığı açıkça görülmektedir. Tablo ve Şekil Volume No October 9

12 Oğuz ÜSTÜN, İlker YILDIZ 7 - da verilen graiklerden de görüleceği gibi ortaya konulan yaklaşımla oldukça yüksek bir doğrulukta onksiyonlara yaklaşıldığı görülmektedir.. Sonuçlar Bu çalışmada genetik algoritma kullanılarak ileri beslemeli bir sinir ağının eğitiminde kullanılan geri yayılmalı öğrenme parametreleri belirlenmiştir. Önerilen genetik tabanlı yaklaşım ve geleneksel yaklaşım ile gerçekleştirilen öğrenme algoritmaları kullanılarak te onksiyonlarının her biri için ağ eğitimleri gerçekleştirilmiştir. Elde edilen sonuçlar, ortaya konulan genetik tabanlı yaklaşımın geleneksel yaklaşıma göre onksiyonlara yaklaşımda çok daha yüksek bir perormans sağladığını göermiştir. Sonuç olarak, öğrenme parametrelerinin deneme yanılma yoluyla belirlenmesi yerine genetik tabanlı algoritmalarla belirlenmesi geliştirilecek sinir ağlarının daha etkin olmasını sağlayacaktır. Kaynaklar Angeline, P. J., Saunde, G. M., Pollack, J. B. (99). An evolutionary algorithm that conructs recurrent neural networks. IEEE Transactions on Neural Networks, 5(), 5 5. Ariovica, J., Gencay, R. (). Using genetic algorithms to select architecture o a eedorward artiicial neural network. Physica A, 9(3-), Blanco, A., Delgado, M., Pegalajar, M. C. (). A real-coded genetic algorithm or training recurrent neural Networks. Neural Networks. (), Hwang, J. N. S., Lay, R. Maechler, M., Martin, R. D., Schimert, J. (99).Regression modeling in back-opagation and ojection puuit learning, IEEE Transactions on Neural Networks, 5(3), Kamiyama, N., Iijima,N., Taguchi, A., Mitsui, H., Yoshida, Y., Sone, M. (99).Tuning o learning rate and momentum on back-opagation. Singapore Iccs/Isita '9, Communications on the Move, - November 99, Wein Stamord, Singapore, Kandi, N., Khorasani, K., Patel, R. V., Sood, V. K.(993).Optimum learning rate or backopagation neural Networks. Canadian Conerence on Electrical and Computer Engineering (pp.5-), Vol.. Kwok, T. Y., Yeung, D. Y. (997). Objective unctions or training new hidden units in conructive neural Networks. IEEE Transactions on Neural Networks. (5), 3-. Leung, F. H., Lam, F. H., Ling, K. S. H., Tam, P. K. S. (3). Tuning o the ructure and paramete o a neural network using an imoved genetic algorithm. IEEE Transactions on Neural Networks. (), 79-. Marwala, T. (7). Bayesian training o neural networks using genetic ogramming. Pattern Recognition Lette. (),5 5. SDU International Journal o Technologic Sciences

13 Pedrajas, N. G., Boyer, D. O., Martinez, C. H. (). An alternative apoach or neural network evolution with a genetic algorithm: Crossover by combinatorial optimization. Neural Networks, 9(), 5 5. Seton, R. S., Gupta, J. N. D. (). Comparative evaluation o genetic algorithm and backopagation or training neural Networks. Inormation Sciences, 9(-), Sheell, S., Vahney, T., Vahney, R. (7). Accelerated learning in MLP using adaptive learning rate with momentum coeicient, Second International Conerence on Indurial and Inormation Syems. ICIIS 7, Augu 7, Sri Lanka, (37-3). Uun,O. (9a). Genetik algoritma kullanılarak ileri beslemeli bir sinir ağında etkinlik onksiyonlarının belirlenmesi. Pamukkale Üniveitesi. Mühendislik Bilimleri Dergisi (Basımda). Uun, O. (9b). Measurement and real-time modeling o inductance and lu linkage in switched reluctance moto, IEEE Transactions on Magnetics,(accepted paper). Uun, O. (9c). A nonlinear ull model o switched reluctance motor with artiicial neural network. Energy Conveion and Management. Energy Conveion and Management, 5, 3. Yao, X. (999). Evolving Artiicial Neural Networks. Proceedings o the IEEE, 9(7), 3 7. Yu, C. C., Liu, B. D. (). A back opagation algorithm with adaptive learning rate and momentum coeicient. Proceedings o the International Joint Conerence on Neural Networks ( 3), Vol.. Yu, X.H., Chen G.A., Cheng S.X. (993). Acceleratıon o backopagation learning using optimised learning rate and momentum, Electronics. 9(), -9. Yu, X. H., Chen, G. A. (997). Eicient backopagation learning using optimal learning rate and momentum.neural Networks. (3), Zaghwl, A., Dong, W. M. (99). An automated apoach or selecting the learning rate and momentum in back-opagation Networks. IEEE International Conerence on Neural Networks. 7 Jun- Jul 99, -9 Vol., Orlando. FL. USA. Volume No October 9