MLP YAPAY SİNİR AĞLARINDA ÖĞRENME SÜRECİNİN AKTİVASYN FNKSİYNU VE İSTATİKSEL DEĞİŞİM GÖSTEREN GİRİŞ VERİLERİNE BAĞIMLILIĞI Hals ALTUN * Ulaş EMİNĞLU 2 Ber Sam TEZEKİCİ 3 Nğde Ünverstes, Mühendsl-Mmarlı Faültes Eletr-Eletron Mühendslğ Bölümü, Nğde 5200 / Türye e-posta: haltun@alp.ngde.edu.tr 2 e-posta: ulas4@hotmal.com 3 e-posta: bstezec@alp.ngde.edu.tr Anahtar sözcüler: Yapay Snr Ağı, Atvasyon fonsyoları, Eğtm Set, Ger Yayılım Algortması ABSTRACT In ths wor the dependency of neural learnng n a Multlayered Perceptron MLP neural networ NN s nvestgated on modfed nput data sets and the combnaton of the actvaton functons. For a 3- party problem the symbols {a } that stand for logc 0 and logc are presented by dfferent values rangng from -3 to 3, ncremented by a factor of 0.2 n a regular fashon. In ths way total 464 data nput data sets obtaned and the statstcal characterstcs of the nput data sets such as mean value and standard devaton are modfed. 4 confguratons of MLP NN are constructed by usng dfferent actvaton functons of neurons n each layer. For each confguraton 8 ntal weght sets are determned and total 4848 experments are carred out. The performance of the networs are determned from the results and concluson are drawn.. GİRİŞ Yapay Snr Ağlarında (YSA) nöral öğrenmnn optmze edlmes problem lteratürde yaygın olara ncelenmştr. Genş olara ullanılan ço atmanlı perseptron (Mult-Layered Perceptron: MLP) tp YSA larının optmzasyonu alanında ço genş br lteratür oluşturulmuştur. Özellle öğrenme algortması, eğtm ver setnn uygun odlanması veya ağ topolosnn optmze edlmes üzernde genş olara durulmuştur [-5]. Ger yayılım algortmasının hızının artırılması onusunda nöron çıışlarını belrleyen sgmod atvasyon fonsyonunun parametrelernn değşmnn ets ncelenmştr [6]. Sözonusu çalışmada tüm atmanlarda sgmod atvasyon fonsyonu ullanılara bu fonsyonun smetr, eğm ve dnam değşm aralığının farlı değerler çn nöral öğrenme ncelenmştr. Bu çalışmada br MLP YSA yapısında, atmanlar arasında ullanılan farlı atvasyon fonsyonlarının ve farlı odlama ullanılara statstsel özellğ değştrlmş grş verlernn eğtm performansına olan ets ncelenmştr. Bu amaç çn atmanlar arasında üç farlı atvasyon fonsyonunun ombnasyonu ullanılmıştır. Grş ver setnn statsel özelller se odlamada ullanılan sembollernn farlı sayısal değerler le fade edlmes le gerçeleştrlmştr. Elde edlen sonuçların l ağırlıların başlangıç değerlerne olan bağımlılığını azaltma çn 8 farlı notadan eğtm başlatılmış ve ortalama sonuçları verlmştr. Toplam olara 4848 ağ eğtm denemes yapılmış ve elde edlen sonuçlar tartışılmıştır. Maalenn düzenlenmes şu şelde yapılmıştır. Bölüm 2 de yapay snr ağları üzernde genel blg verlmş ve ağ yapılarında ullanılan atvasyon fonsyonları verlmştr. Ayrıca ağ eğtm algortması las formu le verlmş ve grş ver setnn etsn açı olara gösterme amacı le algortmanın grş, salı atman ve çıış nöron atvasyon büyülülerne olan bağımlılığı açı olara fade edlmştr. 3. bölümde yapılan deneysel çalışmalar ayrıntılı olara vermete ve son bölüm se elde edlen sonuçları tartışmatadır. 2. YAPAY SİNİR AĞLARI ve EĞİTİMİ Genel olara br yapay snr ağı blo dyagramı aşağıda verlmştr. Şel. YSA Blo Dyagramı
Grş ve lgl çıış vetörü ağı eğtme çn ullanılmatadır. Her br terasyon sonucu elde edlen çıış, hedef le arşılaştırılır ve verlen hataya bağlı olara ağırlı yenleme şlem le ağ eğtm devam ettrlr veya eğtme şlem sonlandırılır. MLP tp ço atmanlı yapay snr ağları grş, salı ve çıış atmanlarından oluşmatadır. Herbr atmana at nörona toplam grş br alt atmanda nöron çıışlarının ağırlılandırılıması le elde edlr. Nöron çıışları se o nöron çn tanımlanmış atvasyon fonsyonuna bağlı olara elde edlmetedr. Dört atmanlı br yapay snr ağının nöron model aşağıda verlmştr. a 2 = ( 2n) + e () Logsg: Sgmod fonsyonu olara da smlendrlen bu atvasyon fonsyonunun grş-çıış fades ve fonsyonun grşe göre değşm sırasıyla (2) fadesnde ve Şel 3 de verlmetedr. Fonsyonun dnam değşm aralığı [0 ] aralığıdır ve fonsyon bu aralıta lneer olmayan br değşm sergler. Şel 3. Logartm Sgmod fonsyonu grş-çıış eğrs Şel-2 Dört atmanlı ağ yapısı a = + e n (2) Katmanları oluşturan nöron çıışları ağırlılanan grşler ve bayeslern toplamı sonucunda aşağıda verlen fade tarafından oluşturulmatadır. a= f(wp + b) () Pureln: Bu atvasyon fonsyonunda nöron grşlernn değşmne göre nöron çıışı lneer olara değşmetedr. Dnam değşm aralığı [- ] aralığıdır. Fonsyona at grş-çıış araterstğ ve fonsyon tanımı aşağıda verlmştr. Burada f nöron çn tanımlanmış atvasyon fonsyonu, w nöronlar arası ağırlılar, p grş vetörü b se ağ bayeslerdr. 2. Atvasyon Fonsyonları Bu çalışmada MLP tp yapay snr ağları çn atmanlar arasında ullanılan atvasyon fonsyonları sırasıyla; a) Tangent-Sgmod: tansg b)logartm-sgmod: logsg ve c) Pureln olara adlandırılmıştır. Tansg: Bu atvasyon fonsyonu çn nöron grşçıış fades () de ve fonsyonun değşm Şel 2 de verlmştr. Fonsyonun dnam değşm aralığı [- ] aralığıdır ve fonsyon nöron toplam grşe bağımlı olara bu aralıta lneer olmayan br değşm gösterr. Bu fonsyon lteratürde hperbol-tangent fonsyonu olara da smlendrlmetedr. Şel 2. Tangent-Sgmod fonsyonu grş-çıış eğrs Şel 4. Pureln fonsyonu çıış eğrs a = Pureln( n) = n (3) 2.2 Ger Yayılım Algortması MLP tp YSA ların eğtmnde olduça yaygın olara ullanılan Ger Yayılım algortması, grş atmansalı atman ve salı atman-çıış atmanları arasında mevcut olan ağırlılı bağlantıların, w h ve w ho, ağ çıışında oluşan hataya bağlı olara optmze edlmesn amaçlar. Grş ve lgl çıış vetörü ağı eğtme çn ullanılmatadır. Örüntüyü belrleyen grş vetörü ağın l atmanına verldten sonra arada gzl atmanlardan geçere en sonda çıış atmanına ağırlılar yardımı le ulaşır. Ağda herbr nöron, endsnde sonlanan ağırlı vetörlernn artmatsel toplamını aldıtan sonra sonucu endnden sonra atmanın tüm nöronlarına ullanılan atvasyon fonsyonuna bağlı olara atarılır.
Katmanlar arasında sgmod atvasyon fonsyonu ullanıldığı abulu altında ağırlıların yenlenmes çn ullanılan fadeler şu şelde elde edleblr: Çıış atmanında her br nöron çn nöron çıışı = (4) net K + e olsun. Burada çıış atmanının atvasyon değern göstermetedr. net W (5) = Salı atman çn atvasyon değerlernn fades aynı şelde elde edleblr. = (6) net + e net = W (7) Ağırlıların yenlenmes W = W + W (8) eştlğ le gerçeleştrlr. Burada W ağırlı yenleme değerdr. Ger yayılım algortmasında ortalama are hatası olara blnen hata rter ullanılablr. E = 2 p ( t p o p ) 2 (9) Hataların ares alınara belenen değerden uza olan çıış değerlernn toplam hatayı oluşturması sağlanmatadır. Hatayı mnmum yapma amacı le hatanın ağırlılara olan bağımlılığı hesaplanır ve gradente bağlı olara ağırlılar hatayı düşürece şelde yenlr. = η E / W ) (0) ( zncr uralı ullanara dferansyel denlem çözümü aşağıda şelde elde edlr. E / W = δ () Bu eştl denlem (0) de yerne onursa ağırlı yenleme değer fades elde edlr. W = ηδ (2) W = ηδ (3) Burada δ ve δ sırası le çıış ve salı atman çn hata term, η se öğrenme oranıdır. Çıış atmanı çn hata term δ = t ) f ( net ) (4) ( ve salı atman çn hata term se aşağıda gb hesaplanır. ' δ = f ( net ) δ W (5) Yuarıda fadelerde f'() atmanlar arası sgmod atvasyon fonsyonunun türevdr. Elde edlen fadelerde yapay snr ağı eğtmnde data grş setnn ağırlıların ets tam olara görülememetedr. Herbr ağırlılı bağlantı çn algortmanın üreteceğ ağırlı yenleme şaret te te ncelenr se bağıntıların her br atman nöral atvasyon sevyeler date alınara verlmes daha uygun olacatır. ' = η (6) M ' ' = η W (7) δ = ( )( t ) (8) δ = ( ) δ W (9) = f ( W ) (20) = f ( W ) (2) Burada = (t - ) f ( ) : sgmod atvasyon fonsyonu δ : delta hata fades η : öğrenme oranı M : çıış atmanı neuron sayısı t : hedef değer : çıış atvasyon sevyes ' : çıış atvasyon sevyesnn türev W : salı atman-çıış atmanı arasında ağırlılı bağlantı W : salı atman çıış atmanı arasında ağırlılı bağlantılar çn ağırlı yenleme şaret W : grş ve salı atman arasında ağırlılı bağlantı W : grş ve salı atman arasında ağırlılı bağlantılar çn ağırlı yenleme şaret Elde edlen son fadelerden yapay snr ağında grş değerlernn ağırlılı bağlantıların belrlenmesnde ve dolayısı le nöral eğtmde öneml br rol oynadığı görülmetedr. Bu et br 3 bt part problem çn ncelenecetr. Bu amaç çn part btte lo 0 ve lo durumları çn ullanılan semboller (-3, 3) aralığında farlı değerler olara alınacatır. Grş datalarının bu şelde düzenlenmes sonucunda grş oluşturan ver setnn statstsel değerler; ortalama değer ve standart sapması düzenl olara değştrlecetr. Br sonra bölümde sunulan deneysel çalışmalarda elde edlen bu data setler çn her br atmanlarda farlı
atvasyon fonsyonları ullanıp br sonra atmana grş olara yönlendrlece değern dnam değşm aralığını ve dolayısı le standard sapmasını farlı ılınara nöral öğrenmenn atvasyon fonsyonuna olan bağımlılığıda ncelenecetr. 3. DENEYSEL SNUÇLAR Yapay snr ağı, ger yayılım algortması ullanılara üç grşl te çıışlı part bt problem çn eğtlmştr. Ağ atmanlı olup bu atmanlar çn farlı atvasyon fonsyonları ullanılmıştır. Uygulama Matlab Neural Networ Toolbox ullanılara gerçeleştrlmştr. Atvasyon fonsyonlarına göre 4 farlı ağ onfgurasyonu Toolbox ta mevcut olan newff fonsyonu ullanılara gerçeleştrld. Örne part bt problem çn ullanılaca semboller [-3 3] aralığında 0,2 l adımla değştrlere toplam 464 adet brbrnden farlı grş vers elde edld. Elde edlen 464 grş ver set 4 ağ onfgürasyonu çn ullanılara toplam 856 nöral öğrenme smule edld. Ayrıca nöral öğrenmenn başlanğıç ağırlı değerlerne olan bağımlılığını mnmuma ndrme çn 8 farlı başlangıç ağırlı değerler Tablo de gösterldğ gb seçlere toplam 4848 eğtm smulasyonu gerçeleştrld. 4 farlı ağ onfgürasyonu çn atvasyon fonsyonlarının ombnasyonu Tablo.de 2. sütünda verlmştr. Verlen brnc fonsyon ağın grş ve salı atman arası, nc fonsyon se salı atman le çıış atmanı arasında atvasyon fonsyonudur. Bu durumda Tablo 2 de verlmş olan 4 ağ onfgürasyon oluşturulmuştur. Tablo 2. Eğtm çn oluşturulan ağ onfgürasyonları Ağ Konfürasyonu I. Fonsyon II. Fonsyon I. Tansg Logsg II. Logsg Logsg III. Tansg Pureln IV. Logsg Pureln Tablo. Eğtlen ağlardan elde edlen bütün sonuçlar Ağırlı Başlangıç Aralığı Atvasyon Fonsyonu Eğtleblen Ağlar İçn Katman 2.Katman W Eğtleblen Ağ Sayısı rtalama İterasyon =-0, W ü = 0, =-0,25 W ü = 0,25 =-0,5 W ü = 0,5 =-0,75 W ü = 0,75 = - W ü = =-,25 W ü =,25 =-,5 W ü =,5 =-,75 W ü =,75 Tansg Logsg 43 559 Logsg Logsg 423 929,5 Tansg Pureln 48 65,9 Logsg Pureln 35 38 Tansg Logsg 428 564,05 Logsg Logsg 434 85,97 Tansg Pureln 44 443,89 Logsg Pureln 369 824,28 Tansg Logsg 44 567,79 Logsg Logsg 440 779,8 Tansg Pureln 428 642,3 Logsg Pureln 42 489,5 Tansg Logsg 443 556,95 Logsg Logsg 429 669,8 Tansg Pureln 426 443,6 Logsg Pureln 409 577,3 Tansg Logsg 445 568,0 Logsg Logsg 435 672, Tansg Pureln 423 439,83 Logsg Pureln 45 567,5 Tansg Logsg 446 589,9 Logsg Logsg 433 607,3 Tansg Pureln 47 47,52 Logsg Pureln 46 53,85 Tansg Logsg 439 556,6 Logsg Logsg 436 626,33 Tansg Pureln 46 442,65 Logsg Pureln 48 499,69 Tansg Logsg 433 546,85 Logsg Logsg 44 655,07 Tansg Pureln 406 50,45 Logsg Pureln 46 468,2
Eğtm sonrasında elde edlen sonuçlar atvasyon fonsyonları farlı olan ağların verlen grş aralılarından açında eğtldğ, herbr eğtlen ağ yapısına göre terasyon sayılarının ortalama değer ve farlı grş aralılarının ağ eğtmne olan etsn gözlemleme olanağı verece şelde Tablo de verlmştr Tablo n brnc sütünü ağların başlangıç ağırlılarının değşm aralılarını, ve üçüncü sütün herbr ağın atmanları arasında seçlen atvasyon fonsyonlarının onfgürasyonunu, dördüncü sütün herbr ağın 464 grş ver set çn eğtleblen ağ sayısını, beşnc sütün eğtleblen ağlar çn ortalama terasyon sayılarının değern vermetedr. Atvasyon fonsyonun nöral öğrenme üzernde etsn daha açı göreblme çn Tablo de son sütünda verlen değerlern ortalaması Tablo 3 de verlmştr. Burada açı olara I ve II onfgürasyonuna sahp ağların çn eğtleblen ağ sayısı dğer ağlardan daha fazladır. Anca ortalama terasyon sayısı göz önüne alındığında II onfgürasyona sahp ağlarının performansı ço düşü gözümetedr. Öğretleblen ağ sayısı ve ortalama terasyon rterler göz önüne alındığında en ötü sonuçlar Tablo 3 e göre IV. Konfgürasyona sahp ağlar çn ortaya çımatadır. Tablo 3 Herbr ağ onfgürasyonu çn ortalama eğtleblen ağ sayısı ve terasyon YSA I II III IV rtalama grş set 438,25 433 48,5 396 sayısı rtalama terasyon sayısı 563 723 493 573 Buna arşılı Tansg-Logsg ve Tansg-Pureln atvasyon fonsyonlarının ombnasyonunun ullanıldığı I. ve III. ağ yapıları çn nöral eğtmn dğerlerne nazaran yüse performans gösterdğ gözlemlenmştr. Yapay snr ağı eğtmnn grş ver setne olan bağımlılığını ncelme çn se çn Tablo 4. verlen 6 farlı aralığa sahp grşler çn eğtleblen ağların ortalama terasyon sayısı verlmştr Tablo 4. Grş data setne bağlı olara eğtleblen her br ağ çn ortalama terasyon sayıları Grş semboller I II III IV [-2.4 2.4] 338 427 85 4 [-2 2,] 35 436 60 84 [-.4.4] 355 434 67 9 [- ] 368 435 76 58 [-0.4 0.4] 44 476 9 454 Tablodan grş ver setnn nöral öğrenme üzernde ets açı olara tüm ağ yapıları çn görülmetedr. Bütün ağ yapıları çn grş ver setnde semboller çn ullanılan değerler arasında far azaldıça ağ eğtm zorlaşmata terasyon sayısı herbr ağ çn artmatadır. Burada verlen sonuçlardan da aynı grş ver setler en hızlı eğtmn III. ağ onfgürasyonu çn elde edlmete olduğu görülmetedr. 4. SNUÇ Bu çalışmada br ço atmanlı YSA çn atmanlar arası atvasyon fonsyonlarının ve statsel özelller değştrlmş aynı probleme at grş ver setnn yapay snr ağı eğtmne ets araştırılmıştır. Br 3-bt part problem çn ullanılan sembollern {a } temsl ettğ değerler data setnn ortalama değer ve standart sapma değer düzenl olara değştrlere elde edlen 464 farlı grş set, 8 farlı başlangıç notası ve 4 farlı ağ onfgürasyonu oluşturara toplam4848 farlı eğtm denemes gerçeleştrlmş ve ger yayılım algortmasının performansı herbr durum çn ölçülmüştür. Sonuçlar III. onfgürasyon olara adlandıralan ve Tansg-Pureln atvasyon fonsyonlarının ombnasyonunu ullanan ağ yapısının ortalama terasyon sayısı ve öğretleblen ağ sayısı açısından en y performansı gösterdğn ortaya oymuştur. Yapılan deneysel çalışmalar ayrıca grş ver setnn statsel değerlernn eğtm üzernde etsn de açı olara ortaya oymatadır. KAYNAKLAR [] Kadıyalam S., and Gurumorthy R., Neural Networ wth modfed bacpropogaton learnng appled to structual optmsaton, AIAA JURNAL, 34, pp. 408-42, 996 [2] Jean J.S.N. and Wang J., Weght smoothng to mprove networ generalsaton, IEEE TRANCSACTİNS N NEURAL NETWRKS, 5 (5), pp.752-763 994 [3] Reed R. Prunng algorthms- A survey, IEEE TRANS. N NEURAL NETWRKS Vol. 4 (2), pp. 740-747, 996 [4] H.C. Chua, Solvng Two-Spral Problem Through Input Data Encodng, ELECTRNİC LETTERS, Vol. 3(0), pp. 83-84, 995 [5] H. Altun and K. M. Curts, Explotng the Statstcal Characterstcs of the Speech Sgnals for mprovement Neural Learnng n MLP Neural Networs, IEEE WRKSHP N NEURAL NETWRKS FR SİGNAL PRCESSİNG, NNSP 98, pp. 547-556,Cambrdge, UK, August 998 [6] Han J., Moraga C., The Influence of the Sgmod functon Parameters on the Speed of Bacpropogaton Learnng, LECTURE NTES İN CMPUTER SCİENCE, Vol. 930, pp. 95-20, Dothmund Germany