Yapay Sinir Ağları. Çok Katmanlı Algılayıcı

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Yapay Sinir Ağları. Çok Katmanlı Algılayıcı"

Nergis Çalık
5 yıl önce
İzleme sayısı:

Yapa Siir Ağları Ço Katmalı Algılaıcı Yard.Doç.Dr. Mhmt Siraç ÖZERDEM siracozrdm@gmail.

1 Yapa Siir Ağları Ço Katmalı Algılaıcı Yard.Doç.Dr. Mhmt Siraç ÖZERDEM Eltri Eltroi Mühdisliği Bölümü Dicl Üirsitsi ÇKA Modl Yapısı Doğrusal olmaa dğişimlri modllmsi Ör, XOR problmi Basit algılaıcı ADALINE il XOR çözülbilir mi? 1

2 ÇKA Modl Yapısı Mis 1969, prsptro modlii XOR içi çözüm olamaacağıı ispatladı Rumlhart ar.1986, ÇKA il soruu çözülbilcğii ispatladı ÇKA, özllil sııfladırma, taıma gllm apmaı grtir problmlr içi ii bir çözüm Modl, Dlta Öğrm uralı il ğitilir. Öğrm uralı, basit algılaıcı modlii öğrm uralıı gliştirilmiş bir şlidir. Tml amaç, ağı bl çıtısı il ürttiği çıtı arasıdai hataı aza idirmtir. Girdi Katmaı Ara Katmalar Çıtı Katmaı ÇKA Modl Yapısı 2

3 ÇKA Ağıı Öğrm Kuralı ÇKA ağları öğrtmli/daışmalı öğrm uralıa gör çalışır. Girdilr Bl çıtılar ağa suulur ÇKA ağıı öğrm Dlta uralı üçü arlr ötmi daaır. Dlta uralı 2 bölümd oluşur İlri öd hsaplama Ağı çıtısıı hsaplar Gri doğru hsaplama Ağırlılar dğiştirilir Ço Katmalı Algılaıcı YSA apılarıa gör ilri bslmli fdforard gri bslmli fdbac ağlar olma üzr ii sııfa arılmıştır. Yapa Siir Ağları İlri Bslmli Ağlar Fdforard Ntors Gri Bslmli Ağlar Rcurrt/fdbac Ntors T Katmalı Algılaıcı Ço atmalı Algılaıcı Radial Tabalı Fosio Ağları Yarışmacı Ağları Koho SOM Hopfild Ağları ART Modllri 3

4 Ço Katmalı Algılaıcı İlri bslmli ağda işlmci lmalar gllil atmalara arılmıştır. İşartlr, giriş atmaıda çıış atmaıa doğru t ölü bağlatılarla iltilir. İşlmci lmalar bir atmada diğr bir atmaa bağlaır, aı atma içrisid bağlatıları bulumamatadır. Ço Katmalı Algılaıcı Gri bslmli YSA larda is, bazı öroları çıışları aı öroa a öci atmalardai örolara gri bslir. Bölc, girişlr hm ilri öd hm d gri öd atarılmış olur. Bu tip siir ağları, diami apılı bir bllğ sahiptir, diğr bir dişl, hrhagi bir adai çıış, o adai girişlri bir fosiou olduğu adar öci giriş çıış dğrlrii d asıtmatadır. Bu özlliğid dolaı, bu tür ağlar, özllil ögörü ugulamaları içi ugu olmatadır 4

5 Ço Katmalı Algılaıcı Eğitim, ri grup uarlamalı olma üzr ii farlı biçimd apılabilir. Vri uarlamalı da ağırlılar rastgl girişlr gör hr adımda tüm ağırlıları dğiştirilmsil grçlşir. Grup uarlamalı ğitim algoritmasıda is ğitim ümsidi tüm giriş-çıış çiftlri ağa ugulaara ağırlılar ğitim ümsii tümü içi bir adımda dğiştirilir. Ço Katmalı Algılaıcı YSA paramtrlrii gücllmsi içi ço ullaıla ötm hataı gri aılması ötmidir. Ss taıma problmlrid lir olmaa sistm taıma dtimi problmlri adar YSA il çözüm ürtil birço alada başarı il ullaılmatadır. 5

6 Ço Katmalı Algılaıcı Çıış atmaıa ait ağırlıları gücllmsi örou 0 =+1 d 0 = i i -1 Sadc ağı çıışıa ilişi bilgimiz olduğuda, çıış atmaı göz öü alıır. Eğitim ümsidi. çiftii çıış öroua ilişi hata ifadsi Toplam ai hata ifadsi Ço Katmalı Algılaıcı d C 6

7 7 Hsaplaaca arsl hata doğruda, ağırlılara, şi dğri atiaso fosioua ilişi paramtri büülülr bağlıdır. Ço Katmalı Algılaıcı p i i i 0 Ağırlı dğişimii hsaplama içi hataı hr ağırlığa gör ısmi türii bilimsi grir. i i Ço Katmalı Algılaıcı 1 i i i i

8 8 Dlta uralı olara adladırıla ağırlı dğişimi ifadsi aşağıda göstrildiği şild hsaplaır. : öğrm atsaısı Bağıtıı si işartli olması, hata dğrii ğitim sürsic gidr düşmsi olaa sağlar. Yrl grada, taımlaabilir. Gizli atmalarda rl gradalar öm azamatadır. Ço Katmalı Algılaıcı i i i Bölc rl grada Ço Katmalı Algılaıcı i

9 Ço Katmalı Algılaıcı Gizli atmaıa ait ağırlıları gücllmsi örou örou 0 =+1 d 0 = i i -1 Ço Katmalı Algılaıcı örouu gizli atmada r alması ifadsii bilimmsi, rl gradaı farlı taımlamasıa ol açar. Toplam hata, C 9

10 10 Ço Katmalı Algılaıcı 0 m Ço Katmalı Algılaıcı Gri aılım algoritmasıdai ağırlı dğişimii ugu rl gradaları hsaplaması oşulu il dlm, aşağıdai gibi basit ifad hali glir. i

11 Ço Katmalı Algılaıcı Öğrm oraı hızlı öğrmi sağlar faat salııma d olabilir. Rumlhart aradaşları ifadsii bir tür momtum trimi içrm üzr düzlbilcğii ilri sürmüşlrdir. Bu durumda ağırlı dğişim bağıtısı; W i 1 W Momtum trimi ola üçü dğrli pozitif bir saıdır. 0<<1 i 0<<1 i Ço Katmalı Algılaıcı Öğrm atsaısıı ço üs tutma, daraışı bozulmasıa d olabilir. O dl öğrm atsaısıı böl bir daraışı ölm içi üçü tutma grlidir. Öt ada ço üçü bir öğrm oraıda, işlmi aaşlamasıa ol açar. Momtum firi, bu otada hartl ortaa atılmıştır. Momtum, mcut ağırlığı üzrid öci ağırlığıı blli bir ısmıı bslr. Bölc daha düşü öğrm atsaısı il daha hızlı öğrm ld dilir. 11

12 Matlab - Nural Ntor c Crat a comptiti lar. cf Crat a cascad-forard bacpropagatio tor. lm Crat a Elma bacpropagatio tor. ff Crat a fd-forard bacpropagatio tor. fftd Crat a fd-forard iput-dla bacprop tor. gr Dsig a gralizd rgrssio ural tor. hop Crat a Hopfild rcurrt tor. Nli Crat a liar lar. lid Dsig a liar lar. Nlq Crat a larig ctor quatizatio tor p Crat a prcptro. p Dsig a probabilistic ural tor. rb Dsig a radial basis tor. Nrb Dsig a xact radial basis tor. som Crat a slf-orgaizig map. Stax Matlab Nural Ntor Toolbox t = ff PR,[S1 S2...SN], {TF1 TF2...TFN}, BTF, BLF, PF PR : R x 2 matrix of mi ad max alus for R iput lmts Si : Siz of i.th lar, for N lars TFi : Trasfr fuctio of i.th lar dfault = 'tasig' Th othr optios, tasig, logsig, or purli 12

13 Matlab Nural Ntor Toolbox Stax t = ff PR,[S1 S2...SN], {TF1 TF2...TFN}, BTF, BLF, PF BTF : Bacpropagatio tor traiig fuctio dfault = 'trailm' BTF ca b a of th bacpropagatio traiig fuctios such as trailm, traibfg, trairp, traigd, tc. Matlab Nural Ntor Toolbox Traiig fuctios trailm is a tor traiig fuctio that updats ight ad bias alus accordig to Lbrg-Marquardt optimizatio. traibfg is a tor traiig fuctio that updats ight ad bias alus accordig to th BFGS quasi-nto mthod. trairp is a tor traiig fuctio that updats ight ad bias alus accordig to th rsilit bacpropagatio algorithm Rprop. traigd is a tor traiig fuctio that updats ight ad bias alus accordig to gradit dsct. 13

14 Matlab Nural Ntor Toolbox Stax t = ff PR,[S1 S2...SN], {TF1 TF2...TFN}, BTF, BLF, PF BLF : Bacpropagatio ight/bias larig fuctio dfault = 'largdm' Th larig fuctio BLF ca b ithr of th bacpropagatio larig fuctios largd or largdm. largdm is th gradit dsct ith momtum ight ad bias larig fuctio. Stax Matlab Nural Ntor Toolbox t = ff PR,[S1 S2...SN], {TF1 TF2...TFN}, BTF, BLF, PF PF : Prformac fuctio dfault = 'ms' Th prformac fuctio ca b a of th diffrtiabl prformac fuctios such as ms or msrg. 14

15 Matlab Trai Nural Ntor [ t, tr, Y, E, Pf, Af ] = trai t, P, T, Pi, Ai, VV, TV t : Ntor P : Ntor iputs T : Ntor targts dfault = zros Pi : Iitial iput dla coditios dfault = zros Ai : Iitial lar dla coditios dfault = zros VV : Structur of alidatio ctors dfault = [ ] TV : Structur of tst ctors dfault = [ ] ad rturs t : N tor tr : Traiig rcord poch ad prf Y : Ntor outputs E : Ntor rrors Pf : Fial iput dla coditios Af : Fial lar dla coditios Matlab Simulat Nural Ntor [ Y, Pf, Af, E, prf ] = sim t, P, Pi, Ai, T t : Ntor P : Ntor iputs Pi : Iitial iput dla coditios dfault = zros Ai : Iitial lar dla coditios dfault = zros T : Ntor targts dfault = zros ad rturs Y : Ntor outputs Pf : Fial iput dla coditios Af : Fial lar dla coditios E : Ntor rrors Prf : Ntor prformac 15

16 Matlab Exampl - Nural Ntor P = [ ]; iput T = [ ]; targt A to-lar fdforard tor is cratd. Th tor's iput rags from [0 to 10]. Th first lar has fi tasig uros, ad th scod lar has o purli uro. Th trailm tor traiig fuctio is to b usd. t = ff[0 10],[5 1],{'tasig' 'purli'}; Matlab Exampl - Nural Ntor Th tor is simulatd ad its output plottd agaist th targts. Y = simt,p; plotp,t,p,y,'o' t.traiparam.pochs = 50; t = trait,p,t; Y = simt,p; plotp,t,p,y,'o' 16

17 Kaa Nural Ntors: A Comprhsi Foudatio 2d Editio, Simo Hai, Prtic Hall, 1998 Yapa Siir Ağları, Erca Öztml, Papata Yaıcılı, 2003-İSTANBUL 17

Benzer belgeler

Hafta 8: Ayrık-zaman Fourier Dönüşümü

Hafta 8: Ayrık-zaman Fourier Dönüşümü Hafta 8: Ayrı-zama ourir Döüşümü El Alıaca Aa Koular Ayrı-zama ourir döüşümü Ayrı-zama priyodi işartlr içi ourir döüşümü Ayrı-zama ourir döüşümüü özllilri Doğrusal, sabit atsayılı far dlmlriyl taımlaa