Geriye Yayılım Algoritması Bazı İpuçları

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Geriye Yayılım Algoritması Bazı İpuçları"

Berker Sayın
5 yıl önce
İzleme sayısı:

1 Griy Yayılım Algoritması Bazı İpuçları Öğrnm Hızı Öğrnm hızını blirlyn büyüklük η E w ( k + ) = w ( k) η = w ( k) + ηδ j yi k η küçük ağırlıklardaki dğişim bir itrasyondan diğrin küçük olacağı için, ağırlık uzayında düzgün bir dğişim gözlnck öğrnm yavaş olacak η büyük öğrnm hızlanacak salınım oluşacağından yakınsama mümkün olmayabilir Hızı artıralım ama salınım da olmasın. Bu mümkün mü? Momntum Trimi w ( k + ) = w ( k) + ηδ y + α( w ( k) w ( k )) j i Momntum trimi w ( k) = ˆ w ( k + ) w ( k) w ( k ) = w ( k) w ( k ) w ( k) = α w ( k ) + ηδ y wˆ ( k) =αwˆ ( k ) u( k) j i + Bu ifad nyi anımsatıyor? x ( k + ) = Ax( k) + Bu( k) x ( k+ ) = Ax( k) + Bu( k) x ( ) = Ax() + Bu() x ( ) = Ax() + Bu() Linr zamanla dğişmyn ayrık zaman sistmi HATIRLATMA x ( ) = A[ Ax() + Bu()] + Bu() x () = A x() + ABu() + Bu() x () = A x() + ABu() + Bu() 3 x (3) = A x() + A Bu() + ABu() + Bu() x( n) = A n x() + n k = A ( k ) Bu( n k) Bu sist çözümü nry gidiyor? A matrisinin özdğrlri birim dair içind is girişin blirldiği dğr A matrisinin özdğrlri birim dair üstünd is salınım yapan bir sistm A matrisinin özdğrlri birim dair dışında is sonsuza hatırlatmanın sonu Momntum trimi varkn güncllmd n oluyor ona bakalım k k n t w( k) = η α δ j ( t) yi ( t) n t E( t) w( k) = η α ( t t= t= ) α< E( t) Ardışık itrasyonlarda aynı işartli is w (k) nın ( t) gnliği büyüyck, ağırlıklardaki dğişim büyük olacak. E( t) Ardışık itrasyonlarda farklı işartli is w (k) nın (t) t gnliği azalacak, ağırlıklardaki dğişim küçük olacak Momntum triin gradynin işartinin dğiştiği doğrultularda kararlı kılma tkisi var.

2 η=. η =.5 η =. η =.9 S. Haykin, Nural Ntworks- A Comprhnsiv Foundation, nd Edition, Prntic Hall, 999, Nw Jrsy. S. Haykin, Nural Ntworks- A Comprhnsiv Foundation, nd Edition, Prntic Hall, 999, Nw Jrsy. Adaptif Öğrnm Hızı (k ) η w η ( k) = η E [ ( k ) ( k ) + β w E( w( k)) E( w( k )) ( k ) aη ( k ) ~ a = ( k ) E( w( k)) E( w( k )) b η < = b ( ) η = 3, =.,. a.3,.75 b β.9 ] S. Haykin, Nural Ntworks- A Comprhnsiv Foundation, nd Edition, Prntic Hall, 999, Nw Jrsy.

3 Grup-Vri Uyarlamalı Eğitim Vri Uyarlamalı Eğitim squntial mod on-lin mod pattrn mod stochastic mod Grup Uyarlamalı Eğitim batch mod Eğitim kümsindki hr örüntü Eğitim kümsindki tüm ağa uyarlandıktan sonra örüntülr ağa uyarlandıktan ağırlıklar dğiştiriliyor sonra ağırlıklar dğiştiriliyor w E ( k + ) = w( k) η k w E ( k + ) = w ( k) η ort Amaç Ölçütü Hr bağlantı için grkn bllk Örüntülrin ağa sunuluşu Algoritmanın yakınsaması Parallliğin sağlanması Eğitim kümsinin fazlalıklı olması Algoritmanın basitliği Büyük boyutlu v zor problmlrd tkin çözün sağlanması Grup Uyarlamalı E w( k + ) = w( k) η ort Vri uyarlamalı E w ( k + ) = w ( k) η k Griy Yayılım Algoritmasının Yakınsaması Gnlikt Ayrık Algılayıcıdaki gibi yakınsaması garanti dğil. N zaman durduracağız? Kramr+Sangionanni-Vincntlli (989) E ε E ε E ort max ε j j Çapraz dğrlndirm (cross-validation) Eğitim Kümsi Yaklaşıklık Kümsi (stimation subst) Dğrlndirm Kümsi (validation subst) S. Haykin, Nural Ntworks- A Comprhnsiv Foundation, nd Edition, Prntic Hall, 999, Nw Jrsy.

4 Hata Fonksiyonları Lostik Fonksiyon E L E = T Talvar Fonksiyonu E T ß ß Hubr Fonksiyonu E L =β ln[cosh( / β )] E H ß ß ß ß E = H β β β > β E = T β β > β Vrilrin Ölçklnmsi y Eğitim Kümsi x Ölçklm ŷ Ölçklnmiş Vri Ölçklm x ŷ YSA Logaritmik x Ölçklm: Doğrusal Ölçklm: = x = x = x = µ x In ( x µ ) x x + x x max + max + ( ( x max max y Gri Ölçklm ŷ Eğitilmiş YSA modli Ölçklm x x ) ) Son İpuçları yd i { ε, ε }, xi { ε, ε } ε i lr büyük is ağırlıkların dğişim aralığı küçülür; fiziksl grçklmy uygun olur. Ancak girişlrdki gürültüy tolrans azalır. Ağırlıklar başlangıçta aynı sçilirs, dğişimlri d aynı olabilir. Dolayısıyla ağırlıklar ynilndiğind aynı kalabilirlr. Bunu ngllmk için başlangıç ağırlıkları sıfıra yakın sayılardan rastgl sçilmli. Ağırlıklar başlangıçta aynı sçilirs, dğişimlri d aynı olabilir. Dolayısıyla ağırlıklar ynilndiğind aynı kalabilirlr. Bunu ngllmk için başlangıç ağırlıkları sıfıra yakın sayılardan rastgl sçilmli. Hr katman klndiğind griy yayılım algoritması yavaşlar. Bunu ngllmk için giriştn çıkışa doğrudan bağlantılar yapılabilir.

5 Griy yayılım algoritması n dik iniş v gradyn yöntm dayalı olduğundan, bu yöntmi iyilştirici tüm tkniklr griy yayılım algoritmasını da iyilştirmk için kullanılabilir. T v L harfini ayırt dn bir ağ İkinci türvlri kullanan linr olmayan niyilm yöntmlrindn hrhangi biri d kullanılabilir. SONLU ADIMDA GLOBAL MİNİMUMA YAKINSAMASI GARANTİ DEĞİLDİR. Bu harflri ağa nasıl sunacağız? 5X boyutlu vktörlr il T = [ ]' L= [ ]' Bu vrilrin yanı sıra bozuk vrilr d vrlim... Bir d tst kümsi oluşturalım... Tst kümsind sağlam vrilr v ğitim kümsindkilrdn farklı bozuk vrilr olsun T L T4 L4 T3 L3

6 Mahmut Mral, Lisans Bitirm Ödvi, 3 Mahmut Mral, Lisans Bitirm Ödvi, 3 Giriş Çıkış Modlin gör Dinamik Sistm Tanıma u[ n] u[ n ].. u[ n m] y[ n] y[ n ].. y[ n k] Giriş Vktörü F(.) Giriş-Çıkış Eşlm Fonksiyonu y[n+] Çıkış NARX (nonlinar autorgrssiv with xognous inputs) modli Giriş u(n) u(n-) u(n-m) y(n-k) y(n-) y(n) Çok Katmanlı Ağ F(.) Çıkış y(n+) y( n + ) = F( y( n), y( n ),.., y( n k), u( n), u( n ),.., u( n m)) Mahmut Mral, Lisans Bitirm Ödvi, 3 Mahmut Mral, Lisans Bitirm Ödvi, 3 Giriş u(n) Nonlinr Sistm F(.) y(n+) Billings sistmi tst sonuçları o- grçk dğr *- ağın çıkışı (n)=y(n+)- ŷ(n+) + + Çok Katmanlı Ağ ŷ(n+)

7 Mahmut Mral, Lisans Bitirm Ödvi, 3 Mahmut Mral, Lisans Bitirm Ödvi, 3 Fignhoum sistmi için bir adım sonrasının öngörümü o- grçk dğr *- ağın çıkışı Fignhoum sistin otonom davranışı o- grçk dğr *- ağın çıkışı Mahmut Mral, Lisans Bitirm Ödvi, 3 Mahmut Mral, Lisans Bitirm Ödvi, 3 Çok katmanlı ağın çkicisi Çok katmanlı ağın çkicisi Grçk sist çkicisi Çok katmanlı ağın çıkışı

8 Bu yapı farklı bir öğrnm kuralı il korku şartlanması için kullanılmıştır... Korku Şartlanması Armony, Srvan-Schribr, Cohn & LDoux (997) CS (Conditiond Stimulus) şartlı uyaran Şartlanma sırasında: İşitm alanı CS Talamus MGB US (Unconditiond Stimulus) şartsız uyaran CS kortks CS-US şlştirilmsi tipik davranışlar fizyolok tpkilr Amygdala Srkan Çapkan, Lisans Bitirm Ödvi, 7 Yapılan Ndir? Yapılan Ndir? Örnk; Bir ss tonu il birlikt, rahatsız dici bir tki uygulayarak bynin-dnğin-modlin o ss karşı şartlanmasını modllmk Bir insana, çok sayıda farklı ss vriliyor. Bu sslrin hrhangi biri il birlikt, bu insanın ayağına küçük bir lktrik şoku uygulanıyor. Daha sonra yin sslr dinltilirkn o ss vrildiğind, kişinin korkması bklniyor

9 Ss Nasıl Modllniyor? (5 farklı frkansta ss) Bu çalışmada; Yapılan Ndir? Modl, 5 farklı ss vriliyor, bu sslr tpkisi ölçülüyor. Sonra, bu sslrdn hrhangi biri il birlikt, modl rahatsız dici bir uyaran uygulanıyor. Daha sonra yin sslr aynı vrilirkn o ss vrildiğind, modlin bklnmyn bir tpki vrmsi bklniyor 6 boyutlu bir vktör. Ss Nasıl Modllniyor? (5 farklı frkansta ss) İşlm Basamakları Bu sslrin birbiriyl bnzrliği. Sslrin Uygulanması, tpkilrin ölçülmsi Yin sslrin uygulanması, 5. sst rahatsız dici uyaranın uygulanması Gözlm 3 5

10 Modl Örnk Bir İşlm (auditory cortx -> amygdala için) Auditory Cortx Amygdala wac amg ( ) x amg othrs ( x amg ) othrs f ( x) ( a amg ) othrs w w mgv ac mgmpin ac wmgmpin amg ( x amg ) othrs ( x amg ) win ( x amg ) othrs f ( x) f ( x) ( a amg ) othrs ( a amg ) win wus mgmpin wus amg w mgv w mgmpin Hücry gln girişin ağırlıklandırılması ( w ) * ( a ) = ( ) ac amg a c x a m g Örnk Bir İşlm (auditory cortx -> amygdala için) Örnk Bir İşlm (auditory cortx -> amygdala için) Diğr hücr çıkışlarının aktivasyon fonksiyonundan gçirilmsi Kazanan hücr çıkışının aktivasyon fonksiyonunda gçirilmsi ( x amg ) othrs = ( xamg ) othrs - µ * ( ) a amg win f ( x ) ( x ) ( ) amg win a amg win ( x ) ( a ) amg othrs a amg othrs Tüm aktiv dilmiş hücr çıkışları a amg = ( a amg ) win + ( a amg ) othrs

11 Örnk Bir İşlm (auditory cortx -> amygdala için) İşlm Basamakları Ağırlıkların Ynilnmsi Yalnızca dğri o bölgnin çıkışlarının ortalamasından büyük olan çıkışlara ilişkin ağırlıklar ynilnir w = w +. a. a, as > aort ' rs ' rs w rs rs r s w =, diğrlri Sslrin Uygulanması Sslr il birlikt rahatsız dici uyaranın uygulanması Gözlm Sonuçların İnclnmsi (Sslrin İlk Uygulanması ) Sonuçların İnclnmsi (Sslrin İlk Uygulanması )

12 Sonuçların İnclnmsi (Sslrin İlk Uygulanması ) Sonuçların İnclnmsi (Sslrin İlk Uygulanması ) Sonuçların İnclnmsi (Şartlanmadan sonra v önckilr) Sonuçların İnclnmsi (Şartlanmadan sonra v önckilr)

13 Sonuçların İnclnmsi (Şartlanmadan sonra v önckilr) Sonuçların İnclnmsi (Şartlanmadan sonra v önckilr) Sonuçların İncl. (Şartlanma öncsi v sonrası çıkışların farkları) Sonuçların İncl. (Şartlanma öncsi v sonrası çıkışların farkları)

14 Sonuçların İncl. (Şartlanma öncsi v sonrası çıkışların farkları) Sonuçların İncl. (Şartlanma öncsi v sonrası çıkışların farkları)

Benzer belgeler

Bilgi Tabanı (Uzman) Karar Verme Kontrol Kural Tabanı. Bulanık. veya. Süreç. Şekil 1 Bulanık Denetleyici Blok Şeması

Bilgi Tabanı (Uzman) Karar Verme Kontrol Kural Tabanı. Bulanık. veya. Süreç. Şekil 1 Bulanık Denetleyici Blok Şeması Bulanık Dntlyicilr Bilgi Tabanı (Uzman) Anlık (Kskin) Girişlr Bulandırma Birimi Bulanık µ( ) Karar Vrm Kontrol Kural Tabanı Bulanık µ( u ) Durulama Birimi Anlık(Kskin) Çıkış Ölçklm (Normali zasyon) Sistm