Psikoloji açısından Pekiştirmeli öğrenme. Şartlanma-Pekiştirmeli öğrenme. Eğiticisiz Öğrenme. Pekiştirmeli Öğrenme (reinforcement learning)

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Psikoloji açısından Pekiştirmeli öğrenme. Şartlanma-Pekiştirmeli öğrenme. Eğiticisiz Öğrenme. Pekiştirmeli Öğrenme (reinforcement learning)"

Erdem Çetinkaya
6 yıl önce
İzleme sayısı:

1 Htıltm Eğiticisiz Öğenme Peiştimeli Öğenme einfocement lening Eğitilen sistem Psioloji çısınn Peiştimeli öğenme Kiti Değe Atm Öül δ vnış Biz lımızı nsıl veiyouz? Veiğimiz l h soni vnışlımızı nsıl etiliyo? uum Otm Öğenme işleminin he ımın istenilen ynıtı sğlyn bi eğitici yo Eğitilen sistem, sonuçt ele eilece ynıt eişme için geeli vnışı eleştiiyi gözönüne tut bulm bulm zoun Veiğimiz lın sonuçlı öğenmemizi sğlıyo mu? 2 Ştlnm-Peiştimeli öğenme Psiolojie peiştimeli öğenme İlişilenime ssocition: O T O 2 T 2 O T 2 Klsi Ştlnm Thonie nin Yssı: U Te U Te U 2 Te 2 U 2 Te 2 Of sevel esponses me to the sme sitution, those which e ccompnie o closely followe by stisfction to the niml will, othe things being equl, be moe fimly connecte with the sitution, so tht, when it ecus, they will be moe liely to ecu; those which e ccompnie o closely followe by iscomfot to the niml will, othe things being equl, hve thei connections with tht sitution weene, so tht, when it ecus, they will be less liely to occu. The gete the stisfction o iscomfot, the gete the stengthening o weening of the bon. Thonie, 9, p. 244 Etin Ştlnm δ 3 4

2 Psiolojie peiştimeli öğenme Nöobilim çısınn Peiştimeli öğenme Thonie 898: uyn-ynıt ilişilenimesi stimulus-esponse ssocition Sinne 938: vnışsl üzenleme behviol egultion Beyinei hngi bölgele ye lıyo? Bu bölgelein bibileiyle bğlntılı nele? Bğlntılı etileyen menizml nele? Hbe, N.S. et.l. The jounl 8 of neuoscience, 2.

3 Min öğenmesine peiştimeli öğenme Mchine lening Otmi belisizliğe ğmen bi mc eişme için tif veen bi cının otml ilişisi inceleniyo. Acı vnışlını seçeen ylnm-m iilemi ile yüzleşi. exploit-exploe Peiştimeli öğenme sistemi: ylşım policy öül fonsiyonu ew function Q, V eğe fonsiyonu vlue function s otm moeli Min öğenmesine peiştimeli öğenme öğenen, veen cı etileşim içine oluğu otm uum öül s t t s Acı Otm mç: * optiml ylşımı bulm V * vnış s mx V s Q s, mxq s, * t 9 V Min öğenmesine peiştimeli öğenme { } s E Rt st s E γ t + + st, s [ R ss + γv s ] ss s P Min öğenmesine peiştimeli öğenme { } Q s, E Rt st s, t E γ t + + st s, t [ ] P + s s R ss γv s 2

4 Bi Peiştimeli öğenme metou: Dinmi pogmlm otm moeli : Mov işlevi Mov Decision Pocess MDP ylşım belileme : ışıl { + V st st s} s, P ss [ R ss + γv ] V + s E γ + Bi Peiştimeli öğenme metou: Dinmi pogmlm ylşım iyileştime : { + γv s s s, } Q s, E + t P ss Rss + γ V s ylşım: t t [ ] { + γv s s s, } g mx Q s, g mxe s t t 3 4 Bi Peiştimeli öğenme metou: Dinmi pogmlm Bi peiştimeli öğenme metou: Monte Clo s otm moeli: eneyim geçe eneyim on-line benzeşim eneyim simulte s ylşıml ve ylşım ötesine on-policy off-policy 5 6

5 Bi peiştimeli öğenme metou: Monte Clo Bi peiştimeli öğenme metou: Monte Clo [ R ss + γv s ] V s εmx P + ε As ss [ R ss + γv s ] ss P Q s, s s, Q s, ε Q s, + εmxq A s s, 7 8 Bi peiştimeli öğenme metou: Monte Clo Bi peiştimeli öğenme metou: Zmnsl f Monte Clo metoun benziyo: otmın tm moeline geesinimi yo Dinmi pogmlmy benziyo: en son çıtıyı belemeen güncelleme ypbiliyo Ylşıml: Ss ylşım ötesine: Q-öğenme Q-lening Atö-Kiti 9 2

6 Bi zmnsl f metou: Atö-iti Bi Zmnsl f metou: Atö-iti Kiti Atö Dvnış belileme δ Değe Atm Öül Otm uum vnış V w T s δ t + + γv t + V w + w + ηδ x wˆ t + wˆ + αδ e e t + λe + λ s f [ ˆ T w s + n ] 2 22 Peiştimeli öğenmeye ilişin biliş bilime bi uygulm Biliş bilim ne ile ilgileniyo? Dvnışsl: giişe şılı gelen çıış ne? Fonsiyonel: çıış nsıl oluşuyo? Fizisel: çıışı ne üetiyo? Peiştimeli öğenme için geliştiilece bi hesplmlı moele nelee it eilmeli? Dvnışsl: uyn ynıt öül cez ynıt öül/cez yln exploi exploe Fonsiyonel: geçmişi eğeleni belenti oluştu Fizisel: nöl ypılın/bğlntılın özelilei 23 24

7 Peiştimeli öğenme için öneilen bzı hesplmlı moelle Bto & Sutton & Aneson 983 min öğenmesi TD tempol iffeence Schultz & Dyn & Montgue 997 Kiti,TD Kiti: VTA Bto, A.G. IEEE,Syst. Mn&Cybe.983 t nıni öngöü nıni öngöü Bi peiştimeli öğenme metou: Zmnsl f Tempol DiffeenceTD Gelecetei öülü öngöme P E P 2 { + γ + γ } 2 E{ + γ 2 + γ } P+ t { + γ + γ } P E t + Sui & Scultz 998 Atö-Kiti, TD Kiti: nigostitl opmin nöonlı Atö: Stitum { } + γp P E δ ˆ + γp t + P Ht Aışıl eşleştime öevi Uyn I Amç: Bi izi öğenme A B 2 C 3 öül P w I p δ + γp P δ p + f λp + m + w I m + f p + w f p n + f p + f + w iff n cs Yöntem: U C Te 3 U Te öül 2 U 2 B Te 2 2 U 2 Te 2 U Te öül iti Dvnış seçici- Atö vnış 3 U 3 A Te 3 U 3 Te 3 U 2 Te 2 U Te öül A B 2 C 3 öül Dvnış eğeleniici 27 28

8 Dvnış seçici sistem Güncelleme teimlei p + f λp m + + w n + + f p f p f p f + m + w f x.5 tnh x β + w iff cs n I w n + w n +η. δ w n. w. f p w n+ w n + η T. n. I n v v wv η w. v δ T w n+ w n + n. n. I n cs cs cs δ w ve wcs öğenme ile eğiştiilece 29 3 Dinmi sistemin vnışı Dinmi sistemin vnışı w w 3 32

9 Dinmi sistemin vnışı Dinmi sistemin vnışı w.5 w

Benzer belgeler

Psikoloji açısından Pekiştirmeli öğrenme. Şartlanma-Pekiştirmeli öğrenme. Eğiticisiz Öğrenme. Pekiştirmeli Öğrenme (reinforcement learning)

Psikoloji açısından Pekiştirmeli öğrenme. Şartlanma-Pekiştirmeli öğrenme. Eğiticisiz Öğrenme. Pekiştirmeli Öğrenme (reinforcement learning) Hılm ğiiciiz Öğenme Peişimeli Öğenme einfocemen lening ğiilen iem Pioloji çıınn Peişimeli öğenme Kii Değe Am Öül vnış Biz lımızı nıl veiyouz? eiğimiz l h oni vnışlımızı nıl eiliyo? uum Om Öğenme işleminin