Hidden Markov Model. Forward Algoritması Viterbi Algoritması. Doç.Dr.Banu Diri. Rasgele Olmayan /Gerekirci Model

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Hidden Markov Model. Forward Algoritması Viterbi Algoritması. Doç.Dr.Banu Diri. Rasgele Olmayan /Gerekirci Model"

Nilüfer Hacıoğlu
8 yıl önce
İzleme sayısı:

1 Hidden Markov Model Forward Algoritması Viterbi Algoritması Doç.Dr.Banu Diri Rasgele Olmayan /Gerekirci Model Bir trafik lambası düşünelim; ışıkların sırasıyla red - red/amber - green - amber - red. Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin. red red-amber green amber Herbir durum sadece bir öceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik. Bu tip sistemlerde bir durumdan diğer bir duruma geçişi anlamak ve analiz etmek kolaydır. Slide 1 1

Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin.

2 Rasgele Olmayan /Gerekirci Model Bir trafik lambası düşünelim; ışıkların sırasıyla red - red/amber - green - amber - red. Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin. red red-amber green amber Herbir durum sadece bir öceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik. Bu tip sistemlerde bir durumdan diğer bir duruma geçişi anlamak ve analiz etmek kolaydır. Slide 2 Rasgele Olmayan /Gerekirci Model Bir trafik lambası düşünelim; ışıkların sırasıyla red - red/amber - green - amber - red. Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin. red red-amber green amber Herbir durum sadece bir öceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik. Bu tip sistemlerde bir durumdan diğer bir duruma geçişi anlamak ve analiz etmek kolaydır. Slide 3 2

red red-amber green amber Herbir durum sadece bir öceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik.

3 Rasgele Olmayan /Gerekirci Model Bir trafik lambası düşünelim; ışıkların sırasıyla red - red/amber - green - amber - red. Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin. red red-amber green amber Herbir durum sadece bir öceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik. Bu tip sistemlerde bir durumdan diğer bir duruma geçişi anlamak ve analiz etmek kolaydır. Slide 4 Rasgele Olmayan /Gerekirci Model Bir trafik lambası düşünelim; ışıkların sırasıyla red - red/amber - green - amber - red. Bu sıralama bir durum makinesi ile görüntülensin ve trafik ışığının her farklı durumu birbirini takip etsin. red red-amber green amber Herbir durum sadece bir önceki duruma bağlıdır, öyleki eğer ışık yeşil ise onu izleyen renk amber olacaktır. Çünkü sistem deterministik. Bu tip sistemlerde bir durumdan diğer bir duruma geçişi anlamak ve analiz etmek kolaydır. Slide 5 3

4 Rasgele Olan /Gerekirci Olmayan Model Markov modelde bir durumdan diğer bir duruma geçiş önceki n duruma bağlı olarak gerçekleştirilir. Bu işlem order n model olarak adlandırılır, n değeri gelecek durumun seçiminde etkili olan durum sayısıdır. N basit Markov model first order (n=1) modeldir. Gerekirci modele benzemez, çünkü burada durumların olasılıkları sözkonusudur ilk olasılıklar vektörü п M adet durum (state) varsa maksimum M 2 adet bağlantı (transition) olabilir. Bu bağlantıların olasılıkları da Transition Matrix ile verilir. Slide 6 First order Markov process : states : 3 durum - sunny, cloudy, rainy. vector (п): 0 anında herbir state in olasılığı state transition matrix : Verilen bir önceki güne göre havanın ne olabileceğinin olasılığı Slide 7 4

Gerekirci modele benzemez, çünkü burada durumların olasılıkları sözkonusudur. 0.25 0.5 ilk olasılıklar vektörü п M adet durum (state) varsa maksimum M 2 adet bağlantı (transition) olabilir.

5 HMM kullanan uygulamalar NLP Part-of-speech tagging Word segmentation Information extraction Optical Character Recognition (OCR) Speech recognition Modeling acoustics Computer Vision gesture recognition Biology Gene finding Protein structure prediction Economics, Climatology, Communications, Robotics Slide 8 Saklı Markov Model (Hidden Markov Model) Markov modelden farklı olarak Saklı Markov Modelde sistemin herhangi bir t anında, hangi durumda olduğu bilinmez, ancak sistem bir durumda iken bu durumun tetiklediği gözlemi ortaya çıkarır. (outputs) Slide 9 5

Communications, Robotics Slide 8 Saklı Markov Model (Hidden Markov Model) Markov modelden farklı olarak Saklı Markov Modelde sistemin

6 Saklı Markov model (HMM) bir üçlüdür (п,a, B) State lerin başlangıç durumları; state transition matrix; confusion matrix; HMM de üç problem vardır. 1. Gözlemlenen bir sekansın gerçekleşme olasılığının bulunması (Forward Algorithm). 2. Gözlemlere dayanarak saklı state lerin en muhtemel sekansının bulunması (Viterbi Algorithm). 3. Gözlemlenen sekansın üretilebilmesi için model parametrelerin belirlenmesi (Forward-Backward). Slide 10 Forward Algorithm Gözlemlenen bir sekansın olasılığının bulunması 27 farklı Pr(dry,damp,soggy HMM) = Pr(dry,damp,soggy sunny,sunny,sunny) + Pr(dry,damp,soggy sunny,sunny,cloudy) + Pr(dry,damp,soggy sunny,sunny durum,rainy) Pr(dry,damp,soggy rainy,rainy,rainy) Slide 11 6

3. Gözlemlenen sekansın üretilebilmesi için model parametrelerin belirlenmesi (Forward-Backward).

7 T uzunluğunda gözlemlenen sekans Intermediate probabilities (α's) değeri t=1 deki bütün state ler için hesaplanır. t = 2,..., T her adım için her state in partial probability hesaplanır Son olarak bütün partial probability ler toplanır ve verilen HMM için gözlemlenen sekansın olasılığı hesaplanır. Slide 12 Hidden States (weather) Sunny Cloudy Rainy Observed States Dry Dryish Damp Soggy Initial State Prob.(Π vector) Sunny 0.63 Cloudy 0.17 Rainy 0.20 State transition matrix ( a' matrix) Yesterday Weather Today Weather Sunny Cloudy Rainy Sunny Cloudy Rainy Confusion matrix ( b' matrix) Slide 13 7

olasılığı hesaplanır. Slide 12 Hidden States (weather) Sunny Cloudy Rainy Observed States Dry Dryish Damp Soggy Initial State Prob.(Π vector) Sunny 0.63 Cloudy 0.

8 Slide 14 Slide 15 8

9 Slide 16 Slide 17 9

10 Slide Slide 19 10

11 Slide 20 Slide 21 11

12 Olası Hidden State Sekansının Bulunması Gözlemlenen sekansı veren Hidden State sekanslarının bulunması gerekir. Farklı path ler çıkarılabilir ancak amaç en iyi path bulmaktır. Maksimum olasılığı veren path aranır. Bunu için partial probability hesaplanır. Slide 22 Viterbi Algoritması ) Slide 23 12

Farklı path ler çıkarılabilir ancak amaç en iyi path bulmaktır.

13 Viterbi Algorithm Slide 24 Slide 25 13

14 Slide 26 Slide 27 14

15 Delta = max (( *0.5), (0.0425*0.375), ( *0.125)) * 0.15 = Slide 28 Delta = max (( *0.25), (0.0425*0.125), ( *0.675)) * 0.25 = Slide 29 15

028350003 Slide 28 Delta = max ((0.37800002*0.

16 Delta = max (( *0.25), (0.0425*0.375), ( *0.375)) * 0.35 = Slide 30 Slide 31 16

17 Kaynaklar n.html Slide 32 17

Benzer belgeler

SÜREKLİ SAKLI MARKOV MODELLERİ İLE METİNDEN BAĞIMSIZ KONUŞMACI TANIMA PARAMETRELERİNİN İNCELENMESİ

Uludağ Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, Cilt 12, Sayı 1, 2007 SÜREKLİ SAKLI MARKOV MODELLERİ İLE METİNDEN BAĞIMSIZ KONUŞMACI TANIMA PARAMETRELERİNİN İNCELENMESİ Cemal HANİLÇİ Figen