Örek.1 YÖNEYLEM ARAŞTIRMASI III Markov Süreçleri Ders 7 Yrd. Doç. Dr. Beyazıt Ocakta Web site: ocakta.bau.edu.tr E-mail: bocakta@gmail.com Reault marka otomobil sahilerii bir soraki otomobillerii de Reault olma olasılığıı.8; Tofaş otomobil sahilerii bir soraki otomobillerii Reault olma olasılığı.6 olduğuu varsayalım. X, müşterii. arabasıı Reault olması 1, müşterii. arabasıı Tofaş olması P( X 1 X )? 1 P( X X 1)? () 1.8. P 1.6.4 Örek.1 () 1? P.8..8..76.4 PP.6.4.6.4.7.4.8..76.4.75.48 P PP.6.4.7.4.744.56 1? adım geçiş olasılıkları, koşullu olasılıklar dır. Çükü bu olasılıklar içi başlagıç durumua koşullaıyoruz. ( ) Öreği ij P( X j X i) olasılığı içi Markov zicirii başlagıç durumuu i olduğuu varsaydık ve adım sora j durumua geçiş olasılığıı hesaladık. 1
Kesikli Zama Markov Zicirii başlagıç durumuu bildiğimizi varsayalım ve Markov Zicirii adım sora j durumuda olma ( ) olasılığı P( X j) ı bulalım. j ( ) j P( X j) olasılığıı hesalamak içi Markov Zicirii başlagıç olasılık dağılımı, 1,,..., N yı belirlemeliyiz.,,,..., ( ), ( 1), ( ),..., ( ) N P X P X P X P X N 1 ( ) Satır vektörü i aşağıdaki gibi taımla: ( ) ( ) ( ) ( ) ( ), 1,,..., N P( X ), P( X 1), P( X ),..., P( X N) P( X j) yi tolam olasılık formülüü kullaarak hesalayabiliriz Tolam Olasılık Formülü B 1, B,..., B olayları, Ω durum uzayıı ayrık kümeye arçalaışı olsu. Eğer B i B j =Ø ise; B i ve B j kümeleri ayrıktır.. Ω A olayıı olasılığıı edir? B 1 B B 4 B A B -1 B Çoğu zama aşağıdaki formülü kullaarak P(A) yı bulmak daha kolaydır. Tolam Olasılık Formülü P( A) P( A/ B ) P( B ) P( A/ B ) P( B )... P( A/ B ) P( B ) i1 B B 1 B 1 1 P( A/ Bi) P( Bi) B 4 Bu formüle Tolam Olasılık Formülü deir. A B -1 B
Markov Ziciri başlagıçta,1,,...n durumlarıda biri olabileceği içi; X,1,,...N değerleride birii alabilir. Bu edele P(X =j) aşağıdaki gibi hesalaır. P( X j) P( X j / X ) P( X ) P( X j / X 1) P( X 1)... P( X j / X N) P( X N) i P( X j / X i) P( X i) Bua göre, ( ) j i P( X j) P( X j / X i) P( X i) i i P( X i) P( X j / X i) ( ) i ij ( ) j bulmak içi vektörüyle adım geçiş matrisii j. sütuuu çarmalıyız. Olasılıklar j. sütu, 1,..., N Koşulsuz olasılık dağılımı bulmak içi satır vektörü ile P () matrisii çararız: P () P ( ) ( ) ( ) ( ) ( ) ( ) ( ), 1,,..., N Örek.1 (devam) Örek.1 de bir adım geçiş matrisi (Reault-Tofaş) Markov Zicirii başlagıç dağılmı:.8. P 1.6.4 1.4.6 4 adım soraki Kesikli Zama Markov Zicirii koşulsuz dağılımıı hesalayı.
(4)? Örek.1 (devam) 1.4.6 4.76.4.76.4.754.496 P P P.7.8.7.8.7488.51 4.754.496.7488.51 (4) (4) P.4.6.7494.56 Örek. durumlu ve aşağıdaki bir adım geçiş matrisi P ye sahi bir Markov Ziciri düşüü..5.5 P.5.5.5.5 Markov Zicirii başlagıç dağılmı: 1 adım soraki Kesikli Zama Markov Zicirii koşulsuz dağılımıı hesalayı. Çözüm Soruda soruluyor. P.75.75.5 1.75.5.75.5.75.75.75,.917,. PX ( ) PX ( 1) PX ( ) KZMZ lerii Uzu Döem Davraışı Şu aa kadar küçük adım sayıları (öreği =,,4,,1) içi geçiş olasılıkları hesaladık. Adım sayıları öreği 1 yada daha büyük olsaydı geçiş olasılıkları e olurdu? Uzu Döem Davraış Aalizide adım sayısı sosuza gitseydi, adım geçiş olasılıklarıı e olacağı sorusua yaıt arıyoruz. 4
KZMZ lerii Uzu Döem Davraışı ( ) lim var mıdır? ij Eğer varsa, bu durumda adım geçiş olasılıkları başlagıç durum dağılımıda bağımsızdır. ( ) Uzu Döem aalizide, lim ij j olu olmadığıa yaıt arıyoruz.!!! Yukarıdaki deklemde π j i Markov zicirii başlagıç durumua bağlı olmadığıa dikkat edi. Limit (Durağa Hal) Dağılımı TEOREM: Eğer tek bir çözüme sahise, lim ( ) ij j N ve j i ij i Normalizasyo Deklemi, 1,..., N a Markov Zicirii limit (kararlı hal) dağılımı deir N i 1 vardır ve başlagıç durumu i de bağımsızdır. i Örek X Varsayalım ki,, S,1, durum uzayıa sahi KZMZ olsu....5 P.1.9.55.45 1-Adım geçiş olasılığı üstte verile bu Markov zicirii kararlı hal (limit) dağılımıı bulu. Örek Kararlı hal dağılımıı aşağıdaki gibi bulabiliriz:...5,,,,.1.9.55.45 1 1 ve, 1 1..1 1.55 Bua göre bizim bilimeye ve 4 1. 1 deklemimiz var. Çözüm içi ilk 4.5.9 1.45 deklemde biri fazla, bu edele bu deklemlerde birii çıkarısız. 1 1!!! Normalizasyo deklemii çıkarmayı. 5
Örek Şimdi bilimeyeli dekleme sahibiz. Lieer Cebir derside böyle bir sistemi tek biz çözümü olduğuu biliyoruz. Elimizdeki deklemleri yeide düzeleyerek aşağıdaki hale getirebiliriz:.8.1.55 1. 1 1 1 (1) () Örek () o lu deklemde,. 1. i deklem te yerie koy: 1. 1. 11. i elde ederiz. Şimdi 1. ve 11. i (1) o lu deklemde yerie koy ve içi çöz:.8.1(. ).55(1 1. ).77 Örek ve 1.(.77).1111,.5185 buluur Bua göre Markov zicirii limit (karar hal) dağılımı aşağıdaki gibidir:,,.74,.1111,.5185 π 1 Bulduğumuz bu dağılım e alama gelir? Kararlı Hal Dağılımıı Alamı Kararlı hal dağılımıı e alama geldiğii görebilmek içi gittikçe P () i e e olduğua bakmamız gerekir. For =.45.6.595 P.515..455 ( ).575.165.4775.74.111.5185 For =1 ( ) P.74.111.5185.74.111.5185 For 11.74.111.5185 P.74.111.5185 ( ).74.111.5185 P (), 1 içi ayı kaldığıda, kararlı hal dağılımı vardır. 6
Kararlı Hal Dağılımıı Alamı Limit dağılımı başlagıç durumu i de bağımsızdır: P () ( ) i ayı kaldığı 11 içi i bulalım: ( ) ( ) ( ) P 11.74.111.5185, 1,.74.111.5185.74.111.5185 Kararlı Hal Dağılımıı Alamı 11 adım sora başlagıçta durumuda olmaı, 1, i e olduğua bakmaksızı koşulsuz olasılığı: Bu edele,.74.74.74 ( ) 1.74( ).74 π 1.74,.1111,.5185 limit (kararlı hal) dağılımı, başlagıç durum dağılımı da bağımsızdır. Kararlı Hal Dağılımıı Alamı Kararlı hal olasılığı; süreci büyük sayıda geçişte sora ( ) sora belli bir söz gelimi j buluma olasılığıı, başlagıç dağılımı da bağımsız ola π j değerie yaklaşacağıı alamıa gelir. 7