Yıldız Teknik Üniversitesi Endüstri Mühendisliği Bölümü KARAR TEORİSİ MARKOV SÜREÇLERİ. Markov Analizi

Transkript

1 Yıldız Teknik Üniversitesi Endüstri Mühendisliği Bölümü KARAR TEORİSİ MARKOV SÜREÇLERİ Doç. Dr. İhsan KAYA Markov Analizi Markov analizi, bugün çalışan bir makinenin ertesi gün arızalanma olasılığının bulunması veya bir müşterinin kullandığı ürünün markasını değiştirme olasılığının hesalanması gibi zaman içerisinde bir durumdan diğer bir duruma olasılıklı olarak geçen sistemlere uygulanır. Bu sistemler için bir durumdan diğer bir duruma geçiş, geçiş olasılıkları ile ifade edilir.

2 Temel Tanım ve Kavramlar Stokastik Süreç: Rastgele sonuçlar doğuran bir olaylar serisidir. Durum: Rasgele değişkenin aldığı her bir değere durum denir. Durum Uzayı: Rasgele değişkenin alabileceği değerlerin tümünü kasayan S kümesi durum uzayı olarak adlandırılır. Temel Tanım ve Kavramlar Durum uzayı S sürekli veya kesikli (tamsayılı) değerlerden oluşabilir. Buna göre {X t } süreci sürekli-durumlu stokastik süreç veya kesikli-durumlu stokastik süreç olarak adlandırılır.

3 Temel Tanım ve Kavramlar Zaman kümesi T de sürekli veya kesikli olabilir. T sürekli değerler alabiliyorsa, {X t } süreci süreklizamanlı stokastik süreç olarak ve eğer T tamsayılı değerlerle sınırlanmış, yani T{,,, } ise, {X t } süreci kesikli-zamanlı stokastik süreç olarak adlandırılır. 5 İş Makinesi Örneği Gün (t) Durum Burada rasgele değişken kesikli olu iki değerden birini alabilmektedir (S{,}). T{,,, } olduğuna göre {X t }, kesiklidurumlu ve kesikli-zamanlı bir stokastik süreçtir. 6

4 Markov Özelliği Sistemin şimdiki durumu ve geçmişte bulunduğu durumlar biliniyor olsun; buna göre sistemin gelecekteki durumunun koşullu olasılığı şimdiki durumuna bağlı olu, geçmişteki durumlardan bağımsızdır. 7 Bir başka ifadeyle, bütün durumlar ve zamanlar (t,,,,...) için, Markov Özelliği P(X t+ i t+ X t i t, X t- i t-,..., X i, X i ) P(X t+ i t+ X t i t ) 8

5 Markov özelliğini sağlayan stokastik süreçlere Markov süreçleri denir. Markov Özelliği Örneğin hastanedeki bir hastanın herhangi bir gündeki sağlık durumunun (kritik, normal, iyi, vs.) olasılığı, sadece bir önceki gün bulunduğu duruma bağlı ise bu bir Markov sürecidir. 9 Markov Zinciri Markov özelliğine sahi stokastik bir {X t } süreci, eşit ve kesikli zaman aralıklarıyla ifade ediliyorsa (t,,,, ), Markov zinciri olarak adlandırılır.?... t- t- t- t t+ t+ t+... z a m a n s is te m in t z a m a n ın d a k i d u r u m u (B İL İN İY O R ) 5

6 Geçiş Olasılığı Sistemin herhangi bir dönemde i durumunda iken bir sonraki dönemde j durumuna geçme olasılığı ij ile gösterilir ve geçiş olasılığı olarak adlandırılır. P(X t+ j X t i) ij Başlangıç Olasılıkları Sistemin başlangıçta (t zamanında) i durumunda bulunma olasılığı q i ile gösterilir ve başlangıç olasılığı olarak isimlendirilir. P(X i)q i Buna göre q q q... q s vektörü başlangıç olasılık dağılımını gösteren başlangıç olasılığı vektörü olarak adlandırılır. 6

7 Geçiş Matrisi s durumlu bir Markov zincirinin geçiş olasılıkları sxs boyutlu bir geçiş matrisi şeklinde gösterilir, d u ru m a ((t+ ) d ö n e m i) d u ru m d a n (t d ö n e m i) s P s s s s s ss Geçiş Matrisi Geçiş matrisinin satırları aşağıdaki koşulları sağlamalıdır;. ij (bütün i ve j değerleri için) s., i,,, s j ij 7

8 Markov Zincirleri Markov zincirlerinin özellikleri; Markov özelliği, Kesikli ve sonlu durum uzayı; S{,,,..., s} Zamanla değişmeyen geçiş olasılıkları ( ij ) olarak özetlenebilir. 5 İş Makinesi Örneği Stokastik sürecin son on günde aldığı değerler; {X t } {,,,,,,,,,} Durumdan (t günü) Durumuna (t+ günü) Arızalı Çalışır Satır Tolamı Arızalı 5 Çalışır,6 P,5,,5 P(X X ),6 P(X X ), P(X X ),5 P(X X ),5 6 8

9 İş Makinesi Örneği Geçiş matrisini geçiş diyagramı şeklinde göstermek mümkündür. P,6,5,,5,5,6,5, 7 Örnek: Ders Seçme Hasi ile Nasi tolam dört seçmeli dersi elde etmek için mücadele etmektedirler. Bu derslerden ikisi başlangıçta Hasi tarafından geçici olarak seçilmiştir. Hasi in sonraki günlerde (t,,...) yaılacak olan her bir ekleme silme olayını kazanma olasılığı, kaybetme olasılığı ise (-) olu, kazanırsa bir dersi daha seçmiş olacak, kaybederse bir dersi seçememiş olacaktır. 8 9

10 Ders Geçme Örneği Hasi dört seçmeli dersi seçebilirse veya elindeki bütün dersleri kaybederse ders seçim mücadelesi sona erecektir. Her bir ekleme silme işleminin taraflardan birinin mutlaka kazanacağı kabul edilmektedir. Bu stokastik süreç için rasgele değişken, X t t gününde yaılan ekle/sil sonunda Hasi in elindeki ders sayısı olarak tanımlanırsa {X t, t,,,...} süreci bir Markov zinciri oluşturur. 9 Durum uzayı, S{,,,,} olu, geçiş matrisi aşağıdaki gibi olacaktır. P - - -

11 n- Adımda Geçiş Olasılıkları Bir Markov zinciri m zamanında i durumunda iken, n dönem sonra j durumunda bulunma olasılığına n- Adımda Geçiş Olasılığı denir ve ij (n) şeklinde gösterilir. Geçiş olasılıklarının zamanla değişmediği kabul edilir. Bu kabule dayanarak n-adımda geçiş olasılığı m zamanından bağımsız olu aşağıdaki gibi yazılabilir; P(X m+n j X m i)p(x n j X i) ij (n) İş Makinesi Örneği P,6,5,,5 -adımda geçiş olasılığı: ncu günün sonunda makine arızalandığına göre nci günde de arızalanma olasılığı nedir? () P(X X )?

12 İş Makinesi Örneği -adımda geçiş olasılığı: ncu günün sonunda makine arızalandığına göre nci günde de arızalanma olasılığı nedir? () P(X X )? (P(X X ) * (X X ) + P(X X ) * P(X X )) İş Makinesi Örneği -adımda geçiş olasılığı: ncu günün sonunda makine arızalandığına göre ncü günde de arızalanma olasılığı nedir? () P(X X )? * * + * * + * * + * *

13 İş Makinesi Örneği Ş im diki D urum G elecek D urum lar. G ü n. G ü n. G ü n. G ü n,6,6 X * X, X X,6,,5 X * X,5 X X (a r ız a lı),,5,6 X, * X X X,5,5 X * X,5 X 5 Matris Yöntemi n-adımda geçiş matrisi (P n ), geçiş matrisi P nin n inci kuvveti hesalanarak bulunur. P () P*PP P () P*P*PP PP*P P ve genel olarak, P (n) P (n-)* PP*P (n-) P n 6

14 Matris Yöntemi i Geçiş matrisi (veya tek adımda geçiş matrisi) daha önce elde edilmişti, Buna göre -adımda ve -adımda geçiş matrisleri sırasıyla; P P P,6,5,,6,5,5,,5,56,55,,5 P P P,56,55,,6,5,5,,5,556,555,,5 7 Matris Yöntemi i durumundan j durumuna, n-adımda geçiş olasılığı, (n) ij P n matrisinin (i,j) nci elamanı olarak elde edilir. Örneğin ncu günde makine arızalı olduğuna göre; nci günde arızalı olma olasılığı P (),56 ve ncü günde arızalı olma olasılığı P (),556 olarak bulunur. 8

15 Denge Durumu n-adımda geçiş olasılıkları, yeterince uzun bir geçiş sürecinden sonra sabit bir değere yaklaşma eğilimi gösterirler, yani kararlı bir hale gelirler. İş Makinesi örneği verileri için yaılan hesalamalarda n arttıkça, herhangi bir ij (n) olasılığının değişimini inceleyelim. 9 Denge Durumu Örneğin,,6; (),56; (),556; (),5556 ve (5),55556 serisi incelendiğinde, (n) olasılığındaki değişim miktarının her adımda gittikçe azaldığı görülür. n n n n n5,6,5,56,55,556,555,5556,5555,55556,55555,,5,,5,,5,,5,,5 Bu analiz bize n değeri arttıkça (n) olasılığının sabit bir değere yaklaştığını göstermektedir. Ayrıca (n) değeri ile (n) benzerlik dikkat çekicidir. 5

16 Denge Durumu Olasılıkları TEOREM: Diyelim ki P, s durumlu bir Markov zincirinin geçiş matrisi olsun. n lim P n s s s s s Yani herhangi bir i başlangıç durumu için; lim n (n) ij π j Yutan Zincirler Bir Markov zincirinin durumlarından bazıları yutan ve diğerleri de geçici durumlar ise bu Markov zinciri yutan zincir olarak adlandırılır. 6

17 Alacakların Değerlendirilmesi Müşterilerine kredi ile alışveriş olanağı sunan bir mağaza, alacakların tahsili için son ödeme tarihinden sonra iki hafta beklemekte ve bu süre içerisinde borcunu ödemeyen müşterileri cezalı müşteriler kategorisine koyu alacak tahsili için yasal yollara başvurmaktadır. İki hafta içerisinde borcunu ödeyen bir müşteri yutan bir duruma geçmiş olacaktır. Öbür yandan borcunu iki haftadan fazla geciktiren bir müşteri de yine yutan bir duruma geçmiş olacaktır. Her haftanın başında müşterilerin hesaları inceleni aşağıdaki durumlara göre değerlendirilmektedir (son ödeme tarihinden itibaren -7 gün geciken borç bir hafta gecikmiş, 8- gün geciken borç iki hafta gecikmiş olarak değerlendirilecektir). Durum : Borcunu ödemiş Durum : Borcunu bir hafta geciktirmiş Durum : Borcunu iki hafta geciktirmiş Durum : Cezalı (yasal işlem gerektiriyor) 7

18 Geçmiş dönemlere ait verinin değerlendirilmesi sonunda, haftalık olarak mağazanın alacaklarının durumunu gösteren aşağıdaki geçiş matrisi elde edilmiş olsun. P,7,5,,5 5 Yutan zincirlerle ilgili sorulara ceva verebilmek için geçiş matrisinin, önce geçici durumlar ve sonra yutan durumlar olmak üzere yeniden düzenlenmesi gerekir (m adet yutan durum). s-m sütun m sütun P s-m satır Q R m satır I 6 8

19 9 Buna göre örnek roblemin geçiş matrisi ve geçiş matrisini oluşturan alt matrisler; Alacakların Değerlendirilmesi,5,5,7, P, Q,5,5,7 R I 7 Bundan sonra yaılacak işlem, (I-Q) matrisinin tersini alarak Markov zincirinin temel matrisini (T) bulmaktır. T(I-Q) - Temel matris, sistemin yutan bir duruma geçmeden önce (örnek roblem için borç ödenmeden veya ceza alınmadan önce), herhangi bir geçici durumda ortalama olarak ne kadar süre kalacağını gösterir. Alacakların Değerlendirilmesi 8

20 Yutan Zincirler İle İlgili Sorular Sistem herhangi bir geçici durumdan başladığında, yutan bir duruma geçmeden önce, geçici durumların her birisine ortalama olarak kaç defa geçecektir (yani herhangi bir geçici durumdan başladığında, geçici durumların her birisinde ortalama olarak ne kadar zaman kalacaktır)? Sistem eğer başlangıçta geçici i durumunda bulunuyorsa, yutulmadan önce geçici j durumunda harcayacağı ortalama dönem sayısı temel matrisin, yani (I-Q) - matrisinin, (i,j) nci elemanıdır. 9 Yutan Zincirler İle İlgili Sorular Sistem yutan bir duruma geçmeden önce geçici durumların her birisinde ortalama olarak ne kadar zaman kalacaktır? Sistem yutulmadan önce geçici i durumunda harcayacağı ortalama süre temel matrisin inci satırının tolamına eşittir. Sistem herhangi bir geçici durumdan başladığında, sürecin sonunda yutan durumların her birine geçme olasılığı nedir? Sistem eğer başlangıçta geçici i durumunda bulunuyorsa, sonunda yutan j durumuna geçme olasılığı (I-Q) - * R matrisinin (i,j)nci elemanıdır.

21 Yutan Zincirler İle İlgili Sorular Örnek roblemin temel matrisi aşağıdaki gibi hesalanır. T,,, Yutan Zincirler İle İlgili Sorular Müşteri durumunda, yani borcunu bir hafta geciktirmiş ise; borcunu ödemeden veya ceza almadan önce, ortalama olarak kaç defa durumuna geçecek ya da ortalama olarak ne kadar süre durumunda kalacaktır?,; yani temel matrisin (,) elemanı. O halde birinci hafta tamamlandıktan sonra müşteri, hafta daha (ikinci haftanın % u) borcunu ödemeyecektir.

22 Yutan Zincirler İle İlgili Sorular durumundaki bir müşteri (borcunu ödemeden veya ceza almadan önce) ortalama olarak ne kadar süre borçlu olarak kalacaktır? +,,; yani temel matrisin durumuna ait satırın tolamı. Buna göre borcunu bir hafta geciktiren bir müşteri ortalama olarak, hafta borcunu ödemeyecektir. Yutan Zincirler İle İlgili Sorular durumundaki bir müşterinin en sonunda borcunu ödeme olasılığı veya ceza alma olasılığı nedir? Burada borcunu bir hafta geciktiren bir müşterinin ikinci hafta tamamlanmadan borcunu ödeme olasılığı ile borcunu ödemeyi ceza alma olasılığı söz konusudur. Bunun için temel matrisin R matrisi ile çarılması gerekir.

23 T R (I - Q) - R,, 7, 5, 85, 5, 5, 5, 5 Buna göre borcunu bir hafta geciktiren bir müşteri,85 olasılıkla iki hafta tamamlanmadan borcunu ödeyecek,,5 olasılıkla borcunu ödemeyi ceza alacaktır. 5 Yutan Zincirler İle İlgili Sorular Mağazanın bir hafta gecikmeli birim ve iki hafta gecikmeli 6 birim olmak üzere tolam birim alacağı olduğunu varsayalım. Bu alacağın ne kadarı ödenecek, ne kadarı ise cezalandırılacaktır?,85,5,5, Buna göre mağaza, birim alacağın 6 birimini tahsil edecek, 6 birimini ise tahsil edemeyi cezalandıracaktır. 6