SAKARYA UNIVERSİTESİ ENDUSTRI MUHENDISLIĞI YÖNEYLEM ARAŞTIRMASI II MARKOV ZİNCİRLERİ DERS NOTLARI
STOKASTİK (RASSAL) SÜREÇLER Bazen rassal değişkenlerin zamanla nasıl değiştiğiyle ilgileniriz. Örneğin borsada bir hissenin fiyatının nasıl değiştiğiyle veya bir firmanın piyasa payının nasıl değiştiğiyle ilgilenebiliriz. Rassal değişkenin zamanla nasıl değişeceği çalışmaları stokastik süreçleri de içerir. Bu derste stokastik prosesler, özellikle bir stokastik proses örneği olan markov zincirleri görülecektir. Markov zincirleri eğitim, pazarlama, sağlık hizmetleri, muhasebe ve üretim alanları gibi alanlara uygulanmaktadır. Stokastik süreç kavramını tanımladıktan sonra Markov Zincirleri ile ilgili temel fikirleri göreceğiz.
STOKASTİK (RASSAL) SÜREÇ NEDİR? Bir Sistemin,1,2, diye etiketlenen kesikli zamanlarda bazı karakteristiğini (özelliklerini) gözlemlediğimizi düşünelim. Xt : Sistem özelliklerinin t zamanındaki değeri olsun. Pek çok durumda Xt t zamanından önce kesin olarak bilinememektedir ve rassal bir değişken olarak görülebilir. Kesikli zamanlı stokastik süreç basitçe X, X1, X2,. Rassal değişkenleri arasındaki ilişkilerin tarifidir. Bazı kesikli zamanlı stokastik süreç örnekleri (İleride açıklanacak örnekler): Kumarbazın iflası Problemi Bir Firmanın borsadaki hisse fiyatı Vazo örneği
KUMARBAZIN İFLASI PROBLEMİ (ÖRNEK 1) Zamanında kumarbaz 2 TL ye sahiptir. 1,2, zamanlarında kumarbaz oyun oynar ve 1TL bahse girer. P olasılıkla oyunu kazanır ve (1-p) olasılıkla oyunu kaybeder. Burada Amaç 4 TL sahibi olunca oyunu bitirmektir. Dikkat edilirse elde TL kalınca da oyun bitmektedir. Xt eğer zaman t deki oyundan sonra sermaye durumu olarak tanımlanırsa o zaman X, X1,..,Xt kesikli zamanlı stokastik süreç olarak ortaya çıkar. X = 2 bilinmektedir ve sabittir. Fakat X1 ve sonra Xt ler rassaldır. Örneğin p olasılıkla X1=3 ve (1-p) olasılıkla X1=1 olur Bu mantıkla eğer Xt veya 4 ise p olasılıkla X t+1 =X t +1 ve 1-p olasılıkla X t+1 =X t -1 olur Eğer Xt= ise X t+1 ve daha sonraki X t değerleri a eşittir Eğer Xt=4 ise X t+1 ve daha sonraki X t değerleri 4 e eşittir
VAZO PROBLEMİ (ÖRNEK 2) Bir vazoda boyanmamış iki tane top bulunmaktadır. Topları rasgele seçmekteyiz ve yazı-tura atmaktayız. Eğer seçilen top boyasız ve para tura gelmişse seçilen topu kırmızıya boyarız. Eğer seçilen top boyasız ve para yazı gelmişse seçilen topu siyaha boyarız. Eğer seçilen top zaten boyanmışsa yazıda gelse turada gelse topu diğer renge boyarız. Bu durumu stokastik süreç olarak modellemek için zaman t yi para t kere atıldıktan ve seçilen toplar boyandıktan sonraki zaman olarak tanımlarsak, Herhangi bir zamandaki durum (b,k,s) vektörüyle tanımlanabilir. B boyanmamış top sayısı, k kırmızı top sayısı ve s de siyah top sayısını ifade eder. zamanında durum X= (2,,) dır. İlk para atıldığında top seçilip boyandığında ½ olasılıkla X1=(1,1,) ve ½ olasılıkla X1=(1,,1) olur. Xt durumları arasında bazı ilişkiler vardır. Örneğin eğer Xt=(,2,) ise X t+1 = (,1,1) olur veya Xt=(,,2) ise X t+1 = (,1,1) olur
BORSA PROBLEMİ (ÖRNEK 3) Eğer X Bir Firmanın Borsa hissessinin bugünkü değeri ise Xt ise hissenin t. Ticari günün açılışındaki değeri olsun. X,X1,,Xt değerlerini bilmek bize Xt+1 değerinin olasılık dağılımı hakkında birşeyler söyler. Buradaki soru t zamanına kadarki hisse fiyatları t+1 zamanındaki hisse fiyatı hakkında ne söyler. Bu sorunun cevabı finans alanında oldukça önemlidir.
SÜREKLİ ZAMANLI STOKASTİK SÜREÇLER Bu süreçlerde sistemin durumu kesikli zaman yerine herhangi bir zamanda gözlemlenebilir. Örneğin herhangi bir zamanda marketteki müşteri sayısı sürekli zamanlı stokastik süreç olarak düşünülebilir. Burada market açıldıktan t zaman sonra Xt marketteki müşteri sayısını gözlemekteyiz ve t real sayıdır ve sürekli değer alır. Eğer borsada hisse fiyatlarını sadece ticari gün başlangıcında değilde sürekli olarak herhangi bir zamandaki değeri olarak modellersek o zaman bu süreç sürekli zamanlı stokasti süreç olur.
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM KESİKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER Bu süreçlerde gözlem kesikli zamanlarda olur ve durum kesikli değerler alır. Bu süreçlere örnekler: Kumarbazın iflası problemi Vazo örneği Nüfusta doğum ve ölüm,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM KESİKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER Bu süreçlerde gözlem kesikli zamanlarda olur ve durum sürekli değerler alır. Bu süreçlere örnekler: Her bir ticari gün başında gözlenen borsa hisse fiyatı Belirli zaman aralıklarında ölçülen rüzgarın hızı, Bir nehrin debisinin saatte bir ölçülmesi,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM SÜREKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER Bu süreçlerde gözlem sürekli zamanlarda olur ve durum kesikli değerler alır. Bu süreçlere örnekler: Bir markette sürekli zamanlı gözlemlenen müşteri sayısı Bir otobüs durağında sürekli gözlemlenen yolcu sayısı Bir şehirdeki doğum ve ölüm
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM SÜREKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER Bu süreçlerde gözlem sürekli zamanlarda olur ve durum sürekli değerler alır. Bu süreçlere örnekler: Sürekli durumlu, sürekli zamanlı stokastik süreç. Sürekli zamanlı izlenen kalp atışları Sürekli zamanlı takip edilen borsa hisse fiyatları Sürekli zamanlı olarak gözlemlenen bir göl veya nehrin derinliği
MARKOV ZİNCİRLERİ Markov zincirleri Kesikli zamanlı stokastik proseslerin (süreçlerin) özel bir türüdür. Basit bir ifadeyle herhangi bir zamanda kesikli zamanlı stokastik süreç sonlu sayıda durumdan birinde olabilir. Sonlu sayıdaki durumlar 1,2,,s olsun Eğer kesikli zaman stokastik süreç aşağıdaki koşulu sağlıyorsa süreç markov zinciridir. t=,1,2, için ve her bir durum için P(X t+1 =i t+1 / X t =i t, X t-1 =i t-1,,x 1 =i 1,X =i ) = P(X t+1 =i t+1 / X t =i t ) (1) ise süreç markov zinciridir.
Durum değişkeninin t+1 zamanındaki olasılık dağılımı t zamanındaki duruma bağlıdır ve t zamanına kadar olan bütün zamanlardaki durumlardan bağımsızdır. Daha ileri bir varsayımda bulunarak bütün durumlar i ve j ve bütün zamanlar t için P(X t+1 =j/ X t =i) olasılığı zamandan da bağımsızdır. Bu varsayım bize aşağıdaki eşitliği yazabilmemizi sağlar. P(X t+1 =j/ X t =i) = p ij (2) burada p ij sistemin t zamanında i durumunda olup t+1 zamanında j durumuna geçme olasılığıdır. Eğer sistem bir periodda i durumundan bir period sonra j durumuna geçmişse bu durumda i den j ye geçiş gerçekleşti deriz. Bu nedenle olasılıklarına markov zincirinin geçiş olasılıkları deriz. Eşitlik (2) bir period sonraki durumla ilgili olasılık kanununun zamanla değişmez (satasyoner (stationary) kaldığı) Olduğunu ifade eder. Bu nedenle Eşitlik (2) stasyoner varsayımı olarak bilinir ve Eşitlik (2) yi sağlayan markov zinciri stasyoner markov zinciridir.
Markov zinciri çalışmalarımızda zincirin t= zamanında i durumunda bulunma olasılığı olan q i olasılıkları ile ilgileniriz. Diğer bir deyişle P(X =i) = q i olur. Her bir durumu düşündüğümüzde ortaya markov zincirinin ilk olasılık dağılımı diye ifade ettiğimiz q vektörü çıkar. q = q 1 q 2. q s İlk Olasılık dağılımı Pek çok uygulamada geçiş olasılıkları sxs geçiş olasılık matrisi P ile gösterilir. P = p 11 p 12 p 1s p 21 p 22 p 2s p s1 p s2 p ss Geçiş olasılıkları matrisi
Zaman t de durumun i olduğu verilmiş olsun. Zaman t+1 de süreç bir yerlerde olmalıdır. Bu matematiksel olarak aşağıdaki gibi ifade edilir. j=s j=1 P(Xt +1= j/ Xt=i)=1 j=s j=1 p ij =1 t zamanında i durumunda olan sistem t+1 zamanında mümkün olan durumlardan birine geçer.
KUMARBAZIN İFLASI PROBLEMİ (devam) Kumarbazın iflası probleminde geçiş matrisini bulunuz. ÇÖZÜM: t+1 deki para t zamanına kadar birikmiş paraya (t zamanındaki paraya) bağlı olduğundan bu süreç bir markov zinciridir. Oyunun kuralları zamanla değişmediği için bu aynı zamanda stasyoner (sabit) markov zinciridir. Durum i, i TL paraya sahip olunduğunu göstermektedir. Geçiş matrisi aşağıdaki gibidir. Durum $ $1 $2 $3 $4 1 1 1-p p P = 2 1-p p 3 1-p p 4 1 p ihtimalle para miktarı 1 birim artacak. (1-p) ihtimalle 1 birim azalacaktır. Eğer durum ve 4 e geçilmişse bu durumlar terkedilmeyecektir. P = P 11 = 1 olduğu görülür.
KUMARBAZIN İFLASI PROBLEMİNDE GEÇİŞ MATRİSİNİN GRAFİKSEL GÖSTERİMİ 1-p p 1-p p 1 2 3 4 1 1-p p 1 Geçiş matrisi grafiksel olarak gösterilirken her bir düğüm olası durumları, oklar ise (ok(i,j)) geçiş olasılıklarını (p ij ) göstermektedir.
VAZO ÖRNEĞİ (devam) Vazo ve içerisindeki topların rengi örneğinde geçiş matrisini oluşturun. ÇÖZÜM: Bir sonraki periodun top renkleri bir önceki periodun durumuna bağlı olduğu için bu problem (stokastik süreç) markov zinciridir. Kurallar zamanla değişmediği için bu markov zincir, stasyoner(sabit) markov zinciridir. Geçiş matrisi aşağıdaki gibidir Durum ( 1 1) ( 2 ) ( 2) (2 ) (1 1 ) (1 1) ( 1 1) (2) (2) ( 2 ) 1 P= ( 2) 1 (2 ) (2) (2) (1 1 ) (4) (4) (2) (1 1) (4) (4) (2)
Geçiş matrisinin nasıl olduğunu göstermek için geçiş matrisindeki (1 1 ) sırasını düşünelim. Eğer aktif durum (1 1 ) ise tablo 1 de gösterilen olaylardan biri olur. OLAY OLASILIK YENİ DURUM Tura gelmesi ve boyasız topun seçilmesi (4) ( 2 ) Kırmızı topun seçilmesi (2) (1 1) Yazı gelmesi ve boyasız topun seçilmesi (4) ( 1 1) Tablo 1 : Eğer aktif durum (1 1 ) ise geçiş olasılıklarının hesaplanması ¼ olasılıkla gelecek durum ( 2 ) olacak, ½ olasılıkla gelecek durum (1 1) olacak ve ¼ olasılıkla gelecek durum ( 1 1) olacaktır. Şekil 2 geçiş matrisinin grafik gösterimini vermektedir.
( 1 1) 1 2 4 (2 ) 2 2 ( 2 ) 1 4 4 (1 1 ) 2 2 2 ( 2) 4 (1 1) Şekil 2 : Vazo probleminde geçiş matrisinin grafiksel gösterimi
Örnek 1: Aşağıdaki şekildeki sayılar köşe noktaları veya dönüşleri belirleyen kavşakları ve aradaki çizgiler de yolları belirlemektedir. Bir arabanın dönüş veya doğrudan gitmesini eş olasılıkla varsayarak köşelerde bulunmak isteğini geçiş olasılıkları matrisi ile gösteriniz. 7 8 9 4 5 6 1 2 3
Çözüm: 2 nolu köşede bulunması halinde 1, 3 veya 5 köşelerinde bulunma olasılığı 3 olacaktır. 5 nolu köşede ise takiben 2, 4, 6 veya 8 köşelerine 4 olasılıkla gidebilir v.s. Geçiş matrisi aşağıdaki gibidir ve mevcut herhangi bir durumdan, verilen herhangi bir duruma geçilir. Dolayısıyla süreç ergodiktir.
2 2 3 3 3 2 2 3 3 3 4 4 4 4 3 3 3 2 2 3 3 3 2 2 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9
n-adim GEÇİŞ OLASILIKLARI P geçiş matrisi olan Markov zincirini çalıştığımızı düşünelim. (İlgilendiğimiz markov zincirleri stasyoner(sabit) olduğundan, açıkça söylemesek de stasyoner markov zincirleri kastetmekteyiz) Burada ilgilendiğimiz soru eğer markov zinciri m zamanında i durumundaysa, n adım sonra j durumunda olma ihtimali nedir? Stasyoner markov zinciri ile ilgilendiğimizden dolayı bu olasılık m den bağımsızdır. Öyleyse P(X m+n =j/ X m =i) = P(X n =j/ X =i)= p ij (n) p ij (n) n-adımda i den j ye geçiş olasılığıdır. p ij (1) = p ij olduğu açıktır.
Şimdi p ij (2) ye karar verelim. Bu durumda sistem durum i dedir ve 2 adım sonra durum j ye gelecektir. Önce Durum i den mümkün olan durumlardan birine geçeriz (durum k). Sonra Durum k den durum j ye geçeriz (Şekil 3). Bu mantık bize aşağıdaki eşitliği gösterir. p ij (2) = k=1 k=s i den k ye geçiş olasılığı (k den j ye geçiş olasılığı) P matrisinin tanımını kullanarak p ij (2) = k=1 k=s p ik p kj (3) yazabiliriz. p i1 1 p 1j i p i2 p ik 2 k p 2j p sj p is p kj Şekil 3 s p ij (2) = P i1 *p 1j + P i2 *p 2j + + P is *p sj j
p ij (2) = k=1 k=s p ik p kj (3) (3) ün sağ tarafı P matrisinin sıra i si ile P matrisinin kolon j sinin skalar çarpımıdır. Bundan dolayı p ij (2) P 2 matrisinin ij inci elemanıdır. Bu durumu genellersek : n >1 için p ij (n) P n matrisinin ij inci elemanıdır (4) Eğer n= ise p ij () = P(X =j/ X =i ) öyleyse aşağıdaki doğru olmalıdır. p ij () = 1 Eğer j=i ise eğer j i ise Eşitlik (4) ün kullanımı Örnek 4 te gösterilmiştir.
ÖRNEK 4: KOLA ÖRNEĞİ Bütün kola endüstrisinin iki tip kola ürettiğini kabul edelim. Eğer bir insanın kola 1 satın aldığı verilmişse, gelecek alışınında kola 1 olması %9 dır. Eğer bir insanın en son kola 2 aldığı verilmişse gelecek alışının kola 2 olması %8 olasılıkladır. a) Eğer müşteri şimdi kola 2 alıyorsa iki alışveriş sonra kola 1 alma ihtimali nedir? b) Eğer müşteri şimdi kola 1 alıcısıysa, üç alışveriş sonra kola 1 alması ihtimali nedir? ÇÖZÜM Burada her bir kişinin alışverişini markov zinciri olarak düşünürüz. Bu problem iki durumlu markov zinciridir ve alınan kolanın tipi en son periodda alınan kolanın tipine bağlıdır. Durum 1 = Müşteri en son kola1 almıştır Durum 2= Müşteri en son kola2 almıştır Eğer Xn n.periodda alınan kola olarak tanımlarsak (Şimdiki kola alışı = X ) o zaman X, X 1 takibeden slayttaki, geçiş matrisine sahip markov zincir olarak tanımlanabilir.
Kola1 Kola2 P = Kola1 Kola2.9.1.2.8 Şimdi soru a) ve b) yi cevaplayabiliriz. a) Aradığımız olasılığı ifade edersek P(X 2 = X =2 ) = p 21 (2) = P 2 nin ( ij=2-1) inci elemanı P 2 =.9.1.2.8.9.1.2.8 =.83.17.34.66 p 21 (2) =.34 İki alış veriş sonra şimdi kola1 içen müşteri.34 olasılıkla kola 2 içer. Bu durumu temel olasılık teorisini kullanarak da bulabilirdik. p 21 (2) = (Gelecek alış kola1 ve 2. alış kola1) + (Gelecek alış kola2 ve 2. alış kola1) = p 21 * p 11 + p 22 * p 21 =.2 *.9 +.8*.2 =.34 Bu durum takibeden slaytta grafik olarak gösterilmiştir.
Şekil 4: İki Period sonra kola2 alıcısının kola1 alma olasılığı.2 *.9 +.8*.2 =.34 P 22 =.8 Kola2 P 21 =.2 Kola2 Kola2 P 21 =.2 Kola1 P 11 =.9 Zaman Zaman 1 Zaman 2
b) Bu soruda aradığımız p 11 (3) tür. p 11 (3) = P 3 ün ij. Elemanı (1-1 inci) P 3 = P * (P 2 ) =.9.1.2.8.83.17.34.66 =.781.219.438.562 Dolayısıyla p 11 (3) =.781 olur.
Pek çok durumda Markov Zincirinin Zaman da hangi durumda olduğunu bilmemekteyiz. qi = Zincirin Zaman da i durumunda olma olasılığı olsun. O zaman sistemin n zamanında durum j de olma olasılığını aşağıdaki mantıkla bulabiliriz. q 1 q 2 1 2 p 2j (n) p 1j (n) Şekil 5: Başlangıç durumun bilinmediği durumda n zamanında j durumunda olma olasılığı q i i p ij (n) j p sj (n) q s s Zaman Zaman n
Zaman n de durum j de olma olasılığı i=s Durumun başlangıçta i olma olasılığı (n adımda i den j ye geçiş olasılığı) = i=1 = i=1 i=s q i p ij (n) = q (P n matrisinin j. Kolonu) (5) q= q 1 q 2 q s SORU : Kola Örneği Devam Başlangıçta müşterilerin %6 ı kola 1 içiyor ve %4 ı kola2 içiyorsa, 3 zaman(adım) sonra müşterilerin ne kadarı kola1 içer. CEVAP: q=.6.4 Zaman 3 de kola1 içme olasılığı = q (P 3 matrisinin 1. Kolonu) =.6.4.781.438 =.6438 Böylece 3 zaman sonra 64% müşteri kola1 içer
n-adım geçiş olasılıklarının büyük n değerleri için davranışını göstermek için bazı n değerleri için kola örneğinin n-adım geçiş olasılıkları tablo 2 de verilmiştir. n P 11 (n) P 12 (n) P 21 (n) P 22 (n) 1.9.1.2.8 2.83.17.34.66 3.78.22.44.56 4.75.25.51.49 5.72.28.56.44 1.68.32.65.35 2.67.33.67.33 3.67.33.67.33 4.67.33.67.33 Tablo 2: Kola Örneğinde n-adım geçiş olasılıkları n büyüdükçe P 11 (n) ve P 21 (n) değerleri.67 ye yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç durum ne olursa olsun uzun vadede kola1 alma olasılığı(yüzdesi).67 dir. n büyüdükçe P 12 (n) ve P 22 (n) değerleri.33 e yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç durum ne olursa olsun uzun vadede kola2 alma olasılığı(yüzdesi).33 dür.
Problemlerin Markov Zincirleri ile Formülize Edilmesi: Şu anda (n=) Planlamada olan bir mühendisin iki yıl sonra (n=2) Onarım Bölümünde olma ihtimali nedir? P O A P,7,1,2 O,1,8,1 A,1,9 Planlama n=. Adım Planlama.7 Onarım.1 Araştırma.2 n=1. Adım Planlama Onarım Araştırma Planlama Onarım Araştırma Planlama Onarım Araştırma.7.1.2.1.8.1.1.9 n=2. Adım P->P->O =,7*,1=,7; P->O->O =,1*,8=,8; P->A->O =,2*= Şartlı ihtimallerin toplamı =,7 +,8 + =,15
Problemlerin Markov Zincirleri ile Formülize Edilmesi: Planlama Bölümünde çalışan mühendisin ikinci yılda Planlama, Onarım ve Araştırma Bölümlerine atanma olasılıkları: P O A P,7,1,2 O,1,8,1 A,1,9 V n i V n1 i.p 2 1.7.1.2 V1 V1.P (.7.1.2)..1.8.1.1.9 (.52.15.33)
Problemlerin Markov Zincirleri ile Formülize Edilmesi: Daha genel olarak bu problemde, n=2 yıl sonraki bütün geçiş ihtimallerini bilmek istersek P matrisinin karesi alınır: P O A P,7,1,2 O,1,8,1 A,1,9.7.1.2.7.1.2.52.15.33 P 2.1.8.1..1.8.1.16.65.19.1.9.1.9.16.1.83
n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur? m n.p n n=(n 1, n 2, ): dönem başı mevcutlar vektörü m=(m 1, m 2, ): dönem sonu mevcutlar vektörü
n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur? Dönem başı personel durum mevcutları n=(1, 8, 12) vektörü ile verilirse 2. yıl sonunda gruplar arasındaki dağılım şöyle bulunabilir: m (1 8 12).52..16.16.15.65.1.33.19.83 (84 68 148)