MARKOV ZİNCİRLERİNDE DURUMLARIN SINIFLANDIRILMASI

Transkript

1 SAKARYA UNIVERSİTESİ ENDUSTRI MUHENDISLIĞI YÖNEYLEM ARAŞTIRMASI II MARKOV ZİNCİRLERİNDE DURUMLARIN SINIFLANDIRILMASI DERS NOTLARI 1

2 Önceki derslerimizde pek çok geçişten sonra n-adım geçiş olasılıklarının kararlılık durumuna yaklaştığını görmüştük. Bu derste matematikçilerin markov zinciri durumlarını nasıl sınıflandırdıklarını göreceğiz. Bu nedenle aşağıdaki geçiş matrisini kullanacağız (Geçiş matrisinin grafik gösterimi Şekil 6)..6 P= Şekil 6: Geçiş Matrisinin grafik gösterimi

3 TANIM : i ve j iki durum olsun. İ den j ye YOL i den başlayan bir seri geçişten (serideki bütün geçiş olasılıkları pozitifdir) sonra j de biten geçiş serisine YOL denir. TANIM : Durum j, durum i den ULAŞILABİLİR dir eğer i den j ye bir yol varsa. TANIM : Eğer j durumu i den ULAŞILABİLİRSE ve i durumu j den ULAŞILABİLİRSE, i ve j HABERLEŞİR durumlardır Şekil 6 ya ve P- geçiş matrisine baktığımızda durum 5 durum 3 ten ulaşılabilir (3-4-5 yolu boyunca) fakat durum 5 e durum 1 den ulaşılamaz (1 den 5 e yol yoktur). Aynı zamanda durum 1 ve durum 2 haberleşir durumlardır. Durum 1 den durum 2 ye erişilebilir ve durum 2 den durum 1 e erişilebilir. TANIM : Bir markov zincirinde bir S içerisindeki durumlar KAPALI KÜME dir. Eğer S dışındaki durumlar, S içerisindeki herhangi bir durumdan erişilemezse. Şekil 6 ya ve P- geçiş matrisine baktığımızda S1 = {1,2} ve s2={3,4,5} kümelerinin ikiside kapalı küme dir. Bir kere S1 ve S2 kapalı kümesine girdiğimizde bir daha terketmeyiz. (Şekil 6 ya baktığımızda S1 den başlayan ve S2 de biten veya S2 de başlayıp S1 de biten ok yoktur.) 3

4 TANIM : Durum i eğer P ii = 1 ise EMİCİ (YUTUCU) durumdur. Bu durumdan çıkış yoktur. Ne zaman bir emici duruma girersek bu durumdan çıkış yoktur. Kumarbazın iflası örneğinde durum ve durum 4 emici durumdur. Emici durum kapalı küme olup bir tane durum içerir. TANIM : Eğer i den ulaşılan j durumu varsa ve fakat j den i durumuna ulaşılamıyorsa, Durum i GEÇİCİ DURUMdur. Diğer bir deyişle eğer durum i yi terketmek mümkünse ve terkedildiğinde dönmemek mümkünse o zaman durum i geçicidir. Kumarbazın iflası probleminde durum 1,2, ve 3 geçici durumlardır. Şekil 1 e baktığımızda 2 den yolu boyunca 4 e gitmek mümkünse de 4 ten 2 ye tekrar geçiş mümkün değildir. Benzer bir şekilde Vazo örneğine baktığımızda (2 ), (1 1 ) ve (1 1) durumları geçici durumdur. Bu durumlarda boyasız toplar vardır. Bir kere toplar boyandıktan sonra geri dönüş yoktur. Uzun periodlardan sonra geçici durumda olma olasılığı dır. Her seferinde geçici duruma geldiğimizde pozitif bir olasılıkla bu durumu terkederiz. Bu durumdan geri gelinemeyen bir duruma geçtiğimizde bir daha geçici duruma gelmeyiz. 4

5 TANIM : Bir durum eğer GEÇİCİ durum değilse bu durum DEVİRLİ durumdur. Kumarbazın iflası örneğinde durum ve durum 4 hem devirli hem de emici durumlardır. Vazo örneğinde ( 2 ), ( 2) ve ( 1 1) durumları devirli durumlardır. Şekil 6 ya bakıldığında bütün durumların devirli durumlar olduğu görülür. TANIM : Durum i k>1 ile periodik bir durumdur, eğer i den başlayan bütün yolların tekrar i ye gelmesi k sayısının katları ise ve k bu şartları sağlayan en küçük sayıysa böyle durumlar periodiktir. Eğer devirli bir durum periodik değilse aperiodik (periodik olmayan) bir durumdur. 5

6 Aşağıdaki geçiş matrisi verilen markov zincirini düşünelim. Q = Bu markov zincirinde bütün durumların periodu 3 tür. Örneğin Eğer durum 1 ile başlarsak tekrar durum 1 e dönmek için yolunu takib etmeliyiz. Diğer durumlar içinde periodu 3 olan bir durum söz konusudur. Hangi durumda olursak olalım aynı duruma 3 period sonra geliriz. Bu problemin grafik gösterimi Şekil 7 de verilmiştir Şekil 7: Periodik Markov zinciri k=3 1 6

7 TANIM : Zincirdeki bütün durumlar devirli, aperiodik ve birbiriyle haberleşir durumlarsa zincir ergodiktir. Kumarbazın iflası problemi ergodik bir zincir değildir. Örneğin durum 3 ve durum 4 haberleşir durumlar değildir. Vazo örneğide ergodik değildir. Örnek olarak [2 ] ile [ 1 1] haberleşir durumlar değildir. Kola örneği (Örnek 4) Ergodik markov zinciridir. Bir sonraki slayttaki markov zincirlerinden P1 ve P3 Ergodik markov zinciridir. P2 ise ergodik olmayan markov zinciridir. 7

8 P1 = 1/3 2/3 1/2 1/2 1/4 3/4 Ergodik Markov Zinciri P2 = 1/2 1/2 1/2 1/2 2/3 1/3 1/4 3/4 Ergodik OlmayanMarkov Zinciri P3 = 1/4 1/2 1/4 2/3 1/3 2/3 1/3 Ergodik Markov Zinciri P2 ergodik değildir çünkü iki kapalı kümeye sahiptir. S1 = {1,2} ve S2 = {3,4} ve farklı kümelerdeki durumlar haberleşen durumlar değildir. Gelecek slaytlarda(derslerde) burada tanımlanan kavramların önemi daha iyi anlaşılacaktır. 8

9 Düzenli Markov Zincirleri: Ergodik Markov zincirini sınırlayan hal düzenli zincirdir. Düzenli zincir, P geçiş olasılıkları matrisinin kuvvetlerinde bulunan elemanların sıfırdan farklı ve pozitif olmasını gerektirir. Bir ergodik zincirin kuvvetleri alınırsa veya matriste sıfır eleman kalmayıncaya kadar kuvvetler alınırsa ergodik zincirin düzenli olduğu görülür. Bu işlem aşağıda verilmiştir.

10 Düzenli Markov Zincirleri: Kuvveti alındığında geçiş matrisinde kalmadığı için düzenlidir. 2 4, P P=, P

11 Düzenli Markov Zincirleri: Bütün düzenli zincirler ergodiktir, Ama bütün ergodik zincirlerin düzenli olmadığına dikkat etmelidir.

12 Örnekler: Aşağıdaki geçiş matrislerinin a) düzenli ve b) ergodik olmasını açıklayınız. 2 P= P P geçiş matrisinin P kuvvetinin elemanları pozitif veya sıfırdan farklı olduğundan P geçiş matrisi ile verilen Markov zinciri düzenlidir. Düzenli Markov zincirleri ise ergodiktir. Ayrıca 1 den 1 veya 2 ye doğrudan geçiş vardır, daha sonra da 2 den 3 e geçiş olanaklıdır. 2 den 1 e geçilebilir ve 3 den 2 ye, 1 e geçiş vardır. Dolayısıyla zincir ergodiktir, bütün durumlara geçiş olanağı vardır. 1)

13 P geçiş matrisinin kuvvetleri P matrisini tekrar vermektedir. Dolayısıyla P stokastik matrisi düzenli bir zincir değildir. Zira ilk matriste sıfır elemanları vardır ve kuvvetlerde sıfır elemanlar aynen kalmıştır. Ayrıca 1 den 1 veya 3 e ve 3 den 3 veya 1 e geçiş vardır. Dolayısıyla 1. durumdan 2. duruma veya 4. duruma geçiş olanağı yoktur ve zincir ergodik değildir. 2) P P 2 P 4 Örnekler: Aşağıdaki geçiş matrislerinin a) düzenli ve b) ergodik olmasını açıklayınız.

14 Örnekler: Aşağıdaki geçiş matrislerinin a) düzenli ve b) ergodik olmasını açıklayınız. 1 3) P 1/ 2 1/ 2 2 P 1 3/ 4 1/ 4 P matrisinin kuvvetleri alınırsa (1,2) elemanı daima sıfır olacaktır. Dolayısıyla verilen Markov zinciri düzenli ve ergodik değildir.

15 Örnekler: Aşağıdaki geçiş matrislerinin a) düzenli ve b) ergodik olmasını açıklayınız. 1 4) P 1/ 3 2/ 3 P 2 P* P 1/ 3 1 * 2/ 3 1/ 3 1 2/3 1/ 3 2/9 2/3 7 / 9 P 2 nin bütün elemanları pozitif olduğundan P düzenli Markov zinciridir.

16 Düzenli Markov Zincirleri: Kural: m*m boyutlu bir geçiş olasılıkları matrisi P nin düzenli Markov zinciri olması için P m2-2m+2 sıfırdan farklı pozitif elemanlardan oluşmalıdır. O halde P nin (m 2-2m+2) kuvveti alınarak karar verilmelidir. m = 2, 3, 4 için sıra ile P 2, P 5, P 1 araştırmalıdır.

17 17

18 KARARLILIK DURUMU OLASILIKLARI VE ORTALAMA İLK GEÇİŞ ZAMANI Kola örneğine baktığımızda (Örnek 4) uzun bir zaman sonra müşterinin yeni alacağı kolanın kola1 olma olasılığının,67 ye yakınsadığını ve müşterinin yeni alacağı kolanın kola2 olma olasılığının,33 e yakınsadığını görmüştük (Tablo 2). Bu olasılıklar müşterinin ilk olarak kola1 veya kola2 almasından bağımsızdı. Bu bölümde önemli kavram olan kararlılık durumu olasılıklarını göreceğiz. Kararlılık durumu olasılıkları markov zincirinin uzun vade davranışını tarifte kullanılır. Aşağıdaki sonuç kararlılık durumu olasılıkları ve uzun-vade markov zinciri davranışını anlamak için hayati öneme sahiptir. TEOREM 1: P s-durumlu ergodik zincir için geçiş matrisi olsun. O zaman aşağıdaki durumu sağlayan Π vektörü vardır. Π = (Π 1 Π 2 Π s ) lim n Pn = Π 1 Π 2 Π s Π 1 Π 2 Π s Π 1 Π 2 Π s 18

19 Önceki derslerden bildiğimiz şekilde P n matrisinin ij inci elemanı P ij (n) dir. Teorem 1 e göre herhangi bir başlangıç i durumuna göre lim n P ij(n) = Π j olur. Büyük n değerleri için P n matrisi benzer(aynı) sıralara sahip olur. Uzun bir zamanın ardından markov zincirleri kararlılık durumuna erişir ve başlangıç durumundan bağımsız olarak durum j de olma olasılığı Π j olur. Π = (Π 1 Π 2 Π s ) vektörü markov zinciri için kararlılık-durumu dağılımı veya denge dağılımı olarak bilinir. P geçiş matrisi ile verilen bir zincir için kararlılık durumu olasılıklarını nasıl buluruz? Teorem 1 den yola çıkarak büyük n değerleri ve her bir başlangıç durumu i için P ij (n+1) P ij (n) Π j (6) P ij (n+1) = (P n in sıra i si)*(p nin kolon j si) P ij (n+1) = k=1 k=s P ik (n)pkj (7) 19

20 Büyük n değerleri için (6) ve (7) yi birlikte düşünürsek Π k=s j = k=1 Π k P kj (8) Matris formatında (8) i yazarsak Π = ΠP (8 ) (8) e baktığımızda, eşitlik sistemi sonsuz sayıda çözüme sahiptir, çünkü P matrisinin derecesi (rankı) her zaman <= (s-1) çıkar. Tek çözüm bulmak için aşağıdaki bildiğimiz eşitliği kullanırız. P i1 (n) + P i2 (n) + + P is (n) = 1 (9) n sonsuza yaklaşırken (9) aşağıdaki şekilde yazılabilir. Π 1 + Π Π s = 1 (1) (8) deki herhangi bir eşitliği (1) ile değiştirirsek o zaman eşitlik sistemine tek çözümü bulabiliriz. 2

21 Kararlılık durumu olasılıklarını nasıl bulduğumuzu Kola örneği (Örnek 4) için gösterelim. Kola örneği için geçiş matrisi aşağıdaki şekildeydi P = (8) Veya (8 ) aşağıdaki şekilde yazılabilir. (Π 1 Π 2 ) = (Π 1 Π 2 ) Π 1 =.9Π 1 +.2Π 2 Π 2 =.1Π 1 +.8Π 2 Yukarıdaki sistemde sınırsız çözüm vardır. Eğer bu sistemden herhangi bir eşitliği çıkarır ve yerine aşağıdaki eşitliği yazarsak tek çözüme ulaşırız. Π 1 =.9Π 1 +.2Π 2 1 = Π 1 + Π 2 bu sistemi çözdüğümüzde Π 1 = 2/3 ve Π 2 =1/3 değerleri bulunur. Böylece uzun bir zaman sonra müşterinin kola1 alma olasılığı 2/3 ve kola2 alma olasılığı 1/3 olur. 21

22 GEÇİCİLİK ANALİZİ Tablo 2 ye baktığımızda 1 iterasyondan sonra kararlılık durumuna erişildiği görülmüştür. Markov zincirinin ne kadar çabuk kararlılık durumuna erişeceği ile ilgili genel kural yoktur fakat Eğer P nin içeriği az ve bu içerik ve 1 e yakınsa kararlılık durumuna çabuk erişilir. Kararlılık durumundan önce ki markov zincirinin davranışı geçici (kısa vade) davranışıdır. Geçicilik davranışını çalışmak için önceki slaytlardaki P ij (n) olduğu eşitlik (4) ve eşitlik (5) i kullanırız. Büyük n değerleri için kararlılık durum olasılıklarının doğru bir şekilde herhangi bir durumda olma olasılığını vermesi sevindiricidir. 22

23 KARARLILIK-DURUMU OLASILIKLARININ SEZGİSEL YORUMU Eşitlik (8) e kararlılık durumu olasılığına sezgisel yorum yapılabilir. Π k=s j = k=1 Π k P kj (8) Eğer her iki taraftan Π j P jj değerini çıkarırsak aşağıdaki eşitliğe ulaşırız. Π j (1-P jj )= k=s k=1,k j Π k P kj (11) Eşitlik (11) şunu söyler; Bir geçişin durum j yi terk etme olasılığı = Geçişin durum j ye girme olasılığı (12) Bir geçişin durum j yi terk etme olasılığı = (Durum j de olma olasılığı)* (Aktif geçişin durum j yi terk etme olasılığı ) Bir geçişin durum j yi terk etme olasılığı = Π j (1-P jj ) k=s Geçişin durum j ye girme olasılığı = ( k=1,k j (Aktif periodun durum k de başlama olasılığı, k j) )* (Aktif geçişin j ye girme olasılığı) Geçişin durum j ye girme olasılığı = k=s k=1,k j Π k P kj 23

24 ÖRNEK 5: Örnek 4 te her bir müşterinin herhangi bir hafta 1 tane kola aldığını kabul edelim. 1 milyon kola müşterisinin olduğunu varsayalım. 1 Kola firmaya $1 a mal olmakta ve kolayı firma $2 a satmaktadır. Bir reklam firması eğer yıllık $5 milyon reklam verilirse, reklamla kola 1 den kola 2 ye müşteri geçişinin %1 dan %5 e düşeceğini garanti etmektedir. Kola 1 üreten firma bu reklam firmasını tutmalı mıdır? CEVAP 5: Hali hazırda Π 1 = 2/3 dür. Yani kola satışlarının 2/3 ü kola 1 dir. Yıllık kola satışı 52*1 milyon = 5,2 milyar olur. Kola 1 üreten firma kola başına $1 kazanır. Hissesi 2/3 olduğundan Firma 1 in hali hazırdaki kazancı = 5,2 milyar * 2/3* $1 = $ 3,466,666,667 Eğer Firma reklam firmasını tutarsa Geçiş matrisi aşağıdaki matrise dönüşür. P1 = Bu yeni matris için kararlılık-durumu olasılıklarını hesaplarsak Π 1 =.95Π 1 +.2Π 2 Π 2 =.5Π 1 +.8Π 2 İkinci eşitliği Π 1 + Π 2 = 1 ile değiştirip sistemi çözersek Π 1 =.8 Π 2 =.2 buluruz 24

25 Şimdi Firma 1 in karına bakacak olursak.8*5,2 milyar 5 milyon = $3,66,, olur. Firmanın yeni karı eski karından fazla olduğu için Firma 1 reklam firmasını tutmalıdır. 25

26 ORTALAMA İLK GEÇİŞ SAYISI Ergodik bir zincir için m ij = Durum i de başladığımızda Durum j ye ilk defa ulaşmadan önce olması gereken beklenen geçiş sayısı m ij =Durum i den Durum j ye Ortalama ilk geçiş sayısı Bir geçiş sonra Durum i den ya durum j ye yada mümkün olan j den başka bir duruma geçilir. m ij = p ij * (1) + k j p ik (1 + m kj ) p ij + k j p ik = 1 dir o halde m ij = 1 + k j p ik m kj (13) (13) teki lineer eşitlikleri çözdüğümüzde bütün ortalama ilk geçiş sayılarını buluruz. Ayrıca m ii = 1/ Π i olduğundan bu değerleri kullanmak (13) ün çözümünü kolaylaştırır. 26

27 ÖRNEK : Örnek 4 te ortalama ilk geçiş sayılarını hesaplarsak Π 1 = 2/3 ve Π 2 = 1/3 idi O zaman m11 = 1/(2/3) =1,5 Şimdi m12 ve m21 değerlerini hesaplarsak m12 = 1+ p11*m12 = 1+,9*m12 ve m21 = 1 + p22*m21 = 1+,8*m21 m22 = 1/(1/3) = 3 olur Yukarıdaki lineer denklemleri çözdüğümüzde m12 = 1 ve m21 = 5 buluruz. Örneğin kola1 içen kişi 1. geçişte kola 2 içer. Kola 2 içen kişi 5. geçişte kola 1 içer. 27

28 28