MARKOV ZİNCİRLERİ VE TRAFİK SİGORTASI HASARSIZLIK İNDİRİMİ VEYA ZAMLI PRİM SİSTEMİNİN MARKOV ZİNCİRİ İLE İFADE EDİLEREK ANALİZ EDİLMESİ

Transkript

1 T. C. İSTANBUL ÜNİVERSİTESİ SOSYAL BİLİMLER ENSTİTÜSÜ İŞLETME ANABİLİM DALI ÜRETİM BİLİM DALI YÜKSEK LİSANS TEZİ MARKOV ZİNCİRLERİ VE TRAFİK SİGORTASI HASARSIZLIK İNDİRİMİ VEYA ZAMLI PRİM SİSTEMİNİN MARKOV ZİNCİRİ İLE İFADE EDİLEREK ANALİZ EDİLMESİ İBRAHİM ZEKİ AKYURT TEZ DANIŞMANI: DOÇ. DR. NECDET ÖZÇAKAR İSTANBUL, HAZİRAN 2005

2 ÖZ Bu tez çalışması kapsamında,, olasılık kavramı başlangıç kabul edilerek Markov zincirlerine ulaşılmış, ardından Markov zincirine ait özel durumlar ve analizler incelenmiş, daha sonra da uygulamaya geçilmiştir. Uygulamanın güncel olabilmesi açısından, Türkiye de zorunlu trafik sigortası priminin tespitinde yeni denilebilecek kadar kısa süre önce uygulanmaya başlanan Hasarsızlık İndirimi Zamlı Prim Sistemi uygulaması esas alınmış ve uygulama, araç cinsleri arasından otomobiller üzerine yapılmıştır. Öncelikle sistem kısaca tanıtılarak Markov zincirine uygun olduğu gösterilmiştir. Her poliçenin ne kadar prim ödeyeceğini gösteren basamaklar durum şeklinde ifade edilerek, geçiş matrisi oluşturulmuştur. Uygulamanın son kısmını ise zincirin analizi oluşturmaktadır. Uzun vadedeki kararlı hal yapısı incelenerek ileriki yıllarda Türkiye ekonomisine katkısı araştırılmış, ardından yılları arası basamak olasılık dağılımına yönelik tahmin yapılmış, en son olarak da ortalama ilk geçiş zamanları tespit edilmiştir. ABSTRACT In scope of this study, Markov Chains are procured from the probability concept as a starting point. After this procurement, special cases of Markov Chains and various analyses are examined. At the end of the study an application is implemented. In order to provide an up-to-date application, it is based on Bonus-Malus Automobile Insurance System used currently to establish the Turkish traffic insurance paid, and is performed on automobiles. Initially, the system is presented briefly, and it is shown that the system is appropriate for the Markov Chains. The steps showing the amount of premium to be paid by each insurance policy are explained as the states, and then the transition matrix is formed. Analysis of the chain constitutes the last part of the application. Steady state in long term is examined in terms of being of assistance to the Turkish economy in the future. Lastly, step probability distribution is estimated for the period from 2005 to 2009, and mean first passage time is determined. iii

3 ÖNSÖZ Türkiye deki sigorta sektöründe, zorunlu trafik sigortası, hem prim üretimi hem de hasar operasyonları açısından sektör faaliyetleri içerisinde çok önemli bir yer tutmaktadır. Trafik sigortasında özellikle hasar oranları yüksek olduğundan, trafik sigortasının, sigorta şirketlerine getirdiği kâr rakamı da bu doğrultuda oldukça düşüktür yılına kadar, ülkemizde kaçak veya gerçekçi olmayan bir çok poliçe düzenlenmiş ve bunlar, hem mal sahiplerine hem de karşı tarafa çok büyük maddi yük getirmiştir. Bu sebeple kurulan Trafik Sigorta Bilgi Merkezi aracılığıyla bu tür sorunlar çözülmeye çalışılmıştır. Trafik sigortasını yıllarca Kasko sigortasından ayıran şey trafik sigortasının kişilerin kaza yapmasını önleyici bir yapısının olmamasıydı. Trafik Sigorta Bilgi Merkezi nin kurulmasıyla hayata geçen İndirimli veya Zamlı uygulamasıyla ise bu yapı, araç kullanıcılarını kaza yapmaktan caydırıcı hale getirilmek istenmiştir. Türkiye deki mevcut gelişmeler çerçevesinde, Trafik Sigortası na ait basamaklı sistem, olasılıklı bir süreç olan Markov zinciriyle ifade edilerek, başlangıç olasılıkları tespit edilmiştir. Ardından Kararlı Hal ve Ortalama İlk Geçiş Zamanı analizleri uygulanmıştır. Çalışmam ve araştırmalarım sırasında beni yönlendiren ve katkılarını esirgemeyen değerli hocalarım Sayın Doç. Dr. Necdet Özçakar a, Sayın Yrd. Doç. Dr. Alp Baray a, Sayın Yrd. Doç. Dr. Faik Başaran a saygı ve şükranlarımı sunarım. Tüm çalışmam boyunca, bana her konuda yardımcı olan kardeşim Mehmet Ali Akyurt a da teşekkür etmeyi büyük bir borç bilirim. Ayrıca maddi ve manevi olarak her zaman yanımda hissettiğim, beni her konuda cesaretlendiren ve güçlü olmamı sağlayan biricik aileme; ve diğer asistan arkadaşlarıma katkılarından ötürü şükranlarımı arz ederim. Saygılarımla, İbrahim Zeki AKYURT iv

4 İÇİNDEKİLER ÖZ...III ABSTRACT...III ÖNSÖZ...IV İÇİNDEKİLER...V TABLOLAR LİSTESİ... VIII ŞEKİLLER LİSTESİ...X KISALTMALAR...XI GİRİŞ... 1 BÖLÜM 1. OLASILIK TEORİSİ: TEMEL KAVRAM VE GENEL BİLGİLER ÖRNEK UZAYI VE OLAY OLAYLAR ÜZERİNE TANIMLANMIŞ OLASILIKLAR KOŞULLU OLASILIK BAĞIMSIZ OLAYLAR RASSAL DEĞİŞKENLER KESİKLİ RASSAL DEĞİŞKENLER KESİKLİ RASSAL DEĞİŞKENLERE AİT OLASILIK DAĞILIMLARI BERNOULLI DAĞILIMI BİNOM DAĞILIMI GEOMETRİK DAĞILIM POISSON DAĞILIMI STOKASTİK SÜREÇLER BÖLÜM 2. MARKOV ZİNCİRLERİ GİRİŞ TEMEL KAVRAMLAR VE GENEL BİLGİLER v

5 2.3. MARKOV ÖZELLİĞİNİN TESPİTİ VE GEÇİŞ MATRİSİNİN OLUŞTURULMASI N-ADIMLI GEÇİŞ OLASILIKLARI CHAPMAN KOLMOGOROV DENKLEMİ BAŞLANGIÇTAKİ DURUMUN BELLİ OLMAMASI DURUMLARIN VE ZİNCİRLERİN SINIFLANDIRILMASI DURUMLARIN SINIFLANDIRILMASIYLA ORTAYA ÇIKAN SONUÇLAR MARKOV ZİNCİRİNİN UZUN DÖNEMDEKİ HALİ KARARLI-HAL VEYA DENGE DURUMU OLASILIKLARI VE DAĞILIMI (STEADY-STATE PROBABILITIES) ORTALAMA İLK GEÇİŞ ZAMANI (MEAN FIRST PASSAGE TIME) UZUN VADELİ MARKOV UYGULAMASI PAZARLAMA ÖRNEĞİ YUTUCU MARKOV ZİNCİRİ ANALİZİ YUTULANA KADAR HER BİR GEÇİŞLİ DURUMDA KAÇ KEZ BULUNDUĞU SÜRECİN YUTULANA KADARKİ GEREKLİ ADIM SAYISI SÜRECİN YUTUCU DURUMDA YUTULMA OLASILIĞI MARKOV KARAR SÜRECİ MARKOV KARAR SÜRECİNİN MATEMATİK MODELİ İKİ DURUMLU MARKOV KARAR SÜRECİ UYGULAMASI ÖNCEKİ ÇALIŞMALAR BÖLÜM 3. MARKOV ZİNCİRİNİN TÜRKİYE DEKİ KARAYOLLARI MOTORLU ARAÇLAR ZORUNLU MALİ SORUMLULUK SİGORTASI HASARSIZLIK İNDİRİMİ, ZAMLI PRİM SİSTEMİNE UYGULANMASI UYGULAMANIN AMACI VE İÇERİĞİ UYGULAMA VERİLERİ VE İŞLEYİŞİ KARAYOLLARI MOTORLU ARAÇLAR ZORUNLU MALİ SORUMLULUK SİGORTASI HASARSIZLIK İNDİRİMİ - ZAMLI PRİM UYGULAMASI HASARSIZLIK İNDİRİMİ VE ZAMLI PRİM BASAMAK TESPİTİ Poliçe Hasar Durumu Poliçe Yenileme Dönemi vi

6 Poliçe Dönemi Poliçe Geçmişi HASARSIZLIK İNDİRİMİ VE ZAMLI PRİM UYGULAMASI SİSTEMİNİN MARKOV ZİNCİRİ OLARAK GÖSTERİLMESİ MARKOV GEÇİŞ MATRİSİNİN OLUŞTURULMASI TÜRKİYE DE OTOMOBİLLERE AİT İSTATİSTİKLER BİR OTOMOBİL BAŞINA DÜŞEN YILLIK HASAR SAYISI YILLIK HASAR SAYISININ DAĞILIMININ TESPİTİ BASAMAKLAR ARASI GEÇİŞLERİN MATRİS OLARAK GÖSTERİMİ GEÇİŞ MATRİSİ OLASILIKLARININ BULUNMASI BAŞLANGIÇ OLASILIKLARI YILLIK PRİM TUTARLARI VE İNDİRİMLER ZİNCİRİN ANALİZ EDİLMESİ KARARLI HAL (STEADY STATE) ANALİZİ TÜRKİYE DE İLERİKİ BEŞ YIL İÇİN OTOMOBİLLERE AİT BASAMAK DAĞILIMI TAHMİNİ ORTALAMA İLK GEÇİŞ ZAMANI (MEAN FIRST PASSAGE TIME) TESPİTİ SONUÇ VE ÖNERİLER KAYNAKÇA EKLER EK-1: TRAFİK SİGORTASI BİLGİ MERKEZİ YÖNETMELİĞİ EK-2: BASAMAKLAR ARASI GEÇİŞ MATRİSİNİN N DÖNEM SONRAKİ DURUMU vii

7 TABLOLAR LİSTESİ Tablo 1. Örnek 2.3 e ait n-basamaklı geçiş matrisi Tablo 2 Zorunlu Trafik Sigortası Basamak Hesabı Tablosu Tablo 3: Yenileme Döneminde Uygulanacak Basamak Numarası Tespiti- Mevcut Basamağın Bulunması Tablo 4: Yenileme Döneminde Uygulanacak Basamak Numarası Tespiti- Dönem başında 5. basamakta olan ve dönem içinde 3 adet hasarlı bir poliçe Tablo 5 Basamak numaralarına karşılık tanımlanan durumların tablosu Tablo 6: yılları arası otomobil sayısı ve bu sayının toplam araç sayısına oranı Tablo 7: yılları arası Türkiye Genelinde Trafik Kaza Adetleri Tablo 8: 2003 ve 2004 yılı kazaya karışan araç sayılarının, araç cinslerine göre dağılımı Tablo 9: 2003 ve 2004 yılında; hasar, kazaya karışan otomobil, kazaya karışan toplam araç, tescilli otomobil ve tescilli toplam araç sayıları Tablo 10: Basamaklar Arası Geçiş için tanımlanmış hasar sayıları Tablo 11: Yenileme Döneminde Basamaklar Arası Geçiş için gerekli olan sigorta şirketinden talep sayısı Tablo 12: Türkiye de bir aracın bir yıl içinde sigorta şirketinden talep isteğinde bulunma olasılıkları (Poisson Dağılımı na göre) Tablo 13 Uygulamaya ait Geçiş Matrisi (P) ve Olasılıkları Tablo 14: Aralık 2004 itibariyle Otomobillerin Basamak Dağılımı Tablo yılı Zorunlu Trafik Sigortası Prim Tutarları-Araç Cinsine Göre viii

8 Tablo Yılları Arası Otomobillere Ait Basamak Dağılımı Tablo 17 Basamaklar Arası Ortalama İlk Geçiş Zamanları Tablo 18 Durumlar (Basamaklar) Arası 2 Adımlı Geçiş Olasılıkları Tablo 19 Durumlar (Basamaklar) Arası 3 Adımlı Geçiş Olasılıkları Tablo 20 Durumlar (Basamaklar) Arası 4 Adımlı Geçiş Olasılıkları Tablo 21 Durumlar (Basamaklar) Arası 5 Adımlı Geçiş Olasılıkları Tablo 22 Durumlar (Basamaklar) Arası 10 Adımlı Geçiş Olasılıkları Tablo 23 Durumlar (Basamaklar) Arası 20 Adımlı Geçiş Olasılıkları Tablo 24 Durumlar (Basamaklar) Arası 25 Adımlı Geçiş Olasılıkları Tablo 25 Durumlar (Basamaklar) Arası 30 Adımlı Geçiş Olasılıkları Tablo 26 Durumlar (Basamaklar) Arası 40 Adımlı Geçiş Olasılıkları Tablo 27 Durumlar (Basamaklar) Arası 50 Adımlı Geçiş Olasılıkları ix

9 ŞEKİLLER LİSTESİ Şekil 1. s*s Boyutlu Geçiş Matrisi Şekil 2. Örnek 2.2 ye ait geçiş olasılıkları grafiği Şekil 3 İçinde Yutucu Durum Bulunduran Geçiş Matrisinin Bölümlendirilmesi x

10 KISALTMALAR TRAMER DİE YTL YKr. Trafik Sigortası Bilgi Merkezi Devlet İstatistik Enstitüsü Yeni Türk Lirası Yeni Kuruş xi

11 GİRİŞ Yaşadığımız dünyada en büyük problemlerden biri de karar alma aşamasında ortaya çıkmaktadır. Öncelikle hakkında karar alınması gereken problem veya hedefin belirlenmesi ve ardından faktörlerinin veya etkileşimlerinin saptanması, kararın ne olacağının belirlenmesinden daha güçtür. Bu duruma sebep olan etkenler sıralanmak istenirse farklı sonuçların ortaya çıkacağı aşikardır. Bu farklı sonuçlar, farklı süreçler doğuracak ve farklı tanımlanan her sürecin oluşumu ve devam etmesi, içinde bulunulan duruma ulaşmayı sağlayacaktır. Kısacası içinde bulunulan duruma çok farklı yollardan geçilerek gelinmiş olunacaktır. Bu da olaylara yaşayan bir varlık gözüyle bakıldığında kesin etkileşimlerin ve dolayısıyla kesin sonuçların olamayacağının işareti olmaktadır. Bu konumu gereği insanın, gerçekleşen her olayı ve sonucunu olasılık süreci olarak görmesi kaçınılmazdır. Yine insanın varlığıyla oluşan, işletme ve işletme kararları da bu olasılık süreçlerinin bir alt birimi olarak düşünülmelidir. Karar almada kullanılacak etkenler veya etkileşimler olasılık tanımlarıyla süzgeçten geçirilmeli, böyle bir bakış açısıyla çözümlenmeye çalışılmalıdır. Zaten bilimlerin çözmekte zorlandığı ve dolayısıyla ağırlık verdiği nokta da burasıdır. Markov Süreçleri bu olasılık sürecinin zaman faktörüyle birleşiminden oluşan bir yapıdır. Diğer olasılık süreçleri gibi rassal değişkenlerden etkilenmesinin yanında, onu diğerlerinden ayıran özelliği yalnızca bir önceki zaman veya zaman aralığının mevcut duruma etki etmesidir. Bu süreçlerin alt başlığı olan Markov zincirleri, bu çalışmanın konusunu oluşturmaktadır. Yapılan tez çalışması üç bölümden oluşmaktadır. Birinci bölümde, konuya esas oluşturan olasılık kavramı önce tanımsal ardından matematiksel olarak tanımlanmıştır. Fazla karmaşık bir yapının oluşmaması için olasılığın yalnızca kesikli yapısı incelenmiş, bölüm sonunda da bu tür olasılık dağılımlardan kısaca söz 1

12 edilerek stokastik süreç kavramına geçilmiş, tanımı ve özellikleri üzerinde durulmuştur. İkinci bölümde ilk olarak, tezin konusunu oluşturan Markov zincirlerine, mantık silsilesinin bozulmaması için birinci bölümün sonunda anlatılan stokastik süreçlerin devamı niteliğinde, giriş yapılmıştır. Yapılan tanımın ardından Markov zincirlerinin özellikleri verilmiştir. Bu özelliklerden yola çıkılarak hangi özellikteki zincire hangi analizin yapılabileceği belirtilmiştir. Markov zincirine ait bu analizler tek tek tanımlanarak literatürdeki uygulamalarına ait örnekler verilmiştir. Markov zincirlerine ek olarak çok kısa bir biçimde Markov karar prosesinden söz edilmiştir. Sürekli Markov süreçleri bu tez çalışmasının dışında tutulmuştur. Üçüncü bölümde, önceki bölümde teorik olarak açıklanmış olan bilgilerden yola çıkılarak uygulamaya geçilmiştir. Konu olarak Türkiye de Karayolları Motorlu Araçlar Zorunlu Mali Sorumluluk Sigortası veya diğer adıyla Trafik sigortası seçilmiştir yılı itibariyle bu sigorta kapsamında; Hasarsızlık İndirimi - Zamlı Prim uygulamasına tam anlamıyla geçilmiş ve poliçe başına ödenecek prim, oluşturulan 7 basamak üzerinden hesaplanmaya başlanmıştır. Bu bölümde basamaklar durum olarak tanımlanarak, geçiş matrisi, yalnızca otomobillere ait hasar gerçekleşme olasılıklarıyla oluşturulmuş ve bir Markov zinciri haline getirilmiştir. Burada kayıtlı bir otomobilin bir yıl içindeki hasar sayısı rassal değişken olarak alınmış, dağılımın ise poissona uygun olduğu varsayılmıştır. Oluşturulan bu zincirin özelliği ve Markov zincirlerinin uygulama alanının geniş olması nedeniyle, yalnızca Kararlı Hal veya Denge Durumu olarak adlandırılan alt bölüm üzerinde durulmuştur. Sonucunda denge durumu vektörüne ulaşılmış ve uzun vadede ortalama olarak bir aracın yüzde kaç olasılıkla hangi basamakta olacağı bulunmuştur.yapılan bu analiz sonucu, bir otomobil için elde edilen bilgi ve bulgular, Türkiye geneline vurulmuş, aynı zamanda ortalama bir prim tutarına ulaşılarak da sigorta şirketlerine alacakları stratejik kararlarda yardımcı olunmak istenmiştir. Başlangıç olasılık dağılımı bulunarak, arasını kapsayan 5 yıllık süreç için olasılık dağılımları tespit edilmiştir. Son olarak ise ilk geçiş olasılıklarına yer verilmiştir.en son; bu konuda çalışma yapacak akademisyen ve araştırmacılara öneriler getirilmiştir. 2

13 BÖLÜM 1. OLASILIK TEORİSİ: TEMEL KAVRAM VE GENEL BİLGİLER Karar problemleri genelde belirlilik, risk ve belirsizlik koşulları altında ortaya çıkmaktadır, söz konusu durumlardan risk ve belirsizlik hallerinin rakamlarla ifade edilmesi ise olasılık kavramıyla açıklanabilmektedir. Olasılık kavramı; belki, mümkün, muhtemel, olabilir, şans, olası vb. kelimelerle günlük yaşamda bir çok kez kullanılır (Harcar, 1992: 115). Bu kavramları kullanarak üzerine konuşulan konu hakkında kesin olmayan söylemler ortaya çıkmıştır. Burada önemli olan bir başka nokta ise kullanılan bu ifadelerdeki belirsizliğin veya belirliliğin derecelerinin birbirinden farklı olmasıdır. Bu noktada karar verici, bir olayın gerçekleşme ihtimalini tahmin ettiği müddetçe gerçeğe daha yakın karar vermesi muhtemeldir. Kısacası olasılık, belirsiz bir ortama ilişkin ifadeler kullanabilmek için geliştirilmiş bir dil olarak tanımlanabilir (Newbold, 2000: 82). Bilimsel anlamda olasılık tanımı; istenilen bir olayın beklenen bir şekilde gerçekleşmesi veya gerçekleşmemesi olasılığı, bu iki halden her birine ait nispi frekansın toplam frekansa oranı, olarak yapılabilir. Olasılık üzerine yapılan çalışmalar; deneylere dayandırılıp oransal frekanslar incelenerek, geçmiş tecrübelerden elde edilen frekanslara dayandırılarak veya inanç yolu ile sezgisel, sübjektif olarak yürütülebilir (Harcar, 1992: 120). Çalışmamızın konusu olan Markov a geçmeden önce, temel olasılık teoremi hakkında bazı kavramlara ve konulara değinmek yarar sağlayacaktır ÖRNEK UZAYI VE OLAY Örnek Uzayı, bir deneyin mümkün tüm sonuçlarını içeren bir kümedir, S ile gösterilir. Eğer örnek uzayına ait (i,j) gibi bir sonuç varsa, önce i olursa, sonra j 3

14 gerçekleşecek anlamındadır. Olay ise örnek uzayına ait herhangi bir altkümedir. E ile gösterilir. Örnek 1.1: İki madeni paranın atılması deneyiyle ilgileniyorsak, örnek uzayı, toplam 4 nokta olaydan oluşacaktır: {(, ),(, ),(, ),(, )} S = T T T Y Y T Y Y Bu örnek uzayında ilk atılan madeni paranın tura gelmesi olayı şu şekilde gösterilecektir: {(, ),(, )} E = TT TY Örnek 1.2: Yapılan deney bir aracın ömrünü ölçmeye yönelikse bu kez örnek uzayı negatif olmayan gerçek sayılardan oluşacaktır: S = [ 0, ) Aracın ömrünün 2 ile 6 yıl arasında olma olayı ise: E = ( 2,6) şeklinde gösterilebilir. E ve F olarak tanımlanan iki olay varsa, E veya F iki olayının olması olayına Birleşim denmekte ve E F şeklinde gösterilmektedir. Bu iki olayın her ikisinin de olması olayı ise Kesişim ile ifade edilir ve E F şeklinde gösterilir. Bu, aslında EF olarak gösterilen yeni bir olayı tanımlar (Ross, 2003: 3). 4

15 Eğer bu iki olayın kesişimler kümesi, boş kümeyi ifade ediyorsa, iki olay Ayrık Olaylar veya Bağdaşmaz Olaylar olarak tanımlanır (mutually exclusive), matematiksel olarak; EF = olması gerekir. Bu tanımlardan yola çıkarak E, E, E, olayları gösteriyor, tüm bu olayların n= 1 n n = 1 n E birleşimi; ile, kesişimi ise ile gösterebilir. E Herhangi bir E olayı için, bu olayda olmayıp, geri kalan örnek uzayının tamamını ifade eden, yani E olayı ile birleşimi örnek uzayını veren, c E veya E ile gösterilen olaya, E nin Bütünleyicisi veya Tümleyicisi denir. Burada; c E E = S ve E E c = olması gerekmektedir OLAYLAR ÜZERİNE TANIMLANMIŞ OLASILIKLAR Örnek uzayı S olan bir deneyde, her E olayı için, olayın olma olasılığı olan P(E) aşağıdaki 3 koşul ile tanımlanır: i. 0 PE ( ) ii. PS ( ) = 1 1 iii. Her sıralı ve kendi aralarında ayrık olan, E, E, E,... olarak tanımlanmış olaylar için; P En = P( En) n= 1 n= 1 gerçekleşir. E ve c E her zaman ayrık olaylar olacaktır ve birleşimleri örnek uzayı oluşturacaktır, örnek uzayındaki tüm olayların da olma olasılıklarının toplamı 1 olduğundan; c PE ( ) = 1 PE ( ) (1.1) Denklem, bir olayın gerçekleşmesi olasılığı ile gerçekleşmemesi olasılığı toplamın 5

16 bire eşit olduğunu göstermektedir. Yukarıdaki 3. koşul (iii) ele alındığında, E ve F olarak tanımlanan iki olayın, birleşim olasılığı ile her birinin ayrı ayrı olma olasılıklarının toplamının birbirine eşit olduğu görülmektedir, bu iki olayın ayrık olmadığı durumlarda ise iki olayın ayrı ayrı olma olasılıkları toplamında kesişim sonuçları iki kez tekrarlanmış olacağından; PE ( ) + PF ( ) = PE ( F) + PEF ( ) (1.2) 1.2. KOŞULLU OLASILIK Örnek uzayı S de E olayının, F olayının gerçekleştiği durumdaki olasılığına, E nin F koşulluğu olasılığı denir ve PEF) ( olarak gösterilir. F gerçekleştikten sonra E nin de gerçekleşebilmesi için E ve F de bulunan en az bir sonuç olmalıdır. F olayı gerçekleştikten sonra bunun içinde E olayı arandığından, F yeni örnek uzay olacaktır (Ross, 2003 ; 7). Buradan; PEF ( ) = PEF ( ) PF ( ) (1.3) denklemi yazılabilir BAĞIMSIZ OLAYLAR E ve F olayları için ancak ve ancak PE ( F) = PEPF ( ) ( ) koşulu sağlanıyorsa bu iki olay bağımsızdır denebilir. Koşullu olasılıkta kullanılan 1.3 formülüne konduğunda ise aşağıdaki iki koşul ortaya çıkacaktır: 6

17 PEF ( ) = P( E) PFE ( ) = PF ( ) (1.4) Koşullu olasılık kavramında verilen genel formülde, F nin gerçekleşmesi, E nin gerçekleşmesini etkiliyordu, burada ise E olayının gerçekleşebilmesi için F olayının gerçekleşip gerçekleşmediği bilgisi hiçbir anlam ifade etmemektedir, E olayının gerçekleşme olasılığı, F olayı gerçekleşse de gerçekleşmese de aynı kalacaktır. İki veya daha fazla olayın bağımsız olması ayrık olduğunu göstermemektedir, iki olay aynı anda gerçekleşmiyorsa buna ayrık olay denmektedir, kesişimleri 0 olmalıdır, bağımsız olayların özelliği ise kesişimlerinin olasılıklarının tekil olasılıklarının çarpımına eşit olmasıdır (Newbold, 2000: 111). Örneğin İstanbul trafiğinin yoğun olmasıyla, Marmara Denizi nin su seviyesi olayları bağımsız iki olaydır fakat bu iki olayın aynı anda gerçekleşemeyeceği söylenemez, bu sebeple ayrık değillerdir RASSAL DEĞİŞKENLER Bir deney yapıldığında, deneyin sonuçlarından ziyade sonuçların bazı işlevleriyle ilgilenilir. Örneğin iki zarın atılması deneyinde zarların gelen değerlerinin toplamının 7 olmasıyla ilgileniliyorsa, sonuçların tek tek ne olduğu önemli değildir. Kısacası sonuçlar (1,6); (2,5); (3,4); (4,3); (5,2); ( 6,1) olabilir fakat ilgilenilen şey zarların toplamının 7 gelmesidir (Ross, 2003: 23). Rassal değişken, rassal bir denemenin sonuçlarına göre belirlenen sayısal değerleri alan bir değişkendir (Newbold, 2000: 139). Bu açıklamadan çıkacak önemli olan bir sonuç ise rassal değişkene ait olasılık durumudur. Rassal değişkene ait değer, kapsadığı sonuçlarla ilişkili olduğundan olasılığı da sonuçların olasılığının toplamıyla tanımlanabilir. Matematiksel ifade ile; 7

18 X değişkeni x1, x2, x3,... x n gibi değerler alıyorsa, bu değerler de sırasıyla p1, p2, p3,... p n gibi olasılıklarla gerçekleşme ihtimaline bağlıysa X e rassal değişken denir. Burada P( X ) rassal değişkenin olasılığını gösterirse p( x ) de sonuçların olasılığı olacaktır. Örnek 1.3: X iki zarın atılmasıyla oluşan sayı toplamını gösteriyorsa; X rassal değişkenine ait olasılıklar aşağıdaki gibi oluşacaktır: 1 P{ X = 2} = P{ ( 1,1 )} =, 36 2 P{ X = 3} = P{ ( 1,2 ),( 2,1 )} =, 36 3 P{ X = 4} = P{ ( 1,3 ),( 2,2 ),( 3,1 )} =, 36 6 P{ X = 7} = P{ ( 1,6 ),( 2,5 ),( 3,4 ),( 4,3 ),( 5,2 ),( 6,1 )} =, 36 5 P{ X = 8} = P{ ( 2,6,3,5,4,4,5,3,6,2 ) ( ) ( ) ( ) ( )} =, 36 1 P{ X = 12} = P{ ( 6, 6 )} =. 36 Bu örnekten çıkan sonuç aşağıdaki denklemi verecektir: = P { X = n} = P{ X =n} (1.5) i= 2 n= 2 Örnek 1.4: Madeni bir paranın atılmasında tura gelme olasılığı p olarak tanımlanmıştır. N rassal değişkeni de bu madeni paranın arka arkaya atılması deneyinde, ilk tura gelene kadar gerekli olan atılma (çevirme) sayısını göstermektedir. Bu takdirde N rassal değişkeni, her biri kendi olasılıklarına sahip 1,2,3,... değerler alacaktır (Ross, 2003: 2). 8

19 { = 1} = { } = { } {( )} { } {( )} P N P T p P N = 2 = P Y, T = (1 p) p 2 P N = 3 = P Y, Y, T = (1 p) p { } { } P N = n = P Y Y Y T = p p n n 1 (,,...,, ) (1 ), 1 n KESİKLİ RASSAL DEĞİŞKENLER Rassal değişkenlerin olasılık dağılımlarına geçmeden önce iki kavramın açıklanması gerekecektir; Olasılık Dağılımları (Probability Distribution) ve Olasılık Fonksiyonu (Probability Function). Rassal değişkenlerin alabileceği tüm mümkün değerlerin olasılıklarının sunumuna Olasılık Dağılımları, bu değerlerin yatay eksende olasılıklarının da dikey eksende gösterildiği grafiklerde noktaların birleştirilmesiyle elde edilen kesikli veya sürekli eğriye de Olasılık Fonksiyonu denir (Orhunbilge, 2000 : 191). Bir rassal değişken olan X belirli değerleri temsil ettiğinde ve bu değerler veya sonuçlar belirli olasılıklarla ortaya çıktığında X e kesikli rassal değişken denmektedir. Değişkenin alabileceği değerler belirli sayıdadır. Kısacası yalnızca sayılabilir sayıda değerler alan değişkene denmektedir. Kesikli rassal değişkenlerin ve dağılımlarının incelenebilmeleri için aşağıda verilen tanımların ve kavramların bilinmesi önemlidir. Kesikli rassal değişken X in olasılık dağılımı, p(a) olasılık kütle fonksiyonu (probability mass function) ile tanımlanabilir, a ifadesi X e ait a değerleridir: { } p( a) = P X = a (1.6) şeklinde gösterilebilir (Ross, 2003: 27). 9

20 X e ait kesikli olasılık dağılımını Denklem 1.6 haricinde, { } P ( x) = P X = x (1.7) X şeklinde göstermek de mümkündür. ( x), X in x değerini alma olasılığını x in fonksiyonu cinsinden ifade eder (Newbold, 2000: 141). PX Kesikli rassal değişkenlerin olasılık dağılımının, Olasılık kütle fonksiyonu p(a) ile tanımlanmasının sebebi, bu sayılabilir a nın değerleri için pozitif olması, sıfırdan farklı olmasındandır. X in; farz edildiğinde ; x, x, x, gibi değerler aldığı px ( ) > 0, i= 1,2,... i p( x) = 0, x' indiğer değerleri (1.8) Denklem 1.8 de X; x i değerlerinden herhangi birini alacağından; px ( i ) = 1 (1.9) i= 1 olasılık özelliği sağlanacaktır. Kesikli rassal değişkenlerinin kümülatif (birikimli) olasılık fonksiyonu (cumulative distribution function) F; X ' in herhangi bir değerinin a değerini aşmamasının olasılığının F(a) fonksiyonu cinsinden gösterirsek; { } F( a) = P X a (1.10) ve kümülatif olasılık fonksiyonuyla, olasılık kütle fonksiyonu arasındaki ilişki şu şekilde olacaktır: 10

21 Fa ( ) = px ( ). (1.11) xi a i Kesikli rassal değişkenleri incelerken üzerinde durulması gereken bir diğer ana başlık ise oluşturulan olasılık dağılımının merkezine ait ölçünün bulunmasıdır, bu ölçü Beklenen Değer veya Matematik Ümidi (Expected Value) olarak ifade edilir.bir tesadüfi değişkenin alabileceği bütün olasılıkların çarpımıdır (Orhunbilge, 2000:179). Beklenen değer, rassal değişkenin çok sayıda denemede alacağı değerlerin uzun dönem ortalamasıdır (Newbold, 2000: 147). Beklenen değerin aritmetik ortalamadan farkı ise olasılıklı olmasından gelmektedir. Beklenen değer E[ X ] veya µ x veya kısaca µ ile gösterilebilir. X kesikli rassal değişkeni, p(x) olasılık kütle fonksiyonuna sahipse, X in beklenen değeri E[ X ] şu şekilde bulunur: [ ] xp( x) E X =. (1.12) x Beklenen değer kavramı yalnızca rassal değişkenlerle sınırlı değildir, bilinen X rassal değişkenine ait g(x) gibi bir fonksiyonun beklenen değeri de hesaplanabilir. Burada g(x) de bir rassal değişken olarak düşünülür, kendine ait olasılık dağılımı bulunmaktadır (Ross, 2003: 43). Örneğin bir firma aldığı projeyi bitirme süresi bir belirsizlik gösteriyorsa, işin başlamasından bitimine kadar geçecek zaman değerleri rassal değişkeni verir, yalnız firma için önemli olan bu süreyle oluşan maliyet olduğundan burada maliyet süreye ilişkin bir fonksiyondur, beklenen maliyeti bulmak için bitirme süresi rassal değişkeninin bu fonksiyonunun beklenen değerini bulmak gerekecektir (Newbold, 2000: 148) g(x) fonksiyonu yukarıdaki denklemde yerine konursa: 11

22 [ ] E g( X) = g( x) p( x) (1.13) x sonucu elde edilir. Burada önemli olan bir nokta vardır, X in fonksiyonunun beklenen değeri, X in beklenen değeriyle, X ve X in fonksiyonunun arasındaki bağ ile aynı değildir, örneğin X in fonksiyonu Y=X 2 olduğunda, 2 ( E[ X] ) E X 2 dir. Rassal değişkenin fonksiyonlarının beklenen değerini hesaplamak için kullanılan denklemden ortaya çıkan doğal iki sonuç vardır: E [ ax + b] = ae[ X ] + b a veb sabit sayılar (1.14) ve n n E X = x p( x). (1.15) x Denklem 1.15 de (Ross, 2003: 46). n E X, X in n. Momenti olarak adlandırılır Rassal değişkenin varyansı demek, X in ortalamadan sapmalarının 2 karelerinin beklenen değeri anlamına gelir, Var(X) veya σ x olarak gösterilir: ( [ ]) ( ) Var( X) = σ x = E X E X = E X µ 2 ( ) E X 2 µ x p( x) µ 2 2 = = x (1.16) Varyansı hesaplamaktaki amaç ortalamadan farklı değerlerin ne derecede gerçekleşebileceğini göstermektedir. 12

23 KESİKLİ RASSAL DEĞİŞKENLERE AİT OLASILIK DAĞILIMLARI Kesikli rassal değişkenlere ait yapılan incelemeden sonra, bu rassal değişkenleri, olasılık kütle fonksiyonlarına kısacası olasılık dağılımlarına göre incelenmesi de yarar sağlayacaktır. Rassal değişkenlerin olasılık dağılımlarını incelerken bir önceki bölümde tanımlanan; beklenen değer, varyans, olasılık dağılımına ait denklemler gösterilecektir BERNOULLI DAĞILIMI Jacob Bernoulli tarafından bulunan bu dağılım diğer olasılık dağılımlarına temel oluşturması açısından büyük önem taşır (Harcar, 1992: 159). Kesikli bir rassal değişkenle yapılan bir deney sonucunda, başarı ve başarısızlık diye adlandırılan, ayrık ve bütünü kapsayan iki sonuç söz konusu olduğunda bu dağılıma Bernoulli Dağılımı denir (Newbold, 2000: 170). Rassal değişken X, başarı için 1, başarısız sonuç için 0 ile tanımlanır. Başarı olma olasılığı p ise başarısızlığın olasılığı 1-p olur. Olasılık dağılımı; { } { } p(0) = P X = 0 = 1 p, p(1) = P X = 1 = p. (1.17) Beklenen değeri; E[ X] = 0(1 p) + 1( p) = p (1.18) 13

24 Varyansı; Var X = σ = p p (1.19) 2 ( ) X (1 ) denklemleriyle ifade edilir BİNOM DAĞILIMI Binom Dağılımı da Bernoulli Dağılımı gibi iki bağdaşmaz ve bütünü kapsayıcı sonuç olduğunda kullanılır, fakat iki olası sonuç veren deneyin çok kez tekrarlandığı farz edilir. Dağılımın Binom olması için, iki sonuç olması, olasılıkların değişmemesi, deneme sayılarının değişmemesi ve bu denemelerin bağımsız olması gerekmektedir (Harcar, 1992: 161). Bağımsız deneme sayısı n kadar yapıldığında ve başarı olasılığı p; başarısızlık olasılığı 1-p olduğunda, X rassal değişkeni de n deneme içindeki başarı sayısını gösterirse, bu rassal değişken (n,p) parametreli binomdur veya dağılım binom dağılımıdır (Ross, 2003: 29). Dağılımda x tane p (başarı), n-x tane 1-p (başarısızlık) olacaktır, bu belli dizilimin olasılığı x p (1 ) n p x olacaktır fakat amaç belli bir dizilimin gerçekleşme olasılığı değil, diziliş önemli olmaksızın, x tane başarının olasılığıdır.bu çeşitli dizilişler n nesnenin x taneli kombinasyonları kadar olacaktır. Bu dizilişler de birbiri ile bağdaşmaz olduğundan, aynı anda gerçekleşemezler, o takdirde n denemede x tane başarı olayının, her birinin olasılığı x p (1 ) n x p olan; n in x tane kombinasyonları kadar gerçekleşebileceği açıktır (Newbold, 2000: 171). Bu açıklamadan sonra başarıyı i ile gösterirsek dağılım; i n i n i p() i = nc i p (1 p) = p (1 p) i n i (1.20) 14

25 burada: n C i n n! = = i ( n i)! i! dir. (1.21) Binom dağılımının beklenen değeri: E[ X] = np (1.22) Varyansı: Var X = = np p (1.23) 2 ( ) σ X (1 ) şeklinde olacaktır GEOMETRİK DAĞILIM Başarı olasılığı p olan, birbirinden bağımsız deneyler yapılmakta ve bu deneyler başarı oluşana kadar devam etmektedir. X rassal değişkeni ilk başarıya kadar gerekli olan deney/deneme sayısı olarak tanımlanırsa, bu rassal değişkene p parametreli rassal değişken dağılıma geometrik dağılım denir. Örnek 1.4 geometrik dağılıma uymaktadır. Geometrik dağılımın, olasılık kütle dağılımı veya olasılık dağılımı: n 1 { } pn ( ) = P X= n = (1 p) p, n= 1, 2,... (1.24) olacaktır. Denklem 1.24 de n. denemede başarılı olunmuştur. Başarıya ulaşabilmek için gerekli deney sayısının beklenen değeri ise Denklem 1.25 deki gibi olacaktır (Ross, 2003: 41). [ ] E X 1 = (1.25) p 15

26 POISSON DAĞILIMI Belirli bir zaman aralığında az sayıda gerçekleşen rassal değişkenlerin dağılımıdır (Orhunbilge, 2000: 202). İlgilenilen olayın gerçekleşme ihtimali düşük, buna karşılık gözlem sayısı büyükse, Binom dağılımı özel bir şekil alır. Bu özel şekle de Poisson dağılımı denir (Harcar, 1992: 170). Poisson dağılımı özelilikle, yöneylem araştırması, stok kontrolü, kuyruk modelleri gibi çeşitli sistemlerde kullanım alanı bulmuştur. Örneğin, üretilen bir maldaki kusurların sayısı, kaza ve sağlık sigortası, telefon santraline gelen çağrıların yapısı; 100 yaşından fazla yaşayanların, bir ülkede meydana gelen sel baskınlarının olasılığı ve ender yaşanan bu gibi pek çok konu bu dağılım kullanılarak incelenebilir (Serper, 1986: 14). Poisson dağılımının varsayımları; Olayın belirli bir zaman veya alan aralığında gerçekleşme sayıları birbirinden bağımsızdır, Bu aralıkta olayın iki veya daha fazla sayıda gerçekleşme olasılığı, bir kez gerçekleşme olasılığına oranla önemsiz denecek düzeyde düşüktür, Tanımlanan aralıktaki gerçekleşme sayısı tüm benzer aralıklarla aynıdır, Bu aralıklarda olayın bir kez gerçekleşme olasılığı yaklaşık olarak ilgili zaman veya alan aralığıyla orantılıdır (Orhunbilge, 2000: 203). Bu varsayımlara uyan X rassal değişkeni nin olasılık dağılımı; { } i λ λ pi ( ) = P X= i = e i= 0,1,2,... (1.26) i! şeklinde gösterilir (Ross, 2003: 32). λ belirli bir zaman veya alan aralığında olayın gerçekleşme sayısının ortalamasını gösterir, sıfırdan büyük bir sayıdır. e ise tabii logaritma tabanıdır ve 2,71828 e eşittir. 16

27 Bu dağılımın ortalaması; E[ X] = λ (1.27) varyansı; 2 σ X = λ dır. (1.28) 1.5. STOKASTİK SÜREÇLER Stokastik Süreç teoremi fizikçilerin ihtiyaçlarından ortaya çıkmıştır. Fiziksel olayların zaman içerisinde değişen rassal olaylar olarak tanımlanması ile başlamıştır (Medhi, 2003: 1). Stokastik süreç, zaman boyunca devam eden ve olasılığın kurallarına uyan bir olasılık sürecidir (Doob, 1953; 46). t; T kümesinin bir parametresi olarak varsayılırsa, X t her t T için rassal veya stokastik değişkeni ifade eder. { X (), t t T} rassal değişkenler ailesine stokastik süreç denir (Mehdi, 2003; 1). Kısacası zaman parametreli rassal değişkenlerden oluşur { x, t T} t. x t t zamanındaki sonuçtur, T ise zaman aralığıdır (Doob, 1953; 46). X t için sürecin t zamanındaki durumu (state) denebilir. T zamanında bir süper markete girenlerin sayısı, bulunanların sayısı,yine bu süper marketteki t zamanında satışların miktarı olabilir (Ross, 2003: 83). Lineer küme olan T, sayılabilir veya sayılamaz şeklinde iki alternatiften oluşabilir. { X (), t t T} stokastik süreci, parametreleri sayılabilir ise kesikli-parametreli süreç, eğer parametreler bir aralık ifade ediyorsa da sürekli-parametreli süreç olarak adlandırılır (Mehdi, 2003; 1). Stokastik süreçlerde parametre zaman olarak ifade edildiğinden; T, eğer sıralı t olarak tanımlanırsa kesikli-zaman süreci (discrete-time 17

28 process), bir aralık olarak tanımlanırsa da sürekli-zaman sürecini (continuous-time process) oluşturur. Önceki bölümlerde, X t rassal değişkenlerinin alabileceği tüm değerler durum uzayı olarak adlandırılmıştı. Bu da aynı zaman gibi sayılabilir veya sayılamaz olabilmektedir. Eğer durumlar da sonlu ve sayılabilir ise kesikli-durum süreci, sayılamaz ise de sürekli-durum süreci denir. Bu bilgilerden stokastik süreç 4 şekilde oluşabilmektedir; Kesikli-zaman, kesikli-durum uzayı, Kesikli-zaman, sürekli-durum uzayı, Sürekli-zaman, kesikli-durum uzayı, Sürekli-zaman, sürekli-durum uzayı (Medhi, 2003; 1). Kesikli durum süreçleri; zincir (chain) olarak adlandırılır. Bu takdirde yukarıda sıralanan 4 stokastik süreçten, birincisi, kesikli-zaman zinciri, üçüncüsü de süreklizaman zinciri şeklinde ifade edilir. 18

29 BÖLÜM 2. MARKOV ZİNCİRLERİ 2.1. GİRİŞ Klasik olasılık teorisinin temeli, birbirinden bağımsız olarak yapılan deneylerden oluşmuş süreçlere dayanmaktadır. Böyle bir deneyde mümkün tüm çıktılar ve bunlara ait olasılıklar eşittir. Ayrıca geçmiş deneylerin sonuçlarının da gelecekteki deneyin sonucunu etkilemediği görülmektedir. Bağımsız deneylere ilişkin olasılıklar rahatlıkla bulunabilir ve hesaplanabilir. Modern olasılık teorisi çalışmaları ise geçmişte yapılan deneylerin sonuçlarının, gelecekteki deneyleri etkilediği rassal süreçler üzerine yapılmıştır. Kısacası geçmişten veri olarak alınan sonuçlar gelecekteki sonuçları etkilemektedir. Böyle bir durumda geleceğe ilişkin olasılık tahmini yapmak hayli zor olacaktır (Gringstead ve Snell, 1997: 405). Bu gelişme doğrultusunda; 1907 yılında A. A. Markov kendi adıyla anılan yeni bir stokastik süreç üzerine çalışmaya başlamıştır. Çalışmaları; gelecekteki sonuçların yalnızca şu andaki sonuçtan etkilenmesi üzerine kurulmuştur. Markov süreci olarak tanınan bu yöntem daha sonraki yıllarda bir çok alanda uygulanma fırsatı bulmuştur TEMEL KAVRAMLAR VE GENEL BİLGİLER Örnek uzayı S ye ait tüm rassal değişkenlerden oluşan; stokastik sürece ait X(t) veya X n olarak tanımlanmış olan { n t 0,1, 2,... } = = kümenin,durumları sonlu ve sayılabilirse, bu sürece, kesikli-durum süreci denir. Zincir ifadesiyle de söylenebilir. Sayılamaz ise, sürekli-durum süreci denir. 19

30 { X (), t t T} Stokastik süreci, s t olduğunda, > s X değeri, verilen X t değerinden etkileniyor, u < t şartını sağlayan X u değerinden etkilenmiyorsa Markov süreci olarak adlandırılır. Tanım ile, sürecin gelecekteki durumuna ilişkin olasılığın değeri, bilinen mevcut duruma bağlı ve önceki durumların bilinmesini gerektirmeden bulunabiliyorsa bu sürece Markov süreci denir (Taylor ve Karlin, 1984; 67). Yani Markov süreci bir stokastik süreçtir ve sürecin gelecekteki davranışı yalnızca şimdiki durumdan etkilenir, önceki durumlara bağlı değildir (Saldana ve Changho, 200: 204). N sayıda zaman noktasının herhangi bir t1, t2, t3, t4,..., t n kümesi için X t n nin koşullu olasılığı; değerine bağlıysa, X, X, X,..., X. nin verilen değerlerinden yalnızca t1 t2 t3 t n 1 X t n nin 1 X t stokastik sürecine Markov Süreci denir, Markov Özelliği olarak da ifade edilebilir (Cinemre, 1997: 356). Markov süreci, aynı stokastik süreçler gibi, kesikli-durum, kesikli-zaman; kesiklidurum, sürekli-zaman; sürekli-durum, kesikli-zaman; sürekli-durum, sürekli zaman olarak dört şekilde sınıflandırılabilir. Bir stokastik kesikli-durum süreci; bu süreçte bir sonraki durum yalnızca mevcut duruma bağlıysa, daha önceki durumlarla ilişiği yoksa, Markov Zinciri olarak anılır. Bu zincir; 2 ardışık durum arasındaki zaman; üssel dağılmışsa Sürekli-Zaman Markov Zinciri, geometrik dağılmışsa Kesikli-Zaman Markov Zinciri olarak adlandırılır (Dayar, 1994: 2). Markov özelliği gösteren bir stokastik süreçteki rassal değişkenlere ait değerlere durum (state) denmektedir. Bunun sebebi ise şartlı olasılığın sadece bir önceki zamana bağlı olmasıdır (Leon-Garcia, 1994: 460). Bir süreç içinde oluşabilecek tüm mümkün şartlar durum olarak ifade edilir. Örneğin bir makine herhangi bir zaman noktasında düzgün veya hatalı olarak çalışabileceğinden bu süreç içerisinde oluşabilecek iki durum bulunmaktadır. Burada 20

31 olayların birbirinden ayrık olması gerekmektedir. Kısacası durumlardan biri oluştuğu anda diğer durum oluşamaz, makine aynı anda hem düzgün hem de hatalı çalışamaz (Render ve Stair, 1997; 706). Süreç zincire ait durumlardan herhangi birinden başlayarak ardışık olarak tekrar aynı veya diğer durumlardan birine hareket eder. Her bir harekete adım(step) denir (Gringstead ve Snell, 1997: 405). π () t t zamanındaki durumların olasılıkları göstermek üzere, n adet durum söz konusu olduğunda π ( t) = π1, π2,..., πn) şeklinde ifade edilen t zamanındaki 1 den n e kadar tüm durumların olasılık dağılımıdır. Sürecin veya zincirin tüm mümkün değerleri negatif olmayan tamsayılarla sembolize edilmiştir.burada X t =i t ise: { t+ 1 t+ 1 t t,..., 0 0} { t+ 1 t+ 1 t t} P X = i X = i X = i = P X = i X = i (2. 1) şeklinde gösterilen denklem Markov Zinciri olacaktır. Burada, bir sonraki zamanda oluşacak durum, yalnızca şimdiki zamandan yani X t durumundan etkilenecektir, geçmiş zamanlardaki durumlardan tamamen bağımsız olacaktır (Ross, 2003: 181). X n in i durumunda olduğu bilindiğinde; n 1 X + de j durumunda olma olasılığı tekadımlı geçiş olasılığı (one-step transition probability) olarak adlandırılır (Taylor ve Karlin, 1984; 68) ve şu şekilde gösterilir: { + 1 } P = P X = j X = i (2.2) nn, + 1 ij n n Tek-adımlı geçiş olasılığı zaman parametresinden bağımsız olduğundan, Markov zincirinin durağan geçiş olasılığına (stationary transition probability) sahip olduğu söylenir ve şu şekilde de yazılabilir: 21

32 { } P Xn = j Xn 1 = i = pij i, j S, n 1. (2. 3) Hangi notasyonun kullanıldığı önemli olmaksızın, t zamanı bağımsızken tüm durumları i ve j harfleri ile ifade ettiğimizde P{ Xt+ 1 j Xt i} olacaktır. Bu varsayımdan yola çıkarak { t 1 t } = = varsayımı doğru P X = j X = i = p dendiğinde; sistemin t + ij zamanındaki i durumundan, t+1 zamanındaki j durumuna geçişinin olasılığını p ij ifade etmektedir. Bu sebeple p ij ler Markov zincirinde geçiş olasılıkları olarak adlandırılır. p ij geçiş olasılığı tek-adımlı geçiş olasılığıdır. Buradan çıkan başka bir varsayım ise geçiş olasılığının zamandan etkilenmeden durağan olduğudur yani aşağıdaki varsayımlar da kabul edilir: p ij ler sabittir, buna kesin olasılıklar denmektedir. Ayrıca n p 0 i, j 0; P = 1 i= 0,1,... ij ij. (2. 4) j= 0 Aşağıda gösterilen, bütün geçiş olasılıklarının ifade edildiği s x s boyutlu matrise ise P geçiş matrisi denir. Şekil 1. s*s Boyutlu Geçiş Matrisi P = Bu matris sabit ve zamandan bağımsız p 11 p 1 s p s1 p ss. p ij geçiş olasılıklarını içerdiğinden, P matrisi homojen geçiş matrisi veya stokastik matris adı ile anılır (Taha, 2002: 726). 22

33 Kısacası, Markov süreci, X n rassal değişkeninin şartlı olasılığı; X n-1, X n-2, X n-3... rassal değişkenlerinin içinden yalnızca X n-1 ile sağlanıyorsa oluşur (Papoulis, 1984: ). Yalnızca bir önceki zamandaki rassal değişkenle koşullu olasılığı olan rassal değişkenin varlığında oluşan bir stokastik süreçtir. Süreç bu şekilde Markov özelliği gösterir denir. Markov sürecinin durum uzayı kesikli olduğunda bu özel hale Markov zinciri denir. Markov zinciri de zaman parametresine göre kesikli ve sürekli hal alabilir. Çalışmanın bundan sonraki bölümlerindeki açıklamalar kesikli-zaman Markov zincirleri üzerine yapılacaktır. Çalışmalar yine durağanlık koşulu üzerine yani geçiş matrisinin sabit kalması varsayımı ile devam edecektir MARKOV ÖZELLİĞİNİN TESPİTİ VE GEÇİŞ MATRİSİNİN OLUŞTURULMASI Önceki bölümde açıklandığı gibi, bir stokastik süreçte gelecek durum yalnızca bir öncekinden etkileniyorsa ve zamandan bağımsızsa bu süreç Markov özelliği göstermektedir. Ayrıca bu durumlar arası sabit kalan bir geçiş matrisi yani bir durumdan ötekine bir periyot sonra geçme olasılıkları bulunmaktadır. Markov zinciri, kendisine ait tek-adımlı geçiş olasılıklarını veren geçiş matrisi ve 0 zaman noktasındaki sürece ait durumun olasılık dağılımının bilinmesiyle oluşmaktadır (Taylor ve Karlin, 1984; 70). Sonraki çalışmalar bu bilgilerin üstüne kurulmaktadır. Markov özelliğinin ve durumların tespiti ile geçiş matrisinin bulunmasında Markov zincirlerine temel olacak iki modelin üzerinde, ileriki açıklamalarda da kullanılacağından durmak yarar sağlayacaktır. Örnek 2.1 : (Rassal Yürüyüş Modeli A random walk model) Bir Markov zincirinin durum uzayı; i = 0, ± 1, ± 2, ± 3,... gibi tamsayılarla gösterilip olasılıkları da P = p= 1 P, 0< p<1 ii, + 1 ii, 1 şeklinde ifade edilirse bu Markov 23

34 zincirine rassal yürüyüş modeli denir. Bir sonraki periyottaki durumun bir önceki periyoda bağlı olduğu açıktır, bu sebeple Markov özelliği gösterir. Burada bir bireyin düz bir çizgi üzerinde sürekli sağa ve sola adım attığı düşünülebilir. Sağa adım atma olasılığı p ile tanımlanırsa, sola adım atma olasılığı da 1-p veya q ile tanımlanır. Denklemde i+1 sağa adım, i-1 de sola adım olarak gösterilmiştir. Rassal yürüyüş modelinin ileri uygulamaları, özellikle finans alanında hisse senedi fiyatının davranışının modellenmesi hususunda geniş bir uygulama alanı bulmuştur (Sayan vd., 2001: 2). Bu model doğrultusundaki yaklaşıma göre, piyasadaki ardışık fiyat getirileri bağımsızdır ve ardışık getiriler aynı dağılıma sahiptir. Çünkü diğer yöntemler kullanıldığında (spektral analiz gibi); hisse senedi fiyatlarındaki hareketlerin keşfi mümkün olmamıştır, elde edilen yapılar piyasa dataları tarafından reddedilmiştir. Bunun sebebi fiyatların rassal dağılımıdır. Bu yaklaşım Fama nın Efektif Pazar Hipotezi ne temel oluşturmuştur. Örnek 2.2: (Kumar modeli - Gambling model): Bir kumarbazın her oyunda bir para birimi kazanma olasılığı p, bir para birimi kaybetme olasılığı da 1-p ile tanımlanmıştır. Kumarbaz oyunu ancak iki şartla bırakır; ya elindeki para sıfıra düşecektir (iflas) yada N para birimine ulaşacaktır. buradan sonuçla Markov zincirinin geçiş olasılığı şu şekilde oluşacaktır: P = p= 1 P, i= 1,2,3,... N 1 ii, + 1 ii, 1 P 00 = P = 1 NN Denkleme göz önüne alındığında, rassal yürüyüş modeliyle 0 ve N durumları haricinde uyuşmakta, fakat oyun N veya 0 durumuna girdiğinde bir daha buradan çıkamamaktadır, bu iki duruma yutucu durum denir. 24

35 Örneğin; bir kumarbazın elinde 0 zamanında 2 Yeni Türk Lirası (YTL) kadar para vardır. Her seferinde 1 YTL yatırabilecek bir oyun oynandığında, kazanılırsa yatırılan 1 YTL ve bir o kadar para daha alınıyor, kaybedilmesi durumunda ise yatırılan para veriliyor. Oyun, 4 YTL ulaşıldığında veya para bitince, sona eriyor. Kazanma olasılığı p, kaybetme olasılığı 1-p ile gösterilmiştir. Dikkat edilecek olursa t+1 oyun sonra elde olan para miktarı, t oyunundan sonraki elde kalan para miktarına bağlıdır. Bu da bu durumun bir Markov zinciri olduğunu göstermektedir.oyunun kuralları da zaman içinde değişmediğinden durağan Markov zinciridir. Bu örnekte elde 2 YTL ile başlanıyor, eğer kazanılırsa 3 YTL, kaybedilirse 1 YTL ile oyuna devam edilir. Ta ki 0 veya 4 YTL kalana kadar oyun devam eder. Aşağıda gösterilen geçiş matrisinde, durum olarak tanımlanan elde bulunan paradır: 0YTL 1YTL 2YTL 3YTL 4YTL p 0 p 0 0 P = p 0 p p 0 p Geçiş matrisinde, p 00 = p44 = 1 olduğu görülmektedir, yani 0 veya 4 YTL para birimine ulaşıldığında oyun bitmektedir, durum değişmemektedir. Diğer durumlarda ise kaybetmenin olasılığı 1-p kazanmanın olasılığı ise p olduğu görülmektedir. Geçiş matrisinin grafiği Şekil 1 de görülmektedir, soldan sağa doğru 0,1,2,3 ve 4 durumları düğümlerde gösterilmiştir. 25

36 Şekil 2. Örnek 2.2 ye ait geçiş olasılıkları grafiği 2.4. N-ADIMLI GEÇİŞ OLASILIKLARI CHAPMAN KOLMOGOROV DENKLEMİ Şimdiye kadar i durumundan j durumuna bir adımda geçiş olasılıkları üzerinde durulmuştur. Bazen de m zamanında i durumunda olan bir zincirin, n zaman sonra j durumunda bulunma olasılığı önemli olmaktadır (Cinemre, 1997: 363). Bu bölümde konuya ilişkin kısa bir tanımdan sonra istenen sonuca ulaşmak için gerekli denklem(ler) elde edilecek, konu Örnek 2.3 ile örneklenecektir. Örnek çalışma öncelikle denklem üzerine oturtulacak ardından da ispatı verilecektir. Bir Markov zinciri m zamanında i durumundayken, n periyot sonra j durumunda olma olasılığı nedir (Winston, 2004: 928)? Bu sorunun yanıtını verebilmek için yani n-adımlı geçiş olasılıklarını bulabilmek için Chapman-Kolmogorov denklemi bir metot geliştirmiştir (Ross, 2003: 185): n+ m n m ij = Pik Pkj k = 0 P (2.5) Durağan bir Markov zinciri olduğundan yani geçiş olasılıkları zamanla değişmediğinden söz konusu olasılık m zamanından bağımsız olacağı için denklem 2.6. daki gibi yazılabilir (Winston, 2004: 186): 26

37 { } { } n P Xm+ n= j Xm= i = P Xn= j X0 = i = pij( n) = p (2.6) Herhangi bir m zamanından n zaman sonra sistemin i durumundan j durumuna geçme olasılığını hesaplayabilmek için zaman sonra j durumuna geçiş ise m ij zamanı 0 zaman noktası kabul edilir, p ij (n) olarak gösterilir. Buradaki p ij (n), i durumundan j durumuna n-adımda geçiş olasılığı olarak adlandırılır. n P ( n) n, n-adımlı geçiş olasılıları matrisi olan gösterirse, (2.5) denkleminden: P ij P = P. P (2. 7) ( n + m ) n m olacaktır. p ij (1)= p ij olduğu açıkça bellidir. p ij (2) ise sistemin şu anda veya herhangi bir zaman noktasında i durumunda olduğu ve 2 periyot sonunda j durumunda olma ihtimalidir. Öncelikle i durumundan bir periyot sonra k gibi durum(lar)a geçiş yapılacak, k durumundan ise j durumuna geçilecektir. Buradan şu eşitlik yazılabilir: p ij (2) k= s = k= 1 ( i durumundank durum( lar) una geçişolasılığı) x ( k durumundan j durumuna geçiş olasılığı) (2. 8) Bu da; p (2) k= s = p xp ij ik kj k= 1 (2. 9) anlamına gelir. Dikkat edilmesi gereken nokta k nin birden fazla durumu içerebileceğidir, çünkü her k durumundan ayrı ayrı j durumuna geçiş olasılıklarının da hesaplanması gerekmektedir. Yukarıdaki eşitliğin sağ tarafı P matrisinin i satırı ile j sütununun 27

38 skaler (sayıl) çarpımıdır. Buradan p ij (2) 2 P matrisinin ij elemanıdır, yani p ij (2), 2 P matrisinin i satırıyla j sütununun kesiştiği yerdir. Sonuçta; 1 ( ) sin n n Pij n = P matri inij elemanı 1 ; n= 0 Pij(0) = 0 ; j = i j i (2. 10) olacaktır (Winston, 2004:186). Örnek 2.3: Mevcut kola pazarında 2 adet ürünün varolduğunu düşünelim. En son 1. kolayı alan bir müşterinin tekrar 1. kolayı alma olasılığı 0.90, en son 2. koladan alan bir müşterinin yine 2. kolayı tercih etme olasılığı ise 0.80 dir (Winston, 2004: 929). Bu örneğin geçiş matrisi aşağıdaki gibi olacaktır: 1. Kola 2. Kola 1. Kola Kola a) Eğer bir müşterinin en son 2. kolayı aldığını düşünürsek, 2 alış sonra 1. kolayı alma olasılığı nedir? P X = 1 X = 2 = p (2) Yani bulunmak istenen olasılık: { } Kısacası P matrisinin 2. durum satırıyla 1. durum satırının bileşkesidir P = =

39 Buradan p 21 (2) = 0.34 olduğu bulunacaktır, kısacası şu anda 2. kolayı almış olan bir müşterinin 2 alım sonrasında 1.kolayı alma olasılığı 0.34 olacaktır. Bu işlem; olasılığın çarpma ve toplama kuralı kullanılarak da yapılıp ispatlanabilir, bunun için: p (2) = p = p p + p p (2.11) bulunabilir. Eşitliğin sağ tarafı; 2. durumdan bir geçiş sonra tekrar 2. duruma, ardından 2. durumda bulunan sistemin tekrar bir geçiş sonra 1. duruma gelişi ile 2. durumdaki sistemin 1. duruma oradan da tekrar 1. duruma geçiş olasılıkları toplanarak bulunmuştur. Durum uzayında iki adet rassal değişken bulunduğundan zincir ya birinci yada ikinci duruma girebilir. Örnekteki ilgili olasılıkları bir adımlı geçiş matrisinden alarak: p ( ) ( ) (2) = p = 0,8 0, 2 + 0, 2 0,9 = 0,16 + 0,18 = 0,34 problemi çözebiliriz. b) Şu anda 1. kolayı alan bir müşterinin 3 alım sonrasında yine 1. kolayı alma olasılığı nedir? Burada da bulmak istediğimiz p 3 11 (3) tür. Bu da P matrisinin 11 elemanıdır P = P( P ) = = Yukarıdaki sonuçtan, p 11 (3) = olduğu görülmektedir. 29

40 2.5. BAŞLANGIÇTAKİ DURUMUN BELLİ OLMAMASI Bir Markov süreci, durumlara ait geçiş matrisi ve başlangıç durumu X 0 ile tanımlanır, bu ikisinin belirlenmesinin ardından uygulamaya geçilebilir. Buradaki başlangıç durumu bilinmediğinde yerine başlangıç durumlarının dağılımını gösteren, başlangıç olasılık vektörü (initial probability vector) kullanılabilir (Karlin ve Taylor, 1984: 68). Baş langıç olasılık vektörü, literatürde PX ( 0 = i) = pi veya { } π = π π π π (Medhi, 2003: 3) şekillerinde gösterilebilir. (0) 0, 1, 3,..., n {,, i X i } P X0 = i0 X1 = i1 X2 = 2,... n = n prosesinin hesaplanabilmesi için, koşullu olasılık tanımından; { 0 = 0, 1 = 1, 2 = 2,... n = n} = P{ X = i, X = i, X = i,... X = i } P X i X i X i X i n 1 n 1 { n n 0 0, 1 1, 2 2,... n 1 n 1} P X = i X = i X = i X = i X = i (2.12) bulunması gerekir. (2.12) denkleminin en alt kısmı, Markov tanımından ötürü; { n = n 0 = 0, 1 = 1, 2 = 2,... n 1 = n 1} = P{ Xn = in Xn 1 = in 1 } = Pi n 1, in P X i X i X i X i X i (2.13) olacaktır. (2.12) ve (2.13) denklemleri beraber çözülürse; { =, =, =,... = } P X i X i X i X i = pp... P P i0 i0, i1 in 2, in 1 in 1, in n n (2.14) 30