MARKOVİYEN OPTİMAL DURAKLAMA PROBLEMİNİN İYİLEŞTİRİLMESİ VE İMKB DE BİR UYGULAMA. Hatice ÖNCEL ÇEKİM YÜKSEK LİSANS TEZİ İSTATİSTİK

Transkript

1 MARKOVİYEN OPTİMAL DURAKLAMA PROBLEMİNİN İYİLEŞTİRİLMESİ VE İMKB DE BİR UYGULAMA Hatice ÖNCEL ÇEKİM YÜKSEK LİSANS TEZİ İSTATİSTİK GAZİ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ Hazira 2011 ANKARA

2 Hatice ÖNCEL ÇEKİM tarafıda hazırlaa MARKOVİYEN OPTİMAL DURAKLAMA PROBLEMİNİN İYİLEŞTİRİLMESİ VE İMKB DE BİR UYGULAMA adlı bu tezi Yüksek Lisas tezi olarak uygu olduğuu oaylarım. Prof. Dr. Salih ÇELEBİOĞLU Tez Daışmaı, İstatistik Aabilim Dalı.. Bu çalışma, jürimiz tarafıda oy birliği ile İstatistik Aabilim Dalıda Yüksek Lisas tezi olarak kabul edilmiştir. Prof. Dr. Salih ÇELEBİOĞLU İstatistik Aabilim Dalı, G.Ü... Prof. Dr. Reşat KASAP İstatistik Aabilim Dalı, G.Ü... Prof. Dr. Fikri ÖZTÜRK İstatistik Aabilim Dalı, A.Ü... Tarih: 09/06/2011 Bu tez ile G.Ü. Fe Bilimleri Estitüsü Yöetim Kurulu Yüksek Lisas derecesii oamıştır. Prof. Dr. Bilal TOKLU Fe Bilimleri Estitüsü Müdürü..

3 TEZ BİLDİRİMİ Tez içideki bütü bilgileri etik davraış ve akademik kurallar çerçeveside elde edilerek suulduğuu, ayrıca tez yazım kurallarıa uygu olarak hazırlaa bu çalışmada baa ait olmaya her türlü ifade ve bilgii kayağıa eksiksiz atıf yapıldığıı bildiririm. Hatice ÖNCEL ÇEKİM

4 iv MARKOVİYEN OPTİMAL DURAKLAMA PROBLEMİNİN İYİLEŞTİRİLMESİ VE İMKB DE BİR UYGULAMA (Yüksek Lisas Tezi) Hatice ÖNCEL ÇEKİM GAZİ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ Hazira 2011 ÖZET Borsada yatırımcıları zorladığı öemli koularda biri de hisse seetlerii e zama satacağıı bilememek, doğru zamalamayı yapamamaktır. Zamaıda yapılmaya satımlar sahip olua hisse seedi miktarıı degesizleştirmekte ve böylelikle hisse seedi başıa kâr miktarı düşmektedir. Bu çalışmada, İstabul Mekul Kıymetler Borsasıı 2 Ocak Nisa 2007 tarihlerii içere 5110 seaslık borsa kapaış edeks değeri kullaılarak hisse seetleri içi e doğru satış zamaı bulumaya çalışılmıştır. Markoviye Optimal Duraklama Yötemii düşük eflâsyolu ortamda ortaya çıka bir dezavatajı da, hisse seetlerii satışlarıda ağır davraması, yai işlem sayısıı çok düşürmesidir. Bu yötemle birlikte sıklıkla kullaıla ortalama ve medya modellerii yaıda β -kısıtlı dediğimiz yei bir model geliştirilmiştir ve bu modelle düşük eflâsyolu ortamda ortaya çıka dezavataj iyileştirilmeye çalışılmıştır. Ortalama ve medya modellerii 514 işlemii 511 taeside β -kısıtlı modelde de işlem yapılmış olup 58 işlem fazlasıyla yaklaşık olarak %11,28 oraıda daha fazla işlem yapıldığı görülmüş ve yıllık kâr toplamıda yaklaşık olarak %10,61 oraıda artış gerçekleşmiştir. Bu bir alamda β -kısıtlı modeli daha iyi olduğuu göstermektedir. Ayrıca β -kısıtlı modelde bütü eflâsyo oraları içi β ı değerii sıfır olmasıa rağme

5 v optimal satış zamalarıı iyileştirmesi dikkat çekicidir. Burada β -kısıtlı modelde eflâsyo oraı arttıkça hisse seetleri içi e iyi (optimal) kazacı elde ettikleri satış frekasları artmakla birlikte, bu modelde satış başıa düşe ortalama kâr oraı düşmektedir. Bilim kodu : Aahtar Kelimeler : Markoviye Optimal Duraklama, Hisse Seedi, İMKB Sayfa Adedi :72 Tez Daışmaı :Prof. Dr. Salih ÇELEBİOĞLU

6 vi AN IMPROVEMENT ON THE MARKOVIAN OPTIMAL STOPPING PROBLEM AND AN APPLICATION IN ISE (M.Sc. Thesis) Hatice ÖNCEL ÇEKİM GAZİ UNIVERSITY INSTITUTE OF SCIENCE AND TECHNOLOGY Jue 2011 ABSTRACT Oe of the importat issues i stock market that ivestors have difficulties is that they caot kow whe to sell the share certificates, i other words caot make the true timig. Sales that are ot sold i time destabilize the amout of the owed share certificates, thus decrease the profit per sold certificate. I this study, it is tried to fid the most right sales time through usig stock market close idex values for 5110 sessios icludig ISE s Jauary April 2007 dates. A disadvatage of Markovia Optimal Stoppig method that emerges i the low iflatio eviromet is actig slowly i sales of share certificates, i other words highly decreasig the trasactio umber. Beside the mea ad media models which are used frequetly with this techique, a ew model called β - restricted developed ad with this model the disadvatage that emerge i low iflatio eviromet is tried to be improved. I the 511 of 514 sellig operatios of mea ad media models are also made with β - restricted model i which it is see that with 58 more process approximately i the rate of 11, 28% more process was made ad approximately i proportio to 10, 61% icreases i the yearly profit is realized. I oe sese this shows that β - restricted model is better. Ad also, i β - restricted model although the value of β is zero for all iflatio ratios, its amelioratio of sales times is remarkable.

7 vii O the other had, i β - restricted model together with icrease of the sales frequecies that the share certificates obtai the optimal acquisitio i relatio to the icrease of iflatio ratios, average profit ratio per sale is low i this model. Sciece Code : Keywords : Markovia optimal stoppig, share certificate, ISE Page Number : 72 Adviser :Prof. Dr. Salih ÇELEBİOĞLU

8 viii TEŞEKKÜR Tez kousuda bei yöledire ve çalışmamı her aşamasıda değerli bilgi ve deeyimleriyle baa destek ola daışmaım Sayı Prof. Dr. Salih ÇELEBİOĞLU a ve yardımlarıı esirgemeye eşime sosuz teşekkürlerimi suarım.

9 ix İÇİNDEKİLER Sayfa ÖZET... iv ABSTRACT... vi TEŞEKKÜR...viii İÇİNDEKİLER... ix ÇİZELGELERİN LİSTESİ... xi ŞEKİLLERİN LİSTESİ... xii 1. GİRİŞ MARKOV ZİNCİRLERİ Temel Kavramlar OPTİMAL DURAKLAMA PROBLEMLERİ Duraklama Kuralı Problemleri Problemi Taımı Uyarılar Ödüle karşı kayıp Rastgele ödül dizileri Örekler Solu Ufuklu Problemler MARKOV ZİNCİRLERİNDE OPTİMAL DURAKLAMA İdirimli ve Ücretli Oyular MARKOVİYEN OPTİMAL DURAKLAMA PROBLEMİNİN İYİLEŞTİRİLMESİ VE UYGULAMASI... 45

10 x Sayfa 5.1. İstabul Mekul Kıymetler Borsası Borsa Taımı Topta Eşya Fiyat Edeksi ( TEFE ) Literatür Veriler ve Yötemleri Uygulaması SONUÇ VE ÖNERİLER KAYNAKLAR ÖZGEÇMİŞ... 72

11 xi ÇİZELGELERİN LİSTESİ Çizelge Sayfa Çizelge 5.1. Kullaıla aylık TEFE değerleri Çizelge 5.2. Yıllar ve aylara göre işlem yapıla seas sayıları Çizelge 5.3. Aylık eflâsyo oralarıa göre α değerleri Çizelge 5.4. Yıllar ve durumlara göre işlem yapıla seas sayıları Çizelge 5.5. Durumlarla ilgili betimleyici istatistikler Çizelge 5.6. Ortalama modeli içi %6 eflâsyo oraıda ödeti foksiyou ve oyu değerleri Çizelge 5.7. Medya modelleri içi %6 eflâsyo oraıda ödeti foksiyou ve oyu değerleri Çizelge 5.8. Ortalama modelii farklı eflâsyo oraları içi oyu değerleri Çizelge 5.9. Medya modelii farklı eflâsyo oraları içi oyu değerleri Çizelge β -kısıtlı model içi % 6 eflâsyo oraıda ödeti foksiyou ve oyu değerleri Çizelge β -kısıtlı modelde bütü eflâsyo oraları içi oyu değerleri Çizelge Ortalama ve medya modelleri içi yıllara göre işlem sayısı, yıllık kâr ve satış başıa kâr Çizelge β -kısıtlı model içi yıllara göre işlem sayısı, yıllık kâr ve satış başıa kâr... 67

12 xii ŞEKİLLERİN LİSTESİ Şekil Sayfa Şekil 1.1. Durumlar arası geçiş diyagramı... 5 Şekil 4.1. Kumar makieside durumlar arası geçiş diyagramı Şekil 4.2. y + z toplamıı e küçüklediği okta... 38

13 1 1. GİRİŞ Sermaye piyasasıda işlem yapa bireysel yatırımcılar, alım-satım kararı verirke kedilerie özgü bireysel gözlem, bilgi ve deeyimleride yola çıkarak belli stratejiler geliştirir. Geliştirdikleri bu stratejilere göre seçtikleri ya da ilgiledikleri belli sayıdaki hisse seedii alım-satımıı yaparlar. Burada seçile hisse seedii e zama alııp, e zama satılacağı öemlidir. Öcede zamalamaı doğruluğuu veya yalışlığıı kestirmek olaaksızdır. Ayı durum kararı alımasıda kullaıla strateji içi de geçerlidir. Belirsizlik ve riski yer aldığı fiasal piyasalarda yatırımcıları satım kararlarıı verirke uygu zamalamayı belirleyecek ola strateji/stratejiler seçilmelidir. Bu strateji, güçlükle elde edile yatırımları etkileyeceği içi yatırımcıları karar vermelerie yardımcı olur. Bu aşamadaki karar verme süreci bir stokastik yapıya sahip olur. Stokastik süreçleri bir sııfı ola Markov süreçleride yer ala, amacı uygulaa stratejiye bağlı olarak tüm duraklama zamaları üzeride beklee ödetiyi maksimum yapmak ola Markoviye Optimal Duraklama Yötemi borsadaki hisse seetlerii iceleme imkaı verir. Yatırımcılar içi, hisse seetlerii değişe piyasa koşullarıa göre oluşa fiyat hareketleride kazaç elde etme isteği, sermaye piyasasıda her zama geçerli, temel hedeflerdedir. Yatırımcılar bu hedeflerie ulaşabilmek içi hisse seetlerii gelecekteki fiyat değişimlerii öcede bilmek isterler. Acak çoğu zama bu piyasalardaki belirsizlik ve risk buu olaaksızlaştırmaktadır. Dolayısıyla yatırımcıları izleyecekleri stratejilerde asıl öemli ola, seçile hisse seedii e zama alııp, e zama satılacağıı doğru bir şekilde belirlemesidir. Bu çalışmada Markoviye Optimal Duraklama Yötemi kullaılarak İMKB deki hisse seetlerii e iyi satış zamaları belirlemeye çalışılacaktır [13]. Bu kouda so zamalarda yapıla çalışmalarda kısaca bahsedersek, Üçbaş[17] çalışmasıda hisse seetlerii e iyi satış zamalarıı belirlemede hareketli ortalamalar ve Markoviye optimal duraklama tekiklerii karşılaştırmıştır, Gül[7]

14 2 ise çalışmasıda hisse seetlerii alış ve satışlarıa karar vermeye ilişki bir modelle seaslar, güler ve aylar arasıda bir ilişki olup olmadığı araştırmıştır. Tez çalışması kapsamıda yer ala kouları, bölümlere göre dağılımı aşağıdaki gibidir. Tezi ilk bölümüü oluştura Girişte, çalışmaı kapsamıı içere geel bir taıtım yapılmıştır. Tezi ikici bölümüde Markov zicirii taımı, temel özellikleri ve bazı örekleri verilmiştir. Üçücü bölümde bazı optimal duraklama kuralı problemlerii çeşitleri alatılmıştır. Dördücü bölümde Markov zicirleride optimal duraklama problemii taımı, temel özellikleri ve farklı koşullardaki örekleri verilmiştir. Tezi beşici bölümüde literatürde Markoviye Optimal Duraklama Yötemi kullaa çalışmalar alatılarak, yei öerile iki modelle Markoviye optimal duraklama problemi iyileştirilmeye çalışılmıştır. Altıcı bölümde İMKB hisse seedi verileri kullaılarak ulaşıla souçlar özetlemiştir.

15 3 2. MARKOV ZİNCİRLERİ 2.1. Temel Kavramlar Markov zicirlerii kousu, tipik olarak olasılığı temellerii matıksal devamıı temsil eder. Markov zicirleride, teorik ve uygulamayla ilgilee sistemleri geiş bir türüü taımlaya stokastik süreçleri bir sııfı ele alıır. Kouu daha iyi alaşılmasıda karmaşık matematiksel araçları kullaılmasıa gerek kalmaması gerçeği, ilk bakışta teorik matematikte uzak birçok farklı alada Markov zicirii popüler olmasıı bir açıklaması olarak görülebilir. Bu süreçlerde baze temel model, durumları belirli bir rastgele mekaizmaya göre kesikli zamalarda değiştiği bir sistem olur. Sistemde durumlar kümesi durum uzayı olarak adladırılır ve geelde E ile gösterile durum uzayı solu ya da sayılabilirdir. Durum uzayıda her bir i E durum adıı alır ve sistem daima bu durumlarda biride buluur. Rastgele mekaizma aracılığıyla durum değişikliğii meydaa gelmesi p ij, i, j E elemalarıyla P geçiş matrisii taımlar. p ij, sistemi şu ada i durumuda olduğu verildiğide soraki adımda j durumuda olması koşullu olasılığıdır. Dolayısıyla, P i her bir elemaı egatif ve 1 de de büyük olamaz. Ayrıca her bir satırdaki elemaları toplamı 1 e eşittir: her bir i, j E içi 0 p ij 1 ve her bir i E içi pij = 1. (2.1) j E Bu özelliklere sahip bir P matrisie olasılık matrisi deir. Bua bezer şekilde E durum uzayı üzeride bir ( π i )( i E) olasılık dağılımı geellikle bir olasılık vektörü olarak adladırılır. Dolayısıyla bir olasılık matrisi, her satırı bir olasılık dağılımı ola bir matristir [15].

16 Örek E basit hal, durum uzayıı 2 durum içermesidir. Geelliği kaybetmede durumları 0 ve 1 olduğuu varsayalım: O zama matrisi elemaları p ij, i, j = 0,1 olur. Burada 0 α, β 1 olmak üzere stokastik matris aşağıdaki biçimde olabilir. 1 α β α 1 β Özel olarak α = β = 0 ise I birim matrisii verir ve α = β = 1 de karşı köşege matrisi verir: , Birim geçiş matrisie sahip bir sistem başlagıç durumuda sosuza kadar kalır, karşı köşege matris durumuda ise sistem her zama 0 da 1 e veya tersie 1 1/2 1/2 de 0 a değişir. Öte yada α = β = 1/ 2 ise matrisii verir. Bu 1/2 1/2 durumda sistem eşit olasılıklarla kedi durumuda kalabilir veya değişebilir. Geçiş matrisii mümkü geçişlerii oklarla göstere bir diyagramla temsil etmek ve karşı gele geçiş olasılıklarıı okları yaıa yazmak geleeksel hale gelmiştir. Bkz. Şekil 1.1 i üst kısmı Örek 0 1/3 1/3 1/3 1/4 1/4 1/4 1/4 1/2 1/

17 5 4x4 lük geçiş matrisii geçiş diyagramı Şekil 1.1 i alt kısmıda verilmiştir. Zama = 0,1, 2,... değerlerii alır. Süreci belirlemesii tamamlamak içi burada = 0 başlagıç zamaı sistemi hagi durumda olduğuu belirte başlagıç dağılımıa ihtiyaç vardır. Tipik olarak, bu dağılımı verildiğii (belirli bir i durumuda π i olasılıkla olmak üzere) varsayalım [15]. Şekil 1.1. Durumlar arası geçiş diyagramı X ile zamaıdaki sistemi buluduğu durumu gösterelim. Dolayısıyla π başlagıç dağılımlı ve P geçiş matrisli bir Markov zicirii belirleye kurallar aşağıdaki gibi verilebilir: (i) X, 0 π dağılımıa sahiptir. Yai her i E içi PX ( 0 = i) = π i dir. (ii) Daha geel olarak, her ve i 0, i 1,..., i E durumları içi PX ( = i, X = i,..., X = i)

18 6 olasılığı 0,1,, zamalarıda sistemi i,..., 0 i durumlarıda buluma olasılıklarıı gösterir ve aşağıdaki gibi çarpım biçimide yazılır. PX ( = i, X = i,..., X = i) = π p... p (2.2) i0 i0i1 i 1i Tabiî ki burada (i), = 0 da (ii) i özel bir halidir [15] Taım Aşağıdaki eşitliği sağlaya bir X = { X : N} stokastik sürecie Markov ziciri deir. ( ) ( 0 = 0 1 = 1 = + 1 = ) P( X = i,,x = i,x = i ) P X i,,x i,x i,x j P X = j/x = i,,x = i,x = i = π i p 0 i p p 0i 1 i 1i ij = = π p p i0 i0i1 i 1i p ij. (2.3) Eş.2.2 i öemli bir soucu, 0,, 1, zamalarıda i 0,..., i 1 ve i durumlarıda olduğu verildiğide + 1 zamaıda sistemi j. durumuda olması koşullu olasılığı olup Eş.2.3 te görüldüğü biçimdedir. X = i,,x = i ve X Yai = i koşulu altıda 1 X +, { p, j E } ij koşullu dağılımıa sahiptir. Özellikle X + 1 i koşullu dağılımı i, 0,i 1 e bağlı değildir. Yai sadece zamaıdaki i durumua bağlıdır. Eş.2.3, bir Markov zicirii belleksizlik özelliğii örekledirir. Yai yalızca şimdiki durum, gelecek durumları belirleye olasılıkları belirlemede rol oyar [15].

19 Teorem { X : N }, π 0 başlagıç dağılımlı ve P geçiş matrisie sahip bir Markov ziciri olsu. O zama aşağıdaki özellikler sağlaır: (i) P( X = j/x = i,,x = i,x = i ) = P( X = j/x = i ) olup p ij olasılığıa eşittir. Özel olarak verildiğide X + 1 i koşullu dağılımı i, 0,i 1 dağılımıyla yai P matrisii i. satırıyla ayıdır. X = i,,x = i,x = iolduğu e bağlı değildir ve { p, ij j E } (ii) Sistemi. zamaıda PX ( = i) olasılığı buluur. ' π P 0 vektörüü. i bileşeiyle (iii) P matrisii p elemaı P( X j/ X i) ij k k + = = koşullu olasılığıa karşı gelir; yai adımda i de j ye geçiş olasılığıı verir. (iv) P( X i 1,X i 2,, X i) = = = geelleştirilmiş olasılığı k1 k2 k ' k1 k2 k1 k k 1 ( k = 1 k = 2 k = ) = ( π 0 ) ( ) ( ) P X i,x i,, X i P P P 1 2 i1 ii 1 2 i 1i ile verilir. X i dağılımıı taımlaya olasılık vektörü, π 0 başlagıç olasılık vektörüe matrisi uygulaarak elde edilir. Bezer olarak P PX ( = ix, = j) = PX ( = i,..., X = i, X = ix, = j) i0,..., i 1

20 8 = π p... p p = ( π P ) p i0,..., i 1 i0 i0i1 i 1i ij 0 i ij ve bu yüzde ( π P ) p PX ( j/ X i) p PX ( = ix, + 1 = j) 0 i ij + 1 = = = = = ij PX ( = i) ( π 0P ) i dir. Başka bir deyişle p ij elemaı kedide öceki i. durumuu vere j. durumuu gelecek adımdaki durumuu koşullu olasılığıdır. Burada P= p matrisie Markov zicirii geçiş olasılıkları matrisi deir. ij Eş.2.2 i geelleştirilmesiyle ve 0 k1 < k2 < < k, i 1,, i E durumları içi ' k1 k2 k1 k k 1 ( k = 1 k = 2 k = ) = ( π 0 ) ( ) ( ) P X i,x i,, X i P P P 1 2 i1 ii 1 2 i 1i dir. π 0 ( π i ) = bir olasılık vektörü ve P ( p ij ) = E üzeride bir geçiş matrisidir. zamaıda alıır [15]. X rastgele durumu, E deki değerlerle bir rastgele değişke olarak ele 2.3. Örek P i bütü satırlarıı ayı olduğuu varsayalım. Yai p ij = p i i de j bağımsız olduğuu varsayalım. Ayrıca π = p j j olduğuu varsayalım. Yai π i P i satırlarıyla ayı olduğuu varsayalım. O halde Eş.2.2 de ( ) 0 1 P X = i,,x = i,x = i = p p p i i i

21 9 dir. l E p l = 1 olduğua göre ve ayı zamada P = P ise p = p... p p = p p... p p = p ( ) ij i1 i 1 j i1 i2 i 1 j j i1,..., i 1 i1 i2 i 1 dir. Bu yüzde P( X = j) = ( π P ) = pp = pp = p ( ) 0 j i ij i j j i E i E dir. Yai her i içi başlagıç dağılımı, döem soraki dağılım ile ayıdır, yai değişmemiştir. Ayı zamada ( ) P X = i,x = i,..., X = i = P( X = i ) P( X = i )... P( X = i ) olduğu görülür. Yai ( X ) ler bağımsız ayı dağılımlı rastgele değişkelerdir [15] Teorem { X : N }, π 0 başlagıç dağılımlı ve P geçiş matrisie sahip bir Markov ziciri olsu. Her m 1 ve i E içi X m = i olduğu verildiğide { X m+ 0} i () i [ ] δ = π = ' 0 0,,0,1,0,,0 başlagıç dağılımlı ve P geçiş matrisli bir Markov ziciridir. Özel olarak, kesikli zamalardaki Markov ziciride X, 0, X m 1geçmiş durumları ve

22 10 (, X, ) X + + gelecek durumları X m m 1 m 2 olarak bağımsızdır [15]. = i şimdiki zamaı verildiğide koşullu 2.4. Örek A, B ve C adlı üç kız masa teisi oyuyorlar. Her bir oyuda kızları ikisi birbirlerie karşı oyuyor ve üçücü kız oyu dışıda kalıyor. Herhagi bir. oyuda oyuu kazaa + 1. oyuda da tekrar oyayacaktır. Üç kızı oyu güçleri sırasıyla, s, A B C s s olmak üzere { } x, y A, B, C, x y içi birbirlerie karşı oyadıkları herhagi bir oyuda x kızıı y kızıı yeme olasılığı s /( s + s ) dir. x x y (a) Bu süreci mümkü durumlarıı taımlayarak ve geçiş matrisii kurarak ifade edelim. (b) İlk oyuda birbirleriyle oyaya iki kızı 4. oyuda da tekrar birbirleriyle oyama olasılığıı belirleyelim. Ayı zamada bu olasılığı ilk oyuda oyaya iki kızda bağımsız olduğuu varsayalım. Çözüm (a) Herhagi bir oyuda oyamaya oyucuları A, B ve C harfleriyle gösterelim. 3x3 lük geçiş matrisi aşağıdaki gibidir. 0 sc /( sb + sc) sb /( sb + sc) sc /( sa + sc) 0 sa /( sa + sc) sb /( sa + sb) sa /( sa + sb) 0 Süreç bir Markov ziciridir, çükü soraki oyuları souçları bağımsızdır. (b) Burada 3 adım sora ziciri başlagıçta verile bir duruma dömesi olasılığıı araştıralım.

23 11 Simetride dolayı bu olasılık başlagıç durumuu herhagi bir seçimi içi ayıdır ve 2sss A B C pab pbc pca + pac pcb pba = ( s + s )( s + s )( s + s ) A B B C C A değerie eşittir [15].

24 12 3. OPTİMAL DURAKLAMA PROBLEMLERİ 3.1. Duraklama Kuralı Problemleri Optimal duraklama teorisi, beklee bir ödetiyi e büyüklemek ya da beklee bir maliyeti e aza idirmek içi ardışık olarak gözlemlee rastgele değişkelere dayalı verile bir aksiyoda durma zamaıı seçme problemleriyle ilgileir. Bu tür problemlere, buluula aksiyou bir hipotezii test etmek veya bir parametreyi tahmi etmek biçimide ola istatistik alaıda ve bir makiei bakımı, bir sekreteri tutulması veya bir malı yeide sipariş edilmesi vb. yöeylem araştırması alaıda rastlaır. Bu bölümde problemi matematiksel olarak takdim edeceğiz ve uygulama örekleri vereceğiz. Tarihsel olarak, bu problem Wald ı ardışık olasılık ora testi kuramıdaki istatistiksel gözlemleri ardışık aalizleride Wald ı Sequetial Tests of Statistical Hypotheses (1945) adlı kitabıda ve izleye kitapları Sequetial Aalysis (1947) ve Statistical Decisio Fuctio (1950) da ortaya çıkmıştır[18]. Bu tür problemlere Bayesçi yaklaşımlar Arrow, Blackwell ve Girshick i Bayes ad miimax solutios of sequetial decisio problems (1948) adlı temel makaleside ele alımıştır[18]. İstatistiksel yapıyı göz öüe almaya teorik duraklama problemlerie ardışık aaliz yoluyla yaklaşımı geellemesii Sell, Applicatios of martigale system theorems (1952) adlı makaleside yapmıştır[18] larda Chow ve Robbis i A martigale system theorem ad applicatios (1961) ve O optimal stoppig rules (1963) makaleleri kouu yeide ilgi çekmesie ve hızlı bir şekilde büyümesie ede olmuştur[18]. Chow, Robbis ve Siegmud i Great Expectatios: The Theory of Optimal Stoppig (1971) adlı kitabı bu koudaki gelişmeleri açıklamaktadır [18].

25 Problemi Taımı 3.1. Taım Duraklama kuralı problemleri aşağıdaki iki araçla taımlaır: (i) Ortak dağılımı bilidiği varsayıla bir X1, X 2,... bağımsız rastgele değişkeler dizisi, ve (ii) y0 y1 x1 y2 x1 x2 y x1 x2 dizisi., ( ), (, ),..., (,,...) gerçek değerli ödül foksiyolarıı bir Bu iki araç verildiğide bularla ilişkiledirile duraklama kuralı problemi şöyle taımlaabilir. İsteile uzuca bir süre X 1, X 2,... dizisi gözleebilir. Her bir = 1,2,... içi X1 = x1, X2 = x2,..., X = x gözledikte sora durulabilir ve y ( x,..., x ) (muhtemele egatif olabile) bilie ödülü alıır veya devam edilir ve 1 1 X + gözleir. Başlagıçta herhagi bir gözlem yapılmaması seçilirse y 0 sabit ödülü alıır. Hiçbir zama durulmazsa, y ( x1, x2,...) ı ödülü alıır ( Böyle bir durumda ödülü değerii almasıa izi verilir, acak ödülleri solu beklee değere sahip bir rastgele değişke ile üstte düzgü olarak sıırladığıı varsayalım, öyle ki bu rastgele değişkei beklee değeri altıda kala bütü beklee değerler alamlıdır). Problem, beklee ödülü e büyüklemek içi durma zamaıı seçmektir. Burada rastgele kararları kullaımıa izi verilir. Yai X1 = x1, X2 = x2,..., X = x gözlemlee. zamaa ulaştığı verildiğide bu gözlemlere bağlı olabile bir duraklama olasılığıı seçilmesi gerekir. Bu olasılığı φ ( x1, x2,..., x ) ile gösterebiliriz. Bir (rastgele) duraklama kuralı bu foksiyoları diziside oluşur. (, ( x ), ( x, x ),...) φ = φ φ φ (3.1)

26 14 foksiyolar diziside oluşa burada her ve X,..., 1 X içi 0 φ( x1,..., x) 1 dir. Her bir φ ( x1, x2,..., x ), 0 veya 1 olduğuda duraklama kuralıa rastgele olmaya bir karar kuralı deir. Bua göre, φ 0 hiç gözlem alımaması olasılığıı gösterir. İlk gözlem yapıldığı ve X = x olduğu gözlediğide, φ 1( x1) ilk gözlemde sora durma olasılığıı gösterir 1 1 ve bezerleri de böyle devam eder. φ duraklama kuralı ve X = ( X1, X2,...) gözlemler dizisi duraklamaı olduğu N rastgele zamaıı belirler; burada 0 N olup N = olması hiçbir zama duraklamaı olmadığıı gösterir. = = ( 1, 2,...) verildiğide N i olasılık foksiyou = X x X X ile gösterilir. = 0,1, 2,... içi ψ ( ψ, ψ, ψ,..., ψ ) ψ ( x,..., x ) = P( N = X = x) (3.2) 1 ψ ( x, x,...) = P( N = X = x) 1 2 dır. Bu aşağıdaki gibi φ duraklama kuralı ile ilişkiledirilebilir. ψ = φ 0 0 ψ ( x ) = (1 φ ) φ ( x ) (3.3) 1 ψ ( x1,..., x) = (1 φj( x1,..., xj)) φ( x1,..., x) j= 0 ψ ( x, x,...) 1 ψ ( x,..., x ) 1 2 j 1 j= 0 = ; j burada ψ ( x1, x2,...) bütü gözlemler verildiğide hiç durmama olasılığıı gösterir.

27 15 Buda sora problem, beklee getiriyi e büyükleye φ duraklama kuralıı seçmektir. V ( φ) beklee getirisi şöyle taımlaabilir: V( φ) = Ey ( X,..., X ) N j= 0 1 N = E ψ j( X1,..., X j) yj( X1,..., X j). (3.4) N rastgele duraklama zamaı açısıda φ duraklama kuralı = 0,1, 2,... içi φ ( x,..., x ) = P( N = N, X = x) (3.5) 1 olarak ifade edilebilir [18] Uyarılar Ödüle karşı kayıp Sıklıkla problemi yapısı, ödülde çok bir kayıp ya da bir maliyeti göz öüe almayı daha uygu hale getirir. y i kaybı egatifii göstermeye izi vere yukarıdaki yapısıı kullamakla birlikte böyle durumlarda y i. döemde durmakla uğraıla kaybı gösterdiğide durum açıklığa kavuşur ve problemi v( φ ) yi e aza idirgemek içi bir duraklama kuralı seçimi olarak düşümek gerekir [18] Rastgele ödül dizileri Bazı uygulamalarda ödül dizisi, X1, X 2,... gözlemleriyle ortak dağılımı bilie bir Y0, Y1,..., Y rastgele değişkeler dizisi olarak daha gerçekçi şekilde taımlaır. Y i gerçek değeri, durma ya da devam etme kararıı verilmesi gerektiği zamaıda tam olarak bilimeyebilir.. döemde durma kararı X,..., 1 X ye bağlı olabildiğide kârları rastgele oluşua izi verilmesi geelde bir kazacı

28 16 göstermemekle birlikte, = 0,1,..., içi Y rastgele ödüller dizisii y( x1,..., x ) ödül foksiyoları ile değiştirebiliriz. Burada { } y ( x,..., x ) = E Y X = x,..., X = x (3.6) dır. Y,..., Y 0 ödeti dizisi içi ayı beklee kazacı etice verecektir [18] Örekler Burada öemli uygulamalara sahip optimal duraklama kuralı problemlerii birkaç türü verilmiştir. Duraklama kuralı problemleri Taım 3.1 deki (i) ve (ii) dizileri tarafıda taımladığıda her durumda X1, X 2,... gözlemlerii ortak dağılımları. döemde duraklama içi ödül (ya da maliyet ) foksiyou y( x1,..., x ) yi belirlemelidir. Bu amaçla sıklıkla. döemde durmak içi rastgele ödemeyi belirte = (,..., ) dir. Y kullaılır. Burada Y y x1 x 3.1. Örek (Ev-Satış Problemi) Teklifler bir mal içi gülük olarak gelir. Öreği bir evi satı almak isteyelim. X,. güde alıa teklifi miktarıı göstersi. Teklifler gelmede öce teklifleri değeri bilimez, acak bilie kadarıyla teklifleri bağımsız ve hepsii ayı dağılıma sahip olduğuu varsayılabileceği hissedilsi. Teklifi beklemesi c > 0 ola bir değere mal olur; burada c hayat pahalılığı(geçim maliyeti) olarak düşüülebilir. Bir X teklifi alıdığıda, bu teklifi kabul edilmesi veya daha iyi bir teklifi beklemesi kousuda karar verilmek zorudadır. Er ya da geç daha iyi bir teklifi yapılacağı biliiyor, acak burada teklifteki artış miktarı gözlem maliyetii karşılayacak durumda mıdır, sorusu akla gelir. (i) de geçe X 1, X 2,... gözlemlerii bağımsız ve ayı bilie dağılıma sahip olduğuu varsayalım. (ii) bir dizi teklif gözlemledikte sora geçmişteki bir teklifi

29 17 geri çağıramama veya geri çağırma ve kabul etme durumlarıa bağlı olarak farklı ödetilere sahip iki probleme ayrılabilir. Geçmiş teklifler geri çağrılamazsa, o zama y 0 = 0 y ( x,..., x ) = x c ( = 1,2,...) ve 1 (,..., ) = y x1 x olur. Bua göre X gözlem maliyetii ödedikte sora teklif kabul edilerek alıır, ya da teklif reddedilir ve bir soraki X + 1 teklifii görmek içi c maliyeti ödeir. Geçmiş teklifleri geri çağrılmasıa izi verilirse, o zama X y 0 = 0 y ( x,..., x ) = max( x,..., x ) c ( = 1,2,...) ve 1 1 (,..., ) = y x1 x olur. Bu durumda durmaya karar verilirse göze çarpa e büyük teklif alıır[18] Örek (Ortalamayı E Büyükleme) Bir hilesiz parayı art arda atıp gözlemleyelim. Herhagi bir zamada gözlemlemeyi durdurabiliriz ve o zama gözlemlee ortalama tura sayısıı bir ödül olarak alabiliriz. Bu yüzde ilk atış tura ise, ödeti 1 ve buda daha büyük bir ödeti asla olamayacağıda kesilikle durmalıyız. Diğer tarafta, güçlü büyük sayılar kauu, ortalama tura sayısıı heme heme kesilikle 1/2 ye yakısamasıı gerektirdiğide ortalama tura sayısı 1/2 de az veya 1/2 ye eşit olduğu bir zamada asla durulmamalıdır. Beklee ödetiyi e büyüklemek içi hagi duraklama kuralıa başvurulmalıdır ve e büyüklükte bir beklee ödeti elde edilebilir?

30 18 Bu tür problemler ilk kez Y.S.Chow ve H.Robbis tarafıda, O optimal stoppig rules for S / (1965) adlı makalede çalışılmış ve söz kousu problemde 0,79 da daha büyük bir beklee ödetiyi vere bir duraklama kuralı taımlamıştır. Bu problem, başarı olasılığıı 1/2 olduğuu bile bir deeycii problemi olarak Ferguso u Mathematical Statistics (1967) adlı kitabıı 314. sayfasıda ele alımıştır, acak ortalama başarı sayısı ile başarı olasılığıı tahmi etme ve yapıla tahmii olabildiğice değiştirilebilir oluşuu sağlama bu problemi başka bir boyutudur[18]. Ortalamayı e büyükleme problemii aşağıdaki gibi bir duraklama kuralı problemi formuda verebiliriz. X1, X 2,... ler solu bir µ ortalamalı bilie bir dağılıma sahip bağımsız ayı dağılımlı rastgele değişkeler olsu ve y 0 = µ y ( x,..., x ) = ( x x ) / ( = 1,2,...) ve 1 1 y x x µ ( 1, 2,...) = olsu. Bu varsayımlara göre herhagi bir gözlem yapılmazsa µ ödülü alıır. Hiç durulmazsa heme heme her yerde lim X = µ ödülü alıır[18] Örek (Bayes Ardışık İstatistiksel Karar Problemleri) Duraklama kuralı problemleri, Wald tarafıda Sequetial Aalysis (1947) adlı kitabıda geliştirilmiş ola istatistiksel aaliz teoriside ortaya çıkmıştır. Bayes ardışık karar problemleri bağımlı X1, X 2,... değişkelerie sahip duraklama kuralı problemlerie örekler sağlar[18].

31 19 Bu problemde, bir Θ parametre uzayıda bir θ parametresi belirli ösel τ dağılımıa göre seçilir. Souda istatistikçi verile bir Α aksiyo uzayıda L( θ, a) kaybıa uğrayarak bir a aksiyou seçmek zorudadır. Buula birlikte istatistikçi gözlemlee her bir X i içi c maliyetideki aksiyouu seçmede öce istediği kadar X1, X 2,... rastgele değişkelerii ardışık olarak gözlemleyebilir. X1, X 2,... rastgele değişkelerii, θ verildiğide, bilie bir F( x θ ) formua sahip bağımsız ayı dağılımlı olduğu varsayılır. X,..., 1 X yi gözledikte sora istatistikçi alıa gözlemleri durdurmaya karar verirse, koşullu beklee kaybı e küçüklemek içi a Α aksiyouu seçer ve böylece = 0,1,... içi ρ( X1,..., X) = if E{ L( θ, a) X1,..., X} a Α miktarlık bir kayıp olması bekleir. X,..., 1 X yi gözledikte sora a Αaksiyouu seçilmesi kuralı e so karar kuralı olarak adladırılır. E so karar kuralı duraklama kuralıda bağımsız olarak seçilebilir. Bu problemde, kayıp+maliyet vardır, yukarıdaki Uyarılar ve doğrultusuda, y,. döemdeki koşullu e küçük Bayes ortalama kayıp+maliyeti göstermek üzere aşağıdaki gibi yazılabilir: y ( x,..., x ) = ρ ( x,..., x ) + c ( = 0,1,...) ve y 1 1 x1 x2 = + (,,...). X1, X 2,... i dağılımı, verile ösel dağılımıa göre θ değişkei üzeride itegral alıarak θ, X1, X2,... leri θ ı ortak dağılımıda marjial dağılımı türetilerek elde edilir. Bua göre θ verildiğide alıdığıda X i ler bağımlı olur[18]. X i ler bağımsız olsa bile θ üzeride itegral

32 Örek ( Tek Kollu Haydut Problemi ) Bir hastalığı iyileştirmek içi iki uygu tedavi yötemi vardır. T 1 tedavisi, ösel dağılımı bilie, bir p bilimeye iyileştirme olasılığıa sahip ike T 2 stadart tedavisi bir p 0 bilie iyileştirme olasılığıa sahiptir. hastada oluşa bir grup ardışık olarak tedavi edilir ve her bir hastaya hagi tedavii uygulaacağıa karar verilmesi zoruludur. Burada p, p 0 da büyük ise her bir hastaya T 1 tedavisii uygulaması tercih edilir. T 1 tedavisi uygulaa hastaları iyileşme oraıı gözlemleyerek p i değeri hakkıda bilgi elde edilebilir. Burada hastaları bağımsız olarak ve tedaviye acile cevap verdiği varsayılır. Bir hastaya uygulaacak tedavi belirlediğide öceki souçlara bağlı olmalıdır. p 0 da daha çok orada hastayı iyileştirmesi yüzüde T 1 iyi görüürse, o zama T 1 tedavisie devam etmek isteebilir. Amacımız olabildiğice çok hastayı iyileştirmektir. Bu problemde ödetimiz iyileştirile hastaları sayısıdır. Bu problemde, tek kollu haydut problemi deir. Bradt, Johso ve Karli (1956), bu problemde T 2 tedavisii kullaılması bir hasta içi her zama e iyi (optimum) olduğuda, buda sora gele bütü hastalarda T 2 yi uygulamaı optimum olduğuu gösterdiler. Bu yolla, tek kollu haydut problemi, duraklamaı T 2 tedavisie geçişle taımladığı bir duraklama kuralı problemi ile ilişkiledirilir. T 1 tedavisi j umaralı hastaya uyguladığıda, X j yi hasta iyileşirse 1, iyileşmezse 0 olarak alalım. Böylece p verildiğide X,..., 1 X ler PX ( j = 1) = pola bağımsız ayı dağılmış rastgele değişkeler olduğu varsayılır ve buradaki p verile bir G( p ) ösel dağılımıa sahiptir. G( p ), gözlemleri dağılımıı belirler. X 1,..., X k yı gözledikte sora değişe tedavilere karar verilirse hastaları iyileşme sayısı Yk = X Xk + Zk Z olup burada Z, j. hastaı T 2 tedavisiyle j iyileşmesie bağlı olarak 1 ya da iyileşmemesie bağlı olarak 0 değerii alır. Z j

33 21 değerleri, durma kararı alıması gerektiğide bilimez, acak Uyarı de gösterildiği gibi geellemeyi kaybetmede beklee değeri aracılığıyla Z j leri beklee değerleri yerie p 0 değerii alabilir. k da duraklama ödülü k = 0,1,..., içi Yk = X Xk + ( k) p0 olur. Bu problem solu bir ufkua sahiptir. Burada problem, EY ( N ) yi e büyüklemek içi N şeklide bir duraklama kuralı seçmektir. Geel haydut problemleride olduğu gibi bu problemde de bilimeye yi tahmi etme problemii kedisiyle ilgileilmez. Gözlemleri toplamıı e büyüklemeyle ilgileilir[18]. p i 3.5. Solu Ufuklu Problemler Durulabilir aşamaları sayısı içi bilie bir üst sıır varsa duraklama kuralı problemi solu bir ufka sahiptir. Duraklama içi X 1,..., X T i gözlemesi gerekiyorsa problemi T ufka sahip olduğu söyleir. Solu ufuklu bir problem 3.2 de verile geel problemde y 1 =... = y = alıarak özel bir durum olarak T + elde edilebilir. Presip olarak bu tür problemler geriye tümevarım (backward iductio) yötemiyle çözülebilir: T. durumda durmamız gerektiğide ilk olarak T 1. durumdaki optimal kural buluur. Daha sora T 1. durumdaki optimal kural bilidiğide T 2. durumdaki optimal kural buluur ve bezer işlemlerle başlagıç durumua ( 0 durumua) kadar gidilir. V ( x,..., x ) = y ( x,..., x ) olarak ( T ) T 1 T T 1 T taımlaır ve daha sora tümevarım yoluyla j = T 1 de j = 0 a kadar geriye doğru gidilir: V ( x,..., x ) = max{ y ( x,..., x ), E( V ( x,..., x ) X = x,..., X = x )}. (3.7) ( T) ( T) j 1 j j 1 j j+ 1 1 j 1 1 j j Tümevarımsal olarak, ( T V ) j ( x1,..., x j) ; X,..., 1 = x1 X j = xj olduğu gözlemleerek j. aşamada başlaya elde edilebilecek maksimum kârı gösterir. j. aşamada durmak içi kârı karşılaştırırız; yai yj( x1,..., x j) yi, j. aşamada

34 22 ( T ) EV ( j+ 1 ( x1,..., xj, X j+ 1) X1 = x1,..., X j = xj) ola, T duraklama zamaı üzeride devam ederek ve ( j + 1). aşama içi optimal duraklama kuralıı kullaarak alabilmeyi ümit ettiğimiz kârla karşılaştırırız. Optimal kazaç bu yüzde bu iki iceliği maksimum olaıdır ve bua göre j. aşamada V ( x,..., x ) = y ( x,..., x ) ( T ) j 1 j j 1 j ise durmak ve diğer durumlarda devam etmek optimaldir. Bu durumda duraklama ( T ) kuralı problemii değeri V olur [18] Örek (Park etme problemi) Varış yeri tiyatro ola (sosuz) bir cadde boyuca gidiyoruz. Cadde boyuca park yerleri vardır, acak buları çoğu doludur. Mümkü olduğuca etrafta dömede tiyatroya yakı bir yere park etmek istiyoruz. Tiyatroda öce bir d uzaklığıdaki park yerii boş görürsek, oraya park etmeli miyiz? Burada, bu problemi kesikli bir ortamda modelliyoruz. Başlagıç oktasıda başladığımızı ve gerçek eksei bütü tamsayı oktalarıda park yerlerii olduğuu varsayalım. X = 1, j. park yerii dolu olması ve X = 0, j. park yerii boş olması j alamıa gelmek üzere X 0, X 1, X 2,... ler ortak başarı olasılığı p ola bağımsız Beroulli rastgele değişkeleri olsu. T > 0 hedeflee park yerii göstersi. X = 0 ise j. park yeride durulabilir ve park edilirse T j lik bir uzaklıkta durulmuş olur. j. park yerideyke j + 1. park yeri görülmezse ve bir kez bir park yeri geçilirse oraya geri döülmez. Her zama T ye ulaşabilirsek, soraki boş ola park yeri seçilir. Ulaşıldığıda T durağı doluysa beklee kayıp j j p + p p + p p + = p 2 (1 ) 2 (1 ) 3 (1 )... 1 / (1 ) dir. Dolayısıyla problemimiz solu T ufkua sahip duraklama problemi olarak ele alıabilir ve kaybımız da

35 23 X = 0 ise y = 0 ve X = 1 ise y = 1/ (1 p) T T T T ve j = 0,..., T 1 içi X j = 0 ise yj = T j ve X j = 1 ise y j = olur. j. park yerie ulaşılır ve park yerii dolu olduğu görülürse y j = değeri bizi devam etmeye zorlar. araştırıyoruz. EY N yi e küçüklemek içi bir N T ola bir duraklama kuralıı Öce X j = 0 olduğuda j. aşamada duraklama optimal ise o zama X j + 1 = 0 ike j + 1. aşamada durmaı da optimal olduğuu gösterelim. Bu alada bahsedile Moser problemide 1 olduğu gibi ( T ) V j, yalızca j X ye bağlıdır ve ( T ) A j= EV ( j+ 1 Fj) yalızca j ye bağlı ola bir sabittir. A jdeğeri, y j Aj ise ( j). aşamada durmak optimaldir. j Aj ise daha sora j 1 Aj 1 olduğuu göstermemiz gerekir. Bu j 1< j Aj Aj 1 eşitliksizlikleride çıkar. Dolayısıyla bazı r 0 içi N r sıır formuda bir optimal kural vardır: varış yeride r yerie kadar devam et ve r de sora ilk boş yere park et. P r bu kuralı kullaarak elde edile beklee maliyeti göstersi. P0 = p/(1 p) olur ve r 1 içi Pr = (1 p) r+ ppr 1 dir. Tümevarımsal olarak P r = r + 1+ r 1 2p p (3.7) olduğuu ve böylece 1 Moser problemi: Solu ufuklu optimal duraklama problemleride biri olup bir malı satmaya ilişki bir problemdir. Bkz. Thomas Ferguso Ders Notları Kesim 2.4

36 24 P0 = p/(1 p) = 1 + (2p 1)/(1 p) olmak üzere r = 0 içide bu Eş.3.7 i doğru olduğuu göstereceğiz. r 1 içi bu Eş. 3.7 i doğru olduğuu varsayalım. O zama belirtildiği gibi P = p r+ pp = p r+ pr+ p p p = r+ + p p r r r 1 (1 ) 1 (1 ) (2 1) / (1 ) ( 1) (2 + r 1) / (1 ) olur. Eş. 3.7 yi e küçükleye r değerii bulmak içi P r 1 P = 1 + r (2p 2 p )/(1 + p) = 1 2p r+ 2 r+ 1 r+ 1 farklarıa bakalım. Bu r ye göre arta olduğuda optimal değeri bu farkı olmadığı, yai r p + r 1 mi{ 0 : 1/ 2} olduğu ilk r değeridir. Öreği p 1/ 2 ise bir park yerie bakmada öce varış yerie ulaşılmalıdır. Acak diyelim ki p = 0.9 ise varış yeride ve r = 6 da öceki bir park yerie bakmalıyız [18]. Öreklere geçmede öce gerekli ola kavramları aşağıda verelim: Optimal duraklama problemleride, sistem S durum uzayıa sahip muhtemele durağa olmaya kotrolsüz bir Markov ziciri olarak değişir. Her bir karar döemide karar verici her durumda iki aksiyoa sahiptir: durmak ya da devam etmek. Karar verici t zamaıda s durumuda durmaya karar verirse gt ( s ) ödülüü alır ve karar verici devam etmeye karar verirse ft ( s ) maliyetii öder ve sistem Markov zicirii geçiş olasılık matrisie göre karar döemie kadar değişir. Sistem

37 25 durmaksızı N karar döemie varırsa, hs ( ) foksiyo ödülüü temsil etmek üzere problem solu ufuklu olabilir. Burada amaç beklee toplam ödülü e büyükleyecek bir politika seçmektir. Durulmaya karar verildiğide, sistem durula durumda kalır ve bu aksiyo sıfır birimlik ödülle eticeleir. Böyle modelleri uygulamaları bir malı satışıı, bir iş içi bir aday seçmeyi (sekreter problemi gibi), bir fiasal opsiyou uygulamayı ve değerledirmeyi, ardışık hipotez testii ve şas oyuuu oyamayı içerir. Optimal duraklama problemii bir Markov karar süreci formulasyou aşağıdaki gibidir: Karar Döemleri: T = {1,2,..., N}, N Durumlar: S = S { } Burada S kümesi, C (oyua devam et) ve Q (oyuda çık) durumlarıda oluşmaktadır. Aksiyolar: A s { CQ, } s S = { C} s = Ödüller: ft () s s S, a = C rt(, s a) = gt() s s S, a = Q t < N 0 s =, rn ( s) = h( s) Geçiş Olasılıkları: pt ( j/ s) s S, j S, a = C pt ( j/ s, a) = 1 s S, j =, a= Q yadas= j =, a= C t < N 0 diğer durumlarda Durum uzayı S, p ( j/ s) geçiş olasılıklarıa sahip kotrolsüz bir Markov ziciri içi t durum uzayı S ile ayırt edile bir yuta durumuda oluşur. S durum uzayıı alt kümesi ola S kümeside C devam et veya Q çık (oyuu durdur) olmak üzere her

38 26 bir durumda iki aksiyo uygulaabilir. Devam etme, pt ( j/ s ) olasılığı ile S kümesideki süreci j durumua geçmesii sağlar. Oyuu durdurma, sistemi sosuza kadar kalacağı ve sıfır ödülüü alıacağı durumua geçilmesii sağlar. Çoğulukla bazı durumlarda gt ( s ) i maliyeti o kadar büyüktür ki karar vericii amacı S deki durumlarda süreci soladırmak olur [14] Örek (Bir Varlık Satışı) Bir yatırımcı, zamala değerii artmasıı beklediği pahalı bir mal ya da varlığa sahiptir. Her hafta souda, yatırımcı öceki hafta boyuca aldığı e iyi teklifi kabul edip malı satmaya karar verir ya da bu teklifi azaltıp ve soraki hafta yei teklifler beklemeye karar verir. Bu problemi solu ufuklu optimal duraklama problemi olarak izleye şekilde elde edebiliriz. Karar döemleri kararları alıdığı zamalara karşı gelir. Yılı haftalarıı 1 de 53 e kadar umaralayalım. Bu örekte durum, bir hafta süresice elde edilebile e iyi teklif olarak taımlaır (Bu değer, malı pazar değeri olarak varsayılmaktadır). S durum uzayı, karar verme ufkudaki bütü mümkü teklifleri kümesii temsil eder. Durum uzayı ya kesikli ya da sürekli olabilir, acak durum uzayı çoğulukla sıırlıdır. ( t + 1). karar döemide elde edilebilir e iyi teklif, durağa olmaya geçiş olasılıkları matrisi ya da pt ( j s) foksiyou aracılığıyla t. karar döemide elde edilebile e iyi teklife bağlıdır. Durağa olmama, değişe piyasa koşullarıı yasıtır. Yatırımcı bir teklifi kabul ederse, ödülü s K() s olur; burada Ks (), sdeğerideki malla ilişkiledirile sabit ve değişke maliyetleri içerir. ft () s devam maliyeti, (malı elde tutma maliyeti) reklam harcamaları, faiz giderleri ve malı 1 hafta stokta tutmakla ilgili vergileri içerir. Dolayısıyla yatırımcı mallarıı satmaksızı bütü bir yıl boyuca elide tutarsa, o yılı souda satmalıdır ve bu durumda s K() s ihai ödülüü alır. Bu probleme ilişki iyi politikalar aşağıdaki biçimde bir karar kuralı kullaılır.

39 27 Q, s Bt dt () s = C, s< Bt, s S Bu problem, kotrol sıırı politikası olarak adladırılır. B t sayısı, kotrol sıırıdır. Burada problemi çözme, devam ( C ) ve durma ( Q ) bölgeleri arasıdaki sıırı belirlemeye idirgeir. Tabiî ki, çözüm t = 1,...,52 içi p ( j s ) i tahmiie bağlıdır[14]. t 3.8. Örek (Sekreter Problemi) Bu klasik diamik programlama problemi ilk kez 1875 yılıda Cayley tarafıda Mathematical questios with their solutios adlı makaleside bir piyago oyuu içi optimal politikayı bulma olarak verilmiştir. Bu problemi daha açıklayıcı bir taımı şöyledir: Bir işvere, bir sekreterlik pozisyouda açık bir kadroyu doldurmak içi iş vereceği bir bireyi arar. Bu iş içi N aday ya da başvura vardır, işvere tarafıda bilie ya da sabit bulua bir N aday vardır. Adaylarla sırasıyla mülakat (görüşme) yapılır. Her bir mülakat tamamladığıda, işvere so görüştüğü adaya işi teklif edip etmeyeceğie karar verir. İşvere bu adaya iş teklif etmezse, birey başka bir yerde iş arar ve yei bir teklif almak içi uygu (hazır) olur. Bu problemi formülü, karar vericii amacıa bağlıdır. Burada işverei e iyi adaya teklifi vermesi olasılığıı maksimum olmasıı istediğii varsayalım. Problemi daha titiz bir ifadesi şöyledir: N esede oluşa bir topluluk 1 e istee derece olmak üzere 1 de N ye kadar sıralaır. Doğru dereceleri karar verici de bilmez. Karar verici, rastgele sırada her biri bir zamada (döemde) olmak üzere adayları gözlemler. Karar verici ya so görüştüğü adayı seçer ve araştırmayı soladırabilir ya da so görüştüğü adayı eler ve gelecek adayı seçebilir. Karar vericii amacı, 1. sırada umaralaa adayı seçme olasılığıı maksimum yapmaktır. Karar vericii göreli sıralamalarıı mutlak sıralamalarla uyumlu olduğuu

40 28 varsayalım. Yai A adayı B adayıda düşük sayısal sıralamaya sahipse, karar verici A adayıı B adayıa tercih edecektir. Kararlar her bir adayı gözlemledikte sora alıır, böylece N ufku adayları sayısıa eşittir. Durum uzayı S = {0,1} dir, burada 1 so görüşüle adayı şimdiye kadar görüşüle derecesi 1 e e yakı ola aday olduğuu gösterir ve 0 da öceki bir adayı daha iyi olduğuu gösterir. Herhagi bir durumda, Q aksiyou so görüşüle adayı seç (şimdiki adaya teklif et) ve C aksiyou da so görüşüle adayı seçme ve araştırmaya devam et(soraki adayla görüş) demektir. Ödüller yalızca durulduğuda yai Q aksiyou seçildiğide alıır. Ödüller e iyi adayı seçme olasılığıa karşılık gelir. Yukarıdaki otasyoda devam maliyeti f ( s) = 0, s= 0,1 dir; durmakla g (0) = 0 ve g (1) = t/ N t ödülleri alıır ve h (0) = 0 ve h (1) = 1 so ödüllerdir. g t ve h i türetimi şöyledir: t t t adayı gözledikte sora, karar verici şimdiye kadarki adaylarda e iyisi olarak so görüştüğü adayı dereceledirdiğii varsayalım. g t (1) arasıdaki e iyi aday olma olasılığıdır ve aşağıdaki gibi belirleir., adayı bütü adaylar P( E iyi adayı ilk t arasıda olması olasılığı) = {1,2,..., N}' i büyüklüğü t ola1' i içere altkümelerii sayısı {1,2,..., N}' i t büyüklüklü altkümelerii sayısı 1 N 1 1 t 1 N t = = t N Eğer bütü adaylarla görüşülmüşse, so aday seçilmelidir. Eğer aday e iyisi ise, yai s = 1 ise, e iyi adayı seçilme olasılığı 1 dir, dolayısıyla h (1) = 1 dir, aksi takdirde h (0) = 0 dır.

41 29 Kotrolsüz sistem içi geçiş olasılıkları sistemi durumuda (yai so görüşüle adayı statüsüde) bağımsızdır. Bu yüzde s = 0,1 içi p ( j s) = p ( j) dir. Soraki adayı ilk t + 1 kişi arasıda e iyisi olma olasılığı p (1 / ) 1 t s = t+ olup, 1 soraki adayı ilk t + 1 kişi arasıda e iyi olmama olasılığı s = 0,1 içi t t 1 pt (0 / s ) = + dir. t t Bu modeli değişik türleri adayları rastgele sayıdasıı içerir. k e iyi adayda birii seçme olasılığıı e büyüklemeyi, teklif ala adayı beklee sırasıı e küçüklemesii ya da so görüşüle adayla görüştükte sora adayı seçim kuralıı içerir. Belirlemiş bir olasılık dağılımıa bağlı elde edile öceki adayları tasarlamış bir altkümesie de teklifte buluabilir. İşvere so görüştüğü adaya teklif yapabilir ve bazı öceki adayları tasarlamış altkümelerii elde edilebilirliğii belirte bir olasılık dağılımıa bağlıdır[14] Örek (Satı Alma Opsiyou (Öcede belirlemiş fiyatta satı alma hakkı)) Fiasal piyasalarda, bir satı alma opsiyou, alaa belirlee tarihte öce herhagi bir zamada W (işlem fiyatlı) sabit fiyatta hisse seedi payı olarak bir malı satı alma hakkı verir. Öreği, 30 Hazirada ya da daha öce, hisse başıa 40$ lık Su Mikrosistem şirketii 100 payıı(hisse seedi) alarak bir satı alma opsiyou satı alabiliriz. 30 Hazirada öce belirli bir güde hisse seedii hisse başıa 45$ a ulaştığıı varsayalım. O zama opsiyou işleme koyar ve 4000$ a Su Mikrosistem şirketii 100 hisse seedi payıı satı alır ve 4500$ a 500$ işlem maliyeti (komisyo ücreti ) kârıa satarız. Eğer borsa fiyatı hisse başıa 40 $ altıa düşerse opsiyou uygulamaya koymayız. Opsiyolar fiasal piyasalarda işlem görür ve işlem değerleri temel hisse seedi fiyatıyla ilgili olarak gülük bazda değişir. Yatırım teorisideki temel problem bir opsiyo değerii asıl belirleeceğidir. Açıkça opsiyo değeri mümkü olduğuca etki olarak kullaıma bağlı olmalıdır. Ardışık karar süreci formülasyou buu asıl yapılacağıı alaşılmasıı sağlar.

42 30 Opsiyo sahibi karar problemii gerçek hayattaki herhagi bir güde kâr paylarıı etkisii ve opsiyoları satılması olasılıklarıı göz ardı ederek bir optimal duraklama problemi olarak basit bir halde formüle edilebilir. So ödeme tarihide öce herhagi bir işlem güüü başlagıcıda, opsiyo sahibi opsiyouu uygulayıp uygulamayacağıa karar verir. Karar döemleri opsiyo sahibii opsiyou uygulayıp uygulamayacağıa karar verme zamalarıa karşı gelir ve durum tercih edile malı piyasa fiyatıı temsil eder. Aksiyoları seçimi opsiyou işleme koymak(dur) veya opsiyou işleme koymamak(devam et) biçimide olur. So ödeme tarihide sora, opsiyo hiçbir değer almaz. Hisse seedi s değerie ulaştığıda W işlem değerie sahip 100 pay içi bir opsiyo uygulayarak, opsiyo sahibi 100( s w) k birimlik bir ücret alır; burada k işlem maliyetlerii gösterir. Yukarıdaki otasyoda, bütü t ler içi hs ( ) = g( s) = 100( s w) k dır. Opsiyou işleme koymama hiçbir fiasal etkiye sahip olmadığıda ft ( s ) = 0 alıır. pt ( j/ s ) geçiş olasılık foksiyou, t güüde hisse seedii fiyatı s ye eşit olduğu bilidiğide soraki güde hisse seedi fiyatıı j ye eşit olması olasılığıı verir. Açıkça bu fiyat opsiyo sahibii aksiyouda etkilemez. t Alım satım opsiyolarıı ılımlıda yüksek derecede spekülatife kadar değişe çok karışık kullaımları vardır [14].

43 31 4. MARKOV ZİNCİRLERİNDE OPTİMAL DURAKLAMA Optimal duraklama teorisi stokastik süreçlerde öemli bir yere ve uygulama alaıa sahiptir. Öreği, elimizdeki stoklamış malı, hisse seedii e zama satmalıyız? E iyi şekilde trafiği asıl kotrol ederiz? gibi sorulara cevap bulmak içi uygulaabilir. Geel olarak bu teori, beklee ödetiyi maksimum yapacak bir süreci soladıra uygu bir zamaı belirleme problemleri ile ilgilidir. Dolayısıyla amacımız uygulaa stratejiye bağlı olarak bütü duraklama zamaları üzeride beklee ödetiyi maksimum yapmaktır. Mümkü ola bütü duraklama zamaları düşüüldüğüde, durulduğuda farklı ödetiler alıdığıı ve ödee miktarı da o ada buluula duruma bağlı olduğu söyleebilir. Bu edele Markov zicirii her durumua atamış bir ödetisi vardır. Burada bir boyutlu kesikli durum uzayıa sahip Markov zicirleride optimal duraklama problemiyle ilgileilecektir. X, durum uzayı E ve geçiş matrisi P ola bir Markov Ziciri ve f, E üzeride taımlamış egatif olmaya sıırlı bir foksiyo olsu. P matrisii ve f foksiyouu bildiğimizi ve istediğimiz kadar uzu bir sürede X sürecii gözlemleme imkaıa sahip olduğumuzu varsayalım. Ne zama istersek (süreci gözlemekte vazgeçip) durabilir pozisyoda olalım; eğer duraklama aıda süreç j deyse f ( j ) birimlik bir ödeti alalım ve o zama oyu bitsi. Eğer hiçbir zama durmazsak, o zama ödeti sıfır olsu [5].

44 32 M Ödeti 1/6 4/5 M 6 5/6 L 5 L R R 3 1/5 U 2 3/4 1/4 S 0 U S Başlamak içi 5 madei para atıız. DEVAM DUR Şekil 4.1. Kumar makieside durumlar arası geçiş diyagramı 4.1. Örek Şekil 4.1 de geçiş diyagramı çizile kumar makiesii ele alalım. Belirtile sayıda jeto atıldığıda, makie çalışmaya başlar ve beş karakterde biri yaar; varsayalım ki X ( w) U 0 = olsu. Eğer isterse, oyucu DUR düğmesie basarak f ( U ) = 2 jeto alabilir. Eğer oyucu DEVAM düğmesie basarsa, o zama şekilde gösterile olasılıklarla R veya L düğmeleride biri yaacaktır. Burada oyucu daha zor bir kararla karşı karşıya gelir: oyucu durarak f( R ) = 3 jeto almakta emi olabilir, oysaki oyucu devam ederse hiç jeto almama riski ile birlikte 6 jeto kazaabilir. R de sora M ve S sırasıyla 4 5 ve 1 5 olasılıklarıyla yadığıda, eğer oyucu R de sora devam ederse beklee ödeti 4 f( M) + 1 f( s) = 4,8 jetodur. Bu 5 5 miktar (4,8 jeto) f( R ) = 3 te büyüktür. Buu içi oyucu durmamayı ve devam düğmesie basmayı tercih ediyor. Buda sora X ( w) M 2 = yaıyor ve oyucu 6 jeto alıyor ve makie kapaıyor.

45 33 Burada e iyi stratejiyi şöyle ifade edebiliriz kısaca, eğer ışıklı karakter U ve R ise devam et; ışıklı karakter LM, veya S ise dur. Bua göre, şasa bağlı olarak optimal stratejiyi kullaa (uygulaya) bir oyucu 5, 6 veya 0 jetola oyuu bitirir. Sözgelimi eğer gerçekleiş X ( w) L 0 = şeklide olursa, o zama optimal duraklama zamaı T( w ) = 0 dir ve ödeti f( L ) = 5 tir. Eğer X 0( w) = R, X1( w) = S ise, o zama optimal duraklama zamaı T( w ) = 1 dir ve ödeti f( S ) = 0 dır. Eğer X ( w) = R, X ( w) = M ise optimal duraklama zamaı yie Tw= ( ) 1 ve ödeti 0 1 f( M ) = 6 dır [5]. Burada duraklama zamaıı değeri X zicirii X0, X 1,... yoluyla belirlee bir T rastgele değişkei olduğu açıktır. Her aıda durma veya devam etme kararı bu ada elde edilebilir yol bilgisi temelide verilmelidir. Dolayısıyla, herhagi bir w Ω içi Tw ( ) 0 1 = olup olmadığı bu aıa kadar gözlemiş X ( w), X ( w),... X ( w ) yoluu tamamıyla belirlemelidir. Bu her içi doğru olduğuda T bir duraklama zamaıdır. T duraklama zamaıda süreç X durumudadır ve bu yüzde ödeti f ( X ) dir. T Bir T duraklama zamaıı seçimi bir stratejiyi seçmeye karşı gelir. Farklı T duraklama zamaları içi E[ f( X )] beklee ödetileri farklı olur. Burada i T beklee ödetii maksimum olduğu bir T duraklama zamaıı seçme problemiyle ilgileilecektir. T Markoviye optimal duraklama problemi şöyle çözülür: a) vi ( ) = eküse[ f( X )] (4.1) T i T olacak şekilde bütü T duraklama zamaları üzeride vi ( ) değeri hesaplaır. b) vi () = E[ f( X )] (4.2) i T0