STOKASTİK (R,s,S) ve STOKASTİK (R,S) STOK KONTROL POLİTİKALARININ POLİÜRETAN SEKTÖRÜNDE MARKOV KARAR SÜRECİ YARDIMIYLA KARŞILAŞTIRILMASI

Transkript

1 Yöeim, Yıl: 8, ayı: 56, Şuba 27 TOKATİK (R,s,) ve TOKATİK (R,) TOK KONTROL POLİTİKALARININ POLİÜRETAN EKTÖRÜNDE MARKOV KARAR ÜRECİ YARDIMIYLA KARŞILAŞTIRILMAI Doç. Dr. Necde ÖZÇAKAR Arş. Grv. İbrahim Zeki AKYURT İsabul Üiversiesi - İşleme Fakülesi Üreim Yöeimi Aabilim Dalı Bu çalışmada, olasılıklı sok poliikaları aıılarak bularda periyodik gözde geçirmeye dayalı (R,s,) sok poliikasıı Markov ziciri ve Markov karar süreci özelliği aşıdığı ispalamış, ardıda bu poliika; bezer özellikleri aşıya (R,) sok poliikasıyla maliyeler açısıda karşılaşırılmışır. Türkiye de poliürea alaıda faaliye gösere uluslar arası bir firmaı MDI (Meiledifeil Diizosiyaa) hammaddesie ai verileri oplamış ve bu sok kalemie ai alebi olasılıklı yapısı icelemişir. (R,s,) sok poliikasıa uygu biçimde, durum uzayı aımlaarak ve geçiş olasılıkları hesaplaarak Markov ziciri oluşurulmuşur. Bu poliika, sok kalemii maliye foksiyou ile Markov karar problemi olarak göserilmiş ve birim zamada beklee oralama maliye bu doğruluda bulumuşur. Ardıda firmaı sok poliikası ola (R,) modelie ayı işlemler uygulaarak, maliyeler karşılaşırılmışır. Aahar özcükler: okasik ok korolü, (R,s,) poliikası, (R,) poliikası, Markov ziciri, Markov karar süreci, Poliürea, Meiledifeil Diizosiyaa. COMPARION of TOCHATIC (R,s,) ad TOCHATIC (R,) INVENTORY POLICIE i POLYURETHANE ECTOR ACCORDING o he MARKOV DECIION PROCE I his sudy, probabilisic iveory policies are iroduced ad i has bee proved ha he (R,s,) iveory policy based o periodical revisio shows Markov chai ad Markov decisio process characerisics. Thereafer, his policy has bee compared wih he (R,) iveory policy which has similar feaures wih he meioed iveory policy, i erms of coss. The daa of a ieraioal firm which operaes i Turkey i he area of polyurehae, relaed o he raw maerial of MDI (mehyleedipheyl diisosiyaahe) has bee colleced ad he probabilisic srucure of he demad relaed o his iveory iem has bee aalyzed. The sae space has bee defied accordig o he (R,s,) iveory policy, ad he Markov chai has bee formed by calculaig he probabiliies of rasiio. This policy has bee show as a problem of Markov decisio, wih he cos fucio of iveory iem, ad he expeced avarage cos for a ime ui has bee foud. Lasly, same processes have bee applied o he (R,) model which is he acual iveory policy of he meioed firm, ad he coss have bee compared. Key Words: ochasic iveory corol, (R,s,) policy, (R,) policy, Markov chai, Markov decisio process, polyurehae, mehyleedipheyl diisosiyaahe.

2 GİRİŞ İşlemeler, hayaı her safhasıda olduğu gibi sürekli olarak karar problemleriyle karşı karşıyadırlar. Karar verme; belirli (deermiisik), riskli (sokasik - olasılıklı) ve belirsiz oramlar içide herhagi biride gerçekleşirilir. Çalışmada gerçeğe e yakı ola riskli oram baz alımışır. Riskli oramı varlığı, birde çok durumu var olmasıa, bu durumları gerçekleşme olasılıklarıı am olarak belirleebilmesie bağlıdır (Baray, 993; 2). Yöeici, amaca ulaşmak içi bu durumlara ai aleraif harekeler arasıda rasyoel olaıı seçerek karar verme işlemii gerçekleşirmiş olur. Tabii ki bu işlemi gerçekleşirirke, uygu verileri oplaması ve buları iyi bir şekilde aaliz edilmesi gerekmekedir. Ardıda opimum hareke arzıı seçilerek bir karar alıması ve bezer davraışlar içi poliika oluşurulması da mümkü olmakadır. Üreim işlemeleri içi sok sisemlerii belirlemesi ve sok korol poliikalarıı oluşurulması her aşamada öem aşımakadır. Bu poliikaları emel amacı; gereksiimleri karşılayacak sok mikarlarıı, üreimi aksamada ve müşeriyi beklemede opimum maliyele elde buludurulmasıdır. Mamul soğu, üreimde ola yarı mamul soğu, işlememiş hammadde soğu haa amir ve bakım içi gerekli ola yedek parça soğu gibi farklı amaçlara hizme ede sok kalemlerie yöelik farklı sok poliikalarıı oluşurulması gerekmekedir. Çalışmada, iki farklı sok korol poliikası, işlememiş bir hammadde üzeride icelemişir. ok korol poliikasıı belirlemesi sadece üreim işlemeleri içi değil edarik zicirideki üm işlemeler içi de öemli bir koudur. Ziciri opimizasyouu bir ayağı da her aşama içi, hagi sok korol poliikası oluşurulacağı kararıı verilmesidir. İşlemeler gereğide fazla sok aşımak isemedikleride karar verici, her bir sok kalemi içi e zama ve e kadar sipariş verilmesi gerekiğii belirleyerek sok korol modelii kurar. Modeli kuruluşu esasıda öe çıka iki hedefi gerçekleşirmek ise zaruridir. İlk hedef, soklaa mal mikarıı e düşük düzeyde kalmasıı sağlamak, ikici hedef sipariş maliyeii miumum kılacak biçimde sipariş vermekir. Tabii ki iyi bir sok yöeimi, bu maliyeleri yalızca e küçüklemesi olarak düşüülemez. Buları dışıda, belirli bir döemi (periyodu) başıda siparişi verile sok kalemi, kedisie ola alebi karşılayamadığı zama sok ükemesi oraya çıkar. ok ükemesi hammadde ile ilgiliyse üreim durur, bu da çalışaları ve makieleri aıl kalmasıa yai maliyee yol açar. ok ükemesi mamul ile ilgiliyse, ya alep bekleilir ya da müşeri kaybedilir. Burada oluşa maliye ise poasiyel saışları geirisii kaybı ile oraya çıkar. Kısacası iyi bir sok yöeimi, hem maliyeleri düşürmeyi hem de kârı arırmayı hedeflemelidir. Bu hedef doğrulusuda yapıla çalışmalarda sok korol modelleri bulumuş ve kullaım alaları icelemişir. İlk olarak Wilso 934 yılıda kedi adıyla aıla ariheki ilk sok korol modelii öermişir. abi sipariş mikarıı esas alıdığı bu modeli üzerie birçok çalışma yapılarak farklı koşullar içi farklı sok modelleri gelişirilmişir. Bu ürdeki modelleri dışıda oluşurula bir diğer sok korol modeli ise periyodik gözde geçirme modelidir (abi ipariş Periyodu isemi). Bu modele göre sok sayımı veya gözde geçirme, belirli zama aralıklarıda yapılmakadır. Geelde sok periyodik olarak veya sürekli olarak gözde geçirilir. ürekli korole abi bir kalem; barkod gibi sisemler yardımıyla her a mikar yöüde bilimekedir ve bu yüzde yeide sipariş okasıa gelidiğide sipariş verilir. Periyodik gözde geçirmede ise her periyodu souda sok mikarıa bakılır ve sipariş verilip verilmeyeceği eğer verilecekse e kadar verileceği kararı alıır. Çalışmada ele alıa sok korol modeli periyodik gözde geçirmeye dayamakadır. Bir diğer kou ise alebi yapısıı icelemesidir. Müşeri aleplerii kesi olarak bilimesi durumuda sok korol modeli deermiisik, ersie durumda ise sokasik olarak adladırılır. okasik bir modelde alep periyoa periyoda değişiklik göserecekir; bu durumda, buludurula sok mikarıı değişke yapıdaki alebi karşılaması bekleir. Markov zicirleri de bu ip diamik yapılı problemleri modellemesideki araçlarda birisidir. Markov zicirleri,97 yılıda A. A. Markov arafıda oraya komuşur. Lieraürde Markov zicirleri birçok çalışmaya kou olmuşur (Taylor& Karli,984; Papoulis,984; Doob, 99; Hillier & Lieberma, 2; Ross, 23). Yapıla bu çalışmalarda, sok sisemii zicire uygu biçimde modelleme, sok seviyesii belirleme, üreicileri üreim programlama ve plalama gibi risk alıdaki durumları icelemişir. Markov zicirleri ayrıca kuyruk sisemlerii asarımı, opimizasyou ve korolüde, üreim süreçleride, haberleşme ağlarıda, güveilirlik çalışmaları gibi alalarda da kullaılmakadır. Markov karar süreci, sok problemleride e uygu poliikayı belirlemeye yöelik çalışmalarda kullaılmakadır. Li, Yiu ve Johso (22), çalışmalarıda sok kalemie ai, uzu döemli beklee maliyei miimum kıla ve Markov süreci özelliği gösere bir poliikaya, diamik programlamaya dayaarak ulaşmışlardır. Taha(22), eseride, Markov sürecie uya sosuz aşamalı bir modeli çözümüde; ayrıılı sayma yöemi, diamik programlamaya dayalı poliika yieleme yöemi ve doğrusal programlama ile çözüm yöemii kullamışır. Bu çalışma dahilide

3 sabilemiş (R,s,) ve (R,) poliikalarıı beklee maliyeleri karşılaşırıldığıda ayrıılı sayma yöemii kullamak sakıcalı olmayacakır.. TOK KONTROL MODELLERİ edarikçide ala firmalar arafıda kullaılmakadır. Her sok korolü belli bir zama dilimii ardıda gerçekleşir. Her gözlem okasıda sipariş, sok birime kadar yükselilecek mikarda verilerek sok ikmali yapılır. Talebi belirli olduğu deermiisik modeller, gerçek üreim ve dağıım durumlarıa uygu olmadığıda, daha gerçekçi ola alebi durumuu e olarak bilimediği olasılıklı modelleri icelemek yarar sağlayacakır. Karar verici, hagi modeli ercih edileceğii seçimie geçmede, sok kalemii ehemmiyeii göz öüe almalıdır. Bu ise soklar ABC ipi sııfladırmaya abi uularak yapılabilir. A ipi sok kalemleri, işleme içi e öemli olup üm soğu %2 sii meydaa geirmeke, buu yaıda saış hacmiise %8 ii oluşurmakadır. B ipii, soğu %3 uu, saış hacmii ise %5 ii; C ipii de soğu %5 sii ve saış hacmii ise %5 ii oluşurduğu söyleebilir (ilver, Pyke ve Peerso; 998: 236). Tabii ki bu sııfladırmaı amacı şirkei çabalarıı e iyi souçları elde edileceği yöe yöelmekir (Özürk, 24: 56). Wilso u formüle eiği, klasik Ekoomik ipariş Mikarı modelii üzerie birçok çalışma yapılmış ve değişik sok korol modelleri oraya çıkarılmışır (Li, Yiu ve Johso; 22,4). Aşağıda belirile sokasik sok modellerideki ayrım; sipariş okası, sipariş mikarı, soğu gözde geçirme zamaı gibi usurlar göz öüde buludurularak yapılmışır. s Yeide sipariş okasıı, Q sabi sipariş mikarıı, R sok korolyeide gözde geçirme-zamaıı, e yüksek sok düzeyii gösermekedir. (s,q) Korol Modeli ipariş-okası, sipariş-mikarı olarak aıla bu yöemde, soğu korolü süreklidir (R=). abi mikardaki Q birim, sok düzeyi s veya alıa idiğide sipariş edilir (ilver, Pyke ve Peerso; 998: 237). (s, ) Korol Modeli Bu korol modelide de ayı (s,q) modelide olduğu gibi sok düzeyi, s okasıı alıa idiğide sipariş verilir. Yie ayı şekilde sürekli gözlem söz kousudur. Acak, sipariş mikarı değişkedir çükü düzeyie çıkaa kadar sipariş verilir. (R,) Korol Modeli Bu yöem geelde bilgisayar oramıda, soğa ai alık kayılarıı umaya ve malzemeyi ayı 2 (R, s, ) Korol Modeli Her R birim zamada sok korol edilir, eğer sok düzeyi s birimi alıda ise birime kadar sipariş verilir, s birimi üzeride ise sipariş verilmez. Bu model (s,) ve R,) sisemleride oluşmuş bir kombiasyodur. (s, ) sisemii R= veya (R,) sisemii s=- halidir (ilver, Pyke ve Peerso; 998: 237). Tek ürülü sok sisemleride belli varsayımlar alıda bu yöemi, ikmal, sipariş ve sok azalması maliyeleri yöüde diğer yöemlere göre daha üsü olduğu söyleebilir (Zheg ve Federgrue; 99: 654). (R,s,) sok korol modelideki s ve gibi sıırları espii içi birçok yöem kullaılabilir. Zheg ve Federgrue (99) alebi kesikli dağıldığı durumlarda kullaılabilecek yei ve basi bir algorima gelişirmişlerdir. Bu algorima dışıda ise kullaıla diğer yöemler geelde sezgiseldir (ilver, Pyke ve Peerso; 998: ). Ehrhard (979 ve 984) opimum değerleri buluması içi sezgisel bir yöem keşfemiş, ardıda bu yöemi sipariş süresii rassal dağılması durumuda icelemişir. cheider (978) ise belli hizme düzeyide yeide sipariş okasıı icelemişir. Bu dör sokasik sok poliikasıyla, ABC ipi sııfladırma da göz öüe alıdığıda; A ipi sok kalemleri içi (s,) ve (R,s,); B ipi sok kalemleri içi (s,q) ve (R,) sok korol poliikaları daha uygu olmakadır (ilver, Pyke ve Peerso; 998: 24). 2. MARKOV KARAR ÜRECİ Geel alamda Markov karar süreci icelediğide opimum poliikaı belirleebilmesi içi her poliikayı oluşura kararları ve bu karar aıda seçilecek harekei belirlemesi gerekir. Daha öce açıklamış ola üm sok korol modelleri gerçeke birer poliika ike, bu sok modelleride, sok düzeyii hagi durumda ike e kadara çıkarılacağı veya e kadar sipariş verileceği hakkıda oluşurulmuş üm belirlemeler, o poliikaya ai kararları oluşurmakadır. Bu çalışmada yei bir model (poliika) kurarak problemi bu şekilde opimum kılma hususu ele alımamış, periyodik gözde geçirmeye dayalı (R,s,) ve (R,) sok korol modelleri birim zamada beklee oralama maliye hesabı yöüde karşılaşırılarak hagisii daha iyi souç verdiği üzeride durulmuşur.

4 2.. Markov Ziciri ve Durum Uzayı Rassal değişkeleri oluşurduğu süreci, gelecekeki durumua ilişki olasılık değeri, bilie mevcu duruma bağlı ve öceki durumları bilimesii gerekirmede buluabiliyorsa bu model Markov ziciri özelliği aşımakadır (Taylor ve Karli, 984; 67). Yai Markov ziciri bir sokasik süreçir ve süreci gelecekeki davraışı yalızca şimdiki durumda ekileir; öceki durumlara bağlı değildir (aldaa ve Chagho, 2: 24). Bir sokasik kesikli-durum süreci; bu süreçe bir soraki durum yalızca mevcu duruma bağlıysa, daha öceki durumlarla ilişiği yoksa, Markov ziciri olarak aılır. Bu zicir; iki ardışık durum arasıdaki zama; üssel dağılmışsa ürekli-zama Markov Ziciri, geomerik dağılmışsa Kesikli-Zama Markov Ziciri olarak adladırılır (Dayar, 994: 2). Ziciri üm mümkü değerleri egaif olmaya amsayılarla sembolize edilmişir. Burada X =i ise: { + = + =,..., = } = { + = + = } PX i X i X i PX i X i şeklide göserile deklem Markov ziciri olacakır. Burada, bir soraki zamada oluşacak durum, yalızca şimdiki zamada yai X durumuda ekileecek; geçmiş zamalardaki durumlarda amame bağımsız olacakır (Ross, 23: 8). olmak üzere periyo boyuca gerçekleşe oplam alep olasılıklı olacağıda, oplam alep ξ, ξ2, ξ3,... ξ şeklide rassal değişkeleri oluşuracakır. Bu rassal değişke ξ i k oasyouyla ouça, sok düzeyi x +, x i e olduğua göre değişecekir (Deklem 3). ( ξ + ) X s, x+ ( X ξ + ) X > s 3 Bu deklem, yöeicii karar aıdaki harekeii belirleyecek; x + i e olduğuu bilmek sipariş vermeyi veya vermemeyi doğuracakır. O döem içideki oplam alep, döemi sok düzeyii belirler, eğer bir öceki döem sipariş verildiyse sok düzeyi x+ = ( ξ+ ) olacakır, eğer sipariş verilmediyse de o döem s de büyük bir mikar ola x de sok açılır ve yie ξ + kadar gerçekleşe al ep souda x = X ξ olur. karar aıda sok düzeyi ( ) + + ouça x + rassal değişkei ise x ve ξ + e bağlı olarak değişmekedir. Burada ξ + i zamada bağımsız olduğu görülmekedir. Yai alep zamada ekilememekedir. ok düzeyii gösere x rassal değişkei durum olarak aımladığıda, bir soraki durum da acak bir öceki durumda ekileeceğide bahsi geçe (R,s,) sok korol modeli, Markov ziciri özelliği göserecekir Geçiş Olasılıkları ok durumuu korolüü yapıldığı zama ifade eiğimizde, k ı gerçekleşme olasılığı Deklem okasıda ( ), = R,, sok düzeyii ifade 2 deki gibi olacakır. Bu deklemde. periyoaki ede x alebi k mikarı kadar olma olasılığı göserilmişir. =i olduğuda, i i değerie bağlı olarak gerçe kleşe alep mikarı ξ + de sora x + ak = P( ξ = k), k =,,2,3,4... belirecekir. Tabi ki sok düzeyi x iki şekilde olabilir, 2 ya ile s arasıdadır ya da s de büyük ve ye (R,s,) modelie göre, korolü yapıla zama kadardır. j; bir döem soraki x + dir, yai + okası ( ), = R, olarak göserilebilir.bu da döemideki sok düzeyii belirmekedir. kesikli zamaı ifade eder. Döem içide gerçekleşe periyo soudaki sok düzeyi, ile s alep souda, sok düzeyi belli olacak, yai arasıda ise,. periyoa sipariş verilmiş ve sok düzeyi gerçekleşe k mikardaki alep, bir soraki döemi + periyoduu başıda kadar oluşmuşur. + başıdaki x, x2, x3,... x şeklide ifade edile periyodudaki alep mikarı ξ + ı değeri ise j yi sok düzeyii belirleyecekir. Dolayısıyla x de ξ g ibi ekileyecekir. Markov geçiş marisii yazılabilmesi rassal değişke olacakır. ok düzeyi x, sipariş içi i= x durumuda j= x + durumua geçişi şarlı okası s de büyük, küçük ya da eşi olabilir. Eşi veya olasılığıı buluması gerekmekedir. Buu soucuda küçük olduğuda sok düzeyii mikarıa ulaşacak geçile durum j; ya olacakır, ya da da büyük ve kadar sipariş verilir. ye kadar olacakır. 3

5 +. periyodu alebi ( ξ + ), olabilecek maksimum sok düzeyi kadar veya bu sayıda yüksekse, j i değeri olacakır. O akdirde i i; ile s arasıdaki bir değer ola x olduğu durumda, j i olma koşullu olasılığı, y; acak ve acak, o periyodu alebi ξ + =k i, veya daha çok olmasıyla gerçekleşir. O zama veya daha çok alep olma olasılıklarıı buluması ve ardıda bu olasılıkları hepsii oplaması, belirile şarlar alıda, i= x durumuda j= durumua geçişii koşullu olasılığıı verecekir (Deklem 4). PX ( = X = i) = P ( ξ ) = + P( ξ ) = + + α k 4 periyodu alebi ( ξ + ), veya birime kadarsa, x + kesilikle olmayacakır, o akdirde x + =j; da büyük olacak faka ye kadar olacakır. Yai j=, 2..., olabilir. Öreği j i olabilmesi içi ξ + i -, 2 olabilmesi içi -2, 3 olabilmesi içise -3 ve olabilmesi içise -= olması gerekecekir. Bu akdirde olabilecek alep,, 2,3...- kadardır. Kısacası j=-ξ + dir. Herhagi bir j= x + değerii i= x durumuda soraki şarlı olasılığı, -j sayıdaki alebi buluması ile oraya çıkacakır. Öreği i=5 =22 s=7 ise j i 2 olma olasılığı; 22-2= birim alep olma olasılığıı bilimesiyle olacakır. Çükü döem başıdaki sok mikarı, 7 birimi alıda olduğuda, sok kalemide 7 birim sipariş verilerek sok düzeyi 22 birime çıkarılmışır.döemi soudaki sok mikarıı 2 birim olması içi döem alep mikarıı birim olarak gerçekleşmesi gerekmekedir. O akirde döem içideki alep mikarıı gerçekleşme olasılıkları, sok mikarlarıdaki geçiş olasılıklarıı verecekir. Geel göserimi de Deklem 5 deki gibi olacakır. PX ( = jx = i) = P ( ξ = j) = P( ξ = j) = α j periyo soudaki sok düzeyi, s ile arasıda ise,. Periyodu souda sipariş verilmemiş ve s ok durumu + döemii başıda yie i kadar oluşmuşur. Markov geçiş marisii oluşurulabilmesi içi, j i, ile i ve i de büyük de küçük olabilecek durumlarıı icelemek gerekecekir. 5 ξ + J i olabilmesi içi, periyodu alebi veya k i i kadar veya daha çok olması gerekmekedir. O akdirde + periyodudaki i veya daha çok ale p mikarıı gerçekleşme olasılıklarıı bulup hepsii oplamak j= koşullu olasılığıı verecekir (Deklem 6). PX ( + = X = i) = Pi ( ξ+ ) = P( ξ+ i) = αk 6 J i i ile arasıda olma olasılığı ξ i ξ +, + veya i- olması ile gerçekleşir.j=i olacakır. Öreği, s=2, =3, i=6 ise j=5 olma olasılığı içi, ξ + = olma olasılığıı buluması, yai i-j sayıda alep olma olasılığıı buluması gerekir (Deklem 7). PX ( + = jx = i) = Pi ( ξ+ = j) = P( ξ+ = i j) = αi j 7 J i i de büyük olma olasılığı sıfırdır, çükü periyodu başıda sipariş verilmemişir, ξ + sıfır dahi olsa j yie i de büyük olamaz, bu olasılığı hesabı alamsızdır ve Deklem 8 de göserildiği gibi sıfıra eşiir. PX ( = jx = + i) = Geçiş Marisii Yazılması Markov geçiş marisi Pij lerde oluşmakadır, yai i durumuda, j durumua geçişleri şarlı olasılıklarıı vermekedir. Bu olasılıklar, Deklem 5, 6, 7 ve 8 de alıarak Deklem 9 daki gibi olacakır. α k i s ve j= α j i s ve j Pij α k s + i ve j = i αi j s+ i ve j i s+ i ve j i+ 9 Burada çıkarılacak geçiş marisi Şekil de göserilmişir. Her saır oplamı e eşi olacağıda ve sıırlı ve kesikli durum söz kousu olacağıda bu maris kararlı bir yapı halie girecekir. 4

6 2 2 L s s s+ L α α α L α α α L α k 2 s+ s s α α α L α α α L α α k 2 s+ s s α α α L α α α L α α k 2 s+ s s α M M M M O M M M O M M s s s+ s+ 2 α α α L α α α L α α k 2 s+ s s k 2 L s+ s s α α α α s + α α α L α α α L k s s 2 s + 2 α α α L α α α L k s+ s 3 2 α α L α α M M M M O M M M O M M α α α L α α α L α k 2 3 s s s 2 α α α L α α α L α α k 2 s+ s s Şekil : (R,s,) ok Poliikasıa Ai ok Düzeyideki Değişimi Gösere Döemlik Geçiş Marisi 2.4. Kararlı Hal Küçülülemez bir ergodik Markov ziciri içi durum uzayıı gösere π = [ π, π2,..., πs ] lim P verildiğide Deklem daki gibi olacakır (W iso, 24: 934). Bu deklemde de Deklem yazılabilir (Ross, 23: 2). lim P = π π2 L L L πs π π2 π L L L s M M M M M M M M M M M M M M M M M M π π2 L L L πs π lim j = Pij π = π, π2,..., πs şeklide verile vekör, kararlı-hal dağılımı veya dege dağılımı olarak adladırılır (Medhi, 23: 5). ouça, uzu döemli döemleri ifade ede geçiş marisi Deklem 2 de göserildiği gibi ayı değerlere ulaşacakır. π = P = P + j ij ij + ij = Pik pkj s P π = π p j k kj k = π = P. π 2 Deklem 2 ye ai sosuz sayıda souç elde edilebilir, kararlı-hali ek ve egaif olmaya 5

7 değerlerie ulaşabilmek içise π, π 2,..., π s = olacak şekilde Deklem 3 ü sağlamalıdır (Ross, 23: 2). π = j= o j 2.5. Markov Karar üreci Uyumu 3 Markov karar süreci, 5 öğede oluşmakadır. Bu lar; kararı verileceği arih (a), durumlar, eylem (hareke), geçiş olasılıkları ve verile kararı karşılığıdır (Puerma, 994: 7). Kararları ümü karar arihide verilir. Karar arihii ifade ede, poziif değerli T ifadesie ai küme; sürekli veya kesikli; solu veya sosuz olabilir. Kesikli zama söz kousu olduğuda zama; periyolara bölümüşür. (R,s,) sok modeli, koroller R periyoduda yapıldığıda kesikli zamaı gösermekedir. isem, her karar arihide M ile ifade edile durumlara ai kümede i gibi bir duruma ulaşır. İçide buluduğu i durumudayke de, gerçekleşirebileceği A i ile ifade edile, mümkü eylemlerde biri seçilir. Ai ve M zama ile değişmezler, sabiirler. A i de solu, sosuz veya kesikli kesiksiz diye ayrılabilir. Yi e (R,s,) sok modelide A i hem kesikli hem de soludur. karar arihide ve i durumudayke seçile a Ai eylemii souda, r (, i a ) ile ifade edile beklee karşılık alıır. Bir s oraki karar arihi + e ai oluşabilecek durumları olasılık dağılımı ise; p (.. i, a ) ile göserilebilir. r poziif olursa kazaç, egaif olursa maliye olacakır. Yie çalışmaı kousu ola sok modelide kaza ç değil maliyeler ele alımışır. Gerçekleşecek karşılık, sisemi + aıdaki durumua bağlıysa, r (, i a, j) ile ifade edilir. Bu akdirde r (, i a ), yai aıdaki beklee değer Deklem 4 e göserilmişir. Deklemdeki p ( j i, a ) ifadesi geçiş olasılıkları foksiyou olarak adladırılır. Tablo : (R,s,) ok Poliikasıa Ai Kararlar Poliika d(r) Taımı d(r) d(r) d s Deklem 3 e öürü de oplam olasılık bire eşi olmalıdır. r(, i a) = r(, i a, j) p ( j i, a) j j p ( j i, a) = 4 ouça, { T, M, Ai, p( j i, a), r( i, a )} ifadeleride oluşa karar sürecie Markov Karar üreci demekedir. Buradaki Markov ismi, geçiş olasılıklarıı ve karşılıkları yalızca bir öceki duruma bağlı olmasıda öürüdür, her sokasik karar sürecii Markov özelliği gösermesi bekleemez. Markov ziciri özelliği gösere (R,s,) sok poliikası, yöeicii her arihide a A i gibi bir harekei seçerek bir karar vermesi gerekiğide ve bu kararda öürü de bir maliye usuruyla karşılaşığıda bu poliikaı bir Markov Karar üreci poliikası olduğu görülür. Bu şekildeki bir poliika hem durağa hem de deermiisikir (Hillier ve Liberma, 57: 2). (R,s,) sok korol modelii R b ile ifade edile opimum poliika olduğuda, d( i R) de bu poliika dahilide i durumudayke alıa kararı göserir. Bu modelde a A s gibi hareke (eylem) seçilebilir. Bu harekeler; sok düzeyii, seviyesie kadar çıkaracak siparişi vermek veya hiç sipariş vermemekir. Bu söyleeler Tablo ve Tablo 2 de açıkça görülebilir. Tablo de karar sayısıı -s+ ade olduğu görülmekedir. R b poliikası dahilideki kararları hagi harekele açıkladığı ise Tablo 2 deki gibidir. Öreği, sisem durumuda ise sok düzeyi sıfır birimdir ve alıacak karar K kararıdır, K kararı ise birim sipariş verilmesi gerekiği harekeii gösermekedir. Bu kesi bir karardır, yai bu durum içi farklı bir hareke arzı yokur. Diğer durumlarda da kararlar bu şekilde olduğuda üm bu kararları oplamı bir poliika oluşurmakadır. Çalışmaı kousu da (R,s,) sok poliikasıı üzerie olacağıda opimum poliika olarak kabul edilmekedir. (R) d(r) d (R) s d s+ s+ 2 (R) d (R) d(r) R b geçiş yap durumua durumlarda s+ ve üsü K K- K-2 2 6

8 Tablo 2: (R,s,) Kararlara ai Harekeler ok Poliikası içi Belirlee Karar d( i R) Hareke a Ai Hiç sipariş verme -s birim sipariş ver 2 -s+ birim sipariş ver K-2-2 birim sipariş ver K- - birim sipariş ver K birim sipariş ver 2.6. üreci Beklee ve Fiili Oralama Maliyei Birçok poliika içide opimal olaıı belirlemek içi öcelikle sok maliyeie ilişki modeli kurulması gerekmekedir. Belli bir periyo sora korol edile bir sok varsay ıldığıda, yöeici o ada sipariş verilip verilmemesii kararıı verecekir. Talep dağılımıı belli bir olasılık dağılımıa uyduğu düşüülmüşür. Buradaki diğer varsayımlar şu şekilde olacakır, Eğer alep, siparişi geçerse, müşeri başka yerde ürüe ulaşacakır yai birikmiş alebe izi verilmeyecekir. Faka ceza maliyeie kalaılacakır. Kazaçlar, maliyeler periyolara göre farklılık gösermeyecekir. oğu kapasiesi sıırlı olacakır. s periyoduu başlagıcıdaki sok seviyesii, a periyodudaki sipariş mikarıı, D de ayı döemdeki rassal alebi gösermekedir. u birim bir malı sipariş maliyei, O( u ) olarak aımladığıda, bu maliyei içide K gibi bir sabi maliye ve sipariş mikarı ile ara c ( u ) gibi bir maliye söz kousu olacakır. Bu akdirde sipariş verildiğide oluşacak maliye Deklem 5 eki gibi olacakır. K + c(u), u > O( u ) =,u= 5 7 u birim bir malı bir döem boyuca elde buludurmaı maliyei ise; h( u ) olarak göserilir. Talep meydaa geldiğide eldeki sok yeerli değilse, işleme yöüde sok ükem e veya buludurmama maliyei adı verile bir maliye oraya çıkacakır. Bu maliye alebi bekleilmesie veya alebi başka yerde karşılamasıa sebep olacakır (Özürk, 24: 49). Çalışmada esas alı a sok ükeme maliyei, alebi başka yerde karşılaması durumuu içermekedir bu da birim başıa değişke bir maliye olarak ele alımışır. Heme belirmek gerekir ki alıcı ile yapıla bir alaşmaya göre, alıcıı alebii karşılayamamaya ödee ceza maliyei de bu maliyei içide yer almakadır. ouça üm bu maliyeler, Xveξ + i bir foksiyou olacakır. Bu akdirde sisemi geelie ai birim zamada beklee oralama maliye bir öceki bölümde belirli bir adaki maliyei ifade ede Deklem 4 ü soucuda Deklem 6 daki şeklii alacakır. Ayı şekilde birim zamada oralama fiili maliye de Deklem 6 ile ifade edilebilir (Hillier ve Liberma, 2: 86). lim E C( X, ξ+ ) = k( j) π j = j= 6 k( j) = E[ C( X, ξ + ) ] 7 ξ + Deklem 7 deki ifade her X durumuu alebi gerçekleşiğide oluşa beklee maliyeii gösermekedir. Deklem 4 de ki r (, i a, j) ifadesi de buula ayı alamı aşır. Bu deklemde; sipariş maliyei, elde buludurma maliyei ve sok ükeme maliyei ayrı ayrı hesaplamalıdır, ayrıılı açıklama bir soraki bölümde yapılmışır. 3. UYGULAMA Yapıla çalışmada, Türkiye de poliürea sisemleri üreimii yapa ve bu sisemleri ihraç ede uluslar arası bir firmaya ai MDI (Meiledifeil Diizosiyaa) hammaddesi icelemişir. MDI, poliüreaı hammaddesidir ve düyadaki üreimi sıırlıdır. Çalışmada; MDI sok kalemie ai (R,s,) poliikası, Markov karar süreci olarak aımlamış, Markov ziciri özelliği kullaılarak da hafalık fiilî maliye oraya komuşur. Ardıda da firmaı kulladığı (R,) poliikası ayı işlemlerde geçirilerek, iki poliika maliyeleri açısıda karşılaşırılmışır. MDI hammaddesi Almaya ve Macarisa da ihal edilmekedir ve bozulabilme olasılığı çok yüksek

9 olduğuda emiye soğu kullaılamamakadır. MDI kilogram ciside fiyaladırılıp saılmasıa karşı ihal hammadde olduğuda siparişi koeyer ciside verilmekedir. Bir koeyer yaklaşık 65 varil almakadır, bir varil ise 225 kg. MDI içermekedir, böylece bir koeyer kg. MDI içerir. ok modelii Markov ziciri özelliği göserebilmesi açısıda, durumlar; kg. ciside değil, koeyer ciside oluşurulmuşur, aksi akdirde kesikli durum uzayı söz kousu olmayacakır, bu sebeple bir koeyer, bir durum olarak kabul edilmişir. Firmaı soğudaki MDI yı sürekli korol emesi mümkü olmadığıda sok, periyodik gözde geçirme ile korol edilmekedir. Korol esasıda hagi durumda ( X ) oluduğuu espii, korolü yapıla sok düzeyii; kg. a bölümesi ve bir üs am sayıya yuvarlamasıyla gerçekleşirilir. Ayı şekilde siparişler de koeyer ciside verileceğide bu şekilde bir hesaplama yalış olmayacakır. Tablo 4 de durumlara ai deaylı açıklama görülebilmekedir. Firmada her bölüm içi ayrı bir depo bulumakadır. Öreği sevkiya bölümüü deposua gire MDI, üreime girmede öce üreim bölümüü alebi doğrulusuda, iş emri formları aracılığıyla üreimi deposua alımaka ve orada heme üreime girmekedir. Çalışmada, müşeri olarak üreim bölümü düşüülerek, so 3 yıla ai üreimi alep verileri alımışır. Bu alep verileri de durum olarak ifade edile eldeki sok gibi kg. a bölümüş ve dağılımıı özelliği espi edilmişir. Dağılımı Poisso özelliği göserdiği Şekil 2, Şekil 3 ve Şekil 4 e açıkça görülmekedir. Dağılımı oralaması λ = 3,9 ; sadar 2 sapması σ =, 9748 ; varyası σ = 3,9 dur. Poisso a uya hafalık alep mikarlarıı gerçekleşme olasılıkları Tablo 3 e göserilmişir.,25 X <=,7 5,% Normal(3,9; 2,2696) X <= 7,63 95,%,2,5,, Şekil 2: Talep Dağılımıı Normal Dağılım ile Göserimi,25 X <=, 5,% Poisso(3,9) X <= 7, 95,%,2,5,, Şekil 3: Talep Dağılımıı Poisso Dağılımı ile Göserimi 8

10 ,2,8,6,4,2,,8,6,4,2 X <=, 5,% NegBi(3;,76923) X <= 8, 95,% Şekil 4: Talep Dağılımıı Negaif Biom Dağılımı ile Göserimi Tablo 3: MDI Hammaddesie Ola Hafalık Talebi Olasılık Dağılımı Talep Olasılığı Adedi (Koli),4,8 2,6 3,933 4,733 5,733 6,53 7,67 5 ve üsü, ve üsü,8 7 ve üsü,27 8 ve üsü,6 3.. (R,s,) ok Korol Poliikası ( R b ) Firmaı mevcu kulladığı rakamlar bozulmada, (R,s,) sok korol poliikasıa (R b ) göre; e yüksek sok düzeyi i 7 koeyer ve sipariş okası s yi ise 4 koeyer olarak belirlemişir. ok düzeyii korolleri hafalık olarak yapılmakadır (R=). Bu poliikaya ai, Tablo 2 de yapılmış ola durumlara ve kararlara ai açıklama emel alıarak firmaı sok poliikası özel biçimiyle Tablo 4 e göserilmişir. Talepleri gerçekleşme olasılıkları baz alıarak kurula sok düzeylerii hafalık değişimii gösere geçiş marisi Şekil 5 deki gibi oluşacakır. Burada dikka edilecek olursa ilk beş durumda diğer durumlara geçiş olasılıkları sabiir bu da modeldeki sipariş yapısıda kayaklamakadır. Tablo 4:Öreğe ai (R,s,) ok Korol Poliik asıı (R b ) Açıkl amaları Durum ok Mikarı (kg) Karar d( i R) Hareke a Ai Harekei Açıklaması < X s+4 (7) koeyer kg. sipariş ver 4.625<X s+3 (6) koeyer kg. sipariş ver <X s+2 (5) koeyer kg. sipariş ver <X s+ (4) koeyer 58.5 kg. sipariş ver <X s (3) koeyer kg. sipariş ver <X koeyer kg. sipariş ver <X koeyer kg. sipariş ver <X 7. koeyer kg. sipariş ver 9

11 ,27,53,733,733,933,6, 8,4,27,53,733,733,933,6, 8,4,27, 53,733,733,933,6, 8, 4,27,53,733,733,933,6,8,4 P =,27,53,733, 733,933,6,8,4, 3534,733,933,6, 8, 4,8,733,733, 933,6, 8, 4,27,53,733, 733,933,6, 8,4 Şekil 5: (R,s,) ok Poliikasıa Göre Bir Periyolu Geçiş Marisi Deklem 2 ve Deklem 3 birlike çözüldüğüde ise sise mi kararlı hali ola π ye ulaşılmış olacakır. π = [,687;,77592;,7662;,72789;,75443;,3822;,66298;,3823] MDI hammaddeside sipariş verildiğide oluşacak maliyei; Avro sabi ve koeyer başıa da 5.88 Avro ya mal olduğudur. O akdirde Deklem 5 ekrar yazılırsa sipariş verildiğide oluşacak maliye; (u), u > O( u ) =,u= şeklii alacakır. İmalaa verilemeye her bir koeyerlik MDI ise poliürea sisemi zamaıda yeişmemesie sebep olacağıda Avro luk ükeme maliyeie ede olmakadır. Elde buludurma maliyei ise dikkae alımayacak kadar küçükür bu sebeple elde buludurma maliyei, oplam maliye foksiyouda yer almamakadır. O akdirde poliika R b i + hafasıdaki oplam maliyei aşağıda göserildiği gibi olacakır: { ξ } ( u) max +, X s CX (, ξ+ ) = max { ξ+ X, } s+ X 8 Deklem 6 ya göre, X durumudaki sisemi beklee veya fiili maliyeii bulmak içi gerekli ola ve Deklem 7 de açılımı göserile k( X ) ve k () aşağıdaki şekilde buluur: ipariş verilip sok düzeyi 7 palee çıkarıldığıda ükeme maliyeii oluşması içi alebi, sok üs düzeyide yüksek olması yai 8 ve üsü olması gereklidir, firmada alıa verileri dağılımıda da 8 ve üsü alep olma olasılığıı bilmek, döem başıda sıfır ola bir soğa ai beklee ükeme maliyeii verecekir. Böylece Tablo 3 deki olasılıklarda sıfır sokla başlaa döemi beklee maliyei; k() = E C(, ξ + ) = (7) (, 6) = , 5 Avro olacakır. ok poliikasıı (R,s,) olmasıda dolayı X =,, 2,3, 4 içi beklee ükeme maliyeii eşi olduğu aşikardır. ok poliikasıı (R,s,) olmasıda dolayı X =,, 2,3, 4 içi beklee ükeme maliyeii eşi olduğu aşikardır. [ C ] k() = E (, ξ + ) = (6) (, 6) = , 5 Avro k(2) = E[ C(2, ξ + ) ] = (5) (, 6) = 27.6,5 Avro k(3) = E[ C(3, ξ + ) ] = (4) (, 6) = 29.98, 5 Avro k(4) = E[ C(4, ξ + ) ] = (3) (, 6) = 68.73,5 Avro [ ξ + ] [ ξ ] k( X) = E C( X, ) k() = E C(, ) + ( { ξ+ }) = (7) E max, 2 s+ sok düzeyide sora sipariş verilmeyeceğide, maliye foksiyou sadece ükeme maliyeide oluşacakır. [ ξ+ ] ( { ξ+ }) k(5) = E C(5, ) = E max 5, = *,8 = 7384, 2 Avro

12 [ ξ+ ] ( { ξ+ }) k(6) = E C(6, ) = E max 6, = *,27 = 2.268, 3 Avro [ ξ+ ] ( { ξ+ }) k(7) = E C(7, ) = E max 7, = *, 6 = 579, 5 Avro Hafalık beklee ve fiili oplam maliye ise, Deklem 6 da hesap edilirse Avro olacakır. Bu değer, (R,s,) sok poliikasıı kullaa firmaı hafalık oralama MDI hammaddesie ai maliyeidir. 7 k( j) π j = 24.95,9 j= 3.2. (R,) ok Korol Poliikası (R a ) Firmaı mevcu sisemide kulladığı sok poliikası (R,) Tablo 5 de göserilmiş ve R a poliikası olarak ifade edilmişir. Bu poliikaı kararlı hal yapısıı ( π ), ilk geçiş marisie (P)dek olacağı açıkır çükü her sok düzeyide sipariş verilecekir ve sok düzey i ye kadar yai yedi birime çıkarılacakır ve bir R sü relik döem soudaki sok düzeyii d e de eksile alep belirleyecekir. Bu da döemi başıda sok hagi düzeyde olursa olsu, hep sipariş verilecek ve bir soraki sok düzeyi X değerii olma olasılığı hep ayı olacakır. Yai foksiyo sadece alepe ekileecekir. Bu sebeple Deklem 2 ve 3 ü çözülmesie gerek duyulmayacakır. adece Tablo 3 deki bilie olasık dağılımlarıı kullaılması yeerlidir. [,27;,53;,733;,733;,933;,6;,8;,4] π = Poliika R a ı + hafasıdaki maliyei ise Deklem 9 daki gibi olacakır. C( X, ξ+ ) = ( u) max{ ξ+ 7, } X 7 9 Bu poliikada ükeme maliyeleri her X durumu içi, alebi sekiz ade ve üsü olması durumuda gerçekleşeceğide eşiir. Bu akdirde, k( X ) yai X durumu içi beklee maliye aşağıdaki şekilde olacakır. X =,, 2,3, 4 içi iki poliikaı da k( X ) leri eşi olacakır. [ ξ + ] ( { ξ + }) (7 k( X ) = E C( X, ) = O( u) E max 7, = E C ξ + = + + k() (, ) ) (, 6) = , 5 Avro k() = E C(, ξ + ) = (6) (, 6) = , 5 Avro k(2) = E C(2, ξ + ) = (5) (, 6) = 27.6, 5 Avro k(3) = E C(3, ξ + ) = (4) (, 6) = 29.98, 5Avro k(4) = E C(4, ξ + ) = (3) (, 6) = 68.73, 5 Avro k(5) = E C(5, ξ + ) = (2) (, 6) = 7.542, 5 Avro [ ξ ] k(6) = E C(6, + ) = () (, 6) = , 5 Avro [ ξ+ ] ( { ξ+ }) k(7) = E C(7, ) = E max 7, = *, 6 = 579, 5 Avro Hafalık beklee ve fiili oplam maliye Deklem 6 da hesaplaarak Avro olarak bulumuşur. 7 k( j) π j = 26.68,3 j= Tablo 5: Öreğe ai (R,) ok Korol Poliikasıı (R ) Açıklamaları Durum ok Mikarı (kg) Karar d(r) i Hareke a Ai (-X) Harekei Açıklaması < X koeyer kg. sipariş ver 4.625<X koeyer kg. sipariş ver <X koeyer kg. sipariş ver <X koeyer 58.5 kg. sipariş ver <X c 3 koeyer kg. sipariş ver <X b 2 koeyer kg. sipariş ver <X a koeyer kg. sipariş ver <X 7. koeyer kg. sipariş ver a 2

13 ONUÇ ve ÖNERİLER KAYNAKÇA Markov ziciri ve karar süreci, lieraürde; işleme, eğiim, pazarlama, fias, sosyoloji, meeoroloji ve hidroloji gibi bir çok bilime çalışma kousu olmuşur. İşlemecilike özellikle, çok aşamalı üreim sisemlerii icelemesi, amir bakım plalaması, sok korol sisemleri, üreim programlama ve çizelgeleme gibi bir çok farklı al kouda Markov aalizi uygulamalar ıa raslamak mümkü olmakadır. Üreim yöeimi içeriside öemli bir yer eşkil ede sok korolü kousuda yapıla çalışmalarsa; yeide sipariş okasıı belirlemesi, periyo süresii belirlemesi veya yei bir sok korol modeli kurulması yöüde olmuşur. Bu çalışmada ise, periyodik gözde geçirme ekiğie dayalı iki olasılıklı sok korol modeli iceleerek modeller, maliyeleri açısıda kıyaslamışır. Bu kıyaslama yapılırke, alep dağılımıda yola çıkılarak iki modeli de Markov ziciri özelliği göserdiği ispalamışır. Geçiş marisleri belirledike sora soğa ai maliyeler ek ek icelemiş ve uygulamaya kou ola firmaya yöelik maliye foksiyou üreilerek Markov karar süreci aımlamışır. Özellikle sok ükeme veya ceza maliyeii ekisi icelemişir. Bu iceleme soucuda görüle odur ki; poliürea sisemler üree firmaı MDI hammaddesii sok korolüde, (R,s,) modeli (R,) modelie göre daha uygu souç vermekedir. Çalışmaı amacı bu iki yöemi kıyaslamak olduğuda, karar problemi hagi yöemi ercih edileceğie yöelik olmuş ve ayrıılı sayma yöemi kullaılarak souca gidilmişir, daha çok poliikaı olduğu veya amacı poliikaları karşılaşırılması değil de yei bir opimum poliika oluşurulması olduğu durumlarda, sokasik diamik programlama ile çözüm daha kısa ve doğru olacakır. Çalışmadaki bir başka kouysa maliyeleri ele alımasıdır. ok maliyei olarak elde buludurma maliyei dikkae alımamışır. Elde buludurma maliyeii varlığı durumuda bu iki yöem arasıdaki maliye farkıı daha da açılacağı aşikârdır. Çalışmaı amacıda sapmamak maksadıyla sipariş periyoduu ve üs düzey sok mikarıı opimizasyou çalışmaı dışıda bırakılmış; rakamlar firmaı mevcu sisemideki şekliyle kullaılmışır. Böyle bir çalışmaya gidildiğideyse yüksek değerleri içi ükeme maliyei sıfıra yaklaşırke sipariş maliyeleride arış görülecekir. Ayı şekilde maliye farkı daha da açılacakır. ipariş okası s i değişimi ise acak (R,s,) poliikasıı ekileyecekir; aşağı çekildiği akdirde ükeme maliyei aracak, yukarı çekilirse de sipariş maliyei ararak model (R,) poliikasıa yaklaşacakır. 22. BARAY, Alp, Kasım 993, Bulaık Kümeler Kuramı ve İşleme Uygulamaları, İ.Ü. İşleme Fakülesi Dergisi, Cil: 22, ayı: 2, s BUCHAN, J., K OENIGBERG, E., 966, cieific Iveory Maageme, New Delhi, Preice-Hall of Idia Privae Limied. 3. DAYAR, T uğrul, 994, abiliy ad Codiioig Issues O The Numerical olu io Of Markov Chais, Dokora Tezi, Norh Carolia ae Uiversiy. 4. DOOB, J.L., 99, ochasic Processes, Caada, A Wiley-Iersciece Publicaio, Wiley Classic Library Ediio. 5. E HRHARDT, R., 979, The Power Approximaio for Compuig (s,) Iveory Policies, Maageme ciece, Volume: 3-5, s: EHRHARDT, R., 984, (s,) Policies for a Dyamic Iveory Model wih ochasic Lead Times, Operaios Research, Volume: 32-, s: HILLIER, Frederick., LIEBERMAN Gerald J., 2, Iroducio o Operaio Research, Uied aes of America, The McGraw-Hill Compaies, eveh Ediio. 8. MEDHI, J., 23, ochasic Models i Queueig Theory, Uied aes of America, Academic Press, Elsevier ciece, ecod Ediio. 9. YIN, K. Kare, LIU, Hu ve JOHNON, Neil E., 22, Markovia Iveory Policy wih Applicaio o he Paper Idusry, Compuers ad Chemical Egieerig, Volume: 26, s: PAPOULI, A., 984, Probabiliy, Radom Variables ad ochasic Processes, New York, McGraw Hill, ecod Ediio.. PUTERMAN, Mari L., 994, Markov Decisio Processes : Discree ochasic Dyamic Programmig, Uied aes of America, A Wiley Iersciece Publicaio. 2. RO, heldo M., 23, Iroducio o Probabiliy Models, Uied aes of America, Academic Press, Elsevier ciece, Eighh Ediio. 3. ALDANA, Rafael P., CHANGHO, Marco Carlo C., O Radom Walk Models ad Markov Chais, Proceedigs of he Philippie Compuig ciece Cogress, 2, s. 24.

14 4. CHNEIDER, H., 978, Mehods for Deermiig he Re-Order Poi of a (s,) Orderig Policy Whe a ervice Level is pecified, Joural of he Operaio Research ociey, Volume: 29(2), s: ILVER, Edward A, PYKE, David F. ve PETERON, Rei, 998, Iveory Maageme ad Producio Plaig ad chedulig, Uied aes of America, Joh Wiley & os, Third Ediio. 6. TAHA, A. Hamdy, Ekim 22, Yöeylem Araşırması, 6. Basımda Çev. Ş. Alp Baray Şakir Esaf, İsabul, Lieraür Yayıcılık. 7. TAYLOR, Howard M., KARLIN amuel, 984, A Iroducio To ochasic Modelig, Orlado, Florida, Academic Press, Ic. 8. ÖZTÜRK, Ahme, 24, Yöeylem Araşırması, Bursa, Eki Kiabevi. 9. WILON, R.H., 934, A cieific Rouie for ock Corol, Harvard Busiess Review, 3. WINTON, Waye L., 24, Operaio Research: Applicaio ad Algorihms, Caada, Thomso Brooks / Cole, Fourh Ediio. ZHENG, Yu-heg, FEDERGRUEN, A., Jul/Aug. 99, Fidig Opimal (s,) Policies is Abou as imple as Evaluaig a igle Policy, Operaios Research, Volume: 39-4, s: