DGridSim Gerçek Zamanlı Veri Grid Simülatörü. Veri Grid Sistem Modelleri Dokümanı v

Transkript

1 DGridSim Gerçek Zamanlı Veri Grid Simülatörü Veri Grid Sistem Mdelleri Dkümanı v Mustafa Atanak Sefai Tandğan Dç. Dr. Atakan Dğan

2 1. Giriş DGridSim, farklı veri grid sistemi yapılarınının rtak bir takım servisler üzerinden benzetiminin yapılabilmesini sağlamak amacıyla gerçekleştirilmektedir. DGridSim simülatörünün gerek benzetimini yaptığı veri grid sistemini gerekse çalışma mekaniğini üç temel byutla özetlemek mümkündür: iş çizelgeleme, veri dağıtımı ve veri kpyalama. Simülatör her bir byut için literatürde yaygın larak kullanılan ilgili mdelleri rtak servisler üzerinden sağlayacak şekilde tasarlanmaktadır. DGridSim in desteklemesi ön görülen veri grid sistemleri Tabl 1 de verilmiştir: İş Çizelgeleme Veri Dağıtımı Veri Kpyalama Mdel-I Hiyerarşik Hiyerarşik Çekme, dağıtık-itme, merkezi-itme Mdel-II Merkezi Merkezi İtme-merkezi Mdel-III Merkezi Merkezi İtme-merkezi Mdel-IV Dağıtık Hiyerarşik Çekme, dağıtık-itme, merkezi-itme Tabl 1: DGridSim simülatörünün desteklediği veri grid sistemi mdelleri.

3 2. Veri Grid Sistem Mdeli I 2.1 Hiyerarşik İş Çizelgeleme DGridSim tarafından desteklenen hiyerarşik iş çizelgeleme mdeli, iki seviyeli bir hiyerarşi içerir: GSS glbal çizelgeleme kararları verirken, sitelerde bulunan SSS ise yerel çizelgeleme kararlarını verir Grid Çizelgelemesi Şekil 1: Hiyerarşik iş çizelgeleme mdelinde grid sistemine iş arzı. 1. GJSS kullanıcıdan işleri alır. 2. GJSS, gelen işi sıraya ekler ve GSS yi haberdar eder. 3. GSS çevrim içi veya çevrim dışı bir çizelgeleme algritması çalıştırır. a. Çevrim içi iş çizelgeleme algritması: GSS gelen işleri hemen çizelgelemeye çalışır. b. Çevrim dışı iş çizelgeleme algritması: GSS, belli aralıklar ile glbal iş sırasını kntrl eder, çizelgelenmemiş işleri alır ve çizelgeler. 4. GSS içindeki Grid çizelgeleme algritması, işin hangi siteye gönderileceğine karar verir. Bu işlem için GSS, rezervasyn tablları için RS yi veya iş için gerekli dsyalar için RLS yi veya diğer bazı bilgiler için de GIS yi srgulayabilir. Bu servisler, srgulanan

4 bilgiler için yerel servisler ile haberleşebilirler. GSS iş çizelgelemesi için bazı örnekler aşağıda listelenmiştir: a. Hiç bir servisten srgulama yapmadan çizelgeleme yapabilir. Siteler arasında sırası ile gelen işleri göndermek. İşi rastgele bir siteye göndermek. b. Sadece GIS i srgulayarak (ağ tpljisi, rtalama ve anlık işlem/ağ/deplama kaynağı kullanımı gibi bilgiler) işleri en kısa zamanda bitecek şekilde sitelere gönderebilir. Grid sitelerindeki rtalama/anlık işlem kullanımlarına göre çizelgeleme Grid sitelerindeki rtalama/anlık dep alanı kullanımlarına göre çizelgeleme Gerekli dsyaların en kısa zamanda ulaşacağı sitenin seçilmesi c. Sadece RLS i srgulayarak sitelere gönderebilir. Gerekli dsyalardan en fazlasının bulunduğu sitenin seçilmesi d. Sadece RS yi srgulayarak sitelere gönderebilir. İşi sn zamanından önce çalıştırabilecek işlem bant genişliği lan bir sitenin seçilmesi Gerekli dsyaların en önce ulaşabileceği sitenin seçilmesi İşi sn zamanından önce çalıştırabilecek işlem bant genişliği lan ve gerekli dsyaların zamanında ulaşabileceği sitenin seçilmesi e. Hibrit GIS, RLS ve RS lerden birden fazlasını srgulayarak sitelere gönderebilir. 5. İşin gönderileceği site seçildikten snra, GSS işi GJDM ye gönderir ve işi glbal sıradan çıkartır. İşin ilgili SJSS ye gönderilmesi, GJDM nin srumluluğundadır Site Çizelgelemesi 1. SJSS, GJDM den işi alır. 2. SJSS, işi yerel iş sırasına ekler ve SSS yi haberdar eder. 3. SSS, çevrim içi veya dışı iş çizelgeleme algritmasını çalıştırarak işin sn zamanından önce çalışacağı işlem eleman(lar)ı ve zaman aralık(lar)ı bulmaya çalışır. 4. SSS, çizelgeleme algritmasına göre LRS, LRLS, ve LIS servislerini srgulayabilir. 5. SSS, site iş çizelgeleme algritmasının belirlediği işlem bant genişliği için LRS ye bir rezervasyn istek mesajı gönderir ve LRS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler.

5 Şekil 2: Hiyerarşik iş çizelgeleme mdelinde grid sitelerine iş arzı. 6. SSS, her iş için LDM ye bir veri istek mesajı gönderir ve LDM den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. LDM, hiyerarşik veri dağıtımı bölümünde daha detaylı anlatılacağı şekilde veriyi site içinden veya dışından sağlayabilir. 7. SSS, LDM ve LRS den RESERVATION_OK veya RESERVATION_FAILED mesajlarını bekler. 8. Her ikisinden de RESERVATION_OK mesajları gelirse, SSS işi JIM e gönderir ve işi yerel iş sırasından siler. Bu durumda iş başarı ile tamamlanmış sayılır. JIM, belirlenen çalışma zamanı geldiğinde işi ilgili işlem elemanında çalıştırır. 9. LDM veya LRS den RESERVATION_FAILED mesajı geldiğinde ne yapılacağına SSS karar verir. a. İş, yerel iş sırasından silinir ve iş için yapılmış lan tüm rezervasynlar iptal edilir. b. İş, tekrar denemeler için yerel iş sırasında tutulur ve iş için yapılmış tüm rezervasynlar iptal edilir.

6 2.2 Hiyerarşik Veri Dağıtımı Veri Transferlerinin Site İçi Krdinasynu 1. SSS işin başlangıç/bitiş zamanları ve ilgili Mantıksal Dsya Adlarından (Lgical File Name - LFN) luşan veri isteği mesajını LDM ye gönderir. 2. LDM, bu isteği veri istek sırasına kyar ve LDMS yi haberdar eder. 3. LDMS, ilgili LFN ler ile LRLS yi çağırır. LRLS, site içinde bulunan dsyalar için ilgili Fiziksel Dsya Adlarından (Physical File Name PFN) luşan bir mesajla cevap verir. 4. LDMS, yerel lmayan dsyalar için, dsyanın yerel larak kpyalanıp kpyalanmayacağı bilgisi için LDRS ile haberleşir. 5. LDMS iki adet mesaj gönderir: yerel dsyalar için LRS ye bir mesaj, yerel lmayan dsyalar içinse DM ye bir mesaj. Snrasında LDMS, bu servislerden RESERVATION_OK veya RESERVATION_FAILED mesajlarını bekler. 6. LDMS den PFN leri içeren bir mesaj alan LRS, ağ elemanlarındaki ilgili bant genişliğini ve deplama elemanlarındaki ilgili dep alanını rezerve etmek için girişimde bulunur. a. Ağ elemanı rezervasynları: Kaynak deplama elemanındaki kuma/yazma bant genişliklerini ve işlem elemanına yazma bant genişliğini DsyaBüyüklüğü/(İşinBitişZamanı-İşinBaşlangıçZamanı) miktarında, işin başlama zamanından işin bitiş zamanına kadar rezerve eder. b. Deplama elemanı rezervasynları: Kaynak deplama elemanında DsyaBüyüklüğü, şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. Şekil 3. SSS tarafından gönderilen veri transferlerinin karşılanışı. 7. Yerel rezervasynların mevcut durumuna göre, LRS aşağıdaki durumlar ile karşılaşabilir:

7 a. Eğer tüm PFN ler için ağ bant genişliği ve dep alanı rezervasynları başarılı ise, LDMS ye RESERVATION_OK mesajı gönderilir. b. Eğer bazı PFN ler için ağ bant genişliği ve dep alanı rezervasynları başarısız ise, LDMS ye RESERVATION_FAILED mesajı gönderilir. 8. LDMS den veri istek sn zamanı ve LFN leri içeren bir mesaj alan DM, merkezi bir servis larak, bir snraki bölümde daha detaylı anlatılacağı gibi, istekte bulunulan dsyaları, sn zamanından önce sağlamaya çalışır. DM, bulunulan istek hakkında LDMS ye RESERVATION_OK veya RESERVATION_FAILED mesajı gönderir. 9. LRS ve DM nin ikisinden birden RESERVATION_OK mesajı alan LDMS, LDM ye RESERVATION_OK mesajı gönderir. 10. LRS veya DM den RESERVATION_FAILED mesajı alan LDMS, ne yapacağına karar verir. a. LDMS, istek ile ilgili yapılmış lan tüm rezervasynları iptal edip istek sırasından siler. LDM ye de RESERVATION_FAILED mesajı gönderir. b. LDMS, istek ile ilgili yapılmış lan tüm rezervasynları iptal eder, ancak tekrar denemeler için istek sırasından silmez. 11. LDM, SSS ye LDMS den gelen RESERVATION_OK veya RESERVATION_FAILED mesajını iletir Veri Transferlerinin Siteler Krdinasynu 1. LDMS, DM ye bir veri transferi isteği mesajı gönderir. Bu mesajda; istekte bulunan işin başlama/bitiş zamanları, ilgili LFN ler ve verilerin yerel larak deplanıp deplanmayacağı bilgileri yer alır. Ayrıca, veri eğer yerel larak kpyalanacak ise, hedef deplama elemanı adresi de mesajda yer alır. 2. DM, isteği istek sırasına ilave eder ve DMS yi haberdar eder. 3. DMS, RLS den istek mesajında gelen her LFN için muhtemel kaynakları ister. 4. RLS, RLI yı LFN i içeren LRC ler için srgular. RLS, LFN yi içeren LRC leri srgulayarak PFN leri alır. RLS muhtemel kaynak siteleri DMS ye iletir. 5. DMS içinde gömülü bulunan Veri Dağıtımı Optimizasynu Algritması (Data Disseminatin Optimizatin Algrithm - DDOA), (eğer mümkünse) veri transferi isteğini sağlayacak şekilde her bir LFN için en iyi kaynak ve en iyi rtayı bulmaya çalışır. a. Ağ tpljisinin bulunması için GIS e ihtiyaç duyulabilir. b. Ağ elemanı bant genişliklerinin veri transferi planlanması için RS e ihtiyaç duyulabilir.

8 Şekil 4: LDMS den gelen veri transfer istekleri. 6. DDOA, veri transferi isteği sn zamanını sağlayacak şekilde, veri transferi isteğindeki her bir LFN için uygun bir rta bulabileceği gibi; en az bir LFN için uygun bir rta bulamayabilir. 7. Eğer DDOA, en az bir LFN için uygun rta bulamaz ise, ne yapacağına DMS karar verir: a. DMS, veri isteğini istek sırasından siler ve DM ye RESERVATION_FAILED mesajı gönderir. b. DMS, veri isteğini tekrar denemeler için istek sırasından silmez. 8. Eğer DDOA, veri transferi isteğindeki her bir LFN için uygun bir rta bulmuşsa; DMS, RS i çağırır ve RS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. a. Eğer veri yerel larak deplanacak ise; kaynak ve hedef deplama elemanlarının kuma/yazma bant genişlikleri ile rta üzerindeki ağ elemanlarının bant genişlikleri, şimdiki zamandan işin başlama zamanına kadar DsyaBüyüklüğü/(İşinBaşlamaZamanı-ŞimdikiZaman) kadar rezerve edilir. Hedef deplama elemanının kuma/yazma bant genişliği, işin başlama zamanından işin bitiş zamanına kadar DsyaBüyüklüğü/(İşinBitişZamanı-İşinBaşlamaZamanı) kadar rezerve edilir. Ayrıca DsyaBüyüklüğü kadarlık deplama alanı; kaynak deplama elemanında şimdiki zamandan işin başlama zamanına kadar, hedef deplama elemanında ise şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. b. Eğer veri yerel larak deplanmayacak ise; kaynak deplama elemanındaki Okuma/Yazma bant genişliği ile kaynak-hedef deplama elemanları arasındaki rta üzerinde bulunan ağ elemanlarının bant genişlikleri ise şimdiki zamandan işin

9 başlama zamanına kadar DsyaBüyüklüğü/(İşinBaşlamaZamanı-ŞimdikiZaman) kadar rezerve edilir. Ayrıca, DsyaBüyüklüğü kadarlık dep alanı, kaynak deplama elemanında şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. c. Grid sisteminin dinamik ve dağıtık yapısından dlayı çakışma durumları rtaya çıkabilir. Yani, bir DDOA tarafından kullanılması öngörülen kaynaklar, kullanılamaz duruma gelebilir veya başka sitelerdeki RS ler tarafından rezerve edilebilir. Böyle durumlarda, rezervasyn isteği başarısız lacaktır. d. Eğer en az bir verinin transferi için belirtilen rezervasynlardan herhangi bir tanesi başarısız lursa; RS, DMS e RESERVATION_FAILED mesajı gönderir ve bu istek için yapılmış lan tüm rezervasynları iptal eder. e. Eğer tüm LFN ler için ilgili tüm rezervasynlar başarılı lursa, DMS ye RESERVATION_OK mesajı gönderilir. 9. Eğer DMS, RS den RESERVATION_OK mesajı almışsa FTS yi çağırır ve DM ye RESERVATION_OK mesajı gönderir. DMS ten gelen mesaj üzerine, DM servisi LDMS e RESERVATION_OK mesajı gönderir. 10. FTS tarafından dsyaların transferi işlemine başlanır. FTS, her LFN için kaynak/hedef deplama elemanlarında ve rta üzerindeki ağ elemanlarında ilgili rezerasynu yapılmış kaynakları kullanır. 11. Eğer DMS, RS den RESERVATION_FAILED mesajı almışsa: a. Veri isteğini sıradan çıkarır ve DM ye RESERVATION_FAILED mesajı gönderir. b. Veri isteğinin sıradan çıkarmaz ve istek tekrar çizelgeleme denemeleri için sırada kalır. 12. DMS, veri transferinin tamamlanmasında başarısız lur ise, isteği sıradan çıkardığı zaman DM ye; DM de LDMS e RESERVATION_FAILED mesajı gönderir Veri Kpyalama Veri kpyalama algritmaları çekme veya itme tabanlı labilir. Çekme tabanlı mdelde, kendi yerel deplama elemanlarında istekte bulunulan dsya bulunmayan site, dsyayı yerel larak kpyalayıp kpyalamayacağına ve nereden getirtileceğine karar verir. İtme tabanlı mdelde ise kendi yerel deplama elemanlarında dsya bulunan site, dsyayı ne zaman ve nerede kpyalaması gerektiğine karar verir Çekme-Tabanlı Veri Kpyalama Çekme-tabanlı veri kpyalama algritmaları, LDRS ın bir parçası larak gerçeklenmiştir. LDRS, LDMS ye gelen tüm veri transferi isteklerine bakar ve çekme-tabanlı dsya kpyalama algritması çalıştırarak, diğer sitelerden çekilecek lan verinin yerel larak kpyalanıp kpyalanmayacağına karar verir. Bu bilgi, LDMS DM ye uzaktan dsya erişimi isteğinde bulunacağı zaman girdi larak verilir.

10 2.3.2 Dağıtık İtme-Tabanlı Veri Kpyalama Dağıtık İtme-tabanlı veri kpyalama da LDRS, yerel verilerin diğer siteler tarafından erişimlerinin istatistiğini tutar. Zaman zaman, LDRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanağına karar verir. Kpyalanacak bir veri bulunduğu zaman, LDRS DM ye kaynak ve hedef siteler bulunan bir veri tranferi isteği gönderir. Prsedürün gerisi Şekil 4 te görüldüğü gibidir Merkezi İtme-Tabanlı Veri Kpyalama Merkezi veri kpyalama da DRS tüm LRC lerde bulunan tüm verilerin erişim tarihçelerini tutar. Zaman zaman, DRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanacağına karar verir. Kpyalanacak veri bulduğu zaman, DM ye hedef sitesi içeren bir veri transferi isteği gönderir. Verileri gönderecek lan ptansiyel kaynak sitelerinin bulunması DM nin görevidir. Prsedürün geri kalan bölümü Şekil 4 de gösterildiği gibidir.

11 3. Veri Grid Sistem Mdeli II 3.1 Merkezi İş Çizelgeleyici DGridSim tarafından desteklenen merkezi iş çizelgeleme mdelinde iş çizelgeleme kararları GSS tarafından verilirken, sitelerde bulunan SSS bileşeninde herhangi bir iş çizelgelemesi yapılmaz Grid Çizelgeleme Şekil 5: Merkezi iş çizelgeleme mdelinde grid sistemine iş arzı. 1. GJSS, kullanıcıdan işleri kabul eder. 2. GJSS, gelen işleri glbal iş sırasına ilave eder ve GSS i haberdar eder. 3. GSS çevrim içi veya dışı çalışan Grid çizelgeleme algritmasını çalıştırır. a. Çevrim içi iş çizelgeleme algritması: GSS, gelen tüm işleri hemen çizelgeler. b. Çevrim dışı iş çizelgeleme algritması: GSS, glbal iş sırasını belli aralıklar ile kntrl eder, sıradaki işleri alır ve çizelgeler. 4. Grid çizelgeleme algritması, Grid sistemine gönderilen her iş için bir site ve işlem elemanı üzerinde bir çalışma CPU zamanı bulmaya çalışır. GSS, rezervasyn tablları için RS yi srgular. Çizelgeleme algritmasına bağlı larak GSS iş için gerekli lan verileri bulmak için RLS yi ve diğer bazı bilgiler için de GIS i srgular. Bu servisler,

12 gerekli bilgileri, sitelerdeki yerel bazı servislerden srgulayabilirler. Grid çizelgeleme algritması için bazı muhtemel senarylar aşağıda belirtilmiştir: a. Çizelgeleme algritması sadece GIS e bakarak (ağ tpljisi, rtalama ve anlık işlem/ağ/deplama kaynakları gibi bilgiler) işleri best-effrt çalıştıracak şekilde çizelgeler. İşlem elemanlarındaki rtalama/anlık işlem bant genişliklerine göre çizelgeleme İşlem elemanlarındaki rtalama/anlık veri yükü Verilerin en önce ulaşacağı işlem elemanının seçilmesi b. Sadece RLS tarafından verilen bilgilere göre çizelgeler. İstekte bulunulan dsyaların en fazla bulunduğu site içindeki bir işlem elemanının seçilmesi c. Sadece RS tarafından verilen bilgilere göre çizelgeler. İşin çalışabileceği uygun zaman aralığı bulunan işlemcilerden rassal larak seçilmesi. İş için gerekli verilerin en önce ulaşabileceği bir işlem elemanının seçilmesi. İşin çalışabileceği uygun zaman aralığı bulunan ve iş için gerekli verilerin iş başlamadan ulaşabildiği bir işlem elemanının seçilmesi. d. Hibrit GIS, RLS ve RS den en az iki tanesinden gelen bilgiler ile çizelgeler. 5. GSS, Grid çizelgeleme algritması tarafından belirlenen işlem eleman(lar)ında gerekli rezervasynların yapılması için RS ye rezervasyn istek mesajı gönderir ve RS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. 6. GSS, her iş için DM ye bir veri istek mesajı gönderir ve DM den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. DM, veri isteklerini merkezi veri dağıtımı bölümünde belirtildiği gibi gerçekleştirir. 7. GSS, işi DM ve RS den RESERVATION_OK veya RESERVATION_FAILED mesajı gelene kadar bekletir. 8. Eğer DM ve RS nin ikisinde de RESERVATION_OK mesajı gelmişse, GSS işi GJDM ye gönderir ve işi glbal iş sırasından siler. Bu durumda iş başarılı lmuştur. GJDM işi, işin çalışacağı işlem elemanını barındıran site içindeki SJSS e gönderir. 9. RS veya DM den RESERVATION_FAILED mesajı alan GSS in önünde farklı seçenekler labilir. a. İş, sıradan silinir ve iş ile ilgili yapılmış lan tüm rezervasynlar iptal edilir. b. İş, tekrar çizelgeleme denemeleri için sırada tutulur ve iş ile ilgili yapılmış lan tüm rezervasynlar iptal edilir.

13 3.1.2 Site Çizelgeleme 1. SJSS, GJDM den işi alır. 2. SJSS, SSS e işi gönderir. 3. SSS, işi JIM e gönderir. 4. JIM, GSS tarafından belirlenen ve RS tarafından rezerve edilen zamanda, GSS tarafından belirlenen işlem elemanında işi başlatır. Diğer deplama elemanı ve ağ elemanı rezervasynları DM tarafından yapılmaktadır. 3.2 Merkezi Veri Dağıtımı Şekil 6: Site içinde işlerin çalıştırılması. 1. GSS, işin sn zamanı ve ilgili LFN lerden luşan bir veri isteği mesajını DM ye iletir. 2. DM, isteği veri transferi isteği sırasına ilave eder ve DMS yi haberdar eder. 3. DMS, istek mesajında bulunan LFN ler için muhtemel kaynak siteleri vermesi için RLS yi çağırır. 4. RLS, RLI yı LFN i içeren LRC ler için srgular. RLS, LFN yi içeren LRC leri srgulayarak PFN leri alır. RLS muhtemel kaynak siteleri DMS ye iletir. 5. DMS, siteden siteye gerçekleşecek lan veri transfleri için, verinin hedef site veri depsuna kpyalanıp/kpyalanmayacağı ile ilgili larak DRS birimiyle haberleşir. 6. DMS içinde gömülü bulunan Veri Dağıtımı Optimizasynu Algritması (Data Disseminatin Optimizatin Algrithm - DDOA), (eğer mümkünse) veri transferi isteğini sağlayacak şekilde her bir LFN için en iyi kaynak ve en iyi rtayı bulmaya çalışır. a. Ağ tpljisinin bulunması için GIS e ihtiyaç duyulabilir.

14 Şekil 7: GSS tarafından gönderilen veri isteklerinin karşılanması. b. Ağ elemanı bant genişliklerinin veri transferi planlanması için RS e ihtiyaç duyulabilir. 7. DDOA, veri transferi isteği sn zamanını sağlayacak şekilde, veri transferi isteğindeki her bir LFN için uygun bir rta bulabileceği gibi; en az bir LFN için uygun bir rta bulamayabilir. 8. Eğer DDOA, en az bir LFN için uygun rta bulamaz ise, ne yapacağına DMS karar verir: a. DMS, veri isteğini istek sırasından siler ve DM ye RESERVATION_FAILED mesajı gönderir. b. DMS, veri isteğini tekrar denemeler için istek sırasından silmez. 9. Eğer DDOA tarafından tüm LFN ler için rta bulundu ise DMS, RS i çağırır ve RS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. 10. RS, tüm LFN ler için kaynak/hedef deplama elemanlarında dep alanı ve rta üzerindeki ağ elemanları rezervasynları yapmaya çalışır. a. Kaynak deplama elemanının Okuma/Yazma bant genişliği ile kaynak deplama elemanından hedef işlem elemanına kadar rta üzerindeki ağ elemanlarının bant genişlikleri, şimdiki zamandan işin başlama zamanına kadar DsyaBüyüklüğü/(İşinBaşlamaZamanı-ŞimdikiZaman) kadar rezerve edilir. Ayrıca DsyaBüyüklüğü kadarlık dep alanı, şimdiki zamandan işin bitiş zamanına kadar kaynak deplama elemanında rezerve edilir. b. Grid sistemlerinin dinamik ve dağıtık nedenlerinden dlayı, çakışma layları ile karşılaşılabilir. Yani, DDOA tarafından belirlenen kaynaklar erişilmez labilir veya başka bir sitenin RS i tarafından rezerve edilmiştir. Bu durumlarda, istek başarısız lmuştur.

15 c. Veri transferi isteği mesajındaki ilgili rezervasynlardan herhangi biri başarısız lursa, RS, DMS ye RESERVATION_FAILED mesajı gönderir ve yapılmış lan tüm rezervasynları iptal eder. d. Tüm ilgili rezervasynlar başarılı lmuşsa DMS ye RESERVATION_OK mesajı gönderir. 11. Eğer DMS, RS den RESERVATION_OK mesajı almışsa FTS yi çağırır ve DM ye RESERVATION_OK mesajı gönderir. DMS ten gelen mesaj üzerine, DM servisi GSS e RESERVATION_OK mesajı gönderir. 13. FTS tarafından dsyaların transferi işlemine başlanır. FTS, her LFN için kaynak/hedef deplama elemanlarında ve rta üzerindeki ağ elemanlarında ilgili rezerasynu yapılmış kaynakları kullanır. 14. Eğer DMS, RS den RESERVATION_FAILED mesajı almışsa: a. Veri isteğini sıradan çıkarır ve DM ye RESERVATION_FAILED mesajı gönderir. b. Veri isteğinin sıradan çıkarmaz ve istek tekrar çizelgeleme denemeleri için sırada kalır. 15. DMS, veri transferinin tamamlanmasında başarısız lur ise, isteği sıradan çıkardığı zaman DM ye; DM de GSS e RESERVATION_FAILED mesajı gönderir Veri Kpyalama Merkezi İtme-Tabanlı Veri Kpyalama Merkezi veri kpyalama da DRS tüm LRC lerde bulunan tüm verilerin erişim tarihçelerini tutar. Zaman zaman, DRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanacağına karar verir. Kpyalanacak veri bulduğu zaman, DM ye hedef sitesi içeren bir veri transferi isteği gönderir. Verileri gönderecek lan ptansiyel kaynak sitelerinin bulunması DM nin görevidir. Prsedürün geri kalan bölümü Şekil 7 de gösterildiği gibidir.

16 4. Veri Grid Sistem Mdeli III 4.1 Merkezi İş Çizelgeleyici DGridSim tarafından desteklenen merkezi iş çizelgeleme mdelinde iş çizelgeleme kararları GSS tarafından verilirken, sitelerde bulunan SSS bileşeninde herhangi bir iş çizelgelemesi yapılmaz Grid Çizelgeleme Şekil 8: Merkezi çizelgeleme algritmasına gelen işlerin çalıştırılması. 1. GJSS, kullanıcıdan işleri kabul eder. 2. GJSS, gelen işleri glbal iş sırasına ilave eder ve GSS i haberdar eder. 3. GSS çevrim içi veya dışı çalışan Grid çizelgeleme algritmasını çalıştırır. a. Çevrim içi iş çizelgeleme algritması: GSS, gelen tüm işleri hemen çizelgeler. b. Çevrim dışı iş çizelgeleme algritması: GSS, glbal iş sırasını belli aralıklar ile kntrl eder, sıradaki işleri alır ve çizelgeler. 4. GSS ile RLS, RS, ve/veya GIS in etkileşimi, çizelgeleme algritmasına göre belirlenir. 5. GSS çizelgeleme algritması, işin sn zamanından önce tamamlanmasını sağlayacak şekilde, işlem elemanlarını, ağ elemanlarını ve deplama elemanlarını çizelgeler.

17 6. GSS, iş için çizelgeleme algritması tarafından gerekli görülen tüm işlem, ağ ve deplama elemanı rezervasyn isteklerini, RS ye iletilir. GSS, RS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. 7. GSS, eğer RS den RESERVATION_OK mesajı alırsa; iş ilgili siteye gönderilmek üzere GJDM e iletilir ve iş sırasından silinir. Ayrıca, GSS FTS yi çağırır. 8. FTS tarafından dsyaların transferi işlemine başlanır. FTS, her LFN için kaynak/hedef deplama elemanlarında ve rta üzerindeki ağ elemanlarında ilgili rezervasynu yapılmış kaynakları kullanır. FTS, Data Replicatin Service tarafından GSS ye bildirilen görüş dığrultusunda, verileri hedef sitenin veri deplama alanına kpyalar veya kpyalamaz. 9. GSS bir iş için, işin sn zamanını sağlayacak şekilde kaynakları çizelgeleyemediğinde veya RS den RESERVATION_FAILED mesajı aldığında, GSS nin önünde iki seçenek vardır: a. İş isteğini sıradan siler. İş başarısız lmuştur. b. İş isteği, tekrar çizelgeleme denemeleri için sırada tutulur Site Çizelgeleme Şekil 9: İşlerin sitelere arzı. 1. SJSS, GJDM den işi alır. 2. SJSS, SSS e işi gönderir. 3. SSS, işi JIM e gönderir.

18 4. JIM, GSS tarafından belirlenen ve rezerve edilen zamanda, GSS tarafından belirlenen işlem elemanında işi başlatır. 4.2 Veri Kpyalama Merkezi İtme-Tabanlı Veri Kpyalama Şekil 10: Merkezi veri kpyalaması. Merkezi veri kpyalama da DRS tüm LRC lerde bulunan tüm verilerin erişim tarihçelerini tutar. Zaman zaman, DRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanacağına karar verir. Kpyalanacak veri bulduğu zaman, DM ye hedef sitesi içeren bir veri transferi isteği gönderir. Verileri gönderecek lan ptansiyel kaynak sitelerinin bulunması DM nin görevidir. DDOA yı çalıştırarak kaynak ve rtaları bulan DMS, RS yi çağırarak ilgili rezervasynları yapmaya çalışır. Rezervasynlar başarılı ise, FTS yi çağırıp dsya transferini başlatır.

19 5. Veri Grid Sistem Mdeli IV 5.1 Dağıtık İş Çizelgeleme Şekil 11: Dağıtık iş çizelgeleme mdelinde Grid sistemine iş arzı. 1. Kullanıcı SJSS ye işi arz eder. 2. SJSS, işi yerel iş sırasına ilave eder ve SSS yi haberdar eder. 3. SSS, çevrim içi veya çevrim dışı çalışan bir çizelgeleme algritması çalıştırır ve işi sn zamanından önce çalıştırabilecek işlem elemanı ve işlem zaman aralığı bulmaya çalışır. 4. SSS, site çizelgeleme algritması adına, rezervasyn tablları için LRS yi, işin gerektirdiği veriler için LRLS yi ve diğer bazı bilgiler için de LIS i srgulayabilir. 5. SSS, çizelgeleme algritması tarafından bulunmuş lan işlem eleman(lar)ı için LRS ye bir rezervasyn istek mesajı gönderir ve LRS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. 6. SSS, her iş için gerekli lan veriler için LDM ye bir veri transferi istek mesajı gönderir ve LDM den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. LDM, veri

20 dağıtımı bölümünde anlatılacağı üzere, istenen verileri yerel larak veya diğer sitelerden sağlar. 7. SSS, işi LDM ve LRS den RESERVATION_OK veya RESERVATION_FAILED mesajı gelene kadar bekletir. 8. SSS, LDM ve LRS den RESERVATION_OK mesajı gelirse, işi JIM e gönderir ve işi yerel iş sırasından siler. Bu durumda iş isteği başarılı lmuştur. JIM, SSS tarafından belirlenen zamanda işi işlem elemanında çalıştırır. 9. Eğer LDM veya LRS den RESERVATION_FAILED mesajı gelirse, iş yerel iş sırasından silinir ve ilgili tüm rezervasynlar iptal edilir. SSS, işin site içinde zamanında bitirilemeyeceğine karar vererek, işi Site Jb Dispatch Manager birimini kullanarak, sitenin rtak çalıştığı sitelerden birisine ait lan Site Jb Submissin Service e gönderilir Hiyerarşik Veri Dağıtımı Veri Transferlerinin Site İçi Krdinasynu Şekil 12: SSS tarafından gönderilen veri transferlerinin karşılanışı. 1. SSS işin başlangıç/bitiş zamanları ve ilgili Mantıksal Dsya Adlarından (Lgical File Name - LFN) luşan veri isteği mesajını LDM ye gönderir. 2. LDM, bu isteği veri istek sırasına kyar ve LDMS yi haberdar eder. 3. LDMS, ilgili LFN ler ile LRLS yi çağırır. LRLS, site içinde bulunan dsyalar için ilgili Fiziksel Dsya Adlarından (Physical File Name PFN) luşan bir mesajla cevap verir. 4. LDMS, yerel lmayan dsyalar için, dsyanın yerel larak kpyalanıp kpyalanmayacağı bilgisi için LDRS ile haberleşir.

21 5. LDMS iki adet mesaj gönderir: yerel dsyalar için LRS ye bir mesaj, yerel lmayan dsyalar içinse DM ye bir mesaj. Snrasında LDMS, bu servislerden RESERVATION_OK veya RESERVATION_FAILED mesajlarını bekler. 6. LDMS den PFN leri içeren bir mesaj alan LRS, ağ elemanlarındaki ilgili bant genişliğini ve deplama elemanlarındaki ilgili dep alanını rezerve etmek için girişimde bulunur. a. Ağ elemanı rezervasynları: Kaynak deplama elemanındaki kuma/yazma bant genişliklerini ve işlem elemanına yazma bant genişliğini DsyaBüyüklüğü/(İşinBitişZamanı-İşinBaşlangıçZamanı) miktarında, işin başlama zamanından işin bitiş zamanına kadar rezerve eder. b. Deplama elemanı rezervasynları: Kaynak deplama elemanında DsyaBüyüklüğü, şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. 7. Yerel rezervasynların mevcut durumuna göre, LRS aşağıdaki durumlar ile karşılaşabilir: a. Eğer tüm PFN ler için ağ bant genişliği ve dep alanı rezervasynları başarılı ise, LDMS ye RESERVATION_OK mesajı gönderilir. b. Eğer bazı PFN ler için ağ bant genişliği ve dep alanı rezervasynları başarısız ise, LDMS ye RESERVATION_FAILED mesajı gönderilir. 8. LDMS den veri istek sn zamanı ve LFN leri içeren bir mesaj alan DM, merkezi bir servis larak, bir snraki bölümde daha detaylı anlatılacağı gibi, istekte bulunulan dsyaları, sn zamanından önce sağlamaya çalışır. DM, bulunulan istek hakkında LDMS ye RESERVATION_OK veya RESERVATION_FAILED mesajı gönderir. 9. LRS ve DM nin ikisinden birden RESERVATION_OK mesajı alan LDMS, LDM ye RESERVATION_OK mesajı gönderir. 10. LRS veya DM den RESERVATION_FAILED mesajı alan LDMS, ne yapacağına karar verir. a. LDMS, istek ile ilgili yapılmış lan tüm rezervasynları iptal edip istek sırasından siler. LDM ye de RESERVATION_FAILED mesajı gönderir. b. LDMS, istek ile ilgili yapılmış lan tüm rezervasynları iptal eder, ancak tekrar denemeler için istek sırasından silmez. 11. LDM, SSS ye LDMS den gelen RESERVATION_OK veya RESERVATION_FAILED mesajını iletir.

22 5.2.2 Veri Transferlerinin Siteler Arası Krdinasynu Şekil 13: LDMS den gelen veri transfer istekleri. 1. LDMS, DM ye bir veri transferi isteği mesajı gönderir. Bu mesajda; istekte bulunan işin başlama/bitiş zamanları, ilgili LFN ler ve verilerin yerel larak deplanıp deplanmayacağı bilgileri yer alır. Ayrıca, veri eğer yerel larak kpyalanacak ise, hedef deplama elemanı adresi de mesajda yer alır. 2. DM, isteği istek sırasına ilave eder ve DMS yi haberdar eder. 3. DMS, RLS den istek mesajında gelen her LFN için muhtemel kaynakları ister. 4. RLS, RLI yı LFN i içeren LRC ler için srgular. RLS, LFN yi içeren LRC leri srgulayarak PFN leri alır. RLS muhtemel kaynak siteleri DMS ye iletir. 5. DMS içinde gömülü bulunan Veri Dağıtımı Optimizasynu Algritması (Data Disseminatin Optimizatin Algrithm - DDOA), (eğer mümkünse) veri transferi isteğini sağlayacak şekilde her bir LFN için en iyi kaynak ve en iyi rtayı bulmaya çalışır. a. Ağ tpljisinin bulunması için GIS e ihtiyaç duyulabilir. b. Ağ elemanı bant genişliklerinin veri transferi planlanması için RS e ihtiyaç duyulabilir. 6. DDOA, veri transferi isteği sn zamanını sağlayacak şekilde, veri transferi isteğindeki her bir LFN için uygun bir rta bulabileceği gibi; en az bir LFN için uygun bir rta bulamayabilir. 7. Eğer DDOA, en az bir LFN için uygun rta bulamaz ise, ne yapacağına DMS karar verir: a. DMS, veri isteğini istek sırasından siler ve DM ye RESERVATION_FAILED mesajı gönderir. b. DMS, veri isteğini tekrar denemeler için istek sırasından silmez.

23 8. Eğer DDOA, veri transferi isteğindeki her bir LFN için uygun bir rta bulmuşsa; DMS, RS i çağırır ve RS den RESERVATION_OK veya RESERVATION_FAILED mesajı bekler. a. Eğer veri yerel larak deplanacak ise; kaynak ve hedef deplama elemanlarının kuma/yazma bant genişlikleri ile rta üzerindeki ağ elemanlarının bant genişlikleri, şimdiki zamandan işin başlama zamanına kadar DsyaBüyüklüğü/(İşinBaşlamaZamanı-ŞimdikiZaman) kadar rezerve edilir. Hedef deplama elemanının kuma/yazma bant genişliği, işin başlama zamanından işin bitiş zamanına kadar DsyaBüyüklüğü/(İşinBitişZamanı-İşinBaşlamaZamanı) kadar rezerve edilir. Ayrıca DsyaBüyüklüğü kadarlık deplama alanı; kaynak deplama elemanında şimdiki zamandan işin başlama zamanına kadar, hedef deplama elemanında ise şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. b. Eğer veri yerel larak deplanmayacak ise; kaynak deplama elemanındaki Okuma/Yazma bant genişliği ile kaynak-hedef deplama elemanları arasındaki rta üzerinde bulunan ağ elemanlarının bant genişlikleri ise şimdiki zamandan işin başlama zamanına kadar DsyaBüyüklüğü/(İşinBaşlamaZamanı-ŞimdikiZaman) kadar rezerve edilir. Ayrıca, DsyaBüyüklüğü kadarlık dep alanı, kaynak deplama elemanında şimdiki zamandan işin bitiş zamanına kadar rezerve edilir. c. Grid sisteminin dinamik ve dağıtık yapısından dlayı çakışma durumları rtaya çıkabilir. Yani, bir DDOA tarafından kullanılması öngörülen kaynaklar, kullanılamaz duruma gelebilir veya başka sitelerdeki RS ler tarafından rezerve edilebilir. Böyle durumlarda, rezervasyn isteği başarısız lacaktır. d. Eğer en az bir verinin transferi için belirtilen rezervasynlardan herhangi bir tanesi başarısız lursa; RS, DMS e RESERVATION_FAILED mesajı gönderir ve bu istek için yapılmış lan tüm rezervasynları iptal eder. e. Eğer tüm LFN ler için ilgili tüm rezervasynlar başarılı lursa, DMS ye RESERVATION_OK mesajı gönderilir. 9. Eğer DMS, RS den RESERVATION_OK mesajı almışsa FTS yi çağırır ve DM ye RESERVATION_OK mesajı gönderir. DMS ten gelen mesaj üzerine, DM servisi LDMS e RESERVATION_OK mesajı gönderir. 10. FTS tarafından dsyaların transferi işlemine başlanır. FTS, her LFN için kaynak/hedef deplama elemanlarında ve rta üzerindeki ağ elemanlarında ilgili rezerasynu yapılmış kaynakları kullanır. 11. Eğer DMS, RS den RESERVATION_FAILED mesajı almışsa: a. Veri isteğini sıradan çıkarır ve DM ye RESERVATION_FAILED mesajı gönderir. b. Veri isteğinin sıradan çıkarmaz ve istek tekrar çizelgeleme denemeleri için sırada kalır. 12. DMS, veri transferinin tamamlanmasında başarısız lur ise, isteği sıradan çıkardığı zaman DM ye; DM de LDMS e RESERVATION_FAILED mesajı gönderir.

24 5.3. Veri Kpyalama Çekme-Tabanlı Veri Kpyalama Çekme-tabanlı veri kpyalama algritmaları, LDRS ın bir parçası larak gerçeklenmiştir. LDRS, LDMS ye gelen tüm veri transferi isteklerine bakar ve çekme-tabanlı dsya kpyalama algritması çalıştırarak, diğer sitelerden çekilecek lan verinin yerel larak kpyalanıp kpyalanmayacağına karar verir. Bu bilgi, LDMS DM ye uzaktan dsya erişimi isteğinde bulunacağı zaman girdi larak verilir Dağıtık İtme-Tabanlı Veri Kpyalama Dağıtık itme-tabanlı veri kpyalama da LDRS, yerel verilerin diğer siteler tarafından erişimlerinin istatistiğini tutar. Zaman zaman, LDRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanağına karar verir. Kpyalanacak bir veri bulunduğu zaman, LDRS DM ye kaynak ve hedef siteler bulunan bir veri tranferi isteği gönderir. Prsedürün gerisi Şekil 13 te görüldüğü gibidir Merkezi İtme-Tabanlı Veri Kpyalama Merkezi veri kpyalama da DRS tüm LRC lerde bulunan tüm verilerin erişim tarihçelerini tutar. Zaman zaman, DRS veri kpyalama algritması çalıştırır ve hangi verilerin nerelerde kpyalanacağına karar verir. Kpyalanacak veri bulduğu zaman, DM ye hedef sitesi içeren bir veri transferi isteği gönderir. Verileri gönderecek lan ptansiyel kaynak sitelerinin bulunması DM nin görevidir. Prsedürün geri kalan bölümü Şekil 13 te gösterildiği gibidir.