DGridSim Gerçek Zamanlı Veri Grid Simülatörü. Algoritmalar Dokümanı v Sefai Tandoğan Mustafa Atanak Doç. Dr.

Transkript

1 DGridSim Gerçek Zamanlı Veri Grid Simülatörü Algoritmalar Dokümanı v Sefai Tandoğan Mustafa Atanak Doç. Dr. Atakan Doğan

2 1. Giriş DGridSim, Veri Grid sistemlerinin performansına etki eden en temel üç bileşenin tek bir ortak ortamda benzetilmesini hedef alarak önerilmiş ve geliştirilmiştir. Bu üç bileşen sırasıyla iş çizelgeleme, veri dağıtımı ve veri kopyalama bileşenleridir. Bu nedenle, Sistem/Bileşen Modelleri Dokümanı nda detaylandırıldığı ve Tablo 1 de özetlendiği gibi, DGridSim farklı iş çizelgeleme, veri dağıtımı ve veri kopyalama modellerini desteklemektedir. Bu modellerden bir bölümü literatürde sunulmuş olan çalışmalardan derlenmiş olup, bir bölümü ise bu çalışma kapsamında önerilmiştir. İş Çizelgeleme Veri Dağıtımı Veri Kopyalama Model-I Hiyerarşik Hiyerarşik Çekme, dağıtık-itme, merkezi-itme Model-II Merkezi Merkezi İtme-merkezi Model-III Merkezi Merkezi İtme-merkezi Model-IV Dağıtık Hiyerarşik Çekme, dağıtık-itme, merkezi-itme Tablo 1: DGridSim simülatörünün desteklediği veri grid sistemi modelleri. DGridSim tarafından desteklenmekte olan iş çizelgeleme, veri dağıtımı ve veri kopyalama modellerini üç farklı bakış açısından karakterize etmek mümkündür: (1) Modeli oluşturan Veri Grid sistemi servisleri, (2) Modeli oluşturan Veri Grid servisleri arasındaki etkileşimler, (3) Model kapsamında çalışan ilgili algoritmalar. Sistem/Bileşen Modelleri Dokümanı birinci ve ikinci bakış açısını olabildiğince detaylı bir biçimde açıklamaktadır. Bu dokümanda ise son bakış açısı olan, algoritmalar, aşağıdaki bölümlerde detaylandırılmıştır.

3 2. İş Çizelgeleme Algoritmaları DGridSim, Veri Grid Sistem Modelleri Dokümanı nda açıklandığı gibi, üç farklı iş çizelgeleme modelini desteklemektedir. DGridSim bu bakımdan literatürde tektir; literatürde genel kabul görmüş ve yaygın olarak kullanılmakta olan simülatörler sadece bir iş çizelgeleme modelini desteklemektedirler. DGridSim simülatörünün diğer bir biricik özelliği ise, barındırmış olduğu ilgili tüm çizelgeleme algoritmaları için hem federal hem de hiyerarşik (tiered) veri organizasyonu modelini desteklemesidir. Federal veri organizasyonu modelinde, Veri Grid sistemindeki her bir sitenin hem hesaplama hem de veri depolama birimlerine sahip olduğu ve başlangıçta verinin rasgele bir biçimde sitelere dağıtıldığı kabul edilir. Dolayısıyla, sisteme gönderilen bir iş herhangi bir sitedeki bir işlem elemanı tarafından çalıştırılabilir. Hiyerarşik veri organizasyonu modelinde ise, Veri Grid sistemindeki siteler üç farklı hiyerarşi seviyesinde gruplandırılmışlardır. Hiyerarşi-0 seviyesinde sadece veri depolama elemanlarına sahip tek bir site bulunur ve başlangıçta tüm verinin bu sitede depolandığı kabul edilir. Hiyerarşi-0 sitenin altında yine sadece veri depolama elemanlarına sahip birden fazla Hiyerarşi-1 site bulunur. Her bir Hiyerarşi-1 sitenin altında ise bir veya birden fazla hem hesaplama hem de veri depolama elemanına sahip Hiyerarşi-2 site(ler) bulunur. Dolayısıyla, sisteme gönderilen bir iş, sadece herhangi bir Hiyerarşi-2 sitedeki bir işlem elemanı tarafından çalıştırılabilir Hiyerarşik İş Çizelgeleme Algoritmaları DGridSim tarafından desteklenen hiyerarşik iş çizelgeleme modeli, iki seviyeli bir hiyerarşi içerir: Grid Scheduling Service (GSS) merkezi bir servistir ve kullanıcılar tarafından sisteme gönderilen işlerin hangi siteye yönlendirileceğine karar veren bir iş çizelgeleme algoritması çalıştırır. Site Scheduling Service (SSS) sistemdeki her bir site tarafından çalıştırılan dağıtık bir servistir ve kendisine GSS tarafından yönlendirilen işlerin, site içerisinde hangi işlem elemanda çalışacağına karar veren bir çizelgeleme algoritmasını çalıştırır. Aşağıdaki bölümlerde, hiyerarşik model kapsamında DGridSim tarafından desteklenen iş çizelgeleme algoritmaları açıklanmaktadır GSS Algoritma-1: Rasgele 3. İş çizelgeleme kuyruğuna giren her bir iş için, beklemeksizin bir site rastgele olarak seçilir GSS Algoritma-2: En Erken Son Zaman İlk 1. Çevrim dışı çalışır.

4 3. İş çizelgeleme olayı periyodik olarak oluştuğunda, kuyrukta bekleyen işler son zamanlarına göre küçükten büyüğe dizilir. 4. Bu sıraya göre, her bir iş için bir site rastgele olarak seçilir GSS Algoritma-3: Minimum Tamamlama Zamanı İlk 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin toplam işlem kapasitesi (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin anlık ortalama iş yükünü (saniye) öğrenir. a. Sitenin anlık ortalama iş yükü = Sitedeki işlem elemanlarında kuyrukta çalışmayı bekleyen işlerin toplam iş yükü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 5. İş tamamlama zamanı her bir site için hesaplanır. a. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı i. Beklenen işlem yükü = Sitenin anlık ortalama iş yükü ii. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/Sitenin toplam işlem kapasitesi (MIPS) 1. İşin büyüklüğü (MI) : İş ile birlikte gönderilir 6. Siteler iş tamamlama zamanına göre küçükten-büyüğe sıraya dizilir. 7. İş ilk sıradaki siteye atanır GSS Algoritma-4: Minimum Tamamlama Zamanı İlk Veri Var 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin toplam işlem kapasitesi (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin anlık ortalama iş yükünü (saniye) öğrenir. a. Sitenin anlık ortalama iş yükü = Sitedeki işlem elemanlarında kuyrukta çalışmayı bekleyen işlerin toplam iş yükü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 5. GSS, Replica Location Service bileşenini sorgulayarak işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 6. İş tamamlama zamanı, eğer işle ilişkili hiç bir veri yoksa her bir site için; aksi takdirde sadece veriye sahip her bir site için hesaplanır. a. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı i. Beklenen işlem yükü = Sitenin anlık ortalama iş yükü ii. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 7. Siteler iş tamamlama zamanına göre küçükten-büyüğe sıraya dizilir. 8. İş ilk sıradaki siteye atanır.

5 GSS Algoritma-5: MinMin Veri Var 1. Çevrim dışı çalışır. 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin toplam işlem kapasitesi (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin anlık ortalama iş yükünü (saniye) öğrenir. a. Sitenin anlık ortalama iş yükü = Sitedeki işlem elemanlarında kuyrukta çalışmayı bekleyen işlerin toplam iş yükü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 5. GSS, Replica Location Service bileşenini sorgulayarak, kuyrukta bekleyen her bir iş için, işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 6. Kuyrukta bekleyen her bir iş için, iş tamamlama zamanları hesaplanır. İş tamamlama zamanı, eğer işle ilişkili hiç bir veri yoksa her bir site için; aksi takdirde sadece veriye sahip her bir site için hesaplanır. a. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı i. Beklenen işlem yükü = Sitenin anlık ortalama iş yükü ii. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 7. Kuyrukta bekleyen işler arasından, her bir adımda, bir iş ve bu işin atanacağı bir site şu şekilde belirlenir: a. Kuyruktaki işler arasında, minimum iş tamamlama zamanına sahip olan iş (iş A ) ve site (site A ) belirlenir, ve belirlenen bu iş ilgili siteye atanır. İş iş A kuyruktan silinir. b. Kuyrukta bekleyen her bir işin iş tamamlama zamanı sadece site (site A ) için yeniden hesaplanır. Bu hesaplama yapılırken, iş A ile ilgili verinin site A organizasyonunda olduğu kabul edilir. i. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı 1. Beklenen işlem yükü = Anlık ortalama iş yükü (site A ) + Beklenen çalışma zamanı (iş A, site A ) 2. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) GSS Algoritma-6: Gerçek-Zamanlı Minimum Tamamlama Zamanı İlk Veri Dağıtımı 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin toplam işlem kapasitesi (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin anlık ortalama iş yükünü (saniye) öğrenir. a. Sitenin anlık ortalama iş yükü = Sitedeki işlem elemanlarında kuyrukta çalışmayı bekleyen işlerin toplam iş yükü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 5. GSS, beklenen iş başlama zamanını her site için hesaplar.

6 a. Beklenen iş başlama zamanı = max (sitenin anlık ortalama iş yükü, beklenen veri hazır zamanı) b. Beklenen veri hazır zamanı 10. adımdaki gibi hesaplanır. 6. GSS, Reservation Service bileşenini sorgulayarak [beklenen iş başlama zamanı, beklenen iş başlama zamanı + beklenen çalışma zamanı] zaman aralığında işi tamamlayabilecek kadar veya daha fazla işlem kapasitesine sahip en az bir tane işlem elemanı bulunan siteleri öğrenir. a. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 7. İş tamamlama zamanı, eğer altıncı adımda hiç bir site bulunamamışsa tüm siteler için; aksi takdirde sadece altınca adımda bulunan her bir site için hesaplanır. a. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı i. Beklenen işlem yükü = Sitenin anlık ortalama iş yükü 8. Siteler iş tamamlama zamanına göre küçükten-büyüğe sıraya dizilir. 9. İş ilk sıradaki siteye atanır. 10. Beklenen veri hazır zamanın hesaplanması: a. İş ile ilgili tüm veriler hedef sitede bulunuyorsa: Beklenen veri hazır zamanı = 0 b. İş ile ilgili en az bir veri hedef sitede bulunmuyorsa: Beklenen veri hazır zamanı = beklenen ortalama yol gecikmesi + max { veri büyüklüğü / beklenen veri bant genişliği } i. max operatörü: işle ilgili birden fazla veri çeşitli kaynak sitelerden hedef siteye kopyalandığı durumda kullanılır c. GSS, Replica Location Service bileşenini sorgulayarak işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. d. Beklenen ortalama yol gecikmesi = Beklenen ortalama yarıçap x ortalama link gecikmesi + hedef site link gecikmesi + kaynak siteler ortalama link gecikmesi i. GSS, Grid Information Service bileşenini sorgulayarak Internet link sayısı (sadece edge router+core router ları birbirine bağlayan linkler) ve link gecikmeleri değerlerini öğrenir. ii. Beklenen ortalama yarıçap = karekök(internet link sayısı) iii. Ortalama link gecikmesi = Internet link gecikmelerinin toplamı/ internet link sayısı iv. Hedef site link gecikmesi = Hedef site depolama elemanı ortalama link gecikmesi + gateway-edge router link gecikmesi v. Kaynak siteler ortalama link gecikmesi = toplam(kaynak site depolama elemanı ortalama link gecikmesi + gateway-edge router link gecikmesi)/kaynak site sayısı e. Beklenen veri bant genişliği şu şekilde hesaplanır. i. GSS, Grid Information Service bileşenini sorgulayarak linklerin anlık kullanılabilir bant genişliği verilerini öğrenir ii. Beklenen veri bant genişliği = min (ortalama anlık kullanılabilir internet link bant genişliği, kaynak siteler ortalama anlık kullanılabilir link bant genişliği, hedef site anlık kullanılabilir link bant genişliği) 1. Ortalama anlık kullanılabilir internet link bant genişliği = Kullanılabilir internet bant genişliklerinin toplamı/internet link sayısı

7 2. Kaynak siteler ortalama anlık kullanılabilir link bant genişliği = toplam{min(storage-gateway ortalama bant genişliği, gateway-edge router bant genişliği)}/kaynak site sayısı 3. Hedef site anlık kullanılabilir link bant genişliği = min(storage-gateway ortalama bant genişliği, gateway-edge router bant genişliği) GSS Algoritma-7: Gerçek-Zamanlı MinMin Veri Dağıtımı 1. Çevrim dışı çalışır. 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin toplam işlem kapasitesi (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir sitenin anlık ortalama iş yükünü (saniye) öğrenir. a. Sitenin anlık ortalama iş yükü = Sitedeki işlem elemanlarında kuyrukta çalışmayı bekleyen işlerin toplam iş yükü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 5. Kuyrukta bekleyen her bir iş için, iş tamamlama zamanları 6-8 adımlarında açıklandığı gibi hesaplanır. 6. GSS, beklenen iş başlama zamanını her site için hesaplar. a. Beklenen iş başlama zamanı = max (sitenin anlık ortalama iş yükü, beklenen veri hazır zamanı) b. Beklenen veri hazır zamanı Bölüm da anlatıldığı gibi hesaplanır. 7. GSS, Reservation Service bileşenini sorgulayarak [beklenen iş başlama zamanı, beklenen iş başlama zamanı + beklenen çalışma zamanı] zaman aralığında işi tamamlayabilecek kadar veya daha fazla işlem kapasitesine sahip en az bir tane işlem elemanı bulunan siteleri öğrenir. a. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS) 8. İş tamamlama zamanı, eğer altıncı adımda hiç bir site bulunamamışsa tüm siteler için; aksi takdirde sadece altınca adımda bulunan her bir site için hesaplanır. a. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı i. Beklenen işlem yükü = Sitenin anlık ortalama iş yükü 9. Kuyrukta bekleyen işler arasından, her bir adımda, bir iş ve bu işin atanacağı bir site şu şekilde belirlenir: a. Kuyruktaki işler arasında, minimum iş tamamlama zamanına sahip olan iş (iş A ) ve site (site A ) belirlenir, ve belirlenen bu iş ilgili siteye atanır. İş iş A kuyruktan silinir. b. Kuyrukta bekleyen her bir işin iş tamamlama zamanı sadece site (site A ) için yeniden hesaplanır. Bu hesaplama yapılırken, iş A ile ilgili verinin site A organizasyonunda olduğu kabul edilir. i. İş tamamlama zamanı = Beklenen işlem yükü + Beklenen çalışma zamanı 1. Beklenen işlem yükü = Anlık ortalama iş yükü (site A ) + Beklenen çalışma zamanı (iş A, site A ) 2. Beklenen çalışma zamanı = İşin büyüklüğü (MI)/ Sitenin toplam işlem kapasitesi (MIPS)

8 SSS Algoritma-1: Gerçek Zamanlı MaxMax 3. SSS bileşeni, Local Information Service bileşenini sorgulayarak sitedeki her bir işlem öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. SSS bileşeni, Local Reservation Service bileşenini sorgulayarak [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan site işlem elemanlarını öğrenir. 5. İş için beklenen iş başlangıç zamanı her bir işlem elemanı için hesaplanır. a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 6. İşlem elemanları, beklenen iş başlangıç zamanına göre, büyükten küçüğe sıraya dizilirler. 7. İş ilk sıradaki işlem elemanına atanır Merkezi İş Çizelgeleme Algoritmaları (Model-II) DGridSim tarafından desteklenen merkezi iş çizelgeleme modelinde, kullanıcılar tarafından sisteme gönderilen işlerin hangi sitedeki hangi işlem elemanında çalışacağına karar veren bir iş çizelgeleme algoritması sadece bulunur. Dolayısıyla, hiyerarşik modelden farklı olarak, sitelerde herhangi bir iş çizelgeleme algoritması bulunmamaktadır. Aşağıdaki bölümlerde, merkezi model kapsamında DGridSim tarafından desteklenen iş çizelgeleme algoritmaları açıklanmaktadır GSS Algoritma-1: Rasgele 3. İş çizelgeleme kuyruğuna giren her bir iş için, beklemeksizin bir işlem elemanı rastgele olarak seçilir. 4. İş için beklenen iş başlangıç zamanı bu işlem elemanı için hesaplanır. a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 5. GSS, Reservation Service bileşenini sorgulayarak, [beklenen iş başlangıç zamanı, iş son zamanı] zaman aralığında işi tamamlayabilecek kadar işlem kapasitesi olup/olmadığını öğrenir. 6. GSS, Reservation Service bileşeninde olumlu bir yanıt alırsa işi bu işlem elemanına çizelgeler; aksi takdirde iş kuyruktan atılır GSS Algoritma-2: En Erken Son Zaman İlk 1. Çevrim dışı çalışır.

9 3. İş çizelgeleme olayı periyodik olarak oluştuğunda, kuyrukta bekleyen işler son zamanlarına göre küçükten büyüğe dizilir. Bu sıraya göre kuyrukta bekleyen her bir iş için 4-6. adımlar tekrar edilir. 4. İş için beklenen iş başlangıç zamanı bu işlem elemanı için hesaplanır. a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 5. GSS, Reservation Service bileşenini sorgulayarak, [beklenen başlangıç, iş son zamanı] zaman aralığında işi tamamlayabilecek kadar işlem kapasitesi olup/olmadığını öğrenir. 6. GSS, Reservation Service bileşeninden olumlu bir yanıt alırsa işi bu işlem elemanına çizelgeler; aksi takdirde iş kuyruktan atılır GSS Algoritma-3: Hazır En Hızlı İşlem Elemanı İlk 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 5. GSS, Reservation Service bileşeni tarafından kendisini bildirilen her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 6. İşlem elemanları beklenen iş başlangıç zamanına göre büyükten-küçüğe sıraya dizilir. 7. İş sıradaki ilk işlem elemanına çizelgelenir GSS Algoritma-4: Hazır En Hızlı İşlem Elemanı İlk Veri Var 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Replica Location Service bileşenini sorgulayarak işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 5. GSS, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 6. GSS, Reservation Service ve Replica Location Service bileşenleri sorgularına bağlı olarak iki durumla karşılaşabilir: a. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden hiçbirisi, işin ihtiyaç duyduğu bir veriye sahip olmayabilir. Bu durumda,

10 iş Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarından herhangi birisine çizelgelenir. b. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden birisi veya birden fazlası, işin ihtiyaç duyduğu en az bir veriye sahip olabilir. Bu durumda, iş, Reservation Service bileşeninin bildirmiş olduğu işlem elemanları arasından, sadece veriye sahip sitelerde bulunan işlem elemanlarının herhangi birisine çizelgelenir. 7. GSS, Madde-6 ya göre belirlenmiş olan her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 8. İşlem elemanları beklenen iş başlangıç zamanına göre büyükten-küçüğe sıraya dizilir. 9. İş sıradaki ilk işlem elemanına çizelgelenir GSS Algoritma-5: Yığın - Hazır En Hızlı İşlem Elemanı İlk Veri Var 1. Çevrim dışı çalışır. 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Replica Location Service bileşenini sorgulayarak, kuyrukta bekleyen her bir iş için, işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 5. GSS, Reservation Service bileşenini sorgulayarak, kuyrukta bekleyen her bir iş için, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 6. GSS, Reservation Service ve Replica Location Service bileşenleri sorgularına bağlı olarak, kuyrukta bekleyen her bir iş için, iki durumla karşılaşabilir: a. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden hiçbirisi, işin ihtiyaç duyduğu bir veriye sahip olmayabilir. Bu durumda, iş Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarından herhangi birisine çizelgelenir. b. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden birisi veya birden fazlası, işin ihtiyaç duyduğu en az bir veriye sahip olabilir. Bu durumda, iş, Reservation Service bileşeninin bildirmiş olduğu işlem elemanları arasından, sadece veriye sahip sitelerde bulunan işlem elemanlarının herhangi birisine çizelgelenir. 7. GSS, kuyrukta bekleyen her bir iş için, Madde-6 ya göre belirlenmiş olan her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 10. Kuyrukta bekleyen işler arasından, her bir adımda, bir iş ve bu işin atanacağı bir site şu şekilde belirlenir:

11 a. Kuyruktaki her bir iş için, maksimum beklenen iş başlangıç zamanını ve bu zamanı sağlayan işlem elemanını bul. b. İş ve işlem elemanı çiftlerini, maksimum beklenen iş başlangıç zamanına göre büyükten küçüğe sıraya diz. c. İlk sıradaki çift (iş A, ce A ) olsun. Dolayısıyla, iş (iş A ) işlem elemanı (ce A ) üzerine çizelgelenir. d. İş (iş A ) kuyruktan silinir. e. İşlem elemanı (ce A ), kuyruktaki diğer işlerin çizelgelemesinde artık kullanılmaz Merkezi İş Çizelgeleme Algoritmaları (Model-III) DGridSim tarafından desteklenen merkezi iş çizelgeleme modelinde (hem Model-II hem de Model-III için), kullanıcılar tarafından sisteme gönderilen işlerin hangi sitedeki hangi işlem elemanında çalışacağına karar veren bir iş çizelgeleme algoritması sadece bulunur. Dolayısıyla, hiyerarşik modelden farklı olarak, sitelerde herhangi bir iş çizelgeleme algoritması bulunmamaktadır. Model-II ve Model-III merkezi iş çizelgeleme yaklaşımları arasındaki temel fark şudur: Model- II iş çizelgeleme yaklaşımında, iş çizelgeleme ve veri dağıtımı çizelgeleme algoritmaları sırasıyla Grid Scheduling Service ve Data Manager bileşenleri tarafından birbirinden bağımsız bir şekilde gerçeklenmektedir. Model-III iş çizelgeleme yaklaşımında ise, veri dağıtımı çizelgeleme algoritması Grid Scheduling Service bileşenindeki iş çizelgeleme algoritmasının bir parçası olarak gerçeklenmektedir. Aşağıdaki bölümlerde, Model-III merkezi model kapsamında DGridSim tarafından desteklenen iş çizelgeleme algoritmaları açıklanmaktadır GSS Algoritma-1: Rasgele 3. İş çizelgeleme kuyruğuna giren her bir iş için, beklemeksizin bir işlem elemanı rastgele olarak seçilir. 4. İş için beklenen iş başlangıç zamanı bu işlem elemanı için hesaplanır. a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 5. GSS, Reservation Service bileşenini sorgulayarak, [beklenen başlangıç, iş son zamanı] zaman aralığında işi tamamlayabilecek kadar işlem kapasitesi olup/olmadığını öğrenir. 6. GSS, Reservation Service bileşeninden olumlu bir yanıt alamazsa iş kuyruktan atılır. Aksi takdirde, GSS, işin beklenen iş başlangıç zamanında çalışmaya başlayabilmesi için gerekli olan verilerin zamanında işlem elemanında ve sitede olup/olamayacağı belirler.

12 a. GSS, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, beklenen iş başlangıç zamanı] zaman aralığında ağdaki her bir link için linkin minimum kullanılabilir bant genişliğini öğrenir. b. GSS, Reservation Service bileşenini sorgulayarak, [beklenen iş başlangıç zamanı, iş son zamanı] zaman aralığında site ağ anahtarı-işlem elemanı ve veri depolama elemanı-ağ anahtarı arasında bulunan her bir link için linkin minimum kullanılabilir bant genişliğini öğrenir. c. İşle ilgili sitede bulunmayan her bir veri için: i. Verinin transferi için minimum bant genişliği gereksinimi (verinin büyüklüğü / (iş son zamanı - beklenen iş başlangıç zamanı)) olarak belirlenir. ii. Kaynak: İlgili veriye sahip herhangi bir sitenin veri depolama elemanı ve Hedef: İşlem elemanının bulunduğu sitedeki herhangi bir veri depolama elemanı olmak üzere, Dijkstra nın en kısa yol algoritmasını kullanarak kaynaktan hedefe sadece bant genişliği yeterli olan linkler (kullanılabilir bant genişliği minimum bant genişliği gereksiniminden büyük olanlar) kullanılarak bir yol bulunur. iii. Eğer kaynaktan hedefe bir yol bulunamazsa sıradaki bir sonraki işlem elemanı için (ii) maddesine dönülür. Eğer bir yol bulunursa, 1. Hedef veri depolama elemanını ilgili işlem elemanına bağlayan yol üzerindeki linklerin [beklenen iş başlangıç zamanı, iş son zamanı] zaman aralığında (verinin büyüklüğü / (iş son zamanı - beklenen iş başlangıç zamanı)) kadar kullanılabilir bant genişliği olup/olmadığı sorgulanır. Eğer hedef veri depolama elemanını ilgili işlem elemanına bağlayan bir yol bulunamazsa, sıradaki bir sonraki işlem elemanı için (ii) maddesine dönülür. Eğer bir yol bulunursa, sonraki adıma geçilir. 2. Verinin kaynak siteden hedef siteye transferi ve hedef veri depolama elemanından ilgili işlem elemanına transferi sırasında kullanılan linklerin kullanılabilir bant genişlikleri (verinin büyüklüğü / (iş son zamanı - beklenen iş başlangıç zamanı)) kadar azaltılır. 7. Eğer iş için gerekli olan verilerin işin başlangıç zamanından önce bir sitede olması, iş bitine kadar bu sitede kalması ve sitedeki ilgili işlem elemanına yönlendirilebilmesi garanti edilebiliyorsa, iş bu işlem elemanına atanır. GSS işin başarılı bir biçimde tamamlanabilmesi için gerekli olan tüm hesaplama, ağ ve veri depolama kaynakları için Reservation Service bileşenine ilgili rezervasyon isteklerini gönderir GSS Algoritma-2: En Erken Son Zaman İlk 1. Çevrim dışı çalışır. 3. İş çizelgeleme olayı periyodik olarak oluştuğunda, kuyrukta bekleyen işler son zamanlarına göre küçükten büyüğe dizilir. Bu sıraya göre kuyrukta bekleyen her bir iş için 4-6. adımlar tekrar edilir. 4. İş için beklenen iş başlangıç zamanı bu işlem elemanı için hesaplanır.

13 a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 5. GSS, Reservation Service bileşenini sorgulayarak, [beklenen başlangıç, iş son zamanı] zaman aralığında işi tamamlayabilecek kadar işlem kapasitesi olup/olmadığını öğrenir. 6. GSS, Reservation Service bileşeninden olumlu bir yanıt alamazsa iş kuyruktan atılır. Aksi takdirde, GSS, işin beklenen iş başlangıç zamanında çalışmaya başlayabilmesi için gerekli olan verilerin zamanında işlem elemanında ve sitede olup/olamayacağı Bölüm de anlatıldığı gibi belirler. 7. Eğer iş için gerekli olan verilerin işin başlangıç zamanından önce bir sitede olması, iş bitine kadar bu sitede kalması ve sitedeki ilgili işlem elemanına yönlendirilebilmesi garanti edilebiliyorsa, iş bu işlem elemanına atanır. GSS işin başarılı bir biçimde tamamlanabilmesi için gerekli olan tüm hesaplama, ağ ve veri depolama kaynakları için Reservation Service bileşenine ilgili rezervasyon isteklerini gönderir GSS Algoritma-3: En Hızlı İşlem Elemanı İlk 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Replica Location Service bileşenini sorgulayarak işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 5. GSS, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 6. GSS, Reservation Service bileşeni tarafından kendisini bildirilen her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 7. İşlem elemanları beklenen iş başlangıç zamanına göre büyükten-küçüğe sıraya dizilir. 8. İlk sıradaki işlem elemanından başlayarak, işin çalışabilmesi için gerekli olan verilerin zamanında işlem elemanında ve sitede olup/olamayacağı Bölüm de anlatıldığı belirlenir. 9. Eğer iş için gerekli olan verilerin işin başlangıç zamanından önce bir sitede olması, iş bitine kadar bu sitede kalması ve sitedeki ilgili işlem elemanına yönlendirilebilmesi garanti edilebiliyorsa, iş bu işlem elemanına atanır. GSS işin başarılı bir biçimde tamamlanabilmesi için gerekli olan tüm hesaplama, ağ ve veri depolama kaynakları için Reservation Service bileşenine ilgili rezervasyon isteklerini gönderir GSS Algoritma-4: En Hızlı İşlem Elemanı İlk Veri Var

14 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Replica Location Service bileşenini sorgulayarak işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 5. GSS, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 6. GSS, Reservation Service ve Replica Location Service bileşenleri sorgularına bağlı olarak iki durumla karşılaşabilir: a. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden hiçbirisi, işin ihtiyaç duyduğu bir veriye sahip olmayabilir. Bu durumda, iş Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarından herhangi birisine çizelgelenir. b. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden birisi veya birden fazlası, işin ihtiyaç duyduğu en az bir veriye sahip olabilir. Bu durumda, iş, Reservation Service bileşeninin bildirmiş olduğu işlem elemanları arasından, sadece veriye sahip sitelerde bulunan işlem elemanlarının herhangi birisine çizelgelenir. 7. GSS, Madde-6 ya göre belirlenmiş olan her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 8. İşlem elemanları beklenen iş başlangıç zamanına göre büyükten-küçüğe sıraya dizilir. 9. İlk sıradaki işlem elemanından başlayarak, işin çalışabilmesi için gerekli olan verilerin zamanında işlem elemanında ve sitede olup/olamayacağı Bölüm de anlatıldığı gibi belirlenir. 10. Eğer iş için gerekli olan verilerin işin başlangıç zamanından önce bir sitede olması, iş bitine kadar bu sitede kalması ve sitedeki ilgili işlem elemanına yönlendirilebilmesi garanti edilebiliyorsa, iş bu işlem elemanına atanır. GSS işin başarılı bir biçimde tamamlanabilmesi için gerekli olan tüm hesaplama, ağ ve veri depolama kaynakları için Reservation Service bileşenine ilgili rezervasyon isteklerini gönderir GSS Algoritma-5: Yığın En Hızlı İşlem Elemanı İlk Veri Var 1. Çevrim dışı çalışır. 3. GSS, Grid Information Service bileşenini sorgulayarak sistemdeki her bir işlem elemanın işlem kapasitesini (MIPS) öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. GSS, Replica Location Service bileşenini sorgulayarak, kuyrukta bekleyen her bir iş için, işin gereksinim duyduğu verileri bulunduran siteleri öğrenir. 5. GSS, Reservation Service bileşenini sorgulayarak, kuyrukta bekleyen her bir iş için, [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son

15 zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan işlem elemanlarını öğrenir. 6. GSS, Reservation Service ve Replica Location Service bileşenleri sorgularına bağlı olarak, kuyrukta bekleyen her bir iş için, iki durumla karşılaşabilir: a. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden hiçbirisi, işin ihtiyaç duyduğu bir veriye sahip olmayabilir. Bu durumda, iş Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarından herhangi birisine çizelgelenir. b. Reservation Service bileşeninin bildirmiş olduğu işlem elemanlarının ait olduğu sitelerden birisi veya birden fazlası, işin ihtiyaç duyduğu en az bir veriye sahip olabilir. Bu durumda, iş, Reservation Service bileşeninin bildirmiş olduğu işlem elemanları arasından, sadece veriye sahip sitelerde bulunan işlem elemanlarının herhangi birisine çizelgelenir. 7. GSS, kuyrukta bekleyen her bir iş için, Madde-6 ya göre belirlenmiş olan her bir işlem elemanı için beklenen iş başlangıç zamanını hesaplar: a. Beklenen iş başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 8. Kuyrukta bekleyen işler arasından, her bir adımda, bir iş ve bu işin atanacağı bir site şu şekilde belirlenir: a. Kuyruktaki her bir iş için, maksimum beklenen iş başlangıç zamanını ve bu zamanı sağlayan işlem elemanını bul. b. İş ve işlem elemanı çiftlerini, maksimum beklenen iş başlangıç zamanına göre büyükten küçüğe sıraya diz. c. İlk sıradaki çift (iş A, ce A ) olsun. İşin (iş A ) işlem elemanı (ce A ) üzerine çizelgelenebilmesi için, madde-9 daki adımlar takip edilerek işle ilgili verilerin zamanında sitede olup/olamayacağı belirlenmeye çalışılır. d. İş (iş A ), iş işlem elemanı (ce A ) üzerine atansın veya atanmasın, kuyruktan silinir. e. Eğer işin (iş A ) işlem elemanı (ce A ) üzerine çizelgelenebileceğine karar verilirse, işlem elemanı (ce A ) kuyruktaki diğer işlerin çizelgelemesinde artık kullanılmaz. 9. İşin çalışabilmesi için gerekli olan verilerin zamanında işlem elemanında ve sitede olup/olamayacağı şu şekilde Bölüm de anlatıldığı gibi belirlenir Dağıtık İş Çizelgeleme Algoritmaları (Model-IV) Dağıtık iş çizelgeleme modelinde, hiyerarşik ve merkezi iş çizelgeleme yaklaşımlarında bulunan merkezi Grid Scheduling Service bileşeni ve bu bileşen kapsamında çalışan merkezi iş çizelgeleme algoritması bulunmaz. Dağıtık iş çizelgeleme modelinde işler, Site Job Submission Service bileşeni tarafından kabul edildikten sonra sitenin Site Scheduling Service bileşenine yönlendirilirler. Site Scheduling Service bileşeni kendisine gelen bu işleri mümkünse site içindeki bir işlem elemanında çalıştırır; mümkün değilse, başka bir siteye gönderir. Dolayısıyla, Site Scheduling Service bileşenine hem sitenin Site Job Submission Service bileşeninden hem de başka sitelerin Site Scheduling Service bileşenlerinden iş gelebilir.

16 Dağıtık iş çizelgeleme yaklaşımlarında, sitelerin dağıtık bir şeklide iş paylaşabilmeleri için bir mekanizmaya ihtiyaç duyulmaktadır. DGridSim dağıtık iş paylaşımına temel oluşturabilmek için, state-change broadcast to buddy set mekanizmasını içermektedir. Bu mekanizmada, öncelikli olarak, siteler birden fazla gruplara (buddy set) ayrılırlar. Aynı buddy set içindeki siteler aralarında iş paylaşımı yapabilmek için, birbirlerinin yük durumlarını takip ederler. Sitelerin yük durumu (CET, sitede çalışmakta olan işlerin toplam işlem zamanları) üç eşik değerine bağlı olarak aşağıdaki gibi belirlenir: 1. Az-yüklü: CET TH u Az yüklü bir site aşırı yüklü sitelerden iş kabul edebilir. 2. Orta-yüklü: TH u < CET TH f. 3. Tam-yüklü: TH f < CET TH v. Tam yüklü site, başka sitelerden iş kabul etmez ve başka sitelere iş göndermez. 4. Aşırı-yüklü: CET > TH v. Aşırı yüklü bir site, üzerine gelen işleri az yüklü başka sitelere transfer etmeyi çalışır. Eğer, iş bu sitede çalıştırılamazsa veya az yüklü başka bir site bulunamazsa, iş reddedilir. Bir site şu iki olay oluştuğunda buddy set indeki diğer sitelere yük durumu ile ilgili bilgilendirme yapar: az-yüklü durumdan tam-yüklü duruma geçtiği zaman veya tam-yüklü durumdan az-yüklü duruma geçtiği zaman SSS Algoritma-1: Gerçek Zamanlı MinMax ile İş Paylaşımı 3. SSS, Local Information Service bileşenini sorgulayarak sitedeki her bir işlem öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. SSS bileşeni, sitede çalışmasını tamamlayan her bir iş sonunda, sitenin yeni CET değerini hesaplar. Eğer yeni CET değeriyle birlikte site az-yüklü duruma gelirse, SSS bileşeni buddy set indeki sitelere az-yüklü olduğunu bildirir. 5. SSS, Local Reservation Service bileşenini sorgulayarak [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan site işlem elemanlarını öğrenir. 6. SSS iki farklı durumla karşılaşabilir: a. Local Reservation Service bileşeni istenen şartları sağlayan hiçbir işlem elemanı bulamaz. Bu durumda, SSS bileşeni sitenin yük durumuna göre aşağıdaki eylemlerden birisini yapar: i. Site aşırı-yüklü ise: SSS bileşeni, sitenin buddy set indeki sitelerden en az bir tanesi az-yüklü ise, iş bu az yüklü sitelerden birisine rasgele bir biçimde gönderir. ii. Site aşırı-yüklü değilse: SSS bileşeni iş reddeder. b. Local Reservation Service bileşeni istenen şartları sağlayan bir veya birden fazla işlem elemanı bulursa, SSS bileşeni 6-8 adımlarını ifa eder. 7. İş için beklenen çalışma başlangıç zamanı her bir işlem elemanı için hesaplanır.

17 a. Beklenen çalışma başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 8. İşlem elemanları, beklenen çalışma başlangıç zamanına göre, küçükten büyüğe sıraya dizilirler. 9. İş ilk sıradaki işlem elemanına atanır. a. SSS bileşeni, işin atamasını gerçekleştirdikten sonra, sitenin yeni CET değerini hesaplar. Eğer yeni CET değeriyle birlikte site tam-yüklü olarak duruma gelirse, SSS bileşeni buddy set indeki sitelere tam-yüklü olduğunu bildirir SSS Algoritma-2: Gerçek Zamanlı MaxMax ile İş Paylaşımı 3. SSS, Local Information Service bileşenini sorgulayarak sitedeki her bir işlem öğrenir. Bu sorgulama algoritma çalışmaya başlarbaşlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 4. SSS bileşeni, sitede çalışmasını tamamlayan her bir iş sonunda, sitenin yeni CET değerini hesaplar. Eğer yeni CET değeriyle birlikte site az-yüklü duruma gelirse, SSS bileşeni buddy set indeki sitelere az-yüklü olduğunu bildirir. 5. SSS, Local Reservation Service bileşenini sorgulayarak [şimdiki zaman, iş son zamanı] zaman aralığında (işin büyüklüğü / (iş son zamanı-şimdiki zaman)) kadar veya daha fazla işlem kapasitesine sahip olan site işlem elemanlarını öğrenir. 6. SSS iki farklı durumla karşılaşabilir: a. Local Reservation Service bileşeni istenen şartları sağlayan hiçbir işlem elemanı bulamaz. Bu durumda, SSS bileşeni sitenin yük durumuna göre aşağıdaki eylemlerden birisini yapar: i. Site aşırı-yüklü ise: SSS bileşeni, sitenin buddy set indeki sitelerden en az bir tanesi az-yüklü ise, iş bu az yüklü sitelerden birisine rasgele bir biçimde gönderir. ii. Site aşırı-yüklü değilse: SSS bileşeni iş reddeder. b. Local Reservation Service bileşeni istenen şartları sağlayan bir veya birden fazla işlem elemanı bulursa, SSS bileşeni 6-8 adımlarını ifa eder. 7. İş için beklenen çalışma başlangıç zamanı her bir işlem elemanı için hesaplanır. a. Beklenen çalışma başlangıç zamanı = İş son zamanı - İşin büyüklüğü (MI)/ İşlem 8. İşlem elemanları, beklenen çalışma başlangıç zamanına göre, büyükten küçüğe sıraya dizilirler. 9. İş ilk sıradaki işlem elemanına atanır. a. SSS bileşeni, işin atamasını gerçekleştirdikten sonra, sitenin yeni CET değerini hesaplar. Eğer yeni CET değeriyle birlikte site tam-yüklü olarak duruma gelirse, SSS bileşeni buddy set indeki sitelere tam-yüklü olduğunu bildirir.

18 3. Veri Dağıtımı Algoritmaları DGridSim, Veri Grid Sistem Modelleri Dokümanı nda açıklandığı gibi, iki farklı veri dağıtımı modelini desteklemektedir modelini desteklemektedir. 1. Hiyerarşik veri dağıtımı modeli: Bu modelde merkezi olarak çalışan Data Management Service bileşeni ve her bir sitede çalışan Local Data Management Service bileşeninden oluşan iki katmanlı bir hiyerarşi bulunur. a. Local Data Management Service bileşeni, siteye gelen işlerin veri isteklerinin yerel veya uzak veri depolama elemanlarından karşılanmasını sağlar. Local Data Management Service bileşeni, eğer işin ihtiyaç duyduğu veri yerel veri kopyalama elemanı tarafından sağlanabiliyorsa, veri kopyalama elemanı ve işlem elemanı arasındaki iki adet link için Local Reservation Service bileşenine rezervasyon isteğinde bulunur. Bu yerel rezervasyon işlemleri için herhangi bir veri dağıtımı algoritmasına ihtiyaç duymamaktadır. Local Data Management Service bileşeni, eğer işin ihtiyaç duyduğu veri yerel veri kopyalama elemanı tarafından sağlanamıyorsa, Data Management Service bileşenine veriyi uzak bir siteden bu siteye kopyalaması için bir veri transferi isteği gönderir. b. Data Management Service bileşeni ise siteden-siteye verilerin kopyalanmasının koordinasyonunu sağlar. Data Management Service, sitelerden gelen veri transferi isteklerini kabul eder ve bu isteklerden olabilecek azami sayıda karşılayabilmek için, bir veri dağıtımı algoritmasını kullanır. 2. Merkezi veri dağıtımı modeli: Bu modelde sadece merkezi olarak çalışan Data Management Service bileşeni bulunur. Hiyerarşik modelde olduğu gibi, Local Data Management Service bileşeni sitelerde bulunmaz. Data Management Service bileşeni, Grid Scheduling Service tarafından gönderilen veri transferi istekleri kapsamında, gerek siteden-siteye verilerin kopyalanmasını gerekse verilerin site içindeki veri depolama elemanından işlem elemanına transfer edilmesini sağlar. Tüm bu veri transferleri çizelgeleyebilmek için bir veri dağıtımı algoritması kullanır. Sonuç olarak, her ne kadar hiyerarşik ve merkezi veri dağıtımı modellerinde izlenen süreçler birbirinden farklı olsa da, her iki modelde de ortak olan nokta şudur: Merkezi Data Management Service bileşeni kapsamında çalışan bir veri dağıtımı algoritması veri transferlerinin çizelgelemesinde kullanılmaktadır. Dolayısıyla, aşağıdaki bölümlerde önerilen veri dağıtımı algoritmalarını DGridSim hem hiyerarşik hem de merkezi veri dağıtımı modeli için kullanmaktadır. DGridSim mevcut durumunda sadece Minimum Delay First algoritmasını desteklemektedir. Mustafa Müjdat Atanak, doktora tezi çalışması kapsamında geliştirmiş olduğu tek rotadan ve çoklu rotadan veri transferi algoritmalarını DGridSim e ilerleyen zaman içinde ekleyecektir.

19 3.1. En Az Gecikme Hazır Yol İlk 1. Çevrim dışı çalışır. 2. DRS bileşeni, Grid Information Service bileşenini sorgulayarak veri grid sisteminin ağ topolojisini öğrenir. Bu sorgulama algoritma çalışmaya başlar-başlamaz bir kez yapılır ve benzetim sona erene kadar tekrar edilmez. 3. DRS bileşeni, Replica Location Service bileşenini sorgulayarak veri transferi için kaynak olabilecek siteleri öğrenir. 4. DRS bileşeni, Reservation Service bileşenini sorgulayarak, [şimdiki zaman, veri transferi son zamanı] zaman aralığında (verinin büyüklüğü / (veri transferi son zamanı-şimdiki zaman)) kadar veya daha fazla bant genişliği kapasitesine sahip olan linkleri öğrenir. 5. DRS bileşeni, orijinal ağ topolojisini Reservation Service bileşeninin cevabına bağlı olarak günceller: Yeterli bant genişliğine sahip linkler ağ topolojisinde kalırken, diğer tüm linkleri siler. 6. DRS bileşeni, Dijkstra nın en kısa yol algoritmasını çalıştırır: kaynak olarak hedef site alınır ve linklerin ağırlığı olarak linklerin gecikmeleri kullanılır. Dolayısıyla, Dijkstra nın en kısa yol algoritması hedef siteden diğer tüm ulaşılabilir sitelere olan en kısa yolları (en az gecikmeye sahip) bulur. 7. DRS bileşeni iki farklı durumlar karşılaşabilir: a. Linkler orijinal topolojiden silindikten sonran, hiç bir kaynak site ulaşılabilir olmayabilir. Bu durumda veri transferi isteği reddedilir. b. Linkler orijinal topolojiden silindikten sonran, bir veya birden fazla kaynak site ulaşılabilir olabilir. Bu durumda, veri transferi için en kısa yol seçilir.

20 4. Veri Kopyalama Algoritmaları DGridSim simülatörünü literatürdeki diğer simülatörlerden ayıran en önemli özelliklerinden biriside, DGridSim in literatürde bugüne kadar önerilmiş olan tüm veri kopyalama yaklaşımlarını hem federal hem de hiyerarşik veri organizasyonu modeli için destekliyor olmasıdır. Literatürde kabul görmüş ve yaygın olarak kullanılan simülatörler genellikle tek bir veri kopyalama yaklaşımını sadece belirli bir veri organizasyonu modeli için desteklemektedirler. DGridSim kullanıcıları literatürde kabul görmüş iki farklı veri organizasyonu modelinden birisini seçebilmektedirler: 1. Federal veri organizasyonu modeli: Veri Grid sistemindeki her bir sitede veri depolama birimi bulunmaktadır. Verilerin birincil kopyaları, benzetim öncesinde, rasgele bir biçimde sitelerdeki veri depolama elemanların dağıtılırlar. Benzetim süresince, birincil kopyalar bulunmuş oldukları veri depolama elemanlarından silinmezler. Veri kopyalama algoritmaları, verileri bir siteden diğerine kopyalarlar. Verilerin birincil kopyaları haricindeki tüm veriler, veri yenileme algoritmasının kontrolünde, bulundukları veri depolama elemanlarından silinebilirler. 2. Hiyerarşik veri organizasyonu modeli: Veri Grid sistemindeki siteler üç farklı hiyerarşi seviyesinde gruplandırılmışlardır. Hiyerarşi-0 seviyesinde sadece veri depolama elemanlarına sahip tek bir site bulunur ve başlangıçta tüm verinin birincil kopyalarının bu sitede depolandığı kabul edilir. Federal modelde olduğu gibi, benzetim süresince, birincil kopyalar Hiyerarşi-0 veri depolama elemanlarından silinmezler. Hiyerarşi-0 sitenin altında yine sadece veri depolama elemanlarına sahip birden fazla Hiyerarşi-1 site bulunur. Her bir Hiyerarşi-1 sitenin altında ise bir veya birden fazla hem veri depolama elemanına sahip Hiyerarşi-2 site(ler) bulunur. Veriler, Hiyerarşi-0 siteden Hiyerarşi-1 sitelere ve Hiyerarşi-1 sitelerden Hiyerarşi-2 sitelere sırasıyla kopyalanır. Verilerin birincil kopyaları haricindeki tüm veriler, veri yenileme algoritmasının kontrolünde, Hiyerarşi-1 ve 2 sitelerdeki veri depolama elemanlarından silinebilirler. Literatürdeki veri kopyalama algoritmalarını, veri organizasyonu modelinden bağımsız olarak, üç farklı grupta toplayabiliriz: Çekme tabanlı dağıtık algoritmalar, İtme tabanlı dağıtık algoritmalar ve İtme tabanlı merkezi algoritmalar. DGridSim hem federal hem de hiyerarşik veri organizasyonu modeli için, literatürde bugüne kadar önerilmiş olan üç farklı veri kopyalama yaklaşımını seçilen Veri Grid sistemine bağlı olarak şu şekilde desteklemektedir: 1. Model-I, II ve Model-IV Veri Grid sistemleri için, DGridSim üç farklı veri kopyalama yaklaşımını da desteklemektedir. a. Dağıtık - çekme tabanlı algoritmalar: Local Data Replication Service (LDRS) bileşeni veri kopyalama algoritmasını gerçekler. LDRS bileşeni çevrim dışı olarak Data Manager bileşenine veri transferi isteklerini gönderir.

21 b. İtme tabanlı dağıtık algoritmalar: Local Data Replication Service (LDRS) bileşeni veri kopyalama algoritmasını gerçekler. LDRS bileşeni çevrim dışı olarak Data Manager bileşenine veri transferi isteklerini gönderir. c. İtme tabanlı merkezi algoritmalar: Data Replication Service (DRS) bileşeninde gerçekleştirilir. DRS çevrim dışı olarak Data Manager bileşenine veri transferi isteklerinde bulunur. 2. Model-III Veri Grid sistemleri için, DGridSim sadece itme tabanlı merkezi veri kopyalama yaklaşımını yukarıda açıklandığı gibi desteklemektedir Dağıtık Çekme Tabanlı Veri Kopyalama Algoritmaları Federal-LFU ve Hiyerarşik-LFU algoritmalarının farkı, veri kopyalama isteği oluşturulurken kaynak sitenin seçiminde ortaya çıkmaktadır Federal-LFU/Hiyerarşik-LFU 1. Çevrim dışı çalışır ve dinamik bir algoritmadır. 2. LDRS bileşeni tarafından gerçeklenir. 3. LDRS bileşeni ait olduğu sitenin diğer sitelerden istemiş olduğu her bir veri için şu istatistiki bilgiyi tutar: Veriye yapılan istek sayısı. 4. LDRS bileşeni verilere yapılan istek sayısı istatistiklerini takip eder. LDRS bileşeninde veri kopyalama süreci, herhangi bir veriye yapılan istek sayısı belirli bir eşik değerini geçtiği andan itibaren başlar. LDRS bileşeni veri kopyalama sürecini 5-8 adımlarıyla gerçekleştir. 5. Siteye kopyalanacak veri, verilere yapılan istek sayısı bakımından en büyük değere sahip olan veri olarak belirlenir. 6. LDRS verinin sitede bulunup/bulunmadığını sorgular. a. Eğer veri sitede varsa, LDRS bileşeni veri transferi isteğinde bulunmaz. Ancak, LDRS bileşeni bu veriyi, veri kopyalama süreci yoluyla kopyalanmış veri olarak işaretler. Bu işaretleme sayesinde, LFU veri yenileme algoritması bu veriyi geçici olarak veri depolama elemanında bulunan verilerle birlikte değerlendirmez ve veri daha uzun bir süre veri depolama elemanında kalır. 7. Eğer veri sitede yoksa, LDRS bileşeni verinin siteye kopyalanabilmesi için Data Manager bileşenine bir istek mesajı gönderir ve bu veriyle ilgili istatistikleri sıfırlar. Data Manager bileşeni bu verinin siteye kopyalanmasını gerçekleştirir. a. Kaynak site (Federal): Veri dağıtımı algoritması tarafından belirlenir ve istenen veriye sahip sitelerden birisi olarak seçilir. b. Kaynak site (Hiyerarşik): Veri dağıtımı algoritması tarafından belirlenir ve veri isteğinde bulunan sitenin Hiyerarşi-1 ebeveyn sitesi veya Hiyerarşi-0 site olarak seçilir. c. Hedef site (Federal/Hiyerarşik): veri kopyalama isteğinde bulunan site.

22 4.2. Dağıtık-İtme Tabanlı Veri Kopyalama Algoritmaları Federal-Basamaklama ve Hiyerarşik- Basamaklama algoritmalarının farkı, veri kopyalama isteği oluşturulurken hedef sitenin seçiminde ortaya çıkmaktadır Gerçek-Zamanlı, Federal-Basamaklama/Hiyerarşik-Basamaklama 1. Çevrim dışı çalışır ve dinamik bir algoritmadır. 2. LDRS bileşeni tarafından gerçeklenir. 3. LDRS bileşeni ait olduğu sitenin diğer sitelerden istemiş olduğu her bir veri için şu istatistiki bilgiyi tutar: Veriye her bir site tarafından yapılan toplam istek sayısı, Veriye her bir site tarafından yapılan isteklerin son zamanlarının toplamı, Veriye en son istekte bulunan site. 4. LDRS bileşeni verilere yapılan istek sayısı istatistiklerini takip eder. LDRS bileşeninde veri kopyalama süreci, herhangi bir veriye yapılan istek sayısı belirli bir eşik değerini geçtiği andan itibaren başlar. LDRS bileşeni veri kopyalama sürecini 5-8 adımlarında gerçekleştir: 5. LDRS bileşeni kopyalanacak veriyi, verilerin ağırlıklı değerlerini hesapladıktan sonra, verinin ağırlıklı değeri bakımından en büyük değere sahip olan veri olarak belirler. Verilerin ağırlıklı değerleri aşağıdaki gibi hesaplanır. a. Verinin ağırlıklı değeri = a 1 x (verinin tablo 1 deki sırası) + a 2 x (verinin tablo 2 deki sırası) b. tablo 1: verilerin toplam istek sayısına göre büyükten küçüğe sıralandığı tablo c. tablo 2: verilerin ortalama son zamana (son zamanların toplamı/toplam istek sayısı) göre küçüğe büyüğe sıralandığı tablo d. a 1 0 : toplam istek sayısının veri seçimindeki önemi; a 2 0 : toplam son zamanın veri seçimindeki önemi; a 1 + a 2 = 1 6. LDRS bileşeni önceki adımda seçilen verinin kopyalanacağı siteyi, bu veriyi isteyen siteler için sitelerin ağırlıklı değerlerini hesapladıktan sonra, sitelerin ağırlıklı değeri bakımından en büyük değere sahip olan site olarak belirler. Verilerin ağırlıklı değerleri aşağıdaki gibi hesaplanır. a. Sitenin ağırlıklı değeri = b 1 x (sitenin tablo 1 deki sırası) + b 2 x (sitenin tablo 2 deki sırası) b. tablo 1: sitelerin önceki adımda seçilen veriye yapmış oldukları istek sayılarına göre büyükten küçüğe sıralandığı tablo c. tablo 2: sitelerin önceki adımda seçilen veriye yapmış oldukları isteklerin son zamanlarının ortalamalarına göre küçükten büyüğe sıralandığı tablo d. b 1 0 : toplam istek sayısının site seçimindeki önemi; b 2 0 : toplam son zamanın site seçimindeki önemi; b 1 + b 2 = 1 7. LDRS bileşeni seçilen verinin belirlenen siteye kopyalanabilmesi için Data Manager bileşenine bir veri transferi istek mesajı gönderir ve bu veriyle ilgili istatistikleri sıfırlar. Data Manager bileşeni bu verinin ilgili hedef siteye kopyalanmasını gerçekleştirir. a. Kaynak site (Federal/hiyerarşik): veri kopyalama isteğinde bulunan site; b. Hedef site (Federal): veri kopyalama algoritmasının diğer tüm siteler içinden karar verdiği diğer bir site.