DGridSim Gerçek Zamanlı Veri Grid Simülatörü. Yazılım Tasarımı Dokümanı v Mustafa Atanak Sefai Tandoğan Doç. Dr.

Transkript

1 DGridSim Gerçek Zamanlı Veri Grid Simülatörü Yazılım Tasarımı Dokümanı v Mustafa Atanak Sefai Tandoğan Doç. Dr. Atakan Doğan

2 1. Sistem Mimarisi DGridSim katmanlı bir yapı göz önünde bulundurularak tasarlanmıştır (Şekil 1). Bu sayede örneğin en alt katmanda bulunan simülasyon motoru değiştirildiğinde üst katmanların asgari şekilde etkilenmesi ön görülmüştür. Şekil 1: Sistem mimarisi. DGridSim yazılımının kalbinde CSIM simülasyon kütüphanesi yer almaktadır. Bu kütüphane Mesquito Software tarafından üretilen geliştirme ücretli ve lisanslı bir yazılımdır. Ancak geliştirme tamamlandıktan sonra CSIM Çalışma Zamanı Kütüphanesi kullanılarak dağıtım yapılabilmektedir. Bu nedenle CSIM kütüphanesinin, açık kaynak kodlu ve ücretsiz olarak tasarlanan DGridSim yazılımında kullanılabilmesi için CSIM Çalışma Zamanı Kütüphanesi ile çalışacak şekilde derlenmiş dgsbase kütüphanesi tasarlanmıştır. Bu kütüphane doğrudan altseviye simülasyon kodu geliştirmek isteyen kişiler tarafından kullanılabilecektir. Ayrıca DGridSim yazılımı da benzer bir yol izleyerek, üst-seviye fonksiyonlarını bu kütüphane üzerine kurmaktadır. GCL (Grid Component Library), bu şekilde hazırlanmış temel Grid bileşenlerini temsil eden ara yüzlerden oluşmaktadır. Bu ara yüzler literatürde kabul görmüş var olan standartlar ve referans modeller göz önünde bulundurularak hazırlanmıştır. Henüz standartlaştırılamamış bileşenler için DGridSim kendi modellerini önerip kullanmaktadır ve kullanıcıların da kendi modellerini geliştirmelerine olanak sunacak şekilde tasarlanmıştır. Bu ara yüzler ve 4. bölümlerde anlatılmıştır.

3 User Code seviyesi 3. ve 4. Bölümlerde anlatılan İş Çizelgeleme ve Veri Çizelgeleme algoritmalarının gerçeklendiği bölümdür. GCL kullanılarak gerçeklenen modeller simülasyonu yapılan Veri Grid ini oluşturan Servisler, Kaynaklar ve yardımcı sınıflardan oluşmaktadır. GUI (Graphical User Interface) katmanı, simülatörün genel özelliklerinin değiştirilebileceği, simülasyon parametrelerinin belirlenebileceği ve istenirse simüle edilen Veri Grid i modellerinin görüntülenebileceği bir grafik ara birimidir.

4 2. Servis Mimarisi Veri Grid yapılarındaki bileşenler iki ana başlık altında toplanabilir, Kaynak Bileşenleri ve Servis Bileşenleri. Kaynak bileşenleri doğrudan yalın programlama nesneleri gibi görülebilirler, belirli özelliklere sahiptirler fakat içerilerinde her hangi bir iş mantıkları yoktur. Örneğin, Depolama Elemanının, disk alanı, okuma/yazma hızı, erişim süresi gibi özellikleri bulunur, ancak her hangi bir fonksiyonu mevcut değildir. Pasif bir eleman olduğu için üzerinde gerçekleştirilmesi gereken işlemler bir Depolama Yöneticisi aracılığıyla sağlanır. Bu Depolama Yöneticisi ise Grid mimarisinde bir Servis Bileşenidir. Servis Bileşenleri, Kaynak Bileşenlerinin aksine aktif elemanlardır. Bir kuyruğu yönetebilirler (Eşzamansız), doğrudan fonksiyon çağrılarıyla hizmet verebilirler (Eşzamanlı) ya da melez bir yapıya sahip olabilirler. Şekil 2: Temel servis bileşenleri. Eşzamansız servisler çoğunlukla Çizelgeleme servisleridir. İş Çizelgeleme ya da Veri Çizelgeleme servisleri bir kuyruk üzerinde Grid işlerini ya da veri transferi isteklerini bir çizelgeleme algoritması kullanarak işlerler. Eşzamanlı olanlar ise genellikle Bilgi Servisleridir. Çizelgeleme servisleri karar aşamasında Bilgi Servislerini kullanabilirler. Çizelgeleme servisleri bir kuyruk yönetimi olmadan çevrimiçi de çalışabilirler, bu durumda Eşzamanlı bir servis haline gelirler. Ayrıca Çizelgeleme Servislerinde, iş ya da veri transferi isteği üzerinde kuyruğa eklenmeden önce işlem yapılması gerekebilir, bu durumda bu Çizelgeleme Servisi Melez bir servis haline gelir. Burada ihtiyaç duyulan Eşzamanlı/Eşzamansız ve Melez yapıları destekleyebilecek olan servis tasarımları Şekil 2 de verilmiştir. Tek bir ara yüz yerine üç farklı ara yüz tanımlanmasının sebebi kod basitliğini/anlaşılabilirliğini sağlamak ve daha önemlisi şu anda öngörülemeyen yeni bir mimariye ihtiyaç duyulduğunda var olan gerçeklemeleri bozmadan gerekli değişikliklerin yapılabilmesine olanak sağlamaktır.

5 3. İş Çizelgeleme Grid işinin çalıştırılması için, Grid üzerindeki kaynakların etkileşimini kontrol eden bir yapıya ihtiyaç vardır. Bu yapı Grid seviyesinde ya da yerel seviyede (site) farklı algoritmalar çalıştırıp farklı Bilgi Servisleri kullanabilir. Bu yapıya İşdüzenleyici (Scheduler) denir, DgridSim yazılımında İş Çizelgeleme Servisi bu yapıyı karşılayacaktır. İş Çizelgeleme Servisinin işleyişi Şekil 3 de gösterilmiştir. İş tanımlama konusununda literatürde kabul görmüş olan JSDL 1 tanımlaması mevcuttur. Ancak JSDL, XML tabanlı olduğundan doğrudan simülasyon içerisinde kullanılması hem simülasyon için iş tanımlanmasını zorlaştıracak, örneğin iş simüle etmek için adet XML dosyası oluşturmak, hem de XML işlenmesi simülatörün çalışma süresini arttıracaktır. Bu nedenle simülasyon ortamında geçerli olan JSDL tanımlamalarını gösteren yalın bir nesne sınıfı oluşturulmalıdır. Şekil 3: İş çizelgeleme servisi. İş Çizelgeleme işlemi OGSA 2 dokümanında şu şekilde tanımlanmıştır: İş tanımı JSDL formatından Grid Sistemi Servislerinin üzerinde anlaştığı bir yapıya dönüştürülür (doğrudan JSDL i de kullanmak mümkündür) İş tanımındaki kaynak istekleri göz önünde bulundurularak bir kaynak adayları kümesi oluşturulur/sorgulanır. (CSG:Candidate Set Generator) Eğer gerekliyse bir Bilgi Servisinden bu kaynaklar ile ilgili güncel bilgiler alınır. Bir optimizasyon algoritması yardımıyla gerekli kaynaklar seçilir. Bu aşamada, 4. Bölümde anlatılan Veri Dağıtımı planlaması DMS/DM 3 üzerinden yapılmaktadır. 1 Job Submission Description Language, 2 Oen Grid Services Architecture,

6 Çizelgeleme sonucunda bir Site seçilmişse Siteye, bir işlemci kümesi seçilmişse kümeyi yöneten sorumlu Servise emir/bilgi gönderilerek işlem tamamlanır. Simülatörün yapısı gereği seçilen kaynaklar ile ilgili ileri tarihli bir rezervasyon yapmak gerekli olabileceğinden Rezervasyon Servisi 4 ne de bilgi gönderilir. Bu yapı Veri Grid Sistem Modelleri Dokümanı nda detayları anlatılan Hiyerarşik, Merkezi ve Dağıtık İş Çizelgeleme modellerinin simülasyonu için uygundur. 3 Data Management Service/Data Manager, Sistem/Bileşen Modelleri Dokümanı, 4.11/ Reservation Service, Sistem/Bileşen Modelleri Dokümanı, 4.9

7 4. Veri Dağıtımı Bir Veri Grid inde İş Çizelgelemeyle birlikte en önemli iş Veri Dağıtımıdır. Çizelgelenen işin yaşam döngüsü Şekil 4 te verilmiştir. İş çalıştırıldıktan sonra üretilen dosyaların dağıtımı Bağımsız İşlerin simüle edildiği bir ortamda gerekli değildir ve bu yapı için göz ardı edilmiştir. Şekil 4: İş yaşam döngüsü. İşin ihtiyacı olan verilerin iş başlamadan önce, işlem elemanında hazır hale getirilmesi gerekmektedir. Veri Dağıtımı Planlaması, İş Çizelgeleme algoritması ile aynı mantıkta çalışmaktadır: İşin ihtiyacı olan veriler için bir kaynak adayları kümesi oluşturulur/sorgulanır. Bir optimizasyon algoritması yardımıyla gerekli kaynaklar seçilir. Rezervasyon Servisi aracılığıyla kullanılacak olan Depolama Elemanları ve Ağ Elemanları üzerinde rezervasyon yaptırılır. Dosya Transferi Servisi 5 ne gerekli bilgi/emir gönderilir. Bu yapı Sistem/Bileşen Modelleri Dokümanı nda detayları anlatılan Hiyerarşik ve Merkezi Veri Dağıtımı modellerinin simülasyonu için uygundur. 5 File Transfer Service, Sistem/Bileşen Modelleri Dokümanı, 4.10

8 5. Ön Rezervasyon Sistemi Sonlu kaynaklardan oluşan Veri Grid sistemlerinde katı gerçek-zamanlı işlerin tamamlanabilmesi için kaynak kullanımı ile ilgili ileriye dönük planlama yapmak gereklidir. Ön Rezervasyon Sistemi kaynak yöneticileri ve bilgi servisleri ile beraber çalışarak ileriye dönük planlamaya yapan sistemdir. Bazı kaynaklar üzerinde kolay bir şekilde ön rezervasyon uygulanabilir, örneğin depolama elemanı, bazı kaynaklar içinse gelişmiş algoritmalar gereklidir, örneğin işlem elemanı. Literatürde kabul görmüş bir Ön Rezervasyon ara birimi yoktur, ancak bu konuyla ilgili birçok çalışma mevcuttur. DGridSim bu çalışmaları dikkate alarak bir Ön Rezervasyon Sistemi tasarlamıştır. Bu sistemde Ön Rezervasyon dört parametre kullanılarak gösterilmektedir. Başlangıç Zamanı: İstenilen kaynağın kullanılmaya başlanacağı zaman. Süre: Kaynağın kullanılacağı toplam süre. Kaynak Türü: İstenilen kaynağın türü, depolama elemanı, işlem elemanı vb. Kaynağa Özel Parametreler: İstenilen kaynağa özel parametreler, işlem elemanının işlemci gücü, depolama elemanının disk büyüklüğü vb. Kaynak Türü ve Kaynağa Özel Parametreler kullanılarak çok farklı çeşitlilikte rezervasyon istekleri oluşturulabilir. Ön Rezervasyon Sisteminin sağlayacağı fonksiyonlar aşağıda listelenmiştir. RezervasyonOluştur: Belirtilen parametrelere göre gerekli Kaynak Yöneticilerini ve Bilgi Servislerini kullanarak rezervasyon oluşturan fonksiyon. Fonksiyon rezervasyonu başarıyla tamamladığında bir işleyici (handler) döndürmelidir. RezervasyonuİptalEt: Belirtilen rezervasyonu iptal eden fonksiyon. RezervasyonCommit: Rezervasyon commit edilmeden tam olarak yapılmış sayılmaz. Birden çok kaynağı aynı anda rezerve etmesi gereken sistemler için gereklidir. Böyle bir yapıda istenilen kaynaklardan biri sağlanamazsa diğer rezervasyonlarda iptal edilmelidir. RezervasyonuKullan: Rezervasyon yapılan kaynak kullanılmadan önce çağrılması gereken fonksiyondur. Şu anda tasarlanan sistemde doğrudan bir kullanımı yoktur fakat ileriye dönük olarak eklenmiştir. RezervasyonuKaldır: Rezervasyon yapılan kaynak süreç içerisinde kullanıldıktan sonra çağrılması gereken fonksiyon. Şu anda tasarlanan sistemde doğrudan bir kullanımı yoktur fakat ileriye dönük olarak eklenmiştir.