glite Grid Servisleri Aslı Zengin Onur Temizsoylu

glite Grid Servisleri Aslı Zengin asli@lakbim.gov.tr Onr Temizsoyl onrt@lakbim.gov.tr www.grid.org.tr

Grid Mobil Erişim O R T A İş İstasyon Görselleştirm e K A T M A N Kümeler, Süper Bilgisayarlar Veri Depolama, Sensörler, Deneyler İnternet, Ağlar 2/39

glite Mimarisi Lokal Hesaplama Grid Veritaban ı Uyglam a Grid Uyglama Katmanı İş Yönetimi (WMS) Veri Yönetimi (DM) Meta Yönetimi Replika Yönetimi Grid Planlayıcıs ı Ortak Servisler Bilgi ve İzleme Alt Katman Grid Servisleri Grid Yapı Veritaban ı Servisleri CE Servisleri SE Servisleri Replika Kataloğ Yetkilendirm e ve Raporlama Kütük Yapı Servisleri Kaynak Yönetimi Yapılandırm a Yönetimi İzleme ve Sorn Giderme Snc Krlm Yönetimi Depolama Yönetimi 3/39

glite Ana Servis Tipleri Kllanıcı Arayüzü (UI) Bilgi (IS) Depolama (SE) Replika Kataloğ (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Uc (WN) İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB) 4/39

glite Servis Tipleri - UI Kllanıcı Arayüzü glite Grid altyapısına giriş kllanıcı arayüzü ile sağlanır. Kllanıcı arayüzünde: Kllanıcılar kişisel hesaplara sahiptir. Kllanıcıların sertifikaları yüklüdür. Aşağıdaki işlemleri komt satırı arayüzü sağlar: Çalıştırılmak üzere iş göndermek Bir iş için ygn kaynakları göstermek Dosyaları kopyalamak ve replika etmek İşleri takip etmek ve iptal etmek Bitmiş işlerin sonçlarını almak 5/39

glite Servis Tipleri - CE Hesaplama glite ortakatman yazılımını kllanan iki tip CE vardır: glite-ce (yeni tip) ve lcg-ce (eski tip) glite yapısında hesaplama elemanı homojen hesaplama çlarına iş gönderir. Bütün glite siteleri en az bir hesaplama sncs (CE) ve arkasında hesaplama çları (WN) içerir. Sitede hesaplama snclarından biri Grid kapısı olarak çalışır: Globs kapısıdır. Globs GRAM ( Globs Kaynak Ayırma Yöneticisi ) sncsdr. Lokal kaynak yönetim sisteminin ana sncsdr (PBS, LSF, Condor...). İş kyrkları ve hesaplama sncs isimleri ayrı hesaplama elemanı kyrklarını tanımlar: lcg-ce için: ce.lakbim.gov.tr:2119/jobmanager-lcgpbs-dteam glite-ce için: glitece.lakbim.gov.tr:2119/blah-pbs-sgdemo 7/39

glite Servis Tipleri - CE Hesaplama - Bilgi gatekeep er Kyrk Sncs Grid Kapısı Hesaplama Uc (WN) Hesaplama Uc (WN) Hesaplama Hesaplama Uc Uc (WN) (WN) 8/39

glite Servis Tipleri - SE Depolama Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir glite sitesi en az bir depolama elemanı içerir. İki protokol kllanırlar: Dosya transferi için GSIFTP Dosya erişimi için RFIO ( Remote File Inpt/Otpt ) Depolama kontrol yönetimi: Dosyalara saydam erişim sağlar Dosyaların drmn gösterir Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir. 10/39

glite Servis Tipleri - Veri Yönetimi Servisleri - Grid ortamına dosya yükleme Kllanıcının depolama elemanına veri saklaması (Kllanıcı arayüzünden) Uyglamanın depolama elemanına veri saklaması Kllanıcının yglamayı saklama ihtiyacı (hesaplama c tarafından alınıp çalıştırılacak) Küçük dosyalar için işlere ait giriş torbaları ( inpt sandbox ) kllanılabilir. CE SE CE SE Grid Bileşenleri UI 11/39

glite Servis Tipleri - Veri Yönetimi Servisleri Grid Ortamından Dosya Alma Kllanıcının depolama elemanından kllanıcı arayüzüne veri alma ihtiyacı CE SE CE SE Küçük dosyalar için çıktı torbası ( otpt sandbox ) kllanılabilir. Uyglamanın depolama elemanından veriyi alıp lokal kllanması Uyglamanın depolama kaynağından alınıp çalıştırılması Grid Bileşenleri UI 12/39

LCG-2 Servis Tipleri - Veri Yönetimi Servisleri Veri Replikasyon Hesaplama kaynaklarının yük dengelemesi Genellikle işler verinin hali hazırda var oldğ sitelerde çalışır. Veriye laşımda performansı arttırma Birçok yglama aynı dosyaya erişme ihtiyacı dyabilir. Kritik dosyaların yedeklenmesi CE SE CE SE Grid Bileşenleri UI 13/39

glite Servis Tipleri - IS Bilgi Bilgi servisleri, grid kaynakları ve drmları hakkında bilgi verir. glite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kllanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. 15/39

glite Servis Tipleri - IS Bilgi Kllanıcı Uyglaması İş Dağıtıcısı BDII-A CE Site GIIS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS İzleme Servisleri BDII-B CE Site GIIS CE Site GIIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS 16/39

glite Servis Tipleri - IS Bilgi IS servisleri üç ana aşamada blnabilir: GRIS: CE ve SE snclarında blnr. Lokal bilgi verir. GIIS: Sitenin üstünde blnr ve ilgili site hakkında bilgi verir. Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir. GRIS Globs MDS ( Monitoring and Discovery ) servisini, diğerleri ise BDII ( Berkeley DB Information Index ) servisini kllanır. BDII bütün GIIS servislerini iki dakikada bir tarar. GIIS servisleri kendi altındaki bütün GRIS servislerini tarar. Bütün kllanıcılar katalogları tarayabilir. 17/39

glite Servis Tipleri - Veri Yönetimi Servisleri Veri yönetimi nedir? Kllanıcılar ve yglamalar veri üretirler ve veriye ihtiyaç dyarlar. Veriler grid dosyaları şeklinde saklanabilirler. Dizin veya veri yapılandırılması yoktr. Dosya seviyesinde bilgi ttlr. Kllanıcı ve yglamaların grid dosyalarını yönetebilmesi gerekir. Kllanıcı ve yglamalar glite yapısında verinin yerini bilmek zornda değildirler. Mantıksal dosya isimleri kllanabilirler. Globally Uniqe Identifier (GUID) gid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) sfn://lxshare0209.cern.ch/data/alice/ntples.dat Logical File Name (LFN) lfn:cms/20030203/rn2/track1 Transport URL (TURL) gsiftp://lxshare0209.cern.ch//data/alice/ntples.dat 19/39

glite Servis Tipleri - WMS İş yükü Yönetimi Kllanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kllanıcıların: İşlerini gönderebilmelerine, İşlerini en ygn kaynaklarda çalıştırmalarına, Kaynakların kllanımını da aynı anda optimize etmeye, İşleri hakkında bilgi almasına, İşlerinin sonçlarını almasına sağlar. 21/39

glite Servis Tipleri - İş Yükü Yönetim Sistemi (WMS) WMS aşağıdaki parçalardan olşr: İş Yükü Yöneticisi: Sistemin ana parçasıdır. Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en ygn kaynakları blr. İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. Kontrol : İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sormldr. Kayıt Ttma: İş hakkında bilgi ttar. İşler iş tanımlama dili JDL ( Job Description Langage ) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: İşin karakteristiğini (basit, MPI, DAG) Hesaplama ihtiyaçlarını ve seçeneklerini Yazılım bağımlılıklarını bilmesi gerekir. 22/39

LFC UI Ağ Sncs WMS Bilgi İş Yükü Yöneticisi Kontrol CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 23/39

UI: Komt satırı, GUI, C++, Java API leri ile kllanıcının iş yükü yönetiminin bütün özelliklerini kllanmasını sağlar. UI İş Drm LFC Ağ Sncs WMS Gönderildi Bilgi İş Yükü Yöneticisi Kontrol CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 24/39

İş Drm LFC UI Ağ Sncs WMS Gönderildi Bilgi İş Yükü Yöneticisi glite-job-sbmit myjob.jdl İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler. Myjob.jdl JobType = Normal ; Exectable = "sm.exe"; InptSandbox = {"/home/ser/sm.exe","/home/file*, Kontrol "/home/ser/data/*"}; OtptSandbox = { sim.err, test.ot, sim.log"}; CE bilgisi Reqirements = other. GleHostOperatingSystemName == linx ; ve drm Hesaplama SE bilgisi ve drm Depolama 25/39

UI Ağ sncs: Gelen istekleri karşılamakla yükümlüdür. LFC İş Ağ Sncs Giriş Torbasındaki Dosyalar (InptSandbox) İş Drm Gönderildi WMS Bilgi Beklemede İş Yükü Yöneticisi RB Depos Kontrol CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 26/39

İş Drm UI Ağ Sncs İş Yükü Yöneticisi RB Depos Kontrol İş Yükü Yöneticisi:LFC İsteği Gönderildi karşılamak için gerekli işlemleri yapmakla sormldr. Bilgi WMS CE bilgisi ve drm Hesaplama Beklemede SE bilgisi ve drm Depolama 27/39

UI WMS Ağ Sncs İş Drm LFC Kaynak Aracısı Gönderilen iş nerede çalışmalı? Ğönderildi Bilgi İş Yükü Yöneticisi Beklemede RB Depos Kontrol CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 28/39

Kaynak Aracısı: İşin gönderileceği en ygn CE İş servisini blr. Drm UI WMS Ağ Sncs LFC Kaynak Aracısı Gönderildi Bilgi İş Yükü Yöneticisi Beklemede RB depos Kontrol CE bilgi ve drm Hesaplama SE bilgi ve drm Depolama 29/39

İş Drm LFC UI WMS Ağ Sncs Ğönderildi Kaynak Aracısı Bilgi Grid'in drm nedir? Beklemede İş Yükü Yöneticisi RB Depos Kontrol CE characts & stats Hesaplama SE characts & stats İhtiyaç dylan veriler nerede? Depolama 30/39

İş Drm LFC UI WMS Ağ Sncs İş Yükü Yöneticisi Gönderildi Kaynak Aracısı Bilgi CE seçimi Beklemede RB Depos Kontrol CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 31/39

İş Drm LFC UI WMS Ağ Sncs İş Adaptörü: İş gönderilmeden önce son Gönderildi işlemleri yapmakla sormldr (Gerekli ön işleme betiklerinin yaratılması...). Bilgi İş Yükü Yöneticisi RB Depos Kontrol Beklemede İş Adaptör ü CE bilgisi ve drm Hesaplama SE bilgisi ve drm Depolama 32/39

İş Drm LFC UI WMS Ğönderildi Ağ Sncs İş Yükü Yöneticisi RB Depos Kontrol Beklemede Bilgi Kontrol : Gerçek iş yönetimi işlemlerinden sormldr. CE bilgisi ve drm Hesaplama Hazır SE bilgisi ve drm Depolama 33/39

Job Stats LFC UI WMS Gönderildi Ağ Sncs Bilgi Beklemede İş Yükü Yöneticisi Hazır RB Depos Giriş Torbası Dosyaları Kontrol CE bilgisi ve drm SE bilgisi ve drm Planlandı İş Hesaplama Depolama 34/39

İş Drm LFC UI WMS Gönderildi Ağ Sncs Bilgi İş Yükü Yöneticisi Beklemede Hazır RB Depos Planlandı Kontrol Çalışıyor Grid olanaklı veri transferleri Hesaplama Depolama İş 35/39

LFC UI WMS Ağ Sncs Bilgi İş Drm Gönderildi Beklemede İş Yükü Yöneticisi Hazır RB Depos Planlandı Kontrol Çıkış Torbası Dosyaları Çalışıyor Hesaplama Bitti Depolama 36/39

LFC UI WMS Ağ Sncs Bilgi İş Drm Gönderildi Beklemede İş Yükü Yöneticisi Hazır RB Depos Kontrol glite-job-otpt <jobid> Planlandı Çalışıyor Hesaplama Bitti Depolama 37/39

LFC Ağ Sncs Bilgi UI Çıkış Torbası Dosyaları İş Drm Gönderildi Beklemede İş Yükü Yöneticisi Hazır WMS RB Depos Planlandı Kontrol Çalışıyor Hesaplama Bitti Depolama Temizlendi 38/39

Teşekkürler... 39/39