Küme Bilgisayarlar ve GRID Servisleri www.grid.org.tr Onur Temizsoylu TÜBİTAK ULAKBİM onurt@ulakbim.gov.tr TÜBİTAK ULAKBİM YÜKSEK BAŞARIMLI BİLGİ İŞLEM MERKEZİ
LCG - LHC Grid LHC CERN de üretimi süren Large Hadron Collider parçacık hızlandırıcısının kısaltmasıdır. LHC 2007 senesinde operasyona geçecektir. Deneyler senede 5-6 Petabyte veri toplayacaktır. LHC Grid bu büyük veriye depolama ve hesaplama kaynağı sağlamak için oluşturulmuştur. Şu anki orta katman yazılımı LCG-2 dir. Avrupa DataGrid ve A.B.D. Gryphin projelerini temel alarak geliştirilmiştir. LCG-2 EGEE projesinin ilk altyapısını oluşturmuştur. 21-22 Eylül 2005 Ankara 2
EGEE Uygulamalar Grid Altyapısı Akademik Ağlar EGEE ( Enabling Grids for e-science in Europe ) bilimsel araştırmaların desteklenmesi için kurulmuş benzeri görülmemiş bir grid altyapısıdır: Ulusal, bölgesel ve tematik grid çabalarını birleştirir. Araştırmacılara coğrafi yerlerinden bağımsız olarak inanılmaz kaynaklar sağlamaktadır. 21-22 Eylül 2005 Ankara 3
EGEE Altyapısı 21-22 Eylül 2005 Ankara 4
EGEE Bölgesel olarak birleşen 27 ülkeden 70 enstitü 32 M su AB den gelen 100 M bütçe 300 tam zamanlı çalışan 2004 Nisan ayında başladı. 2006 Nisan ayında ikinci fazına geçilecek Şu an 14.000 işlemci ve 5 Pbyte depolama kaynağına sahip 21-22 Eylül 2005 Ankara 5
Küme Bilgisayarlar -Sınıflandırma - Sistem Mimarisi Ağ Mimarisi Tek Arayüz Eş Görevli Senkron Disk Lokal Disk NFS Senkronizasyon Yazılımı Batch Preemptive Fine Grained 21-22 Eylül 2005 Ankara 6
Küme Bilgisayarlar -Bileşenler - Yazılım - 21-22 Eylül 2005 Ankara 7
Küme Bilgisayarlar -Bileşenler - Donanım - 21-22 Eylül 2005 Ankara 8
Küme Bilgisayarlar - Kuyruk Sistemi - Kuyruk Sistemi Kuyruk A Hesaplama Kaynakları Kuyruk B A B Planlayıcı Kuyruk C C D Kuyruk D 21-22 Eylül 2005 Ankara 9
Küme Bilgisayarlar - Örnek: Deniz - 21-22 Eylül 2005 Ankara 10
Grid Mobil Erişim İş İstasyonu O R T A K A T M A N Kümeler, Süper Bilgisayarlar Veri Depolama, Sensörler, Deneyler Görselleştirme İnternet, Ağlar 21-22 Eylül 2005 Ankara 11
Grid Neler Sağlar? Nerede ise sınırsız olanaklar sağlayan dünya genelinde sanal bir hesaplama laboratuvarı Dünyada dağılmış araştırma gruplarını sanal organizasyonlar altında toplayabilme imkanı Dağıtık veriye saydam erişim ve kolay iş dağıtımı Kullanımı kolay uygulama arayüzleri 21-22 Eylül 2005 Ankara 12
Grid Yapısının Özellikleri Sayısız Kaynaklar Farklı organizasyonlar veya kişiler tarafından işletilirler. Heterojen, çok katmanlı ağlar ile bağlıdırlar Farklı güvenlik önlemleri ve politikaları gerekir. Farklı kaynak yönetim politikaları vardır Kaynaklar sorun her an çıkartabilir Kaynaklar Heterojendir Coğrafi olarak dağıtıktır 21-22 Eylül 2005 Ankara 13
LCG-2 Mimarisi Lokal Hesaplama Uygulama Veritabanı Grid Grid Uygulama Katmanı İş Yönetimi Veri Yönetimi Meta Yönetimi Ortak Servisler Bilgi ve İzleme Replika Yönetimi Grid Planlayıcısı Alt Katman Grid Servisleri Veritabanı Servisleri CE Servisleri SE Servisleri Replika Kataloğu Yetkilendirme ve Raporlama Kütük Grid Yapı Yapı Servisleri Kaynak Yönetimi Yapılandırma Yönetimi İzleme ve Sorun Giderme Sunucu Kurulum Yönetimi Depolama Yönetimi 21-22 Eylül 2005 Ankara 14
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 15
LCG-2 Servis Tipleri - UI Kullanıcı Arayüzü - LCG-2 Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: Kullanıcılar kişisel hesaplara sahiptir. Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemlere komut satırı arayüzü sağlar: Çalıştırılmak üzere iş gönderme Bir iş için uygun kaynakları gösterme Dosyaları kopyalamak ve replika etmek İşleri takip etmek ve iptal etmek Bitmiş işlerin sonuçlarını almak 21-22 Eylül 2005 Ankara 16
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RC,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 17
LCG-2 Servis Tipleri - CE Hesaplama - LCG-2 yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün LCG-2 siteleri en az bir hesaplama sunucusu ve arkasında hesaplama uçları içerir. Uçlardan biri Grid kapısı olarak çalışır: Globus kapısıdır. Globus GRAM ( Globus Kaynak Ayırma Yöneticisi ) sunucusudur. Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF, Condor...). İş kuyrukları ve hesaplama sunucusu isimleri ayrı hesaplama elemanı kuyruklarını tanımlar: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-dteam ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-seegrid 21-22 Eylül 2005 Ankara 18
LCG-2 Servis Tipleri - CE Hesaplama - gatekeeper Bilgi Kuyruk Sunucusu Grid Kapısı Hesaplama Ucu Hesaplama Ucu Hesaplama Ucu Hesaplama Ucu 21-22 Eylül 2005 Ankara 19
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 20
LCG-2 Servis Tipleri - SE Depolama - Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir LCG-2 sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: Dosya transferi için GSIFTP Dosya erişimi için RFIO ( Remote File Input/Output ) Depolama kontrol yönetimi: Dosyalara saydam erişim sağlar Dosyaların durumunu gösterir Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir. 21-22 Eylül 2005 Ankara 21
LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - Grid ortamına dosya yüklemey Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) Uygulamanın depolama elemanına veri saklaması Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) Küçük dosyalar için işlere ait giriş torbaları ( input sandbox ) kullanılabilir. CE CE UI SE SE Grid Bileşenleri enleri 21-22 Eylül 2005 Ankara 22
LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - Grid Ortamından Dosya Alma Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı Küçük dosyalar için çıktı torbası ( output sandbox ) kullanılabilir. Uygulamanın depolama elemanından veriyi alıp lokal kullanması Uygulamanın depolama kaynağından alınıp çalıştırılması CE CE SE SE Grid Bileşenleri enleri UI 21-22 Eylül 2005 Ankara 23
LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - Veri Replikasyonu Hesaplama kaynaklarının yük dengelemesi Genellikle işler verinin hali hazırda var olduğu sitelerde çalışır. Veriye ulaşımda performansı arttırma Birçok uygulama aynı dosyaya erişme ihtiyacı duyabilir. Kritik dosyaların yedeklenmesi CE CE SE SE Grid Bileşenleri enleri UI 21-22 Eylül 2005 Ankara 24
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 25
LCG-2 Servis Tipleri - IS Bilgi - Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. LCG-2 bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. 21-22 Eylül 2005 Ankara 26
LCG-2 Servis Tipleri - IS Bilgi - BDII-A BDII-B Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri CE Site GIIS CE Site GIIS CE Site GIIS SE Lokal GRIS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS 21-22 Eylül 2005 Ankara 27
LCG-2 Servis Tipleri - IS Bilgi - IS servisleri üç ana aşamada bulunabilir: GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. Üst seviye bilgi servisleri LCG-2 geneli hakkında bilgi verir. GRIS Globus MDS ( Monitoring and Discovery ) servisini, diğerleri ise BDII ( Berkeley DB Information Index ) kullanır. BDII bütün GIIS servislerini iki dakikada bir tarar. GIIS servisleri kendi altındaki bütün GRIS servislerini tarar. Bütün kullanıcılar katalogları tarayabilir. 21-22 Eylül 2005 Ankara 28
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 29
LCG-2 Servis Tipleri - Veri Yönetimi Servisleri - Veri yönetimi nedir? Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. Veriler grid dosyaları şeklinde saklanabilirler. Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar LCG-2 yapısında verinin yerini bilmezler. Mantıksal dosya isimleri kullanırlar. Globally Unique Identifier (GUID) guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) sfn://lxshare0209.cern.ch/data/alice/ntuples.dat Logical File Name (LFN) lfn:cms/20030203/run2/track1 Transport URL (TURL) gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat 21-22 Eylül 2005 Ankara 30
LCG-2 Servis Tipleri - Replika Kataloğu LFC ( LCG File Catalog ) - Kullanıcı Meta Verisi Kullanıcı Tanımlı Meta Veri Sistem Meta Verisi size => 10234 cksum_type => MD5 cksum => yy-yy-yy LFN /grid/dteam/dir1/dir2/file1.root GUID Xxxxxx-xxxx-xxx-xxx- Sembolik Bağlantı Symlink Sembolik Bağlantı /grid/dteam/mydir/mylink /grid/dteam/mydir/mylink /grid/dteam/mydir/mylink Replika Replika Replia srm://host.example.com/foo/bar Replika srm://host.example.com/foo/bar srm://host.example.com/foo/bar host.example.com srm://host.example.com/foo/bar host.example.com 21-22 Eylül 2005 Ankara 31
LCG-2 Ana Servis Tipleri Kullanıcı Arayüzü (UI) Depolama (SE) Bilgi (IS) Replika Kataloğu (RLS,LFC) Hesaplama (CE) İş Dağıtıcı Hesaplama Ucu (WN) Kaynak Aracısı () 21-22 Eylül 2005 Ankara 32
LCG-2 Servis Tipleri - Kaynak Aracısı - Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: İşlerini gönderebilmelerine, İşlerini en uygun kaynaklarda çalıştırmalarına, Kaynakların kullanımını da aynı anda optimize etmeye, İşleri hakkında bilgi almasına, İşlerinin sonuçlarını almasına sağlar. 21-22 Eylül 2005 Ankara 33
LCG-2 Servis Tipleri - İş Yükü Yönetim Sistemi (WMS) - WMS aşağıdaki parçalardan oluşur: İş Yükü Yöneticisi: Sistemin ana parçasıdır. Kaynak Aracısı: Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. Kontrol : İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanım dili JDL ( Job Description Language ) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: İşin karakteristiğini (basit, MPI, DAG) Hesaplama ihtiyaçlarını ve seçeneklerini Yazılım bağımlılıklarını bilmesi gerekir. 21-22 Eylül 2005 Ankara 34
UI Ağ Sunucusu LFC Bilgi İş Yükü Yöneticisi Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 35
UI UI: Komut satırı, GUI, C++, Java API leri ile kullanıcının iş yükü yönetimin bütün özelliklerini kullanmasını sağlar. Ağ Sunucusu LFC Bilgi İş Durumu Gönderildi İş Yükü Yöneticisi Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 36
UI edg-job-submit myjob.jdl Myjob.jdl JobType = Normal ; Executable = "$(CMS)/exe/sum.exe"; Ağ Sunucusu İş Yükü Yöneticisi Kontrol InputSandbox = {"/home/user/wp1testc","/home/file*, "/home/user/data/*"}; OutputSandbox = { sim.err, test.out, sim.log"}; Requirements = other. GlueHostOperatingSystemName == linux" && other.gluecepolicymaxwallclocktime > 10000; Rank = other.gluecestatefreecpus; CE bilgisi ve durumu LFC Bilgi SE bilgisi ve durumu İş Durumu Gönderildi İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler. Hesaplama Depolama 21-22 Eylül 2005 Ankara 37
UI Giriş Torbasındaki Dosyalar İş Ağ Sunucusu İş Yükü Yöneticisi Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür. LFC Bilgi İş Durumu Gönderildi Beklemede Deposu Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 38
UI Ağ Sunucusu İş Yükü Yöneticisi İş Yükü Yöneticisi: LFC İsteği Gönderildi karşılamak için gerekli işlemleri yapmakla sorumludur. Beklemede Bilgi İş Durumu Deposu Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 39
UI Ağ Sunucusu İş Yükü Yöneticisi Kaynak Aracısı Gönderilen iş nerede çalışmalı? LFC Bilgi İş Durumu Ğönderildi Beklemede Deposu Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 40
UI Ağ Sunucusu İş Yükü Yöneticisi Kaynak Aracısı Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur. LFC Bilgi İş Durumu Gönderildi Beklemede deposu Kontrol CE bilgi ve durumu SE bilgi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 41
UI Ağ Sunucusu İş Yükü Yöneticisi Kaynak Grid'in Aracısı durumu nedir? LFC Bilgi İş Durumu Ğönderildi Beklemede Deposu Kontrol CE characts & status SE characts & status Hesaplama Depolama İhtiyaç duyulan veriler nerede? 21-22 Eylül 2005 Ankara 42
UI Ağ Sunucusu İş Yükü Yöneticisi Kaynak Aracısı CE seçimi LFC Bilgi İş Durumu Gönderildi Beklemede Deposu Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 43
UI Deposu Ağ Sunucusu İş Yükü Yöneticisi Kontrol LFC İş Adaptörü: İş gönderilmeden önce son Gönderildi işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...). Beklemede İş Adaptörü CE bilgisi ve durumu Bilgi SE bilgisi ve durumu İş Durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 44
UI Deposu Ağ Sunucusu İş Yükü Yöneticisi LFC Bilgi Kontrol : Gerçek iş yönetimi işlemlerinden sorumludur. İş Durumu Ğönderildi Beklemede Hazır Kontrol CE bilgisi ve durumu SE bilgisi ve durumu Hesaplama Depolama 21-22 Eylül 2005 Ankara 45
UI Deposu Giriş Torbası Dosyaları Ağ Sunucusu İş Yükü Yöneticisi Kontrol İş CE bilgisi ve durumu LFC Bilgi SE bilgisi ve durumu Job Status Gönderildi Beklemede Hazır Planlandı Hesaplama Depolama 21-22 Eylül 2005 Ankara 46
UI Deposu Ağ Sunucusu İş Yükü Yöneticisi LFC Bilgi İş Durumu Gönderildi Beklemede Hazır Kontrol Planlandı Çalışıyor Hesaplama İş Grid olanaklı veri transferleri Depolama 21-22 Eylül 2005 Ankara 47
UI Çıkış Torbası Dosyaları Deposu Ağ Sunucusu İş Yükü Yöneticisi Kontrol LFC Bilgi İş Durumu Gönderildi Beklemede Hazır Planlandı Çalışıyor Hesaplama Depolama Bitti 21-22 Eylül 2005 Ankara 48
UI edg-job-get-output <job-id> Deposu Ağ Sunucusu İş Yükü Yöneticisi Kontrol LFC Bilgi İş Durumu Gönderildi Beklemede Hazır Planlandı Çalışıyor Hesaplama Depolama Bitti 21-22 Eylül 2005 Ankara 49
Ağ Sunucusu LFC İş Durumu Gönderildi UI Çıkış Torbası Dosyaları Deposu İş Yükü Yöneticisi Kontrol Bilgi Beklemede Hazır Planlandı Çalışıyor Hesaplama Depolama Bitti Temizlendi 21-22 Eylül 2005 Ankara 50
TEŞEKKÜRLER BOL Bilgi IZGARALI GÜNLER Servisleri Kullanıcının Mutlu (Ara)Yüzü Akademik Ağ Hesaplama İşler Hesaplama Ucu Kaynak Aracısı Depolama Kaynağı GRID!!! 21-22 Eylül 2005 Ankara 51