TR-GRID Servisleri ve Grid Güvenliği (Küme Bilgisayar ve Grid Mimarileri) Aslı Zengin asli@ulakbim.gov.tr Ankara, Ekim 2007 www.grid.org.tr Bu sunum Bob Jones un ve Christos Filippidis in sunumlarından alıntılar içermektedir.
İÇERİK Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı Grid Mimarisi (glite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi
Küme Bilgisayar ve Grid... Küme Bilgisayar Birbirine LAN yoluyla bağlı homojen hesaplama kaynakları Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var: Isı, boyut, donanım kısıtlamaları... Basit mimari İş göndermede ve sonuç almada hızlı erişim Grid Coğrafi olarak dağıtık, heterojen kaynaklar Araştırmaların önünü açacak insan ağının oluşturulması Hesaplama + DEPOLAMA kaynakları Ölçeklenirlikte kısıt yok! Karmaşık mimari (Küme servisleri + siteler arası ortak servisler) Network bağlantılarının yeterince hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)
Küme Bilgisayar Bileşenleri (yazılım)
Küme Bilgisayar Bileşenleri (donanım)
Küme Bilgisayar Kuyruk Sistemi Kuyruk Sistemi Hesaplama Kaynakları Kuyruk A Kuyruk B A B Planlayıcı Kuyruk C C D Kuyruk D
Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)
Grid Mimarisi (Ortakatman) Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur. Grid ortakatmanı: uygulamaların çalışacağı uygun yerleri bulur. kaynak kullanımını optimize eder. veri yığınlarına etkin erişim sağlar. birçok grid sitesinde kullanılan ortak bir kimlik doğrulama ve yetkilendirme servisi sağlar. işleri çalıştırır ve anlık iş durumunu izlemenize izin verir. işlerin sonuçlarını kullanıcılara taşır.
glite-3.0 Ortakatman Sürümü, Tarihçe 2006 Baharıyla birlikte LCG-2.7.0 ve glite-1.5 ortakatman yazılımları glite-3.0 çatısı altında birleşti: LCG-2 2004 glite prototyping Üretim seviyesinde altyapıda süreklilik Uygulamalar tarafından kullanılırlığın sağlanması İşyükü yönetimine yönelik yeni çalışmalar LCG ve glite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an glite-3.0 birçok proje ve altyapıda kullanılmaktadır. glite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır. prototyping product 2005 product 2006 glite 3.0
Grid Katmanları Uygulamalar UYGULAMALAR Grid Uygulama Katmanı Grid Ortak Servisler ORTAKATMAN Temel Grid Servisleri Altyapı Taşları En Alt Seviye Yapı Servisleri GLOBUS Condor (VDT)
Grid Yapıtaşları (Temel Servisler) Gridin kaynakları nı kullanmak istiyorum! İşimin sonuçların ı depolama k istiyorum! Doğru kaynağı nerden bulabiliri m? Tüm bu istediklerim güvenli bir ortamda yapılmalı!
Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme Kimlik Doğrulama GSI (Grid Security Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA) Proxy sertifikaları MyProxy Sunucusu ve uzun süreli proxy sertifikaları Kabul gören güven ağı: TAGPMA International Grid Trust Federation (IGTF)» EUGridPMA» APGridPMA» TAGPMA The Americas Tüm EGEE siteleri Grid IGTF PMA altındaki CA lara güvenir. EUGridPMA European Grid PMA Yetkilendirme VOMS (Virtual Organization Membership Service), sanal organizasyonlar (VO) Kullanıcıların disiplinlere göre gruplandırılması Sitelerin VO tabanlı kaynak ayırımı LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı. APGridPMA Kullanıcı tabanlı yetkilendirme LCG-2.7.0 ve glite ile birlikte VO eklentili proxy sertifikaları VO tabanlı lokal yetkilendirme servisleri Asia- Pacific Grid PMA
Kullanıcı Arayüzü (UI) glite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: - Kullanıcılar kişisel hesaplara sahiptir. - Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemleri komut satırı arayüzü sağlar: - Çalıştırılmak üzere iş göndermek - Bir iş için uygun kaynakları göstermek - Dosyaları kopyalamak ve replika etmek - İşleri takip etmek ve iptal etmek - Bitmiş işlerin sonuçlarını almak
Bilgi Servisleri (GRIS, GIIS, BDII) Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. glite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. IS servisleri üç ana aşamada bulunabilir: - GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. - GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. - BDII: Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir.
GRIS, GIIS, BDII İlişkisi Kullanıcılar BDII-A BDII-B İş Dağıtıcısı İzleme Servisleri CE Site GIIS CE Site GIIS CE Site GIIS SE Lokal GRIS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS
Bilgi Servisleri (RGMA) UI kullanıcı RGMA Service Discovery Plug-in Producer Grid sorgu RGMA Plug-in BDII Plug-in Registry File Plug-in bilgi Hesaplama Elemanı (CE) Consumer Service Discovery is a client for finding services and discovering İlişkisel their basic Veri attributes Modeli API ler: Java, Python, C++, C Depolama Elemanı (SE)
glite Grid Servisleri İş Yönetimi İş Yükü Yönetimi (WMS) Kaynak arayıcısı (RB) Veri kullanan işler için DLI/SI arayüzü ile kataloglara erişim Toplu iş gönderimi İş akışına dayalı işler Hesaplama Elemanı (CE) Globus/EDG/LCG->Condor_C(Sanal organizasyon tabanlı iş planlama) Loglama ve Servis Bilgilerinin Tutulması (Logging and Bookkeeping) Lokal Kuyruk Yöneticisi LSF, PBS, Condor, (Sun Grid Engine) Veri Yönetimi Dosya ve Replika Katalogları (LFC) Depolama elemanlarındaki verilere kolay erişim Grid dosyalarının düzenlenmesi Merkezi veya lokal Depolama Elemanları (SE) DPM (VOMS grupları/rollerine, dosya erişim haklarının kullanılmasına izin verir.) Diğer SE ler: dcache, Castor Classic SE: artık kullanılmıyor Diğer Özellikler ve IO Kütüphaneleri Lcg-utils GFAL glite IO
Hesaplama Elemanı (CE) glite ortakatman yazılımını kullanan iki tip CE vardır: glite-ce (yeni tip) ve lcg-ce (eski tip) glite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün glite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: - Globus kapısıdır. - Globus GRAM ( Globus Kaynak Ayırma Yöneticisi ) sunucusudur. - Lokal kaynak yönetim sisteminin ana sunucusudur. (PBS, LSF, Condor...)
İş Yükü Yönetimi (WMS) Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: - İşlerini gönderebilmelerini, - İşlerini en uygun kaynaklarda çalıştırmalarını, - Kaynakların kullanımını da aynı anda optimize etmeyi, - İşleri hakkında bilgi almasını, - İşlerinin sonuçlarını almasını sağlar.
İş Yükü Yönetimi (WMS) WMS aşağıdaki parçalardan oluşur: - İş Yükü Yöneticisi: Sistemin ana parçasıdır. - Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. - İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. - Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. - Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanımlama dili JDL ( Job Description Language ) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: - İşin karakteristiğini (basit, MPI, DAG) - Hesaplama ihtiyaçlarını ve seçeneklerini - Yazılım bağımlılıklarını bilmesi gerekir.
Gridde İş Akışı UI Grid kullanıcı VOMS CE iş SE (WMS) LFC BDII WMProxy API leri: Java, Python, C++
Depolama Elemanı (SE) glite ortakatman yazılımını kullanan değişik tipte SE vardır: Classic SE (eski tip, artik kullanılmayacak), DPM, dcache, Castor Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir glite sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: - Dosya transferi için GSIFTP - Dosya erişimi için RFIO ( Remote File Input/Output ) Depolama kontrol yönetimi: - Dosyalara saydam erişim sağlar - Dosyaların durumunu gösterir - Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.
Veri Yönetimi Servisleri, LFC Veri yönetimi nedir? - Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. - Veriler grid dosyaları şeklinde saklanabilirler. - Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. - Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar glite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. (LFC) Gridde dosya isimlendirmeleri: Globally Unique Identifier (GUID) guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) sfn://lxshare0209.cern.ch/data/alice/ntuples.dat Logical File Name (LFN) lfn:cms/20030203/run2/track1 Transport URL (TURL) gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat
Veri Yönetimi Mimarisi VOMS Depolama Elemanı DISK WSDL API Dosya I/O glite I/O SRM gridftp Dosya İsimalanı ve Metaveri Yönetimi LFC Veritabanı Dosya ve replika kataloğu Dosya Replikası FPS Transfer Agent StorageIndex MyProxy Proxy yenilemesi Veritabanı Replika Yeri Dosya Transferi ve dosya yerleştirme servisi FTS WMS
Veri Yönetimi İlişkileri UI (kullanıcı) Grid dosya GFAL depola SRM depola SE 1 SE 2 kaydet Kataloğa kaydet File Catalog (LFC) Grid file (ref: LFN)
Özet: Grid Topolojisi ve Servisler Kullanıcı Arayüzü (UI) Bilgi Sistemi (BDII, RGMA) gönder Kaynak Arayıcısı (RB) Sonuç al sorgula Yetkileri güncelle sorgula Sonuç al gönder Site durumunu yayınla Dosya ve Replika Katalogları (LFC) X Sitesi Hesaplama Elemanı Depolama Elemanı Yetkilendirme Servisi (VOMS)