Grid Uygulamaları www.grid.org.tr Bu sunum, Peter Kacsuk ve Gergely Sipos Introduction to Grids and Grid applications ve C. Loomis Characteristic of Grid Applications sunumlarından alıntılar ile oluşturulmuştur.
Neden Grid? Araştırmacıların kompleks bir işte Hesaplama zamanını azaltmak için Büyük verilere ulaşmak için Özel ekipmanlara ulaşmak için Diğer kullanıcılarla çalışabilmek için çok sayıda kaynağa veya servise ihtiyacı vardır. Internet 2/32
Masaüstü Gridi Dinamik kaynak bağışlama Üniversite Sunucusu PC bağışlayan Uygulama Internet PC bağışlayan PC bağışlayan 3/32
SETI: Evrensel Masaüstü Gridi SETI@home 226 ülkede 4 milyon kullanıcı 1200 CPU sene/gün 38 TF 77 farklı işlemci tipi 4/32
Kümeler ile Grid Enst1 Boş kaynakların 7/24 bağışlanması Bağışlayan ve kullanan Kullanıcı Enst2 Bağışlayan ve kullanan Internet Kullanıcı 5/32
En Büyük Çalışan Grid: EGEE Scale > 49 ülkede 224 site ~ 38.000 işlemci > 15 PB veri alanı > Günde onbinlerce çalışan iş > Yüzden fazla kayıtlı sanal organizasyon 6/32
TR-Grid ~ 8 site, ~1000 CPU Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları 7/32
TeraGrid Caltech: Data collection analysis 0.4 TF IA-64 IA32 Datawulf 80 TB Storage Sun IA64 ANL: Visualization LEGEND Cluster Visualization Cluster Storage Server Shared Memory IA32 IA64 IA32 Disk Storage Backplane Router 1.25 TF IA-64 96 Viz nodes 20 TB Storage IA32 Extensible Backplane Network LA Hub 30 Gb/s 40 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 IA64 Chicago Hub Sun IA64 10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining Pwr4 SDSC: Data Intensive NCSA: Compute Intensive EV7 EV68 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server Sun PSC: Compute Intensive PSC integrated Q3 03 8/32
Simülasyon Büyük hacimli veri işleme Gerçek zamanlı veya interaktif uygulamalar Workflow Paralel işler Eski (legacy) uygulamalar 9/32
Simülasyon Örnekler YEF Monte Carlo simülasyonları WISDOM Kuş gribi araştırmaları Özellikleri ATLAS İşler hesaplama ağırlıklıdır Bağımsız bir çok iş Genelde deneyimsiz kullanıcılar Küçük girdi; büyük çıktı Gereklilikler İş yığını işleme servisleri Yüksek hacimli verinin saklanması için veri yönetimi ITER 10/32
Büyük Hacimli Veri İşleme Örnekler Yüksek boyutta ham data işleyen ve analiz eden YEF deneyleri Yer bilimcilerin veri analizleri Özellikleri Dağıtık girdi verisi Yüksek miktarda girdi ve çıktı verisi Gereklilikler İş yönetim araçları Daha gelişmiş veri yönetimi 11/32
Gerçek Zamanlı Uygulamalar Örnekler Yeni uygulama prototipleri Özellikleri Az miktarda girdi ve çıktı verisi Hesaplama miktarı fazla değil Hızlı tepki zamanı Gereklilikler Bu uygulamaların hızlı çalışmasına izin veren yapılandırmalar Bütün servisler uygulama ihtiyacına en kısa zamanda cevap vermeli 12/32
İnteraktif Uygulamalar Grid şu uygulamalara destek verir: gptm3d: Tıbbi görüntülerin interaktif incelenmesi GPS@: Biyoinformatik web portalı GATE: Radyoterapi planlama DILIGENT: Dijital kütüphaneler Özellikleri Hızlı cevap verme: Genelde bir insan sonuç için bekliyordur Birçok hesaplama gücü isteyen iş Kullanıcı grid bilinçli değildir Gereklilikler Veri ve hesaplamayı portal veya başka bir uygulama ile uyumlu hale getirmek Arayüz ve grid arasında kullanıcı yetkilendirmesi 13/32
Workflow 14/32
Paralel İşler Örnekler İklim modelleme Deprem Analizi Hesaplamalı Kimya Özellikleri Birbirine bağlı haberleşen birçok proses Aynı anda birçok işlemci gerekli Genelde MPI kütüphanesi kullanılır Gereklilikler Kaynaklarda MPI veya benzeri bir haberleşme kütüphanesi olması 15/32
(Legacy) Uygulamalar Örnekler Ticari veya kapalı kaynak kodlu programlar Matlab, Mathematica, Ansys, Fluent, Gaussian Özellikleri Lisans gerektirirler Yeniden derlenmedikleri için grid uygun hale getirilemezler Gereklilikler Gride uygun lisans sunucuları Veriye saydam erişim 16/32
TR-Grid Üzerinde Geliştirilen / Çalışan Uygulamalar SE4SEE SDA G-PiP GridAE Hum2S P-Grade Portal Eğitim Ontolojisi YEF Grupları (ATLAS, CMS, LHCB) Kendi uygulamasını geliştiren kullanıcılar Paket program kullanıcıları (Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber ) 17/32
SE4SEE 18/32
(Backup) SE4SEE Web Portal 19/32
SDA 20/32
SDA 21/32
HuM2S İnsan hafızasının modellendiği bir kompleks sistem modelleme ve simülasyon projesidir. İnsan nüfusu üzerinde çalışılarak: -İnsan hafızası modellenecek, -İnsanların etkileşimi simüle edilecek -Hafıza boyutunun etkisi incelenecektir 22/32
G-PiP Keşfedilen protein protein etkileşimi Bu etkileşim literatürde de doğrulandı RAD50 - DNA double-strand break repair protein (1l8dB) BRCA1 - Breast cancer susceptibility protein (1miuA) via 1aq5AC Aytuna,A.S, Gursoy,A. Keskin,O., Bioinformatics 2005 23/32
GridAE Web Interface Server-side Application Unit Client-side Application Unit Client-side Application Unit... GridAE-S GridAE-C GridAE-C Job Group Submission EDG glite 24/32
P-Grade Portal 25/32
Eğitim Ontolojisi İlk endüstriyel işbirliği projesi Internet içeriğini Türkçe için geliştirilmiş teknoloji ile sunan ilk arama motoru olan bilgi.com u geliştiren AGMLAB ile işbirliği projesidir Bu projenin amacı, sayısal ortamda yeralan akademik ve bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane, oluşturmaktır. Araştırmacılar böylece, hem yerel hem de dünyada yeralan kaynaklara arama motoru üzerinden ulaşabileceklerdir. Projenin bir diğer amacı ise, dijital kütüphane sistemlerinde ve bilgi gridi oluşturma çalışmalarında kullanılacak gelişmiş bir ürünü, ortaya çıkarmaktır. 26/32