Uygulamaların Grid e Aktarılması www.grid.org.tr Bu sunum, Peter Kacsuk ve Gergely Sipos Introduction to Grids and Grid applications ve C. Loomis Characteristic of Grid Applications sunumlarından alıntılar ile oluşturulmuştur.
Neden Grid? Araştırmacıların kompleks bir işte Hesaplama zamanını azaltmak için Büyük verilere ulaşmak için Özel ekipmanlara ulaşmak için Diğer kullanıcılarla çalışabilmek için çok sayıda kaynağa veya servise ihtiyacı vardır. Internet 2/32
Yaygın Grid Kullanım Alanları Yüksek Performanslı Hesaplama (HPC) Tek başına kümelerin veya süperbilgisayarların erişebileceğinin ötesinde hesaplama gücü elde etmek Gereklilik: paralel hesaplama Yüksek Hacimli Hesaplama (HTC) Geniş alan ağları ile bağlı kaynakların boşta kalan zamanlarını kullanmak İşbirliği Birçok araştırmacı aynı anda bir problemin çözümü için çalışabilir 3/32
Kaynak verenler = V Kaynağı kullananlar = K Bu ikisi arasındaki ilişki grid tipini tanımlar Eğer V ~ K => Generic Grid Eğer K >> V => Utility Grid Eğer K << V => Masaüstü Gridi 4/32
Generic Grid Enst1 Enst2 Kaynak Verenler ve Talep Edenler Internet Enst4 Enst3 Kaynak Verenler ve Talep Edenler 5/32
Generic Grid Gönüllü Grid: Herkes kaynak verebilir Heterojen kaynak kullanılabilir, bu kaynaklar istendiğinde çıkarılabilir Paylaşan enstitü kullanıcılarının herhangi birisi işi için kullanabilir Kaynak veren ve kullananların sayısı yaklaşık olarak eşittir: V~K Örnekler: Globus Toolkit-2 grid yapıları Problemler: Sunucu ve istemci grid yazılımlarının kurulumu zordur Gönüllü grid yapıları güvenilir ve kararlı değildir 6/32
Masaüstü Gridi Dinamik kaynak bağışlama Üniversite Sunucusu PC bağışlayan Uygulama Internet PC bağışlayan PC bağışlayan 7/32
Masaüstü Gridi Sunucu/İstemci Paralelleştirme DG Server Sunucu İstemci-1 İstemci-2 İstemci-3 Internet İstemci-N 8/32
Masaüstü Gridi Herkes kaynak bağışlayabilir İstenildiğinde çıkarılan heterojen kaynaklar içerir Bir veya az sayıda proje bu kaynakları kullanır Kullanıcı ve kaynak verenlerin sayısı arasında asimetrik ilişki vardır K << V Avantajları: PC lerin boş zamanlarını bağışlamak basit bir işlemdir 9/32
SETI: Evrensel Masaüstü Gridi SETI@home 226 ülkede 4 milyon kullanıcı 1200 CPU sene/gün 38 TF 77 farklı işlemci tipi 10/32
Utility Grid Enst1 Boş kaynakların 7/24 bağışlanması Bağışlayan ve kullanan Kullanıcı Enst2 Bağışlayan ve kullanan Internet Kullanıcı 11/32
Utility Grid Bağışlayan enstitüler 7/24 hizmet verecek yarı profesyonel enstitüler olmalıdır Genelde homojen kaynaklar vardır Herhangi birisi bu kaynakları araştırması için kullanabilir Kullanıcı ve kaynak sayısı arasında asimetrik ilişki vardır: K >> V Örnekler: EGEE, SEE-Grid, TR-Grid, TeraGrid 12/32
En Büyük Çalışan Grid: EGEE Scale > 49 ülkede 224 site ~ 38.000 işlemci > 15 PB veri alanı > Günde onbinlerce çalışan iş > Yüzden fazla kayıtlı sanal organizasyon 13/32
TR-Grid ~ 8 site, ~1000 CPUS Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları 14/32
TeraGrid Caltech: Data collection analysis 0.4 TF IA-64 IA32 Datawulf 80 TB Storage Sun IA64 ANL: Visualization LEGEND Cluster Visualization Cluster Storage Server Shared Memory IA32 IA64 IA32 Disk Storage Backplane Router 1.25 TF IA-64 96 Viz nodes 20 TB Storage IA32 Extensible Backplane Network LA Hub 30 Gb/s 40 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 IA64 Chicago Hub Sun IA64 10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining Pwr4 SDSC: Data Intensive NCSA: Compute Intensive EV7 EV68 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server Sun PSC: Compute Intensive PSC integrated Q3 03 15/32
Tipik Grid Uygulamaları Hesaplama Yoğun İnteraktif Simülasyon (iklim modelleme) Büyük ölçekli simülasyon ve analiz (galaksi oluşumu, savaş alanı simülasyonu) Mühendislik (parametrik çalışmalar) Veri Yoğun Deneysel veri analizi (Yüksek Enerji Fiziği) Resim ve sensör analizi (astronomi, iklim çalışmaları) Dağıtık İşbirliği Çevrimiçi Enstrümanlar (mikroskoplar) Uzaktan görüntüleme (iklim çalışmaları, biyoloji) Bütün durumlar için problemler birden fazla enstitüden araştırmacıların kaynak, veri kullanımını ve işbirliğini gerektirir. 16/32
Simülasyon Büyük hacimli veri işleme Gerçek zamanlı veya interaktif uygulamalar Workflow Paralel işler Eski (legacy) uygulamalar 17/32
Simülasyon Örnekler YEF Monte Carlo simülasyonları WISDOM Kuş gribi araştırmaları Özellikleri ATLAS İşler hesaplama ağırlıklıdır Bağımsız bir çok iş Genelde deneyimsiz kullanıcılar Küçük girdi; büyük çıktı Gereklilikler İş yığını işleme servisleri Yüksek hacimli verinin saklanması için veri yönetimi ITER 18/32
Büyük Hacimli Veri İşleme Örnekler Yüksek boyutta ham data işleyen ve analiz eden YEF deneyleri Yer bilimcilerin veri analizleri Özellikleri Dağıtık girdi verisi Yüksek miktarda girdi ve çıktı verisi Gereklilikler İş yönetim araçları Daha gelişmiş veri yönetimi 19/32
Gerçek Zamanlı Uygulamalar Örnekler Yeni uygulama prototipleri Ağ istatistik ve izleme uygulamaları Özellikleri Az miktarda girdi ve çıktı verisi Hesaplama miktarı fazla değil Hızlı tepki zamanı Gereklilikler Bu uygulamaların hızlı çalışmasına izin veren yapılandırmalar Bütün servisler uygulama ihtiyacına en kısa zamanda cevap vermeli 20/32
İnteraktif Uygulamalar Grid şu uygulamalara destek verir: gptm3d: Tıbbi görüntülerin interaktif incelenmesi GPS@: Biyoinformatik web portalı GATE: Radyoterapi planlama DILIGENT: Dijital kütüphaneler Özellikleri Hızlı cevap verme: Genelde bir insan sonuç için bekliyordur Birçok hesaplama gücü isteyen iş Kullanıcı grid bilinçli değildir Gereklilikler Veri ve hesaplamayı portal veya başka bir uygulama ile uyumlu hale getirmek Arayüz ve grid arasında kullanıcı yetkilendirmesi 21/32
Workflow 22/32
Paralel İşler Örnekler İklim modelleme Deprem Analizi Hesaplamalı Kimya Özellikleri Birbirine bağlı haberleşen birçok proses Aynı anda birçok işlemci gerekli Genelde MPI kütüphanesi kullanılır Gereklilikler Kaynaklarda MPI veya benzeri bir haberleşme kütüphanesi olması 23/32
Eski (Legacy) Uygulamalar Örnekler Ticari veya kapalı kaynak kodlu programlar Matlab, Mathematica, Ansys, Fluent, Gaussian Özellikleri Lisans gerektirirler Yeniden derlenmedikleri için grid uygun hale getirilemezler Gereklilikler Gride uygun lisans sunucuları Veriye saydam erişim 24/32