TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ ve GRID UYGULAMALARI. Ankara, Temmuz 2007

Transkript

1 TR-GRID ULUSAL GRID OLUŞUMU GRID PROJELERİ ve GRID UYGULAMALARI Ankara, Temmuz 2007

2 ULUSAL GRID OLUŞUMU TR-GRID Hedefleri Grid çalışmaları ULAKBİM koordinasyonunda hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır. Ulusal kullanıcı kitlesini bilgilendirmek Bölgesel uygulamalar geliştirmek Ulusal grid altyapısını kurmak Uluslararası grid projelerine katılmak...

3 ULUSAL GRID OLUŞUMU TR-Grid Ortakları Kasım 2006 da imzalanan ve 2 yıl geçerliliği olan TRGrid UGO Anlaşması: TÜBİTAK ULAKBİM Bilkent Üniversitesi Boğaziçi Üniversitesi Çukurova Üniversitesi Erciyes Üniversitesi İstanbul Teknik Üniversitesi Orta Doğu Teknik Üniversitesi Pamukkale Üniversitesi

4 ULUSAL GRID OLUŞUMU TR-Grid Kapsamı: TR-Grid Stratejisi TR-Grid Site Politikası TR-Grid Kullanıcı Politikası Ortak Araştırma Birimi (JRU) Avrupa Grid Oluşumu (EGI) Eğitim ve Yaygınlaştırma Genişleme Atom Enerjisi Kurumu Devlet Meteoroloji İşleri Devlet Planlama Teşkilatı Kandilli Rasathanesi ve Enstitüsü Deprem Araştırma

5 TR-GRID PROJELERİ TUGA (Türk Ulusal Grid Altyapısı): TÜBİTAK TARAL Destekli Altyapı 1 M Euro Bütçe

6 TR-GRID PROJELERİ SEE-GRID ( ) (South Eastern European einfrastructure Development): GRid-enabled TR-Grid test yatağının kurulması Grid servislerinin ulusal ve bölgesel işletimi Ulusal Grid Sertifika Otoritesinin akredite olması Güney Doğu Avrupa Bölgesi için Grid Olanaklı Arama Motorunun geliştirilmesi SE4SEE (Bilkent Üniversitesi) Bütçe: 127K Euro (%80 AB desteği)

7 TR-GRID PROJELERİ SEE-GRID2 ( ) (South Eastern European GRid-enabled Ana Yükleniciler: einfrastructure Development): GRNET, Yunanistan CERN, İsviçre MTA SZTAKI, Macaristan IPP-BAS, Bulgaristan ICI, Romanya TÜBİTAK, Türkiye ASA/INIMA, Arnavutluk UoBL, Bosna Hersek UKIM, Makedonya UOB, Sırbistan UoM Karadağ RENEM Moldovya RBI, Hırvatistan Alt Yükleniciler: 27 üniversite / araştırma merkezi

8 TR-GRID PROJELERİ SEE-GRID2 ( ) Belirlenecek uygulamaların grid ortamına taşınması Ulusal Grid Sertifika Otoritesinin işletilmesi Uygulamların test edilmesi ve kullanıcı yardım masası desteğ Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve katıl Desteklenen Uygulamalar - SDA (Boğaziçi Üniversitesi) - GPiP (Bilkent Koç Üniversiteleri) - GridAE (ODTÜ) - P-Grade Portal Geliştirme Desteği (ODTÜ) Bütçe: ~190K Euro (%100 AB desteği)

9 TR-GRID PROJELERİ EUMEDGRID ( ) (Empowering escience Across the Mediterranean) INFN, İtalya (Koordinatör) GRNET, Yunanistan HIAST, Suriye CERN, İsviçre CNRST, Fas MRSTDC, Tunus GARR, İtalya TÜBİTAK, Türkiye CYNET, Kıbrıs Rum RED.ED, İspanya UoM, Malta Kesimi CERIST, Cezayir

10 TR-GRID PROJELERİ EUMEDGRID ( ) EUMEDGRID altyapısına katılım Grid servislerinin kurulumu ve bölgesel Bölgesel grid uygulaması geliştirmek - HuM2S (Boğaziçi Üniversitesi) SEE-Grid ve EGEE'de edinilen tecrübeyi Akdeniz Bölgesine taşımak Bütçe: 74K Euro (%90 AB desteği)

11 TR-GRID PROJELERİ EGEE (Enabling Grids for E-ScienE) EGEE, Avrupa Birliği tarafından desteklenen ve grid teknolojisindeki yeni gelişmelere dayalı olarak araştırmacılara kesintisiz hizmet veren bir grid servisidir Ülkede 200 Site ~ CPUs (7/24) - 5 PB Depolama

12 TR-GRID PROJELERİ EGEE Hedefleri Yeni hesaplama kaynaklarını kabul edebilecek kararlı, dengeli ve güvenli bir grid ağı oluşturmak Kullanıcılara güveli bir servis sağlayabilmek için sürekli geliştirilen ve bakımı yapılan bir grid ortakatmanı sağlamak Bilimsel çalışma yapan kullanıcılar dışında endüstriden de yeni kullanıcılar bulmak - CERN Federasyonlar: - İrlanda ve - Rusya - Orta Avrupa İngiltere - Amerika - Kuzey Avrupa - İtalya - Güney Doğu - NRENs - Fransa Avrupa - Almanya ve - Güney Batı

13 TR-GRID PROJELERİ EGEE Yüksek Enerji Fiziği, Biyoinformatik 1K CPU, 10TB Pilot Projeler: Grid) - LCG (Large Hadron Collider Computing - Biyomedical Grids 2007 Jeofizik, Biyoçeşitlilik, Endüstri, Astronomi, Yer Bilimleri, Kimya, Nanoteknoloji, İklim Modelleme - 40K CPU, 5 PB TÜBİTAK ULAKBİM in Rolü: - Network Aktiviteleri (Eğitim, Yaygınlaştırma,

14 GRID UYGULAMALARI (Searching Intelligence) 226 Ülkede, 3.8 M Kullanıcı 1200 CPUs 38TF Yüksek Heterojen (77 farklı CPU) Extraterrestrial

15 EGEE GRID UYGULAMALARI EGEE Uygulama Ailesi Simülasyon İş Akışı Bulk Veri İşleme Paralel Etkileşimli Uygulamalar Kalıtsal Uygulamalar >20 Uygulama Uygulamalar - Yüksek Enerji Fiziği (LHC, Tevatron, HERA,...) - Biyoloji (Biyomedikal, İlaç Araştırmaları, Tıbbi Görüntüleme) - Yer Bilimleri (Hidroloji, Çevre Kirliliği, İklim Modelleme, Jeofizik) - Hesaplamalı Kimya - Astrofizik (Planck, MAGIC) - Füzyon

16 EGEE GRID UYGULAMALARI SİMÜLASYON Örnek Uygulamalar LHC Monte Carlo Simülasyonu - Füzyon Simülasyonu - WISDOM Sıtma/Kuş Gribi Özellikleri - CPU gücü - Çok sayıda bağımsız iş - Uzman kullanıcı - Küçük girdi / büyük çıktı İhtiyaçlar - İş yönetim araçları - Minimal veri yönetimi

17 EGEE GRID UYGULAMALARI BULK VERİ İŞLEME Örnek Uygulamalar - HEP veri işleme ve analizi - Yerküre gözlemleri ve veri işleme Özellikleri - Dağıtık veri girişi - Çok miktarda veri İhtiyaçlar - İş yönetim araçları - Karmaşık veri yönetimi - Meta veri servisleri

18 EGEE GRID UYGULAMALARI ETKİLEŞİMLİ UYGULAMALAR-I Örnek Uygulamalar - Prototip çalışmaları Grid operasyonlarının görsellenmesi Özellikleri - Küçük ve lokal veri giriş çıkışı - CPU bağımsız - Kısa tepki zamanı (3-5 m) İhtiyaçlar - Anlık işe öncelik verecek iş yönetimi

19 EGEE GRID UYGULAMALARI ETKİLEŞİMLİ UYGULAMALAR-II Örnek Uygulamalar - gptm3d: Tıbbi görüntülerin etkileşimli analizi - GPS@: Web Portalları aracılığı ile biyoinformatik çalışmalar - GATE: Radyoterapi Planlaması - DILIGENT: Dijital Kütüphane - Volkan Sonifikasyonu Özellikleri - Kısa tepki zamanı - CPU bağımlılığı - Bi-haber grid kullanıcıları :) İhtiyaçlar

20 EGEE GRID UYGULAMALARI PARALEL UYGULAMALAR Örnek Uygulamalar - İklim Modelleme - Deprem Analizi - Hesaplamalı Kimya Özellikleri - Etkileşimli iş - Paralel CPU kullanımı - MPI kütüphane kullanımı İhtiyaçlar - MPI kaynaklarının esnek kullanımı - MPI optimizasyonu

21 EGEE GRID UYGULAMALARI KALITSAL UYGULAMALAR Örnek Uygulamalar - Ticari kaynak kodları - JeoCluster: Jeofizik analiz yazılımları - FlexX: Moleküler yapıştırma yazılımları - Matematik yazılımları Özellikleri - Lisans - Derlenebilirlik - MPI kütüphane kullanımı İhtiyaçlar - Grid kurulumu ve sunucu lisansı - Şefaf veri erişimi

22 GRID UYGULAMALARI GENEL ve GEREKSİNİMLER TEMEL Güvenlik - Servis ve veri erişim kontrolü - İhtiyaca bağlı şifreleme - Tutarlı erişim kontrolü Sanal Organizasyon Yönetimi - Kullanıcıların, grupların ve rollerin yönetimi - İş önceliğinin kullanıcı, grup ve role göre değişimi - Kota yönetimi - Özel kaynak tanımlanması ve kontrollü erişim

23 GRID UYGULAMALARI TR-Grid UGO Destekli Uygulamaları Ulusal Destekli Uygulamalar Grid - Eğitim Ontolojisi (AGMLAB, Güven Fidan) AB Destekli Uygulamalar - SE4SEE (BÜ, Prof. Cevdet Aykanat) - SDA (BOUN, Prof. Can Özturan) - G-PiP (BÜ, Prof. Cevdet Aykanat KÜ, Dr. Atilla Gürsoy) - GridAE (ODTÜ, Dr. Erol Şahin ve Dr. Cevat Şener) - P-Grade Portalı (ODTÜ, Dr. Cevat Şener) - HuM2S (BOUN, Prof. Haluk Bingöl) YEF (ATLAS, CMS, Paket Program Kullanıcıları (Gaussian, Gamess, NAMD, LHCB) Bireysel kullanıcılar PWSCF, CPMD, Abinip, VASP,

24 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI Eğitim Ontolojisi AGMLAB Sayısal ortamda yeralan akademik ve bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane TUGA kapsamında verilen destek ile Güven Fidan ve ekibi tarafından geliştirilmiştir. AGMLAB geliştiricisi ve TR-Grid

25 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI SE4SEE (Search Engine for South East Europe) Bilkent Üniversitesi Grid altyapısında çalışabilen isteğe bağlı, ülkeye özel, kategorik ve kişisel bir arama motorudur. SEE-GRID kapsamında Prof. Cevdet öğrencileri tarafından geliştirilmiştir. Aykanat ve

26 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI SDA (TR-Grid Üzerinde Kandilli Sismik Veri Sunucusu) Boğaziçi Üniversitesi Kandilli Rasathanesinin topladığı sismik verilerin grid üzerinde erişim ve hesaplama için sunulması SEE-GRID2 kapsamında önerilmiş, SEE-GRID-SCI uygulaması olarak seçilen SDA Prof. Can Özturan, Kandilli Rasathanesinden M. Yılmazer ve öğrencileri tarafından geliştirilmektedir.

27 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI GPiP (Grid Protein Prediction) BÜ- KÜ Protein Interaction Protein veri bankalarında yer alan protein protein etkileşmelerini tahmin eden grid olanaklı bir algoritmanın geliştirilmesi RAD50 - DNA çift-sarmalı kırılma tamir proteini (1l8dB) BRCA1 Göğüs kanseri hassasiyet proteini (1miuA) 1aq5AC yoluyla. Bu etkileşim literatürde doğrulanmıştır. SEE-GRID2 kapsamında Prof. Cevdet Aykanat, Dr. Atilla Gürsoy ve öğrencileri tarafından

28 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI GridAE (Artificial Evolution) ODTÜ Yapay Evrim uygulamaları için grid tabanlı bir altyapının geliştirlimesi amaçlanmıştır. GridAE evrimsel hesaplamaları grid üzerinde dağıtacak ve kullanıcıya şefaf bir arabirim sağlayacaktır. Uygulama konusu olarak özerk robotlar için denetleyici geliştirme konusunda çalışılmaktadır. SEE-GRID2 kapsamında desteklenen GridAE, Dr. Erol Şahin, Dr. Cevat Şener ve öğrencileri

29 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI P-GRADE Portalı ODTÜ MTA-SZTAKI P-GRADE portalı seri ya da paralel işlerden oluşan iş akışlarının tanımlanıp çalıştırılmasına, bu işlerin durumunun portal üzerinden takip edilmesine olanak veren bir grid portalıdır. SEE-GRID2 kapsamında desteklenen P-Grade Portalı Prof. Peter Kascuk, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir. sler/pgrade/

30 TR-GRID UGO DESTEKLİ GRID UYGULAMALARI HuM2S (Human Memory Modelling by Simulation) Boğaziçi Üniversitesi İnsanlar arasındaki tavsiye etme ve sosyal baskı gibi etkileşimlere dayalı bir karmaşık sistemin insan belleğinde neden olduğu değişimlerin simüle edilmesi EUMEDGRID kapsamında desteklenen HuM2S, Prof. Haluk Bingöl ve öğrencileri tarafından geliştirilmektedir.

31 TR-GRID ULUSAL GRID OLUŞUMU SONUÇ Yeni projeler FP7 (SEE-GRID-SCI, MEDIAN, EGEE3,...) Yeni Grid Kullanıcıları Yetkin Grid Sistem Yöneticileri Grid Eğitimleri ve Ulusal Grid Çalıştayına aktif katılım Kamu ve Endüstri ortaklıkları... İLGİNİZ İÇİN TEŞEKKÜR EDERİM r