TR-Grid Oluşumu (TR-Grid Altyapısı ve AB Projeleri) www.grid.org.tr
Grid nedir? Günümüzde TR-Grid altyapısı için Grid = Kümelerin kümesi Dev sanal süperbilgisayar + Paylaşım kültürü Coğrafi olarak dağıtık bulunan kaynakların bütünleştirilmesi Orta katman ( middleware ) denilen yazılım yardımı ile sağlanmaktadır. Globus açık kaynak kod EDG, LCG, glite 6.ÇP projelerinde geliştirildi, diğer birçok yazılımdan servisler içermektedir
Grid: e-bilim için bir temeldir Hesaplama Kaynakları Yazılımlar Grid Sensor Ağları Cihazlar Veriler Araştırmacılar Şekiller Ian Foster sunumundan alınmıştır. Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 3/32
Dev bir kaynak Bütün bir sistem gibi davranabilen dev bir kaynak topluluğu İşlemci gücü, Veri depolama alanı, Veritabanı, Uygulama, Cihaz (teleskop vb.), Araştırmacı, Deney, Proje, Kütüphane, Ana unsur İşbirliği! Kaynaklardan yararlanmak için, kaynak vermelisiniz!
Internet ve Ağlar Ağlar Ağlar Ağlar Ağlar Ağlar Internet
Grid Küme Küme Küme Küme Küme Küme Küme Kümelerin Kümesi Kümelerin Kümesi Kümelerin Kümesi Grid
Grid : Yöntemler Gelişim Sürecinde 3 Yöntem Dedicated Clusters ile Grid > EGEE Süperbilgisayarlar ile Grid > Deisa Grid Altyapısı Masaüstü bilgisayarlar ile Grid > @home Projeleri Sonuç
Günümüzde e-altyapının stratejik yapı taşları EGE E Güneydoğu SEE-GRID Avrupa için grid altyapısı Gigabit bağlantılarla bağlı AB süperbilgisayarları grid altyapısı, >120 Tflop/s (2009 senesinde >1 Pflop/s) ( 15M - CNRS). DEIS A. ID I R G P IS A TY L A A UP ĞI R AV İK A M DE A AK e-altyapılar 40000 işlemci, ~20PB depolama alanı, eğitim, 27 ülke, 71 üye, YEF, Biyoinformatik... (32 M - CERN) GÉ AN T IPv6 destekli Avrupa Araştırma Ağı (93 M - DANTE) Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 8/32
Avrupa Grid projeleri Dedicated Clusters ile Grid ~40K işlemci, ~20PB veri alanı, 32M AB Kaynağı Ana proje EGEE(-II) (Enabling Grids for E-sciencE) Desteklenen bölgesel projeler SEE-Grid (South-Eastern European Grid), EUMEDGRID (Akdeniz Ülkeleri), EU-ChinaGrid, BalticGrid, NorduGrid, EELA (Latin Amerika Ülkeleri), Bağlantı kurulan Grid yapıları TeraGrid (US),
Avrupa Grid projeleri Süperbilgisayarlar ile Grid DEISA ( Distributed European Infrastructure for Supercomputer Applications )
Avrupa Grid oluşumu EGI ( European Grid Initiative ) Ulusal Grid oluşumları ile tamamlanacaktır: NGI1 (National Grid Initiative1) NGI2 (National Grid Initiative2) NGIn (National Grid Initiativen) Avrupa Grid oluşumuna katılmak için (projelerde yer almak, altyapıyı kullanmak, vb.), Ulusal Grid oluşumu içinde yeralmak gereklidir.
ULUSAL GRID TR-Grid Ulusal GridOLUŞUMU Oluşumu Grid çalışmaları ULAKBİM koordinasyonunda hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır. Ulusal kullanıcı kitlesini bilgilendirmek Bölgesel uygulamalar geliştirmek Ulusal grid altyapısını kurmak Uluslararası grid projelerine katılmak...
Türkiye den Grid Projelerine Katılım SEE-Grid (2004-2006) ULAKBİM, Bilkent Üniversitesi, Boğaziçi Üniversitesi, İstanbul Teknik Üniversitesi SEE-Grid-2 (2006-2008) ULAKBİM, Bilkent Üniversitesi, Koç Üniversitesi, Orta Doğu Teknik Üniversitesi, Boğaziçi Üniversitesi EUMEDGRID (2006-2008) ULAKBİM, Boğaziçi Üniversitesi EGEE-2 ULAKBİM (2006-2008)
Çerçeve Program Projeleri 2000 2000 2001 2001 TEN 155 ağı 2002 2002 2003 2003 2004 2004 2005 2005 2006 2006 2007 2007 2008 2008 GÉANT ve GÉANT2 ve uluslararası bağlantılar uluslararası bağlantılar IPv6 test yatakları IPv6 kullanımı IPv6 testbeds 6NET, 6IX gibi Grid destekli altyapılar Grid destekli altyapılar EGEE, DEISA, SEE-GRIDEGEE2, SEE-GRID2 gibi Grid test yatakları DataGrid, CrossGrid, GridLab, GRIP, GRIA Girişimler Grid Araştırma Projeleri: GRIDCOORD, NEXTGRID, COREGRID, AKOGRIMO, SIMDAT gibi 5. 5. ÇP ÇP 6. 6. ÇP ÇP 7. 7. ÇP ÇP Ulusal Ulusal Altyapılar Altyapılar Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 14/32
Avrupa Grid Projeleri Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 15/32
EGEE Hedefler Yeni hesaplama kaynaklarını kabul edebilecek kararlı, dengeli ve güvenli bir grid ağı oluşturmak Kullanıcılara güveli bir servis sağlayabilmek için sürekli geliştirilen ve bakımı yapılan bir grid ortakatmanı sağlamak Bilimsel çalışma yapan kullanıcıların dışında endüstriden de yeni kullanıcılar bulmak ~30 M Euro AB destekli olmak üzere toplam 100M Euro Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 16/32
EGEE - 2 ULAKBİM'in ROLÜ Network Aktiviteleri NA2 Ulusal ve uluslarası tanıtım ve işbirliği NA3 Ulusal eğitim faaliyetleri Özel Servis Aktiviteleri SA1 Grid altyapısı yönetim, destek, işletimi BÜTÇE Toplam: ~35M Euro TÜBİTAK: 360K Euro (%50 AB desteği) Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 17/32
SEE-GRID-2 ULAKBİM'in Rolü WP3 Ulusal Grid Sertifika Otoritesinin işletilmesi, P-GRADE portal için geliştirme ve test desteği verilmesi WP4 Belirlenecek uygulamaların grid ortamına taşınması, test edilmesi ve kullanıcı yardım masası desteği WP5 Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve katılmak Proje başlamadan Türkiye den toplam 6 proje başvurusu yapıldı. BÜTÇE Toplam: ~2M Euro TÜBİTAK Payı: ~190K Euro (%100 AB desteği) Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 18/32
EUMEDGRID (Empowering escience Across the Mediterraen) EUMEDGRID, Akdeniz Bölgesinde bilimsel çalışmaları desteklemek için öncelikle EGEE ve diğer ilgili (Balkanlar, Kuzey Avrupa, Latin Amerika ve Uzak Doğu Asya) grid yapılarına enentegre olabilecek bir Akdeniz grid altyapısı kurulmasını amaçlamaktadır. ULAKBİM'in Rolü WP3 Pilot test yatağı ve srvislerinin kurulumu ve bölgesel destek sağlanması WP4 Bölgesel grid uygulaması geliştirmek WP5 SEE-Grid ve EGEE'de edinilen tecrübeyi Akdeniz Bölgesine taşımak Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 19/32
EUMEDGRID BÜTÇE Toplam: ~2M Euro TÜBİTAK Payı: ~79K Euro (%90 AB desteği) Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 20/32
TR-Grid Sertifika Otoritesi Grid altyapılarında kullanıcıların çalışabilmesi ve sunucuların birbirleri ile güvenli konuşabilmesi için PKI sertifikalarına ihtiyaç vardır. Kendi kullanıcılarını yetkilendirebilmeleri için her ülkenin en az bir grid sertifika otoritesi olması beklenmektedir. Grid sertifika otoriteleri GridPMA tarafından onaylanır. EUGridPMA Avrupa Yrd. Doç. Dr. Erol Şahin içinde yetkilendirmeyi yapan organizasyondur. Orta Doğu Teknik SEE-Grid proje ortakları arasında üçüncü sertifika otoritesini ULAKBİM Üniversitesi Bilgisayar yönetmektedir. Mühendisliği Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 21/32
- TR-Grid Projeler - Proje Tipi 200 200 200 200 4 5 6 7 2008 Avrupa Birliği 1 1 3 3 3+3 Projeleri Planlanan Personel 2004 2005 2006 2007 TOPLA TÜBİTAK 1 1 1 Planlanan Bütçe Tipi M Projeleri Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Avrupa Toplam Birliği Donanım Fonları Bütçe Tipi TÜBİTAK Avrupa Fonları Birliği 30.01 50.01 200.0 200.0 480.000 4 4 3+4 00 00 00 00 Planlanan 2006 2007 TOPLA M 10.0 10.0 100.0 100.0 220.000 10.00 10.000 00-00 00 00 0 Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 22/32
- TR-Grid Çalışanlar - Görevi 20 20 20 20 04 05 06 07 Proje Yöneticisi 2 2 3 3 Akademisyen 3 Proje Çalışanı 2 Doktora 5 Öğrencisi 3 2 5 5 7 7 5 6 5 Toplam Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği 11 11 22 19 Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 23/32
TR-Grid Altyapısı TUGA projesi kapsamında yer alan üniversiteler Boğaziçi Üniversitesi Çukurova Üniversitesi Erciyes Üniversitesi İstanbul Teknik Üniversitesi Orta Doğu Teknik Üniversitesi Pamukkale Üniversitesi
- Yeni Altyapı - Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği SİTE İSİM Çekirde k Veri Alanı TİPİ TÜBİTAK ULAKBİM TR-01-ULAKBIM 114 5 Tbyte EGEE, SEE-GRID, EUMEDGRID Orta Doğu Teknik Üniversitesi TR-03-METU 300 20 Tbyte EGEE Erciyes Üniversitesi TR-04-ERCIYES 64 1 Tbyte EGEE Boğaziçi Üniversitesi TR-05-BOUN 64 1 Tbyte EGEE Pamukkale Üniversitesi TR-07PAMUKKALE 64 1 Tbyte EGEE Çukurova Üniversitesi TR-0864 1 Tbyte Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 CUKUROVA EGEE 25/32
TR-Grid Altyapısı TÜBİTAK ULAKBİM küme bilgisayarı üzerinde çalışan mevcut kullanıcıları ve yeni başvuran küme kullanıcılarının işlerine hızlı bir şekilde devam edebilmeleri için iki büyük küme kuruldu: TR-01-ULAKBIM 114 işlemcili 2003 yılından beri hizmet veren ULAKBİM kümesi TR-03-METU 312 çekirdekli, 24 Tbyte ham depolama alanına sahip ODTÜ kümesi TR-10-ULAKBIM 300 çekirdekli 24 Tbyte ham depolama alanına sahip ULAKBİM kümesi Bütün kaynaklara yüksek performanslı erişim için iki site birbirine 20 Gbps hızda bağlandı Birçok paket programa, kütüphaneye ve derleyicilere bu kümelere bakan kullanıcı arayüzü makineleri ile kolayca ulaşmak mümkün
- Siteler - Site TR-01ULAKBI M Geçmişi Küme 2003 yılında kuruldu. 2005 başında EGEE altyapısına 16 işlemci ile dahil oldu. 2006 yılında bütün site EGEE altyapısına geçti. Yrd. Doç. Dr. Erol EGEE altyapısına geçene kadar 75 kullanıcı açıldı, 20.000 iş Şahin çalıştırıldı. Orta Doğu Teknik Üniversitesi EGEE altyapısında 90.000 iş çalıştırıldı. Bilgisayar Mühendisliği TR-02BILKEN T TR-03-2005 yılında Bilkent Üniversitesi tarafından sağlanan 10 PC ile kuruldu. SEE-GRID Projesi test yatağında onlarca kullanıcı ve birçok proje için hesaplama ve geliştirme hizmeti verdi. 2005 yılında ODTÜ tarafından Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 27/32
- Siteler - Site TR-04ERCIYES Geçmişi Erciyes Üniversitesi tarafından sağlanan 8 PC ile 2006 yılında kuruldu. SEE-GRID ve TR-Grid altyapılarında hesaplama ve geliştirme için görev aldı. 2006 sonunda 64 çekirdekli TUGA projesi kümesi olarak hizmet vermeye başladı. Yeni kümede iki ay içinde 5700 iş çalıştı. Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 28/32
- Siteler - Site TR-06-SELCUK Geçmişi 2006 senesinde SEE-GRID ve TR-GRID yapılarında hizmet verdi. Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği TR-07PAMUKKALE 2007 başında TUGA projesi ile kuruldu. 64 çekirdeğe sahip TR-08CUKUROVA 2007 başında TUGA projesi ile kuruldu. 64 çekirdeğe sahip Bir ay içerisinde 3.000 iş Ulusal Grid Çalıştayı, Ankara, 1 Mart 2007 29/32
TR-Grid Kullanıcılar ULAKBİM ve ODTÜ deki kullanıcı arayüzlerinde açılmış 105 kullanıcı hesabı vardır. 76 kullanıcı grid üzerinde iş koşturmak için TR-Grid sertifikası edinmiştir. Kullanıcıların bize bildirdiği 40 adet konferans yayını ve makale bulunmaktadır. 23 farklı üniversiteden kullanıcıya hizmet veriliyor.
TR-Grid Altyapısı