Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi"

Pinar Özer
8 yıl önce
İzleme sayısı:

1 Deprem Merkezi Bulma Uygulamasının JDL İş Akışları ile Paralelleştirilmesi M.Yilmazer, R. Arikan, M. S. Geden, C. Ozturan, B. Bektas Bogazici University

2 İÇERİK Giriş Deprem Merkezi Bulma Yöntemi Paralelleştirme Yöntemleri Otomatik JDL üretimi Sonuç

3 Giriş Boğaziçi Üniversitesi Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü 2005 yılından itibaren 100 un üzerinde istasyon SAC formatında 1 saatlik veriler (dalga formu) Toplam veri büyüklüğü yaklaşık 2.5 TB Toplam dosya sayısı yaklaşık 4 milyon Deprem Merkezini bulmak icin HYPO1 uygulaması

1 saatlik veriler (dalga formu) Toplam veri büyüklüğü yaklaşık 2.

4 Giriş Paralelleştirme icin 3 degisik secenek i. MPI mesaj kütüphanesinin kullanılması ii. OpenMP sicimleme direktiflerinin kullnılması iii. JDL iş akışı olarak uygulamanın tanımlanması Uygulama numerik ve hesaplama yoğunlundan daha çok, veri yoğunluklu bir uygulamadır. Bu nedenle Fortran ile yazılmış kaynak kodlara mumkun olduğunca dokunulmamıştır. Programa giriş olarak verilen dosyaların bolunmesi şeklinde bir yol izlenmiştir. Bu işlem JDL iş akışı biçiminde gerçekleştirilmiştir.

JDL iş akışı olarak uygulamanın tanımlanması Uygulama numerik ve hesaplama yoğunlundan daha çok, veri yoğunluklu bir

5 Deprem Merkezi BulmaYöntemi 1) Bütün istasyonların aynı zaman aralığı içindeki dalga formu dosyalarının taranarak olası depremlerin belirleniyor (genlik değişimleri karşılaştırılarak) ve istasyonlara varış zamanları hesaplanıyor 10 saniye içerisinde en az 4 istasyon tarafından genlik değişiminin olması gerekiyor.

değişimleri karşılaştırılarak) ve istasyonlara varış zamanları hesaplanıyor 10

6 Deprem Merkezi BulmaYöntemi 2) Deprem dalgasının istasyona varış zamanı ve geçtiği çeşitli yer katmanlarındaki hızları kullanılarak deprem merkezinin istasyondan uzaklığı hesaplanıyor.

7 Deprem Merkezi BulmaYöntemi İstasyon 1 İstasyon 2 Deprem merkezi İstasyon 3

8 Paralelleştirme Yöntemleri 1) İstasyonları Bölerek Paralelleştirme 2) Zamanı bölerek Paralelleştirme

9 1) İstasyonu Bölerek Paralelleştirme İstasyon n İstasyon Dosyaları İstasyon 5 İstasyon 4 İstasyon 3 İstasyon 2 İstasyon 1 Zaman

10 1) İstasyonu Böl. Paralelleştirme (iş akışı) I. Ulusal Yüksek Başarım ve Grid Konferansı 1. istasyon dosyası 2. istasyon dosyası Depolama Elemanı(SE) (n-1) inci istasyon dosyası n inci istasyon dosyası WN(1) WN(2) WN(n-1) WN(n) İşci düğümleri (istasyona dalganın varışını bulma) Deprem Merkezi Bulma WN Deprem veritabanı

istasyon dosyası Depolama Elemanı(SE) (n-1) inci istasyon dosyası n inci

11 2) Zamanı Bölerek Paralelleştirme İstasyon n İstasyon Dosyaları İstasyon 5 İstasyon 4 İstasyon 3 İstasyon 2 İstasyon 1 Zaman

12 2) Zamanı Böl. Paralelleştirme (iş akışı) İstasyona dalganın varışını bulma 1 inci zaman bölüntüsü dosyaları Depolama Elemanı(SE) 2 inci zaman bölüntüsü dosyaları (n-1) inci zaman bölüntüsü dosyaları n inci zaman bölüntüsü dosyaları WN(1) WN(2) WN(n-1) WN(n) Deprem merkezi bulma WN(1) WN(2) WN(n-1) WN(n) Deprem veritabanı

bölüntüsü dosyaları Depolama Elemanı(SE) 2 inci zaman bölüntüsü dosyaları (n-1)

13 Otomatik JDL üretimi type = "dag"; VirtualOrganisation = "seismo.see-grid-sci.eu"; Rank = other.gluecestatefreecpus; max_nodes_running = 71; InputSandbox = { "RUNSINGLEHOUR","elf.exe","template.txt", "katsay.tmp","response.zip", "DB.class","insertQuery.class", "mysql-connector-java bin.jar" };

$gluecestatefreecpus; max_nodes_running = 71; InputSandbox = {$

14 Otomatik JDL üretimi nodes = [ part0 = [ description = [ Type="Job"; JobType="Normal"; Executable = "RUNSINGLEHOUR"; StdOutput = "out.txt"; StdError = "err.txt"; OutputSandbox = { "out.txt","err.txt","1","2","3" }; Arguments = " ADVT.BHZ.KO.zip process0 1"; RetryCount = 3; ]; I. Ulusal Yüksek Başarım ve Grid Konferansı

15 Otomatik JDL üretimi part70 = [ description = [ Type="Job"; JobType="Normal"; Executable = "RUNSINGLEHOUR"; StdOutput = "out.txt"; StdError = "err.txt"; OutputSandbox = { "out.txt","err.txt","1","2","3" }; Arguments = " dummy process70 2"; RetryCount = 3; ]; ]; ]; dependencies={{{part0,..., part69 },part70}}; I. Ulusal Yüksek Başarım ve Grid Konferansı

16 Sonuç Toplam işlenmiş Zaman (Parallel Programlar) dosya sayısı Zaman İstasyon Bölme Zaman Bölme Test (Seri Program) 1 saatlik veri s 20 s 10 s

17 Teşekkürler

Benzer belgeler

Grid Ortamında İş Gönderme

Grid Ortamında İş Gönderme I. Ulusal Yüksek Başarım ve Grid Konferansı 15-18 Nisan 2009, ODTÜ, Ankara http://www.grid.org.tr/basarim09/ www.grid.org.tr İÇERİK İş gönderme yöntemleri Kullanıcı arayüz sunucularına