GRID hakkında. bol ATLASlı örneklerle. Gökhan Ünel / UCIrvine. 4 Mart 2012

Transkript

1 GRID hakkında bol ATLASlı örneklerle Gökhan Ünel / UCIrvine 4 Mart 2012

2 GRID hakkında Dikkat!!! Bu şimdiye kadar dinlediği GRID sunumlarının hiçbirini, fazla bilgisayar içerikli bulduğu için, beğenmeyen ve GRID i son 1.5 yıldır neredeyse her gün kullanan bir fizikçinin yaklaşımıdır. 2 Başlangıç noktası Elimdeki sorunu için çözmek için çok hesap gerekiyor! İki çözümüm var: Çok güçlü bir bilgisayar yapayım, Seymour Cray 1976 da yaptı. İşi bir küme, orta karar makinaya yaptırayım. İkincisi daha iyi bir çözüm, büyütülebilir (scalable) önce bilgisayar çiftlikleri şimdi GRID sonra??? Ancak: Sorun (hesap) da büyütülebilir mi? yanlış yol doğru yol sonuç: ucube

3 O halde 3 Her sorun kümeleştirmeye uygun değildir! GRID her sorunun çözümü değil!!! Hangi sorunlar, hesaplar kümeleştirilebilir? Bir hesabın, ötekilerden bağımsız olduğu durumlar, örnek: Bana 1000 tane ttbar olayı üret, algıçtan geçir. Her ttbar tamanen bağımsız ve 1 makine tarafından hesaplanabilir. Daha da küçük parçalara bölmek zor: Aynı olaydaki farklı parçacıklar birbiri ile etkileşecek. Peki bilgisayar çiftliği dururken GRID nereden çıktı? Eskiden, her grubun bir çiftliği vardı. Her çiftliğin belli bir idare, sonuç isteme ve alma şekli vardı. öğrenilecek çok fazla komut, yöntem oluyordu. Giriş ve çıkış verilerinin nerede olduğunu bilmek gerekli. her çiftlikte musluğun, samanın farklı yerde olması gibi, zorlaştırıcı.

4 GRID kullanmak 4 Kullanıcı ayrıntılarla ilgilenmez giriş veya çıkış verisi neredeymiş? nereye yazılırmış? bana ne? hangi makinede çalışır, fransa? çin? türkiye? bana ne? benim yazılımım için, şu işletim sisteminin bu sürümü lazım. nerede kim kurmuş, bana ne? Kullanıcı tek bir arayüz görür, ona alışır, onu kullanır. GRID kullanmak için gerekenler sertifika: (GLOBUS) her kurum DOE, CERN, TUBITAK..) farklı evrak istiyor. bu kullanıcı kim, şifresi ne? ne zamana kadar geçerli vs. VO (Sanal Kurum) üyeliği: hangi kaynaklara erişebilir? ATLAS, CMS,..?

5 Kuruluma bir örnek Ben lxplus üzerinden çalışıyorum. nasılsa CERN-IT bakımını ve bakıcılığını yapıyor. Gereken 2 kütük var. izinlere dikkat. kütük türüne dikkat 5 p12: binary (ikili) kütük, pem: text (metin) kütük başvururken aldığınız şifreyi unutmayın --> kaybolursa baştan almak lazım. zor ve zaman alıcı. grid adınızı sıklıkla kullandığınız makinedeki (lxplus) kullanıcı adınızla aynı seçin. hayatı kolaylaştırıyor. Bu kütükler nereden çıktı? başvurduğunuz kurum size bir p12 kütük verecek. bunu firefox ile kurup (çift tıklama) ve lxplus a aktarın. openssl pkcs12 -nocerts -in AAAAAA.p12 -out userkey.pem openssl pkcs12 -clcerts -nokeys -in AAAAAA.p12 -out usercert.pem

6 kullanmak için 6 Ben PANDA ve DQ2 (ATLAS a özel) kullanıyorum. (başka seçenek: ganga) lxplus da ~unel/public/readme de herşey yazıyor ilk komut bir ATLAS yazılım sürümünü etkinleştirmek için Son 4 komut GRID i etkinleştirmek için, ATLAS sürümünden bağımsız. dq2: kütüklerde getir-götür ve kopyalama işleri. dq2-ls gibi panda: iş yolla, sonucuna bak, yeniden yolla vs prun gibi

7 kullanım örneği 7 Ortam GRID e iş, içinde kaynak yazısı (source code) olan bir bohça (tgz) olarak yollanır. gittiği yerde, bohça açılır, kaynak yazısı derlenir. yolladığınız makinede (lxplus) olan her yazılımın hesabı yapan makinede olacağı kesin değildir. Deney yazılımınız bile farklı yerde kurulmuş olabilir. bu yüzden mutlak yollardan kaçının, göreli yol kullanın (relative path). iş yollamak için PANDA komutu prun --excludedsite=analy_jinr --inds $f --exec "echo %IN > input.txt ;./ntra.sh $runmodif " --bexec "root_analysisd3pdmake.sh" --athenatag=${aver} --outds user.$ {un}.analysisd${ov}d${exn} --outputs çalıştırmadan önce yapılacak iş, derleme. JINR ı kullanma input data set "analysisd3pd.root,ff_1analysis.lhco,common.root" -- nfilesperjob 1 --extfile mu_mc10b.root yardımcı root kütüğü çıktı kütükleri çalıştırılacak iş ATLAS SW sürümü

8 örneğe devam 8 işler sonlanınca (başarılı veya başarısız) gelir iş numarası işin çalıştığı yer tüm olaylar alt işe bölünmüş (1: derleme). İdeal durumda 547 makinede çalışır. Herbir alt iş 5000 olay içerir. girdi kütüklerinin olduğu dizin çıktı kütüklerinin olduğu dizin

9 örneğe devam 9 ayrıntılar panda.cern.ch den görülür. bir hata olursa, tıklayarak çıktı ve hata kütükleri okunur.

10 ya sonra? 10 bazen işler takılıyor, bazen yeniden yollamak gerekiyor pbook komutu bunları yapmaya olanak veriyor. pbook -c kill(12570) pbook -c retry(12570) Eğer işler sorunsuz tamamlanırsa dq2-get komutu ile sonuçlar GRID den yerel diske alınır. her biri 5000 olay sonucu içeren 547 root kütüğünü getiririz. hadd komutu ile bu 547 kütük birleştirilir hadd root *.root dikkat : hadd komutu en cok 999 kütük birleştirir. Eğer daha fazlasını birleştirmek gerekiyorsa ~unel/public/myhadd.sh kullanın. 1 iş böylece bitti. en basit çözümleme için yaklaşık 50 benzer iş gerekir.

11 11 bence bunlar karışık - G. Kendi sarma (wrapper) betiklerimi yazdım. Artık hiçbir dq2 veya panda komutunu doğrudan kullanmıyorum. yollamak için rungrid.sh yazdım; 2 ayarı var: rungrid.sh [veri_kümesi veya veri_numası] [tetikleme] rungrid.sh ttbar electrons rungrid.sh muons Basit kullanıcı ayarları betik içine gömülü Veri kümelerini basit bir txt kütüğünde tanımladım:

12 sarma betiği işlerin durumuna bakmak, yeniden yollamak, sonuçları toplamak için de bir betik yazdım: getres.sh, 2 ayarı var:./getres.sh [veri_kümesi veya veri_numası] [komut] add: alt işleri topla check: iş durumunu kaba olarak göster =>./getres.sh singlet check we have 0 root files for run ; Expecting 30 jobs. checkdisp: iş durumunun ayrıntılarını göster =>./getres.sh singlet checkdisp we have 25 root files for run ; Expecting 30 jobs. show command received for JID status : running finished : 30 running : 3 checkresub: iş durumu gerektiriyorsa bozuk işleri baştan yolla =>./getres.sh Wjets checkresub get: bittiği kadarıyla sonuçları GRID den al =>./getres.sh Wjets get checkget: bak biten işler yerel diske gelmiş mi, hepsi geldiyse topla =>./getres.sh singlet checkget get the number from : singlet lcg-cp for is Finished we have 30 root files for run ; ready, will add automatically. Expecting 30 jobs.