CRAB ile TR-Grid Üzerinde Analiz

Transkript

1 CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi

2 TR T2 Durumu TR T2 merkezinin durumunun istatistiksel olarak özetlenmesi için aşağıda ki grafikler paylaşılmıştır. Bu grafikler, TR METU sitesine gelen test işlerinin sonuçlarının toplanmasıyla edinilmiştir. T1 merkezleri ile production veri kanalları ve transfer durumları örnek grafiklerde gösterilmiştir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

3 TR T2 Durumu 7 TeV Veriler TR-Grid Üzerinde Atlas Analizi, 08 Nisan

4 TR-Grid Üzerinde Atlas Analizi, 08 Nisan

5 TR-Grid Üzerinde Atlas Analizi, 08 Nisan

6 TR T2 Durumu TR-Grid Üzerinde Atlas Analizi, 08 Nisan

7 TR T2 Durumu TR-Grid Üzerinde Atlas Analizi, 08 Nisan

8 Giriş Bu sunum CERN twiki sayfasinda yer alan rehber referans alinarak TR-Grid kaynaklari uzerinde CRAB araciligiyla nasil veri analizi yapilacagi amaciyla hazirlanmistir. CERN wiki sayfasında yer alan analiz için gerekli olan güncel komut setlerinin TR-Grid üzerinde ki karşılıkları paylaşılacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

9 Kullanıcı Hesabı ve Grid Sertfikası Kullanıcı arayüzü makinesi olan kefal.ulakbim.gov.tr üzerinde kullanıcı hesabı ve grid sertifikası Üyelik başvuru formunun doldurulması: Kurumsal belgerin gönderilmesi Statik IP adresi veya OpenVPN FNAL ve CERN IP blokları erişimine izin verilmiştir. IP kısıtlaması olmaksızın heryerden bağlanabilmek için OpenVPN Sertifika Başvurusu TR-Grid Üzerinde Atlas Analizi, 08 Nisan

10 Kullanıcı Hesabı ve Grid Sertfikası (2) Enabling Grids for E-sciencE Lxplus üzerinde hesabınız varsa ve TR-Grid üzerinde yeni çalışmaya başlayacaksanız Kullanıcı arayuzu bilgisayarında yeni bir hesap açtırmanız.globus dizinini bu hesaba kopyalamanız yeterlidir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

11 Sertifikanızın Yenilenmesi ve VO Kaydi Enabling Grids for E-sciencE grid-cert-info komutu ile sertifikanızın süresini sorgulayabilirsiniz. Süresi dolmuş sertifikalarınızı yenilemek için adresine e- posta atınız. Sertifikanızın CMS sanal organizasyonuna dahil edilmesi İlk imzalandığında trgride sanal organizasyonuna (yerel) dahil edilir. voms-proxy-init voms cms komutu ile proxy yaratabiliyorsaniz bu vo'ya dahilsiniz demektir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

12 SiteDB Kaydı Analiz sonrası üretmiş olacağınız bilgileri DBS üzerinden yayınlamak için SiteDB'ye kayıt Hypernews kullanıcı adıyla SiteDB'ye giriş ve DN bilginizin girilmesi T* hesaplama merkezlerinin kaydı yanında, fizik grupları ve kişilerin rolleri tanımlaması yapılmıştır. İleri de bu bilgiler ışığında verinin nereye gideceği kararlaştırılacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

13 Yüklü olan CMSSW Yazılımları Enabling Grids for E-sciencE VO-cms-CMSSW_2_2_13_offpatch1 VO-cms-CMSSW_2_2_6 VO-cms-CMSSW_2_2_9 VO-cms-CMSSW_3_1_4 VO-cms-CMSSW_3_1_6 VO-cms-CMSSW_3_2_5 VO-cms-CMSSW_3_2_8 VO-cms-CMSSW_3_3_1 VO-cms-CMSSW_3_3_3 VO-cms-CMSSW_3_3_3_TSG VO-cms-CMSSW_3_3_3_patch1 VO-cms-CMSSW_3_3_5 VO-cms-CMSSW_3_3_5_patch1 VO-cms-CMSSW_3_3_5_patch2 VO-cms-CMSSW_3_3_5_patch3 VO-cms-CMSSW_3_3_5_patch4 VO-cms-CMSSW_3_3_6 VO-cms-CMSSW_3_3_6_patch1 VO-cms-CMSSW_3_3_6_patch2 VO-cms-CMSSW_3_3_6_patch3 VO-cms-CMSSW_3_3_6_patch4 VO-cms-CMSSW_3_3_6_patch5 VO-cms-CMSSW_3_3_6_patch6 VO-cms-CMSSW_3_4_0 VO-cms-CMSSW_3_4_1 VO-cms-CMSSW_3_4_2 VO-cms-CMSSW_3_4_2_patch1 VO-cms-CMSSW_3_5_0 VO-cms-CMSSW_3_5_0_patch1 VO-cms-CMSSW_3_5_1 VO-cms-CMSSW_3_5_1_patch1 VO-cms-CMSSW_3_5_2 VO-cms-CMSSW_3_5_2_patch1 VO-cms-CMSSW_3_5_2_patch2 VO-cms-CMSSW_3_5_3 VO-cms-CMSSW_3_5_4 VO-cms-CMSSW_3_5_4_patch1 VO-cms-CMSSW_3_5_4_patch2 VO-cms-CMSSW_3_5_6 VO-cms-CMSSW_3_5_6_patch1 VO-cms-slc4_ia32_gcc345 VO-cms-slc5_ia32_gcc434 TR-Grid Üzerinde Atlas Analizi, 08 Nisan

14 CMS Yazılımları (SL5 geçişi) WLCG yapısına dahil sitelerin büyük çoğunluğu üzerinde SL5 işletim sistemi olan 64 bitlik orta katmana sahip (glite3.2) yapıya geçmiştir. Hem 32 bit hem de 64 bitlik yazılımlar sitelerde kurulu durumda olup her ikisi de desteklenmektedir. CMSSW_3_4_* sonrasi 64 bitlik olan analiz yazilimlaridir. T2 METU, SL5 işletim sistemine geçmiş 32 ve 64 bitlik yazılımları beraber destekler durumdadır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

15 CMS Yazılımları Enabling Grids for E-sciencE Yeni CMSSW yazılımlarının kurulması merkezi otorite tarafından yapılmaktadır. İstediğiniz yazılım kurulu değilse kurulum için site yöneticisi ile irtibata geçilmektedir. 32 bitlik METU sitesinde yuklu olan yazilimlari gormek icin; source /opt/exp_soft/cms/cmsset_default.sh export SCRAM_ARCH=slc4_ia32_gcc345 scram list 64 bitlik yuklu olan yazilimlari gormek icin; source /opt/exp_soft/cms/cmsset_default.sh export SCRAM_ARCH=slc5_ia32_gcc434 scram list TR-Grid Üzerinde Atlas Analizi, 08 Nisan

16 Yüklü olan CRAB Araçları CRAB_2_6_3_patch_2 CRAB_2_6_5 CRAB_2_6_6 CRAB_2_7_0 CRAB_2_7_1_pre12 CRAB_2_7_1 TR-Grid Üzerinde Atlas Analizi, 08 Nisan

17 CRAB Araçları Kullanıcı bu araçları kendi ev dizinine kolayca kurabileceği gibi ortak yere kurulmuş olan sürümü de kullanabilir. İstediğiniz CRAB sürümünün kullanıcı arayüzünde bulunmaması ve ortak yere kurulmasını istediğiniz durumda bizle irtibata geçmeniz gerekmektedir. /opt/exp_soft/cms/crab/ dizini altinda kurulu olan CRAB araclarini bulabilirsiniz. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

18 Kullanıcı Arayüzü ssh <kullanıcı ls -ls.globus izinleri asagidaki gibi olmalıdır. drwxr-xr-x 2 emrah trgridb 4096 Oct drwx-----x 96 emrah trgridb Apr 8 21:32.. -rw-r--r-- 1 akkoyun atlas 1701 Jun usercert.pem -r akkoyun atlas 1920 Jun userkey.pem Root gibi programlarla goruntu almak istediğinizde ssh -X parametresiyle bağlanmanız gerekmektedir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

19 Kullanıcı Arayüzü Kullanıcı arayüzü üzerinden lxplus hesabınıza /afs üzerinden erişebilirsiniz. ls -la /afs/cern.ch/user/a/akkoyun/ Kefal üzerinden lxplus hesabınıza dosya taşıyabilir, dosya alabilirsiniz. Bunun için kerberos bileti edinmelisiniz. kinit -5 klog akkoyun klist komutu ile biletinizin gecerlilik zamanını sorgulayabilirsiniz. Valid starting Expires Service principal 04/08/10 07:20:59 04/09/10 07:20:59 TR-Grid Üzerinde Atlas Analizi, 08 Nisan

20 Çevre Değişkenlerinin Tanımlanması Enabling Grids for E-sciencE cms ile ilgili komut setlerine erisebilmek icin source /opt/exp_soft/cms/cmsset_default.sh İstediğiniz CMSSW yazılımını kullanabilmek için mkdir Tutorial cd Tutorial cmsrel CMSSW_2_2_13 cd CMSSW_2_2_13/src/ cmsenv Ortak alanda kurulu olan CRAB versiyonunu kullanmak icin; source /opt/exp_soft/cms/crab/crab_2_6_5/crab.sh TR-Grid Üzerinde Atlas Analizi, 08 Nisan

21 Konfigürasyon Dosyası Wiki sayfasında belirtilen konfigürasyon dosyasi (tutorial.py) import FWCore.ParameterSet.Config as cms process = cms.process('tutorial') process.source = cms.source("poolsource", filenames = cms.untracked.vstring()) process.maxevents = cms.untracked.pset( input = cms.untracked.int32(10) ) process.options = cms.untracked.pset( wantsummary = cms.untracked.bool(true) ) process.output = cms.outputmodule("pooloutputmodule", outputcommands = cms.untracked.vstring("drop *", "keep recotracks_*_*_*"), filename = cms.untracked.string('out.root'), ) process.out_step = cms.endpath(process.output) TR-Grid Üzerinde Atlas Analizi, 08 Nisan

22 Veri Seti Seçme (Senaryo) CMS'te gonderilen iş, veri setinin oldugu yere gider. Senaryo 1: Veri: yok, İş: Başka T2 merkezi Kefal (kullanıcı arayüzü) üzerinden sadece CRAB kullanılarak işinizi yönetebilirsiniz. Crab dosyasında METU sitesi depolama olarak belirtilerek gönderilen analiz işi başka sitede çalışsa bile sonuçların buraya yazdırılması sağlanabilir. (Örn:ce_white_list) Akademik ağa dahil olunduğundan analiz verileri hızlıca TR T2 merkezine hızlıca yazdırılabilir. Aynı ağ içerisinde olduğundan depolama elemanından kefal'e sonuçların alınması daha hızlı olacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

23 Senaryo 2: Veri: var, İş: TR T2 merkezi Veri Seti Seçme (Senaryo) Eğer çalışmak istediğiniz veri seti burada bulunuyorsa diğer sitelerde de bulunabileceği göz önünde bulundurulmalıdır. İşinizin TR T2'de çalışması için CRAB'da belirtilmelidir. İşlerin analiz edilmesi ve lokale taşınması daha hızlı olacaktır. (Aynı ağ içerisinde) Yönetimi TR-Grid ekibinde olduğundan çalışmanıza özel ihtiyaçlar daha hızlı karşılanabilir. Ulusal kullanıcılara önceliklendirme yapılabilir. Aşağıda ki veri seti analiz için seçilebilir. /QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO TR-Grid Üzerinde Atlas Analizi, 08 Nisan

24 Crab Dosyasının Hazırlanması Enabling Grids for E-sciencE Yardım dosyasına bakılıp parametreler hakkında fazlaca bilgi alınabilir. crab -h Örnek konfigürasyon dosyası [CMSSW] total_number_of_events=100 number_of_jobs=10 pset=tutorial.py datasetpath=/qcdpt30/summer08_ideal_v9_v4/gen-sim-reco output_file=out.root TR-Grid Üzerinde Atlas Analizi, 08 Nisan

25 Crab Dosyasının Hazırlanması Enabling Grids for E-sciencE [USER] return_data=0 =<e-posta adresiniz> copy_data = 1 storage_element = T2_TR_METU publish_data = 1 publish_data_name = <yayinlayacaginiz veri setinin adi> dbs_url_for_publication = [CRAB] scheduler=glite jobtype=cmssw TR-Grid Üzerinde Atlas Analizi, 08 Nisan

26 İşin Yaratılması ve Gönderilmesi Enabling Grids for E-sciencE Hazirlamiz oldugumuz isi yaratmak icin; crab -create Bu komutu calistirdiktan sonra cikti ekranin da, uzerinde calistiginiz veri setinin ne kadar olay icerdigi, nerelerde bulundugu bilgisini bulabilirsiniz. Gondermek icin; crab -submit TR-Grid Üzerinde Atlas Analizi, 08 Nisan

27 İşin Durumunun Sorgulanması Enabling Grids for E-sciencE CRAB ile işinizin durumunu sorgularken karşılaşmanız muhtemel aşağıda ki hatayı alabilirsiniz. Aldiginiz hatanin son satiri: ImportError: No module named _glite_wmsui_lbwrapper Bu durumda aşağıda ki komutu çalıştırmanız gerekmektedir. export PYTHONPATH=${PYTHONPATH}:${GLITE_LOCATION}/lib Daha fazla bilgi için İşin durumunu sorgulamak için crab -status Web üzerinden iş numaranız ile sorgulama yapabilmek için aşağıdaki adres kullanılabilir. (Crab sunucusu kullanıldıysa) TR-Grid Üzerinde Atlas Analizi, 08 Nisan

28 İşlerin Sonuçlarının Alınması crab -getoutput komutu ile analiz esnasinda yapilan islerin kayitlarini tutan log dosyalarini edinebilirsiniz. Analiz sonrasi uretilen root dosyalari alınamaz, çünkü konfigurasyon dosyasinda sonuclarin dogrudan depaolama elemanina gonderileceği soylenmişti. Log dosyaları hatanın bulunmasında oldukça faydalıdır. İşinizin hata alması durumunda site yöneticisi ile bu log dosyalarını paylaşabilirsiniz. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

29 İşlerin Sonuçlarının Alınması (2) Enabling Grids for E-sciencE Örnek: İşlerden birkaçının numaralı hata ile sonlanması (root dosyasının SE'ye kopyalanamaması) Hatanın gösterildiği log dosyası :25: : Executed: lcg-cp --verbose --vo=cms -b -D srmv2 --srm-timeout sendreceive-timeout connecttimeout verbose file:///home/cms021/globustmp.alicegrid /https_3a_2f_2flb010.cnaf.infn.it_3a9000_2fjeuz8yvdsewwrwr3h3bcpw/cmssw_2_ 2_13/out_5.root srm://eymir.grid.metu.edu.tr:8446/srm/managerv2? SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emrahtestmetu/85ab15de603ef7cf9b5741 fe5fa3c2df/out_5.root Done with exit code: 256 and output: Using grid catalog type: UNKNOWN Using grid catalog : (null) VO name: cms Checksum type: None Destination SE type: SRMv2 [SE][Mkdir][SRM_DUPLICATION_ERROR] srm://eymir.grid.metu.edu.tr:8446/srm/managerv2? SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emraht estmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root: File exists lcg_cp: File exists TR-Grid Üzerinde Atlas Analizi, 08 Nisan

30 TR T2 Merkezinde İş Koşturmak Enabling Grids for E-sciencE Bu örnekte ki işler, WLCG alt yapisinda bulunan herhangi bir T2 merkezinde calistirildi ve sonuclari METU sitesine gonderildi. Eger veri seti METU sitesinde bulunuyorsa (DBS uzerinden sorgulayabilirsiniz) asagidaki parametreleri crab.cfg dosyaniza ekleyerek isinizin burada dogrudan calismasini saglayabilirsiniz. [GRID] ce_white_list = cox01.grid.metu.edu.tr Çalışmak istediğiniz veri setini T2 TR merkezine taşımak için PhEDEx üzerinden istekte bulunmanız gerekecektir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan

31 Analiz Sonuçlarının Lokale Taşınması Enabling Grids for E-sciencE SiteDB'de kayitli oldugum kullanici ismim akkoyun Dolayisiyla uretilen veri setleri asagidaki dizin altina kopyalanmistir. /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ Analiz sonrasında üretilen dosyaları görebilmek icin asagida ki cevre degiskenlerinin tanımlanması gerekmektedir. export DPM_HOST=eymir.grid.metu.edu.tr export DPNS_HOST=eymir.grid.metu.edu.tr TR-Grid Üzerinde Atlas Analizi, 08 Nisan

32 Analiz Sonuçlarının Lokale Taşınması (2) Enabling Grids for E-sciencE Dizinin altında ki dosyaları sorgulamak için rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ drwxrwxr-x Feb 24 15:25 emrahtestmetu emrahtestmetu adinda klasorun yaratildigi görünüyor. Bu klasorun icerisinde ki root dosyalarini sorgualamak icin; rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/qcd pt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df TR-Grid Üzerinde Atlas Analizi, 08 Nisan

33 Analiz Sonuçlarının Lokale Taşınması (3) Enabling Grids for E-sciencE -rw-rw-r Feb 24 15:31 out_1.root -rw-rw-r Feb 24 15:30 out_10.root -rw-rw-r Feb 24 15:31 out_2.root -rw-rw-r Feb 24 15:25 out_3.root -rw-rw-r Feb 24 15:25 out_4.root -rw-rw-r Feb 24 15:25 out_7.root -rw-rw-r Feb 24 15:31 out_8.root -rw-rw-r Feb 24 15:30 out_9.root Hata ile sonuclanmis olan 5 ve 6 disinda ki tum dosyalar depolama elemaninda yaratılmıştır. Ev dizinimde kopyasini alabilmek icin, rfcp /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/qcdpt30/emrahtestmetu/85ab15de6 03ef7cf9b5741fe5fa3c2df/out_1.root ~emrah/ TR-Grid Üzerinde Atlas Analizi, 08 Nisan

34 Analiz Sonuçlarının Lokale Taşınması (4) Enabling Grids for E-sciencE Analiz verilerinin TR-Grid üzerinde saklanması 1. Ev Dizininde Saklanması Yüksek performanslı disklerden oluşmuş yapıdır. O yüzden kullanıcının en fazla 10 GB bir disk kotası vardır. Veri analiz edileceği zaman burada tutulmalıdır. (Küme) 1. /depo1 dizininde tutulması 1. Depaolama Elemanı Verinizi lokal de saklamak veya root dosyası ile açmak için burada tutabilirsiniz. Kullanıcı adınız ile burada dizin yaratılmış durumdadır. Burada ki veriler silinmeyecektir. Herhangi bir disk kotası kullanıcılar için tanımlanmamıştır. Ulusal kullanıcılar için depolama elemanı üzerinde bir alan ayrılarak analiz verilerinin burada tutulması sağlanabilir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan