CRAB ile TR-Grid Üzerinde Analiz Emrah AKKOYUN TÜBİTAK-ULAKBİM Mehmet Vergili Çukurova Üniversitesi www.eu-egee.org
TR T2 Durumu TR T2 merkezinin durumunun istatistiksel olarak özetlenmesi için aşağıda ki grafikler paylaşılmıştır. Bu grafikler, TR METU sitesine gelen test işlerinin sonuçlarının toplanmasıyla edinilmiştir. T1 merkezleri ile production veri kanalları ve transfer durumları örnek grafiklerde gösterilmiştir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 2
TR T2 Durumu 7 TeV Veriler TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 3
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 4
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 5
TR T2 Durumu TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 6
TR T2 Durumu TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 7
Giriş Bu sunum CERN twiki sayfasinda yer alan rehber referans alinarak TR-Grid kaynaklari uzerinde CRAB araciligiyla nasil veri analizi yapilacagi amaciyla hazirlanmistir. https://twiki.cern.ch/twiki/bin/view/cms/workbookcrabtuto CERN wiki sayfasında yer alan analiz için gerekli olan güncel komut setlerinin TR-Grid üzerinde ki karşılıkları paylaşılacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 8
Kullanıcı Hesabı ve Grid Sertfikası Kullanıcı arayüzü makinesi olan kefal.ulakbim.gov.tr üzerinde kullanıcı hesabı ve grid sertifikası http://www.grid.org.tr/uyelik/yonerge.uhtml Üyelik başvuru formunun doldurulması: http://www.grid.org.tr/uyelik/uyelik.php Kurumsal belgerin gönderilmesi Statik IP adresi veya OpenVPN FNAL ve CERN IP blokları erişimine izin verilmiştir. IP kısıtlaması olmaksızın heryerden bağlanabilmek için OpenVPN http://wiki.grid.org.tr/index.php/openvpn_nas%c4%b1l Sertifika Başvurusu TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 9
Kullanıcı Hesabı ve Grid Sertfikası (2) Enabling Grids for E-sciencE Lxplus üzerinde hesabınız varsa ve TR-Grid üzerinde yeni çalışmaya başlayacaksanız Kullanıcı arayuzu bilgisayarında yeni bir hesap açtırmanız.globus dizinini bu hesaba kopyalamanız yeterlidir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 10
Sertifikanızın Yenilenmesi ve VO Kaydi Enabling Grids for E-sciencE grid-cert-info komutu ile sertifikanızın süresini sorgulayabilirsiniz. Süresi dolmuş sertifikalarınızı yenilemek için grid-teknik@ulakbim.gov.tr adresine e- posta atınız. Sertifikanızın CMS sanal organizasyonuna dahil edilmesi İlk imzalandığında trgride sanal organizasyonuna (yerel) dahil edilir. voms-proxy-init voms cms komutu ile proxy yaratabiliyorsaniz bu vo'ya dahilsiniz demektir. http://cmsdoc.cern.ch/cms/aprom/www/top/cms_vo.html TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 11
SiteDB Kaydı Analiz sonrası üretmiş olacağınız bilgileri DBS üzerinden yayınlamak için SiteDB'ye kayıt https://twiki.cern.ch/twiki/bin/view/cms/sitedbforcrab Hypernews kullanıcı adıyla SiteDB'ye giriş ve DN bilginizin girilmesi T* hesaplama merkezlerinin kaydı yanında, fizik grupları ve kişilerin rolleri tanımlaması yapılmıştır. İleri de bu bilgiler ışığında verinin nereye gideceği kararlaştırılacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 12
Yüklü olan CMSSW Yazılımları Enabling Grids for E-sciencE VO-cms-CMSSW_2_2_13_offpatch1 VO-cms-CMSSW_2_2_6 VO-cms-CMSSW_2_2_9 VO-cms-CMSSW_3_1_4 VO-cms-CMSSW_3_1_6 VO-cms-CMSSW_3_2_5 VO-cms-CMSSW_3_2_8 VO-cms-CMSSW_3_3_1 VO-cms-CMSSW_3_3_3 VO-cms-CMSSW_3_3_3_TSG VO-cms-CMSSW_3_3_3_patch1 VO-cms-CMSSW_3_3_5 VO-cms-CMSSW_3_3_5_patch1 VO-cms-CMSSW_3_3_5_patch2 VO-cms-CMSSW_3_3_5_patch3 VO-cms-CMSSW_3_3_5_patch4 VO-cms-CMSSW_3_3_6 VO-cms-CMSSW_3_3_6_patch1 VO-cms-CMSSW_3_3_6_patch2 VO-cms-CMSSW_3_3_6_patch3 VO-cms-CMSSW_3_3_6_patch4 VO-cms-CMSSW_3_3_6_patch5 VO-cms-CMSSW_3_3_6_patch6 VO-cms-CMSSW_3_4_0 VO-cms-CMSSW_3_4_1 VO-cms-CMSSW_3_4_2 VO-cms-CMSSW_3_4_2_patch1 VO-cms-CMSSW_3_5_0 VO-cms-CMSSW_3_5_0_patch1 VO-cms-CMSSW_3_5_1 VO-cms-CMSSW_3_5_1_patch1 VO-cms-CMSSW_3_5_2 VO-cms-CMSSW_3_5_2_patch1 VO-cms-CMSSW_3_5_2_patch2 VO-cms-CMSSW_3_5_3 VO-cms-CMSSW_3_5_4 VO-cms-CMSSW_3_5_4_patch1 VO-cms-CMSSW_3_5_4_patch2 VO-cms-CMSSW_3_5_6 VO-cms-CMSSW_3_5_6_patch1 VO-cms-slc4_ia32_gcc345 VO-cms-slc5_ia32_gcc434 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 13
CMS Yazılımları (SL5 geçişi) WLCG yapısına dahil sitelerin büyük çoğunluğu üzerinde SL5 işletim sistemi olan 64 bitlik orta katmana sahip (glite3.2) yapıya geçmiştir. Hem 32 bit hem de 64 bitlik yazılımlar sitelerde kurulu durumda olup her ikisi de desteklenmektedir. CMSSW_3_4_* sonrasi 64 bitlik olan analiz yazilimlaridir. T2 METU, SL5 işletim sistemine geçmiş 32 ve 64 bitlik yazılımları beraber destekler durumdadır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 14
CMS Yazılımları Enabling Grids for E-sciencE Yeni CMSSW yazılımlarının kurulması merkezi otorite tarafından yapılmaktadır. İstediğiniz yazılım kurulu değilse kurulum için site yöneticisi ile irtibata geçilmektedir. 32 bitlik METU sitesinde yuklu olan yazilimlari gormek icin; source /opt/exp_soft/cms/cmsset_default.sh export SCRAM_ARCH=slc4_ia32_gcc345 scram list 64 bitlik yuklu olan yazilimlari gormek icin; source /opt/exp_soft/cms/cmsset_default.sh export SCRAM_ARCH=slc5_ia32_gcc434 scram list TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 15
Yüklü olan CRAB Araçları CRAB_2_6_3_patch_2 CRAB_2_6_5 CRAB_2_6_6 CRAB_2_7_0 CRAB_2_7_1_pre12 CRAB_2_7_1 TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 16
CRAB Araçları Kullanıcı bu araçları kendi ev dizinine kolayca kurabileceği gibi ortak yere kurulmuş olan sürümü de kullanabilir. İstediğiniz CRAB sürümünün kullanıcı arayüzünde bulunmaması ve ortak yere kurulmasını istediğiniz durumda bizle irtibata geçmeniz gerekmektedir. /opt/exp_soft/cms/crab/ dizini altinda kurulu olan CRAB araclarini bulabilirsiniz. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 17
Kullanıcı Arayüzü ssh <kullanıcı adı>@kefal.ulakbim.gov.tr ls -ls.globus izinleri asagidaki gibi olmalıdır. drwxr-xr-x 2 emrah trgridb 4096 Oct 2 2009. drwx-----x 96 emrah trgridb 12288 Apr 8 21:32.. -rw-r--r-- 1 akkoyun atlas 1701 Jun 1 2009 usercert.pem -r-------- 1 akkoyun atlas 1920 Jun 1 2009 userkey.pem Root gibi programlarla goruntu almak istediğinizde ssh -X parametresiyle bağlanmanız gerekmektedir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 18
Kullanıcı Arayüzü Kullanıcı arayüzü üzerinden lxplus hesabınıza /afs üzerinden erişebilirsiniz. ls -la /afs/cern.ch/user/a/akkoyun/ Kefal üzerinden lxplus hesabınıza dosya taşıyabilir, dosya alabilirsiniz. Bunun için kerberos bileti edinmelisiniz. kinit -5 akkoyun@cern.ch klog akkoyun klist komutu ile biletinizin gecerlilik zamanını sorgulayabilirsiniz. Valid starting Expires Service principal 04/08/10 07:20:59 04/09/10 07:20:59 krbtgt/cern.ch@cern.ch TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 19
Çevre Değişkenlerinin Tanımlanması Enabling Grids for E-sciencE cms ile ilgili komut setlerine erisebilmek icin source /opt/exp_soft/cms/cmsset_default.sh İstediğiniz CMSSW yazılımını kullanabilmek için mkdir Tutorial cd Tutorial cmsrel CMSSW_2_2_13 cd CMSSW_2_2_13/src/ cmsenv Ortak alanda kurulu olan CRAB versiyonunu kullanmak icin; source /opt/exp_soft/cms/crab/crab_2_6_5/crab.sh TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 20
Konfigürasyon Dosyası Wiki sayfasında belirtilen konfigürasyon dosyasi (tutorial.py) import FWCore.ParameterSet.Config as cms process = cms.process('tutorial') process.source = cms.source("poolsource", filenames = cms.untracked.vstring()) process.maxevents = cms.untracked.pset( input = cms.untracked.int32(10) ) process.options = cms.untracked.pset( wantsummary = cms.untracked.bool(true) ) process.output = cms.outputmodule("pooloutputmodule", outputcommands = cms.untracked.vstring("drop *", "keep recotracks_*_*_*"), filename = cms.untracked.string('out.root'), ) process.out_step = cms.endpath(process.output) TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 21
Veri Seti Seçme (Senaryo) CMS'te gonderilen iş, veri setinin oldugu yere gider. Senaryo 1: Veri: yok, İş: Başka T2 merkezi Kefal (kullanıcı arayüzü) üzerinden sadece CRAB kullanılarak işinizi yönetebilirsiniz. Crab dosyasında METU sitesi depolama olarak belirtilerek gönderilen analiz işi başka sitede çalışsa bile sonuçların buraya yazdırılması sağlanabilir. (Örn:ce_white_list) Akademik ağa dahil olunduğundan analiz verileri hızlıca TR T2 merkezine hızlıca yazdırılabilir. Aynı ağ içerisinde olduğundan depolama elemanından kefal'e sonuçların alınması daha hızlı olacaktır. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 22
Senaryo 2: Veri: var, İş: TR T2 merkezi Veri Seti Seçme (Senaryo) Eğer çalışmak istediğiniz veri seti burada bulunuyorsa diğer sitelerde de bulunabileceği göz önünde bulundurulmalıdır. İşinizin TR T2'de çalışması için CRAB'da belirtilmelidir. İşlerin analiz edilmesi ve lokale taşınması daha hızlı olacaktır. (Aynı ağ içerisinde) Yönetimi TR-Grid ekibinde olduğundan çalışmanıza özel ihtiyaçlar daha hızlı karşılanabilir. Ulusal kullanıcılara önceliklendirme yapılabilir. Aşağıda ki veri seti analiz için seçilebilir. /QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 23
Crab Dosyasının Hazırlanması Enabling Grids for E-sciencE Yardım dosyasına bakılıp parametreler hakkında fazlaca bilgi alınabilir. crab -h Örnek konfigürasyon dosyası [CMSSW] total_number_of_events=100 number_of_jobs=10 pset=tutorial.py datasetpath=/qcdpt30/summer08_ideal_v9_v4/gen-sim-reco output_file=out.root TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 24
Crab Dosyasının Hazırlanması Enabling Grids for E-sciencE [USER] return_data=0 email=<e-posta adresiniz> copy_data = 1 storage_element = T2_TR_METU publish_data = 1 publish_data_name = <yayinlayacaginiz veri setinin adi> dbs_url_for_publication = http://cmssrv49.fnal.gov:8989/dbs209/servlet/dbsservlet [CRAB] scheduler=glite jobtype=cmssw TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 25
İşin Yaratılması ve Gönderilmesi Enabling Grids for E-sciencE Hazirlamiz oldugumuz isi yaratmak icin; crab -create Bu komutu calistirdiktan sonra cikti ekranin da, uzerinde calistiginiz veri setinin ne kadar olay icerdigi, nerelerde bulundugu bilgisini bulabilirsiniz. Gondermek icin; crab -submit TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 26
İşin Durumunun Sorgulanması Enabling Grids for E-sciencE CRAB ile işinizin durumunu sorgularken karşılaşmanız muhtemel aşağıda ki hatayı alabilirsiniz. Aldiginiz hatanin son satiri: ImportError: No module named _glite_wmsui_lbwrapper Bu durumda aşağıda ki komutu çalıştırmanız gerekmektedir. export PYTHONPATH=${PYTHONPATH}:${GLITE_LOCATION}/lib Daha fazla bilgi için https://twiki.cern.ch/twiki/bin/view/main/lsslc5uihttps://twiki.cern.ch/twiki/b İşin durumunu sorgulamak için crab -status Web üzerinden iş numaranız ile sorgulama yapabilmek için aşağıdaki adres kullanılabilir. (Crab sunucusu kullanıldıysa) http://crab1.ba.infn.it:8888/logginfo TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 27
İşlerin Sonuçlarının Alınması crab -getoutput komutu ile analiz esnasinda yapilan islerin kayitlarini tutan log dosyalarini edinebilirsiniz. Analiz sonrasi uretilen root dosyalari alınamaz, çünkü konfigurasyon dosyasinda sonuclarin dogrudan depaolama elemanina gonderileceği soylenmişti. Log dosyaları hatanın bulunmasında oldukça faydalıdır. İşinizin hata alması durumunda site yöneticisi ile bu log dosyalarını paylaşabilirsiniz. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 28
İşlerin Sonuçlarının Alınması (2) Enabling Grids for E-sciencE Örnek: İşlerden birkaçının 60307 numaralı hata ile sonlanması (root dosyasının SE'ye kopyalanamaması) Hatanın gösterildiği log dosyası 2010-02-24 14:25:04.617448: Executed: lcg-cp --verbose --vo=cms -b -D srmv2 --srm-timeout 2400 --sendreceive-timeout 2400 --connecttimeout 2400 --verbose file:///home/cms021/globustmp.alicegrid39.21032.0/https_3a_2f_2flb010.cnaf.infn.it_3a9000_2fjeuz8yvdsewwrwr3h3bcpw/cmssw_2_ 2_13/out_5.root srm://eymir.grid.metu.edu.tr:8446/srm/managerv2? SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emrahtestmetu/85ab15de603ef7cf9b5741 fe5fa3c2df/out_5.root Done with exit code: 256 and output: Using grid catalog type: UNKNOWN Using grid catalog : (null) VO name: cms Checksum type: None Destination SE type: SRMv2 [SE][Mkdir][SRM_DUPLICATION_ERROR] srm://eymir.grid.metu.edu.tr:8446/srm/managerv2? SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emraht estmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root: File exists lcg_cp: File exists TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 29
TR T2 Merkezinde İş Koşturmak Enabling Grids for E-sciencE Bu örnekte ki işler, WLCG alt yapisinda bulunan herhangi bir T2 merkezinde calistirildi ve sonuclari METU sitesine gonderildi. Eger veri seti METU sitesinde bulunuyorsa (DBS uzerinden sorgulayabilirsiniz) asagidaki parametreleri crab.cfg dosyaniza ekleyerek isinizin burada dogrudan calismasini saglayabilirsiniz. [GRID] ce_white_list = cox01.grid.metu.edu.tr Çalışmak istediğiniz veri setini T2 TR merkezine taşımak için PhEDEx üzerinden istekte bulunmanız gerekecektir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 30
Analiz Sonuçlarının Lokale Taşınması Enabling Grids for E-sciencE SiteDB'de kayitli oldugum kullanici ismim akkoyun Dolayisiyla uretilen veri setleri asagidaki dizin altina kopyalanmistir. /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ Analiz sonrasında üretilen dosyaları görebilmek icin asagida ki cevre degiskenlerinin tanımlanması gerekmektedir. export DPM_HOST=eymir.grid.metu.edu.tr export DPNS_HOST=eymir.grid.metu.edu.tr TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 31
Analiz Sonuçlarının Lokale Taşınması (2) Enabling Grids for E-sciencE Dizinin altında ki dosyaları sorgulamak için rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/ drwxrwxr-x 1 123 106 0 Feb 24 15:25 emrahtestmetu emrahtestmetu adinda klasorun yaratildigi görünüyor. Bu klasorun icerisinde ki root dosyalarini sorgualamak icin; rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/qcd pt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 32
Analiz Sonuçlarının Lokale Taşınması (3) Enabling Grids for E-sciencE -rw-rw-r-- 1 123 106 1449819 Feb 24 15:31 out_1.root -rw-rw-r-- 1 123 106 1436353 Feb 24 15:30 out_10.root -rw-rw-r-- 1 123 106 1432600 Feb 24 15:31 out_2.root -rw-rw-r-- 1 123 106 1446353 Feb 24 15:25 out_3.root -rw-rw-r-- 1 123 106 1480660 Feb 24 15:25 out_4.root -rw-rw-r-- 1 123 106 1437861 Feb 24 15:25 out_7.root -rw-rw-r-- 1 123 106 1459832 Feb 24 15:31 out_8.root -rw-rw-r-- 1 123 106 1459325 Feb 24 15:30 out_9.root Hata ile sonuclanmis olan 5 ve 6 disinda ki tum dosyalar depolama elemaninda yaratılmıştır. Ev dizinimde kopyasini alabilmek icin, rfcp /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/qcdpt30/emrahtestmetu/85ab15de6 03ef7cf9b5741fe5fa3c2df/out_1.root ~emrah/ TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 33
Analiz Sonuçlarının Lokale Taşınması (4) Enabling Grids for E-sciencE Analiz verilerinin TR-Grid üzerinde saklanması 1. Ev Dizininde Saklanması Yüksek performanslı disklerden oluşmuş yapıdır. O yüzden kullanıcının en fazla 10 GB bir disk kotası vardır. Veri analiz edileceği zaman burada tutulmalıdır. (Küme) 1. /depo1 dizininde tutulması 1. Depaolama Elemanı Verinizi lokal de saklamak veya root dosyası ile açmak için burada tutabilirsiniz. Kullanıcı adınız ile burada dizin yaratılmış durumdadır. Burada ki veriler silinmeyecektir. Herhangi bir disk kotası kullanıcılar için tanımlanmamıştır. Ulusal kullanıcılar için depolama elemanı üzerinde bir alan ayrılarak analiz verilerinin burada tutulması sağlanabilir. TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010 34