stats & limits CERNTR Gokhan Unel 5 Oct 2011

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "stats & limits CERNTR Gokhan Unel 5 Oct 2011"

Iskender Deniz
6 yıl önce
İzleme sayısı:

1 stats & limits CERNTR Gokhan Unel 5 Oct 2011

2 Giriş LHC çalışmadan önce ve ilk veriler toplanırken keşif yapıvermeği hayal ediyorduk. sinyal olayarı arkaplan üzerine rahatça çıkacaktı Bu durumda elimizdeki tüm veriye bir eğri uyduracak kenarlardan arkaplanı farklılık gösteren yerden sinyali Alıp, olay sayılarını hesaplayacaktık sinyal tepesinden 2 hatapayı sol-sağ arası integral alarak ölçümün istatistik anlamlılığını bulacaktık. 2σ:sınır 3σ:sinyal 5σ: keşif -1 candidates / 25GeV / 1fb #q Invariant Mass for q 4 signal+bg signal VWjj (V=Z,W) WWbb WWbbj q 4 (GeV) m Wj S = 2 [(s + b) ln(1 + s b ) s] ama böyle olmadı 2

değişken gauss gibi dağılım gösteriyorsa: CDF Run 2 (2.

3 Karşılaştığımız durum LHC (daha önce de Tevatron) kenar bölgesi SM ile uyumlu sinyal bölgesinde çok az olay var ölçüm hassasiyetimiz az 3 başka bir yöntem lazım daha çok MC ya dayanarak Bu arada eğer aradığımız değişken gauss gibi dağılım gösteriyorsa: CDF Run 2 (2.8 fb -1 ) Preliminary t' Wq, 4 jets H T vs M reco range of expected 95% CL upper limits observed theoretical prediction Bonciani et al. α : yanılma olasılığı

4 Çizime yakından bakalım 4 ölçülen sınır beklenen sınır theory: modelin bize verdiği tesir kesiti expected: MC dan bulunan, 95% CL için gereken tesir kesiti expected 1(2) : MC dağılımlarının 1(2) hatapayı (σ) değiştiği durum için bulunan, 95%CL için gereken tesir k. measured (observed) : deney verisi MC ile karşılaştırılarak bulunan 95%CL için gereken tesir k.

Çizime yakından bakalım 5 sınır sınırın solu: gereken tesir k. modelin öngördüğünden az. modelim bana gerekli olay sayısını temin edebilir, ölçüm yapabilirim sınırın sağı: gereken tesir k.

5 Çizime yakından bakalım 5 sınır sınırın solu: gereken tesir k. modelin öngördüğünden az. modelim bana gerekli olay sayısını temin edebilir, ölçüm yapabilirim sınırın sağı: gereken tesir k. modelin öngördüğünden çok. modelim bana yeteri kadar olay veremiyor, yapacağım ölçümler sınır koymak için yetersiz Burada bir tuhaflık var. çok düz Burası iyi: gözlem beklenti civarında oynuyor, 2hatapayı içinde kalıyor.

6 konuşalım 6 CDF Run 2 (2.8 fb -1 ) Preliminary t' Wq, 4 jets H T vs M reco 2hatapayından çok fazlalık var. range of expected 95% CL upper limits observed theoretical prediction Bonciani et al İyi: gözlem beklenti civarında oynuyor, 2hatapayı içinde kalıyor.

Kullanılan methodlar girdiler - sonuçlar kağıt kalem --> kuramsal tesir k. sinyal MC, ardalan MC --> beklenen tesir k. sinyal MC, ardalan MC, veri --> gözlenen tesir k.

7 Kullanılan methodlar girdiler - sonuçlar kağıt kalem --> kuramsal tesir k. sinyal MC, ardalan MC --> beklenen tesir k. sinyal MC, ardalan MC, veri --> gözlenen tesir k. 7 Soru veri ve eğreti-veri (pseudodata) hangi durum ile uyumlu? Null Hypothesis = Yok Sanrısı Alt Hypothesis = Diğer Sanrı Ölçüm ilgilendiğim değişkenin bir çok değeri için uyum testleri yap Kullanılan kıstaslar p-değeri: olasılık değeri, sanrı testi sonucu, CL (confidence level) CL b : 1-p: genel ardalan uyumluluğu, CL for the background only hypo CL s+b : CL for the signal plus background hypo, hırslı keşif yapmak için. CL s : CLsb/CLb. Ardalan oynamalarına karşı sarsılmaz (stable) yani daha normal bir dağılımdır.

8 typically σ power constrained limit method 8 +1,2 σ bands: (too) many events Mean expectation Observation curve -1,2 σ bands: (too) few events too few: we don t really have the power to constrain the observable. Power Constrained Limit method we set limit on M H here Max( -1σ expectation, observation) as we want to be conservative and we don t want to benefit from too few events. Usual CLs method we set limit on M H here we benefit from too few events. Theory curve

9 Örnekler ve notlar 9 PCL hem CLs hem de CLsb için kullanılabilir genelde CLsb nin gereksiz iyimserliğini yenmek için kullanılır. PCL Kaynakları

işleri bilgisayarla yapalım 10 Currently available limit setting tools: mclimit : commonly used in FNAL and recent ATLAS analyses but not integrated into ROOT TLimit : A direct implementation of

10 işleri bilgisayarla yapalım 10 Currently available limit setting tools: mclimit : commonly used in FNAL and recent ATLAS analyses but not integrated into ROOT TLimit : A direct implementation of mclimit into ROOT but not maintained anymore and cannot process bin-by-bin (shape) systematic errors. RooStats : Recommended by ATLAS, but slow compared to TLimit and user unfriendly. Shape systematics exists as an addon from histfactory package. fastpcl / fastcls : does have shape systematic errors implemented but not a ROOT package using RooStats.

11 en basiti: TLimit 11

ters problem 12 durum si ve bg histogramlarım onlarsa, tesir kesitlerim bunlarsa aldığım CL değerleri şunlar olur. soru CL = 95% durumunu bana verecek tesir kesiti nedir? Aslında 0.05e bakılır.

12 ters problem 12 durum si ve bg histogramlarım onlarsa, tesir kesitlerim bunlarsa aldığım CL değerleri şunlar olur. soru CL = 95% durumunu bana verecek tesir kesiti nedir? Aslında 0.05e bakılır. buna ters problem adını verdim olası cevap ve yöntem teorik tesir kesitine x0 diyelim CL=0.05 verecek olan tesir kesiti s*x0 olsun s=1 den baslayip s i arttiyim veya azaltayim her adimda CL degerini tekrar hesap edeyim, 0.05 den farkina bakayim taa ki fark sifira inene kadar.

Introducing RSLimit 13 A wrapper package around RooStats Complete isolation from RooStat, RooFit internals No need to know about RooRealVar s difference between PROD and prod etc.

13 Introducing RSLimit 13 A wrapper package around RooStats Complete isolation from RooStat, RooFit internals No need to know about RooRealVar s difference between PROD and prod etc... Uses HybridCalculator for a description of the modified frequentist approach see: HybridCalculatorOriginal.html Simple user interface Compatibility with TLimit under known conditions verified Requires: C++ Root 5.30/01 with RooFit compiled in earlier ROOT versions had a different API for RooStats package Provides Rate systematics available, shape systematics soon Observed and Expected ConfidenceLevels Kfactors for Observed and Expected Limits (test inversion)

and step size Full set of CLs, CLs+b, CLb plots Discriminator histogram range setting multicore support with ProofLite # toymc events for signal and background

14 user selections 14 CLs or CLs+b choices (thus PCL) Various test statistics 1. Simple Likelihood Ratio, 2. Ratio Of Profiled Likelihoods 3. Profile Likelihood 4. Number of Events more can be easily added Hypothesis test inversion User defined ConfidenceLimit (default= 95%) Signal cross-section scan with user selectable range and step size Full set of CLs, CLs+b, CLb plots Discriminator histogram range setting multicore support with ProofLite # toymc events for signal and background models p value result_s CL Scan Observed CLs Observed CLs+b Observed CLb Expected CLs - Median Expected CLs ± 1 σ Expected CLs ± 2 σ s

15 Simplest usage 15 TFile *bb = new TFile("examplefit.root"); TH1F *sih = (TH1F*)((TH1F*)bb->Get("signal"))->Clone(); TH1F *bgh = (TH1F*)((TH1F*)bb->Get("ttbar"))->Clone(); TH1F *dth = (TH1F*)((TH1F*)bb->Get("data"))->Clone(); Step1 : Write your own code to Define / Read input Histograms RSLimit u4limit(sih, bgh, dth); u4limit.initialize(); u4limit.testhypothesis(); Step2 :Define RSLimit, give 3 input histograms, signal, background and data Step3 :Initialize RSLimit internals Step4 :Run the computation double u4lim_obs = u4limit.exclusionlimitobs(); double u4lim_exp_m2s= u4limit.exclusionlimitexp(-2); double u4lim_exp_m1s= u4limit.exclusionlimitexp(-1); double u4lim_exp = u4limit.exclusionlimitexp(0); double u4lim_exp_p1s= u4limit.exclusionlimitexp(1); double u4lim_exp_p2s= u4limit.exclusionlimitexp(2); Step5 :Get the results

16 changing the internals 16 User can change the internals before initialization RSLimit u4limit(sih, bgh, dth); u4limit.verbositylevel(2); u4limit.setdiscriminator("m",100,500); u4limit.useproof(2); u4limit.settoymc(5000,15000); u4limit.selectteststats(1); u4limit.setclsclsb(0); RooFit/Stat will report only errors Only [100,500] range of the discriminant histogram will be used Calculations will be run on 2 cores in parallel 5000 signal & background toy MC evts u4limit.dump(); u4limit.initialize(); u4limit.testhypothesis(); 0: CLs 1: CLs+b 0: Simple Likelihood Ratio 1: Ratio Of Profiled Likelihoods 2: Profile Likelihood (aka LHC) 3: Number Of Events Show all pdfs,

17 Adding Uncertainties 17 A different class initializer has to be used The rest is the same RSLimit u4limit(dth); Initialize with data histogram only u4limit.addsignalhistogram(sih, 1.0, 1.2, NULL, NULL); Add signal histogram with down and up rate fluctuations, plus two place holders for scale histograms u4limit.addbackgroundhistogram(bgh0, 0.8, 1.2, NULL, NULL); u4limit.addbackgroundhistogram(bgh1, 0.8, 1.2, NULL, NULL); u4limit.addbackgroundhistogram(bgh2, 1.0, 1.0, NULL, NULL); u4limit.initialize(); u4limit.testhypothesis(); Add background histograms with down and up rate fluctuations, 1.0 : do not fluctuate

18 Solving the inverse problem 18 HTI should be set to true before testhypothesis RSLimit u4limit(dth); u4limit.addsignalhistogram(sih, 1.0, 1.2, NULL, NULL); u4limit.addbackgroundhistogram(bgh0, 0.8, 1.2, NULL, NULL); u4limit.addbackgroundhistogram(bgh1, 0.8, 1.2, NULL, NULL); u4limit.addbackgroundhistogram(bgh2, 1.0, 1.0, NULL, NULL); u4limit.initialize(); set HypoTest Inversion to TRUE u4limit.dohti(true); u4limit.testhypothesis(10, 0.0, 50.0); u4limit.drawhtiplot(); #steps, min and max values for scan, these values are the defaults Making double u4lim_kf_m2s= u4limit.getkfactorexp(-2); double u4lim_kf_m1s= u4limit.getkfactorexp(-1); double u4lim_kf_med= u4limit.getkfactorexp(0); double u4lim_kf_p1s= u4limit.getkfactorexp(1); double u4lim_kf_p2s= u4limit.getkfactorexp(2); double u4lim_kf_obs= u4limit.getkfactorobs(); Get the results

package 19 Version: 0.6 tested on OSX and Linux as of 31 August 2011 Download from http://unel.web.cern.ch/unel/rslimit.html Contents RSLimit.h, RSLimit.

19 package 19 Version: 0.6 tested on OSX and Linux as of 31 August 2011 Download from Contents RSLimit.h, RSLimit.C : class declerations & definitions Readme : some documentation on how to start working testrslimit.c : example code, testing all discussed concepts examplefit.root : example root file used for testing To do run more tests, check compatibility with mclimit implement shape systematics make a twiki page your suggestions are welcome

Benzer belgeler

Istatistik dersi ve Sınır hesaplama

Istatistik dersi ve Sınır hesaplama HPFBU - 4 Gökhan Ünel - UCI Sezen Sekmen - Kyungpook Nat. Univ. Şubat 2015 çok kullanılan 2 istatistik yol 2 frequentist - sıklıkçı bir küme deney yapın, K tane belli