Probability: A measure that assigns real numbers to events (the chance that an uncertain event will occur). It is always between 0 and 1

Transkript

1 CHAPTER 4: ELEMENTS OF CHANCE: PROBABILITY METHODS Important Terms Random Experiment: Any process leading to an uncertain outcome Outcome: The result obtained through experiment Sample Space: The set of all possible outcomes (In) nite, (un)countable, Discrete or Continuous (Discontinuous if the variables are mixed) In nite space can be countable as well so long as it is discrete Event: Subset of sample space Probability: A measure that assigns real numbers to events (the chance that an uncertain event will occur). It is always between 0 and 1 Örnek: Bir zar at m rastgele bir deneydir (random bir experiment). Zarda gelen say, örne¼gin 3, sonuçtur (outcome). Gelmesi mümkün tüm sonuçlar, {1,2,3,4,5,6}, örnek uzayd r (sample space). Zar at m n n ilgilendi¼gimiz sonucu (3, veyahut 4 ten büyük gelmesi gibi) olayd r (event). Ilgilendi¼gimiz olay n say sal ihtimali ise olas l kt r (probability) E¼ger olay zar n 3 gelmesiyse olas l k 1=6 d r. 1

2 Events Unions (Birleşimler), Intersections (Keşişimler) and Complements (Tümleyenler) (on Venn Diagram) Intersection of Events: If A and B are two events in a sample space S, then the intersection, A \ B, is the set of all outcomes in S that belong to both A and B S A A B B A and B are mutually exclusive events if their intersection is an empty set, A \ B = S A B 2

3 Union of Events If A and B are two events in a sample space S, then the union, A U B, is the set of all outcomes in S that belong to either A or B S A B The entire shaded area represents A U B Events E1, E2,... Ek are Collectively Exhaustive events if E1 U E2 U... U Ek = S i.e., the events completely cover the sample space The Complement of an event A is the set of all basic outcomes in the sample space that do not belong to A. The complement is denoted by A or A 0 S A A 3

4 Ex: S = [1; 2; 3; 4; 5; 6] A = [2; 4; 6] B = [4; 5; 6] Complements: A = [1; 3; 5] B = [1; 2; 3] Intersections: A \ B = [4; 6] A \ B = [5] Unions: A [ B = [2; 4; 5; 6] A [ A = [1; 2; 3; 4; 5; 6] = S 4

5 Counting the Possible Outcomes: Permutation and Combination These are necessary to calculate probabilities Permutation is an arrangement of values and objects into a particular order For combination order is not important, only appearance of elements {1,2} say setini ele alal m Mümkün olan tüm ikili permütasyonlar 2 tanedir: {1,2} ve {2,1} Ama mümkün olan tek ikili kombinasyon {1,2} dir (ya da {2,1} ) E¼ger 2 tane iş pozisyonu için 3 tane aday varsa (Bu adaylar A, B, C diye gösterelim) Iş da¼g l m n n kaç farkl şekilde yap labilece¼gi permutasyondur. Ilk işi üç kişiden herhangi birine, ikinci işi ise geri kalan iki kişiden birine verebilirsiniz. Yani 3*2=6 şekilde bu işler da¼g t labilir (AB, AC, BC, BA, CA, CB) Ama (örne¼gin birbirinin ayn işler için) sorumuz iki iş için üç kişi aras ndan kaç farkl grup oluşturulabilece¼gi olursa cevab m z 3 tür (AB, AC, BC) Yani kombinasyon size sample space in eleman say s n olas sonuç say s n s ralamalar na bakmadan verir Permutation: P n r = n! (n r)! > Combination: C n r = n r = n! (n r)! r! 5

6 where n! = n (n 1) (n 2) ::: 2 1 and 0! = 1 by de nition Örnek: 1-) 5 işi 5 kişiye kaç farkl şekilde da¼g t labiliriz: P5 5 5! = (5 5)! = Yani birinci iş 5 kişiden herhangi birine, ikinci iş geri kalan 4 kişiden herhangi birine, üçüncü iş geri kalan 3 kişiden herhangi birine,... 2-) 5 işi 2 kişiye kaç farkl şekilde da¼g t labilir: P2 5 5! = (5 2)! = = Yani birince iş 5 kişiden herhangi birine, ikinci iş geri kalan 4 kişiden herhangi birine Kombinasyonda ise iş da¼g t m n s ras önemli olmad ¼g ndan, ilk örnekte işi alan 5 kişinin ne s rayla işi ald klar na bakmay z. Dolay s yla permütasyon de¼gerini, işi alan 5 kişinin tüm olas s ralamalar na bölersek, s ralaman n önemli olmad ¼g combinasyon de¼gerini bulmuş oluruz C 5 5 = P 5 5 5! = 5! (5 5)!5! = ! 5! (şöyle ki, e¼ger beş işçi varsa, beş iş ancak bir gruba verilebilir) Ikinci örnekte is yine permütasyon de¼gerini işi alan iki kişinin tüm s ralamalar na bölüyoruz C 5 2 = P 5 2 2! = 5 4 2! = 10 = 1 6

7 Probability There are three approaches for assessing the probability of an uncertain event: 1- Classical Probability (that we used to know) probability of event A = N N A = number of outcomes that satisfy the event total number of outcomesin the sample space Assumes all outcomes in the sample space are equally likely to occur Ex: Bir zar at m n n sonucunda örnek uzay n z (Sample space) S = {1, 2, 3, 4, 5, 6} E zar n 4 ten büyük gelme olay (event) olsun. Dolay s yla E = {5, 6} P (E) = n(e) n(s) = 2 6 = 1 3 Mostly ee use combinations formula to calculate both numerator and denominator (especially in more complicating examples) C 2 1 C 6 1 = 2!=[(2 1)! 1!] 6!=[(6 1)! 1!] = 2 6 = Subjective Probability: An individual opinion or belief about the probability of occurrence 7

8 3- Relative Frequency Probability (Empirical Probability, Frequency of Occurrence, Posteriori probability) n probability of event A = A = n number of events in thepopulation that satisfy event A total number of events in thepopulation Suggests that underlying probability of an event can be measured by repeated trials Ex 1: Metal bir paray bir çok kere havaya atma deneyini ele alal m. Bu deneyde sonucun kaç kere yaz veya tura geldi¼gimni gözlüyoruz. Yeteri kere havaya atarsak toplam at ş say s n n yaklaş k yar s defetura (ya da yaz ) geldi¼gini gözlemleyebiliriz. Bu gözleme dayanarak tura gelme ihtimalinin 0.5 oldu¼gunu ç karabiliriz, P(T)=.5 The law of large numbers is a theorem in statistics that states that as the number of trials of the experiment increases, the observed empirical probability will get closer and closer to the theoretical probability. In the above example result not necessarily converges to 0.5, but approaches Ex 2: The New England Journal of Medical Stu da yay nlanm ş bir makale, kovboylar n 63% ünün eyer yaras na sahip oldu¼gu, geri kalan 52% sinde ise ayak e¼gilmesi gözlemlendi¼gini, %40 nda ise her iki hastal ¼g nda gözüktü¼günü bildirmiştir E olay "Rastgele seçilen bir kovboyun eyer yaras na sahip olmas olsun". Dolay s yla şu ç kar m yapabiliriz: P(E)=.63 F olay "Rastgele seçilen bir kovboyda ayak e¼gilmesi olmas olsun". Yine P(F)=.52 Benzer şekilde, P(Bir kovboyda her iki hastal ¼g n da olmas )=.4 8

9 Some Examples for Classical Probability: Example 1 Iki zar n birlikte at ld ¼g nda toplamlar için tüm olas sonuçlar (sample space) {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12 }. Onbir tane olas sonuç olmas na ra¼gmen her bir sonucun meydana gelme ihtimali bu sefer eşit de¼gil. Örne¼gin toplam n 2 olmas için her bir zar n 1 gelmesi laz m, ama 3 toplam n ilk zar 1 ve ikinci zar 2 gelirse, ya da bunun tam tersi olacak şekilde iki farkl yolla elde edebiliriz. Bu durumda tüm örnek uzay gösteren bir tablo sonuç olas l klar n hesaplamada yararl olabilir Sum Frequency Probability 2 1 1/36 Second Dice First Dice / / / / / / / / / /36 9

10 Example 2 Çal şan seçimi: Dört tane benzer iş pozisyonu için 3 ü kad n, 5 i erkek olmak üzere toplam 8 aday olsun. Bu kişilerden her birinin pozisyonlar için seçilme ihtimalini ayn kabul edelim. Bu dört pozisyondan hiç birine kad n seçilmemesinin ihtimali nedir 8 iş için mümkün olan tüm 4 lü kombinasyonlar: C 8 4 = 8! (4 4)! 4! = ! 4! ! = 70 Kad nlar n işe seçilememesi, 4 işin 5 erke¼ge verilmiş olmas demek olur ki 5 erkek aras ndan 4 kişi şu kadar karkl kombinasyonda seçilebilir: C 5 4 = 5! 1! 4! = 5 Böylece soruda ilgilendi¼gimiz olay n olas l ¼g : C 5 4 C 8 4 = 5 70 = 1 14 Ayn sonucu şu şekilde de elde edebiliriz Birinci aday n erkek olma ihtimali: 5=8 Ikinci aday n da erkek olma ihtimali: 4=7 (çünkü 7 kişi içinde sadece 4 tane erkek kald )... Böylece soruda ilgilendi¼gimiz olay n olas l ¼g : = 1 14 This is how you may calculate probability in the case of draw without replacement. 10

11 Example 3 Draws (Sampling) With and Without Replacement Ex: Bir kesenin içinde 5 tane mavi, 3 tane de k rm z bilye olsun. Ihtimaliyle ilgilendi¼gimiz olay ise kesenin içine bakmadan ard arda 4 tane mavi bilye çelmemiz olsun E¼ger bilyeleri çektikten sonra onlar tekrar kesenin içine koymazsak, ilgilendi¼gimiz olas l k = 1 14 (= C5 4 ) C4 8 şeklinde hesaplanabilir What we did here as an experiment is a draw without replacement Another example would be lotteries, as each time we buy a lottery ticket the number of remaining tickets declines E¼ger bir bilyeyi çektikten sonra ve di¼ger bilyeyi şekmeden önce ilk çekti¼gimiz bilyeyi tekrar keseye koyarsak, ilgilendi¼gimiz olas l k bu sefer (= C5 1 C 8 1 C5 1 C 8 1 C5 1 C 8 1 C5 1 ) C1 8 şeklinde hesaplan r. Burada dikkat edilirse her bir mavi bilye çekme ihtimali bir öncekinden ba¼g ms zd r What we did here as an experiment is a draw with a replacement 11

12 Example 4 Varsayal m ki 3 tane bilgisayar, içinde 10 tane Gateway, 5 tane Compaq, ve 5 tane Acer marka bilgisayar bulunan bir yerden rastgele seçilecek. Bu 3 biligiyardan 2 sinin Gateway, 1 inin de Compaq marka olma ihtimali nedir? 20 biligisayardan 3 tane seçilmesine dair tüm olas sonuçlar (sample space) N = C 20 3 = 20! (20 3)! 3! = tane Gateway bilgisayar içinden kaç farkl şekilde 2 tane bilgisayar seçilebilece¼gi C 10 2 = 10! (10 2)! 2! = 45 5 tane Compaq bilgisayar içinden kaç farkl şekilde 1 tane bilgisayar seçilebilece¼gi C 5 1 = 5! (5 1)! 1! = 5 Son olarak, ilgilendi¼gimiz olay n ihtimali P A = N A N = C10 2 C1 5 C = = = 0:197

13 Yine ayn ihtimali daha uzunda olsa şu şekilde de hesaplayabiliriz Seçilen ilk bilgisayar n Gateway olma ihtimali: Seçilen ikinci bilgisayar n Gateway olma ihtimali: Seçilen üçüncü bilgisayar n Compaq olma ihtimali: Son olarak, ilgilendi¼gimiz olay n ihtimali: = 0:197 Not: Son yazd ¼g m 3 say s, seçilme esnas nda Compaq bilgisayar n son olarak seçilme, ilk seçilme, ya da iki Gateway bilgisayar n aras nda seçilme ihtimallerine karş l k geliyor (= C 3 1) 13

14 Probability Postulates 0 6 P (A) 6 1 where A is any event in the sample space S P (A) = P A P (S) = 1 P ( A) = 1 P (O i ) P (A) where A be an event in S, and let Oi denote the basic outcomes P (A [ B) = P (A) + P (B) P (A \ B) (The addition rule) The two events are independent if and only if P (A \ B) = P (A) P (B) Conditional Probability: P (AjB) is the probability of A given B has occurred P (AjB) = P (A \ B) P (B) (or P (A \ B) = P (B) P (AjB): Multiplication Rule) A: Zar n 5 gelme ihtimali B: Zar n 3ten büyük olma ihtimali P (B) = 3=6 A \ B = 5 P (A \ B) = 1=6 P (AjB) = 1=6 3=6 = 1=3 A and B are then de ned independent if and only if P (AjB) = P (A) then P (A \ B) = P (A) P (B) 14

15 Örnek: Kullan lm ş araba park ndaki arabalar n 70% inin klimas (AC), 40% n n CD çalar (CD), 20% sinin de her ikisi de olsun (Conditional Probability, Şartl Olas l k) CD si olan bir arac n klimas n n da olma ihtimali nedir? yani P(CD j AC)=? CD No CD Total AC Not AC Total P (CDjAC) = P (CD \ AC) P (AC) = 0:2 0:7 = 0:2857 (Statistical Independence: Istatistiki ba¼g ms zl k) AC ve CD olaylar istatistiksel olarak ba¼g ms zlar m d r? P (AC \ CD) = 0:2 P (AC) = 0:7 & P (AC) = 0:4 ) P (AC)P (CD) = 0:7 0:4 = 0:28 P (AC \ CD) = 0:2 6= P (AC)P (CD) = 0:28 Dolay s yla hay r, de¼gillerdir 15

16 Using a Tree Diagram Given AC or no AC: Has AC P(AC)=.7 Has CD Does not have CD.5.7 P(AC n CD) =.2 P(AC n CD) =.5 Does not have AC P(AC)=.3 Has CD.2.3 P(AC n CD) =.2 Does not have CD Marginal Probability: P (A) = P (A \ B 1 ) + P (A \ B 2 ) + ::: + P (A \ B k ) where B1, B2,..., Bk are k mutually exclusive and collectively exhaustive events Ex: In the above gure, P (AC) = P (AC \ CD) + P (AC \ CD) = 0:7 16

17 Odds The odds in favor of a particular event are given by the ratio of the probability of the event divided by the probability of its complement The odds in favor of A are odds = P (A) 1 P (A) = P (A) P ( A) Ex: If in a game of chance the odds of A is 3 to 1 odds = 3 1 = P (A) 1 P (A) Now multiply both sides by 1 P(A) and solve for P(A) 3(1 P (A)) = P (A) 3 3P (A) = P (A) P (A) = 0:75 17

18 Bayes Theorem If the events B 1 ; B 2 ; :::; B k constitute a partition of the sample space S (i.e. B i \ B j = for all P i 6= j and k B i = S) and P (B i ) 6= 0; then for any event A in S i=1 P P (A) = k P (B i )P (AjB i ) i=1 and if P (A) 6= 0; for r=1,2,...,k P (B r ja) = P (B r)p (AjB r ) kp P (B i )P (AjB i ) i=1 Ex: A aşç s n n lezzetli yemek yapma ihtimali %80 olsun. B aşç s için bu de¼ger %30 diyelim. A aşç s tüm yemeklerin %40 n pişiriyor olsun, geri kalanlar ise B aşç s taraf ndan pişirilsin Burada yedi¼giniz bir yeme¼gin lezzetli olma ihtimali nedir? :) 0:8 0:4 + 0:3 0:6 = 0:5 Bu yeme¼gin A aşç s taraf ndan pişirilmiş olma ihitimali: 0:8 0:4 0:8 0:4 + 0:3 0:6 = 0:64 18

19 Type I and Type II Errors Type I Error: If the hypothesis is inappropriately rejected Type II Error: If the hypothesis is inappropriately retained Null Hypothesis True Null Hypothesis False Reject Null Hypothesis Type I Error Correct Fail to Reject Null Hypothesis Correct Type II Error Another Example of Bayes Theorem Uyuşturucunun varl ¼g n test eden medikal bir cihaz düşünelim. Bu cihaz uyuşturucu kullanan birini %99 ihtimalle belirleyebiliyor olsun (böylece %1 ihtimalle kullanan birini kullanm yor olarak ç kar cakt r ki bu Type I errordur). Yine ayn test uyuştuturucu kullanmayan birini %99 oran nda belirleyebililsin (yine ayn test %1 ihtimalle kullanmayan birini kullan yor olarak ç kar cakt r ki yapt ¼g testi reddedemedi¼ginden (reject) bu Type II errordur) Bu test %0.5 oran nda uyuşturucu kullanan insanlar n bulundu¼gu bir işyerindeki çal şanlar a yap lm ş olsun. Testi pozitif ç km ş (kullanan olarak bulunan) bir çal şan n gerçekten kullan c olma ihtimali nedir? 19

20 U kullan c y (user), N temiz kişiyi, + da testin pozitif ç kma olay n göstersin P (U) çal şan kişinin (test edilmeden önce) kullan c olma ihtimali olsun. Bunun oldu¼gu veriliyor. Buna önceki olas l k, prior probability, diyoruz P (N) de çal şan n temiz (non-user) olma ihtimalini göstersin, ki bu da 1 olur P (U)=0.995 Bu bilgiler dahilinde bize sorulan P (U j+) yi, yani testi pozitif ç kan birinin gerçekten kullan c olma olas l ¼g n (buna şartl olas l k, ya da olaylar zamanla gelişti¼ginden sonraki olas l k, posterior probability de denir) hesaplayal m P (Uj+) = P (+ju)p (U) P (+ju)p (U) + P (+jn)p (N) = 0:99 0:005 0:99 0: :01 0:995 = 0:3322!!! Yukar da, testi pozitif ç kan tüm kişilerin (ya da bunlar n ihtimalinin) içinde (ki bu kişiler kullan c olabilir ya da olmayabilir), kullan c olup testi pozitif ç kanlar n oran n hesaplad k Not: Bir hastaneye gidip az görülen bir hastal k için test yapt rd ¼g n zda da ayn mant ¼g n geçerli olaca¼g n öngörebilirsiniz 20