Rastgelelik, Rastgele Sinyaller ve Sistemler Rastgelelik Nedir? Rastgelelik en basit anlamda kesin olarak bilinememektir. Rastgele olmayan deterministiktir (belirli). Bazı rastgele olgu örnekleri şöyle sıralanabilir; Şu an için dersten geçme notunuz Gelecekteki herhangi bir zamanda kilonuz Doğum tarihini bilmediğiniz birinin yaşı Sinyal ilgilenilen problemle ilgili yararlı bilgi taşıyan bir zaman fonksiyonudur. Rastgele Sinyal değeri kesin olarak tahmin edilemeyen sinyaldir. Bazı örnekler; Borsa endeksi Solar dedektör çıkışı Sayısal iletişim kanalından iletilen binary sinyal İlgilenilen problemle ilgili yararlı hiçbir bilgi içermeyen rastgele zaman fonksiyonuna gürültü denir. Bazı örnekler; Elektronik devredeki termal gürültü Radyo alıcısındaki cızırtı
Olasılık ve Rastgele Süreçler Rastgeleliği ders olarak işlemek için temel olarak iki neden vardır. Pratik problemlerin çoğu gerçekte rastgelelik içerir Pratik problemlerin çoğu tamamıyla deterministik olarak tanımlayabilmek için çok komplekstir. Bu yüzden rastgele etkilere maruz kalmış problemler olarak tanımlamak daha etkin olur. Rastgele sinyal ve sistemlerle ilgili problemlerle ilgilenen iki bilim dalı vardır, Olasılık: Rastgele problemin analizi ile ilgili konularla ilgilidir. İstatistik: Rastgele olgunun gözlenmesi yoluyla olasılıksal modellerin nasıl üretileceği ile ilgilidir. Daha dar anlamda, olasılık rastgelelik içeren zamanla değişmez ya da anlık zamanla değişir problemlerin incelenmesinde kullanılır. Zamanla değişir rastgele problemler direk olarak daha çok mühendisliği ilgilendiren rastgele süreçlerin konusudur 2
3 Typical Electrical Kestirim ve Engineering Problems Networks Tipik Mühendislik Uygulamaları Sinyal İşleme Fitreleme Bilgi Teorisi Haberleşme In large computer networks, there are limited resources Rastgele (e.g., Güvenilir bandwidth, routers, switches, Sinyaller ve Sistemler printers and other devices) that Lineer need lik to be shared by the users. Sistemler User jobs/packets are queued and assigned service based on Diğer predefined criteria. İstatistik Olasılık Demand is uncertain and service time is also uncertain. Delay from the time the service is requested to the time it is Karar completed. Teorisi Matematik Oyun Telephone networks, multiuser Teorisi computer networks, and other communication networks.
4 İlgi ve Amacımız Belirsizliği karakterize edecek araçları öğrenmek o Olasılık teorisi, rastgele değişkenler, rastgele süreçler Deterministik olmayan sinyalleri karakterize etmek üzere araçları kullanma o Rastgele olaylar, rastgele sinyaller Rastgele sistemleri/sinyalleri gözleyerek olasılık modeli oluşturma araçlarını öğrenme o İstatistik
Olasılığın Temelleri 5 Olasılık Atama Deney Örnek Uzay Olaylar ve Olasılıkları Olayların Tanımlanması Bir rastgelelik içeren deneyde çıktı kesin olarak bilinmemektedir. Bütün çıktıların toplandığı kümeye örnek uzay denir ve S ile gösterilir. o Evrensel olay veya kesin olay Bir olay tek veya bir grup çıktıdan oluşabilir. Bir olayın meydana gelme olabilirliği olayı gerçek sayı uzayına taşıyan olasılık kuralı ile tanımlanır. o A olayının olasılığı P A şeklinde tanımlanır.
Örnek: 6 Zarın bir kere atılması. Eğer zar hilesiz ise her yüzün yukarı bakması eşit şansa sahiptir. Örnek uzay kesiklidir Çeşitli olaylar Olasılıklar S A A A 2 3 P A,2,3,4,5,6 tek sayılı yüzler,3,5 üst yüzün değeri<3,2 çift sayılı yüzler 2,4,6 P A P A 2 3 3 6 2 2 6 3 3 6 2
Sürekli Örnek Uzayı 7 Radyo Alıcısı 5V 5V st t t anında radyo alıcısının çıkışı ölçülüyor. Alıcı çıkışının dinamik aralığı 5V 5V S s : 5 s 5 Sürekli uzayı sonsuz sayıda çıktıya sahiptir. o s 4,9326785432548754 gibi değerler alabilir. Örnek olaylar ve olasılıkları: s s 2 2 A : 2.5 2.5, Pr[A ] 0.50 A s: s, Pr[A ] 0.20 A s : s 2.3 x, lim Pr[A ] 0 3 3 x 0
Kesikli Örnek Uzayı 8 5V 5V st 8-bit ADC sn 8-bit ADC çıkışında sadece 8 2 256 değer vardır. S 5, 4,9609375,, 0,0390625,0,0,0390625,, 4,9609375 veya S= 28, 27,,,0,,,27, 2'nin desimal karşılıkları Kesikli örnek uzayı sonlu/sonsuz sayıda değer ya da çıktıya sahiptir. o Verilen örnekte 256 değer ya da çıktı vardır (sonlu)
İki Boyutlu Örnek Uzayı İki zar atılması kesikli örnek uzayı S i, j:,,,2,,3,, 4,3,, 6,4, 6,5, 6,6 9 6 5 4 3 2 2 3 4 5 6
Olaylar ve Olay İşlemleri 0 S Kesin Olay Hükümsüz Olay A, A, A, Tanımlanmış Olaylar A A A 2 3 2 2 C A A Birleşim İşlemi Kesişim İşlemi Tümleme
Örnek: S C C A,3,5 2, 4,6 A3 A2 A3,2,4,6 A A3, 2,3, 4,5,6 S A A,2,3,4,5,6 ile gösterilen örnek uzayı ele alalım. A,3,5, A, 2 ve A 2, 4,6 olayları tanımlansın. 2 3 2 A A A A 3 A S C A A,3,5, 2,3, 4,5,6 2, 4,6
Bazı Kurallar 2 A A C A S A A C C A A A A A 2 2 A A A A A A 2 3 2 3 A A A A A A A 2 3 2 3 C C C 2 2 A A A A S C A A A A A A 2 2 Karşılıklı Kapsamama Kapsama Çift Tümleme Değişim Kuralı Birleşme Kuralı Dağılım Kuralı De Morgan Kuralı
Sonlu Birleşim ve Kesişimler 3 N i A A A A i 2 N N i A A A A i 2 Sonsuz Birleşim ve Kesişimler Buna bir sigma cebir denir. N i A A A i 2 i A A A i 2
Karşılıklı Kapsamayan ve Birlikte Tamamlayan Olay Kümeleri (Mutually Exclusive and Collectively Exhaustive) 4 Karşılıklı Kapsamayan: A A, k j k j Bu durumda Birlikte Tamalayan: j A j S örnek uzay bir deneyin karşılıklı kapsamayan ve birlikte tamamlayan çıktılarında oluşur denir.
Olasılığın Aksiyomları 5 I. P A 0 herhangi bir olay için i II. P S Normalizasyon III(a). A A ise P A A P A P A 2 2 2 III(b). i, j için A A ise P A P A i j i i i i
Bazı Çıkarımlar 6 C P A. P A 2. 0 P A 3. Eğer A A ise P A P A 4. P 0 2 2 5. Eğer A A ise P A A 0 2 2 6. P A A P A P A P A A 2 2 2
7 Toplam Olasılık Prensibi A, A2,, A n karşılıklı kapsamayan ve birlikte tamamlayan olaylar kümesi olsun. A A k j k n j j A S ise P A j n j B olayı örnek uzay S nin bir alt kümesi olmak üzere P B P B A P B A P B A 2 n j A A n BA 2 A 2 B
Olayların Bağımsızlığı 8 Eğer ise A ve P A A P A P A 2 2 A 2 olayları istatistiksel olarak bağımsızdır denir.
Koşullu Olasılık 9 Koşullu olasılık bir deneyin çıktıları hakkında kısmi bilgiye dayalı olasılık kuralı tanımlama imkânı verir. gerçekleşmesi olasılığı P A A2 P A A2, P A2 0 P A A ve A 2 iki olay olmak üzere 2 A A2 S A 2 bilindiğinde A in Eğer A ve A 2 bağımsız iseler P A A2 P A P A2 P A A P A P A P A 2 2 2
Toplam Olasılık Prensibi (Tekrar) 20 A, A2,, A n karşılıklı kapsamayan ve birlikte tamamlayan olaylar kümesi olsun. B olayı örnek uzay S nin bir alt kümesi olmak üzere P B P B A P B A P B A 2 P B A P A P B A P A P B A P A 2 2 n n n n i P B Ai P Ai
Koşullu Olasılık (Devam) 2 Koşullu olasılığın tanımı kullanılarak bazı çıkarımlar yapılabilir. P A A P A A veya P A A P A A P A 2 2 2 2 2 P A2 P A A P A A veya P A A P A A P A 2 2 2 2 P A P A A P A P A A P A 2 2 2 Buradan P A A 2 2 2 P A P A A P A
Bayes Kuralı (Teoremi) 22 A, A2,, A n karşılıklı kapsamayan ve birlikte tamamlayan olaylar kümesi olsun. Bu durumda P A j B j P Aj P B A P B Toplam olasılık prensibi kullanılarak PB tarif edilir ve yerine konulursa P A j k j P Aj B P B A n Bayes Kuralı P B A P A k k
Binom Olasılık Kanunu 23 n elemanlı bir sayı dizisinin elemanları sadece ve 0 lar olsun. P p, P0 p q olarak verilsin. A n elemanlı dizide r tane 'in olması n elemanlı dizide r tane in oluşma sayısı binom katsayısı ile bulunur. n n n! Cr r n r!! r o Bütün dizilerde r tane ve n r tane 0 vardır. r n r o Bu dizilerin gerçekleşme olasılığı pq dir. Bu durumda A olayının olma olasılığı: n r r nr p q Binom Olasılık Kuralı P A
Geometrik Olasılık Kanunu 24 Tekrarlanan deneyler dizisinin bir alt deneyinde istenen olay A olsun ve P A p, P A C p şeklinde tanımlansın. Alt deneyi A olayı gerçekleşinceye kadar tekrarlayalım. A nın k. denemede gerçekleştiği varsayılsın. C C C C C A A A A A A 2 3 4 k istenmeyen olaylar k istenen A nın k. denemede gerçekleşme olasılığı Geometrik Olasılık Kanunu ile tarif edilir. ' 'nın. denemede gerçekleşmesi' P A k p p p p p p k p p
Rastgele Değişkenler (Kesikli) 25 s rastgele değişkeni, bir deneyin çıktıları olan olaylara gerçek sayı uzayından değerler atayan fonksiyondur.
Örnek: 26 Hilesiz bir zarın atılması deneyi ele alınsın. SI,2,3,4,5,6
27 Bu deney için Olasılık Kütle Fonksiyonu (OKF) fi i 6 2 3 4 5 6 i 6 i f i ve f i I I 6
Bazı Kesikli Rastgele Değişkenler 28 ) Bernoulli Rastgele Değişkeni: Parametresi p dir. S I P I P I Doğru, Yanlış,0 p 0 p fi i p p 0 i
29 2) Kesikli Düzgün Rastgele Değişken: Parametresi N dir. I f i P I i fi N i N 0 2 3 N i
30 3) Binom Rastgele Değişkeni: Parametresi N ve p dir. N uzunluğunda bir ikili dizi ele alınsın ve istenen olay A olsun. P A p, P A C p Rastgele Değişken: I A'nın dizi içinde gerçekleşme sayısı Bu durumda OKF aşağıdaki gibi tanımlanır. N i Ni fi i PI i p p i i fi 0 2 3 4 5 6 i
3 4) Geometrik Rastgele Değişken: Parametresi p dir. Uzunluğu belli olmayan bir ikili sayı dizisi ele alınsın. A istenen olay olsun. Rastgele Değişken: C P A p, P A p I A veya I A olayı gerçekleştiğindeki dizinin uzunluğu olayının iki gerçekleşmesi arasındaki dizi uzunluğu Bu durumda OKF aşağıdaki gibi tanımlanır. i f i P I i p p, i,2,3,, I
32 5) Poisson Rastgele Değişkeni: Parametresi dır. Bir olayın belirli bir zaman aralığında ya da uzayda belirli bir bölgede meydana gelmesi sayısının modeller. Örnek: Bir bilgisayar şebekesinde bir anahtara ulaşan paket sayısı. Bir yarı iletken çipteki hata sayısı. I İlgilenilen olayın oluşma sayısı Olasılık Kütle Fonksiyonu: i fi i P I i e i!, olayın ortalama oluşma sayısıdır.
Kümülatif Dağılım Fonksiyonu (Kesikli) 33 Kümülatif Dağılım Fonksiyonu (KDF) şu şekilde tanımlanır. i FI i P I i fi j j 0 32 fi i 32 32 3 32 26 32 6 32 FI i 5 32 32 0 2 3 4 5 i 6 32 32 0 2 3 4 5 i
Kümülatif Dağılım Fonksiyonu (Sürekli) 34 bir sürekli rastgele değişken olmak üzere in KDF si aşağıdaki tanımlanmaktadır. F x P x Tipik bir KDF şu şekilde görünür. F x x
KDF nin Özellikleri 35. F x 0 lim, lim 0 2. F x F x x x 3. Herhangi bir x 0 için monoton artan bir fonksiyondur. F x x F x 4. Pa b F b F a 5. h 0 için F x sağdan süreklidir. lim F a F a h F a h0 6. Pa a x F a x F a lim lim 0 x0 x0
Olasılık Yoğunluk Fonksiyonu (OYF) 36 Özellikleri: f x. 0 f 2. f xdx 3. x df dx x F x P x f x dx P a b f x dx ax P a a x f x dx f x x a b a x lim P a a x 0 x
Bazı Sürekli Rastgele Değişkenler. Düzgün Rastgele Değişken Parametreleri a ve b dir. Olasılık Yoğunluk Fonksiyonu: f, a x b f x b a 0, dy.. b a x 37 Kümülatif Dağılım Fonksiyonu: F x P x f zdz dz b a 0, x a x a F x, a x b, b a, x b x x F a x a b b x x
38 2. Üstel Rastgele Değişken Parametresi dır. Olasılık Yoğunluk Fonksiyonu: f ( x) 0, x 0 x e, x 0 x 0 0 f ( x) dx e dx f x x Kümülatif Dağılım Foksiyonu:
39 F ( x) Pr[ x] f ( z) dz e dz e e F 0, x 0 ( x) x e, x 0 x F 0 x x z z x x 0 x Hafızasızlık Özelliği: Pr t h t Pr t h Pr t h t Pr t Pr t ( th) e h = e Pr t h e
40 3. Gauss Rastgele Değişkeni Parametreleri ve dir. Olasılık Yoğunluk Fonksiyonu: 2 ( xm) 2 2 f ( x) e, x 2 2 2 f x x
4 Kümülatif Dağılım Fonksiyonu: F x P x f z dz 2 x x exp z 2 2 2 dz 0,84 0,5 0,59 F x x
42 Gauss Rastgele Değişkeni için Olasılıkların Bulunması x m x m F ( x) Pr[ x] Q 2 2 ( y) e Q( y) ( y) ( y) e y 2 2 z z y dz dz 2 2 Gauss OYF simetrik olduğundan: ( y) Q( y) Q( z) Q( z)
43