Shannon Bilgi Kuramı
|
|
|
- Su Sözen
- 8 yıl önce
- İzleme sayısı:
Transkript
1 Shannon Bilgi Kuramı Çağatay Yücel Yaşar Üniversitesi Bilgisayar Mühendisliği / Shannon Bilgi Kuramı Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 1 / 53
2 İçerik 1 Giriş 2 Bilgi Kuramının Tarihi Harry Nyquist, (1924) Ralph Hartley, (1928) Claude Elwood Shannon, (1948) 3 Temel Olasılık Bilgileri 4 Belirsizlik, Entropi ve Shannon ın Modeli Ortak, Koşullu ve Marjinal Entropi Karşılıklı Bilgi 5 Shannon - Weaver İletişim Modeli 6 Belleksiz kesikli bilgi kaynağı 7 Bellekli kesikli bilgi kaynağı 8 İletişim Kanalı Kapasitesi 9 Bilgi Kuramı Örnek Uygulama Alanları Veri sıkıştırma Kriptografi 10 Kolmogorov Karmaşası ve Shannon Entropisi Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 2 / 53
3 Giriş Bilgi Kuramı ve Kavramı Bilgi kavramı ile uğraşan, bilgiyi ölçmeye çalışan ve kullanım alanlarını inceleyen bilim alanına bilgi kuramı denilebilir. Genel bakış açısıyla, bilgi kavramı 3 e ayrılır: Sözdizimsel Bilgi: Mesajları oluşturan semboller ve bu sembollerin arasındaki ilişkileri ile alakalıdır. Örn: Gramer kurallarının tamamı, Büyük ünlü uyumu. Anlamsal Bilgi: Mesajların ne anlama geldiği ile ilgilenir. İşlevsel Bilgi: Mesajların nasıl kullanıldığı ve etkileri üzerinedir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 3 / 53
4 Giriş Shannon Bilgi Kuramı Bilginin sözdizimsel olarak incelendiği ve modellendiği kuramdır. İstatistiksel Bilgi Kuramı veya İletişim Kuramı olarak da anılır. Claude E. Shannon ın 1948 de yayınladığı A Mathematical Theory of Communication makalesi ile temelleri atılmıştır. Bu kuramın oluşumundaki tarihsel sürece kısaca bir göz atalım. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 4 / 53
5 Bilgi Kuramının Tarihi Harry Nyquist, (1924) Harry Nyquist, (1924) Certain Factors Affecting Telegraph Speed (1924) adlı makalesi ile telgraf üzerinden maksimum hızda ve bozulma olmadan mesaj göndermenin yolunu açıkladı. Kullanılan devreye göre iletişim kanalının limitlerinin var olduğunu açıkladı. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 5 / 53
6 Bilgi Kuramının Tarihi Ralph Hartley, (1928) Ralph Hartley, (1928) Transmission of Information (1928) adlı makalesi ile ilk olarak bilgi ölçülmeye çalışılmıştır. s karakterlik bir alfabemiz olsun ve n uzunluğundaki bir mesajın içerisindeki bilgi miktarı olarak tanımlanmıştır. H H (s n )=log(s n )=n log(s) Bu durumda: H H (s n )=n H H (s 1 ) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 6 / 53
7 Bilgi Kuramının Tarihi Claude Elwood Shannon, (1948) Claude Elwood Shannon, (1948) A Mathematical Theory of Communication (1948) Nyquist ve Hartley nin kuramlarını genişleterek günümüz bilgi kuramını oluşturmuştur. Bir mesajın içerisindeki belirsizliği olasılık kavramı ile ilişkilendirerek mesajın içerisindeki bilgi miktarını tanımlamıştır. Tüm karakterlerin oluşma olasılıklarının eşit olduğu varsayıldığında Hartley nin ölçüsüne dönülmektedir. Bu sebeple Hartley nin ölçüsü Shannon ölçüsünün özel bir durumudur denilebilir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 7 / 53
8 Temel Olasılık Bilgileri Temel Olasılık Bilgileri Tanım X = x 1,x 2,...,x n - deneyini ele alalım. x i olası sonuçlar olsun. P = p 1,p 2,...,p n - örnek uzaydaki olayların ortaya çıkma olasılıkları olsun. Eğer aşağıdaki koşullar sağlanıyor ise P = p 1,p 2,...,p n bir olasılık dağılımıdır : 1 p i 0 2 p i = 1 Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 8 / 53
9 Temel Olasılık Bilgileri Ortak Olasılık Y = y 1,y 2,...,y m Q = q 1,q 2,...,q m (X,Y)=(x 1,y 1 ),...,(x n,y m ) olayını tek bir örnek uzay olarak tanımlayabiliriz. Tanım (x i,y i ) sonucunun ortaya çıkma olasılığına ortak olasılık denir ve r(x i,y i ) ile gösterilir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 9 / 53
10 Temel Olasılık Bilgileri Marjinal Olasılık Ortak olasılık biliniyor ise, marjinal olasılıklar hesaplanabilir. Tanım r ij ortak olasılık dağılışı olsun. Bu durumda marjinal dağılışlar, p i,q j : p i = m j=1 r ij q j = n i=1 r ij Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 10 / 53
11 Temel Olasılık Bilgileri Koşullu - Marjinal- Ortak olasılık X olayının, bir diğer Y olayına koşullu olasılığı (veya Y biliniyorken X in olasılığı), P(X Y) olarak tanımlanır; Koşullu olasılık, ortak olasılık ve marjinal olasılıklar arasında aşağıdaki gibi bir ilişki vardır. r(x i,y j )=q(y j ) p(x i y j )=p(x i ) q(y j x i ) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 11 / 53
12 Temel Olasılık Bilgileri Birbirinden Bağımsız Olaylar X, Y olaylarının birbirinden bağımsız olması durumunda: p(x i y j )=p(x i ) q(y j x i )=q(y j ) r(x i,y j )=p(x i ) q(y j ) formülleri geçerlidir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 12 / 53
13 Belirsizlik, Entropi ve Shannon ın Modeli Mesajdaki Belirsizlik ve Bilgi Miktarı Bir mesajdaki belirsizliğin o mesajdaki bilgi miktarına eşit olduğunu aşağıdaki örnekle açıklayalım. Bir torbaya her renkten toptan bir adet attığımızda, herhangi bir rengin gelme olasılığı 1/n olur. Çekilen bir topun hangi renk olacağı belirsizdir ve çekilişin ardıdan sonuç bize bir miktar bilgi vermektedir. Sadece tek bir renkten n adet top atılsa idi, çekilen topun rengini zaten biliyor olduğumuzdan bu çekilişin ardından herhangi bir şey öğrenmemiş olurduk. Böylelikle belirsizliğin bilgi miktarına eşit olduğunu düşünebiliriz. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 13 / 53
14 Belirsizlik, Entropi ve Shannon ın Modeli Bilgi Miktarı Tanım X bir olasılık deneyi olsun. p(x i ) ise x i sonucunun ortaya çıkması durumunun olasılığı olarak verildiğinde, bu deneydeki ortalama bilgi miktarı: H(X)= n i=1 p(x i ) log(p(x i ))= n i=1 p i log(p i ) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 14 / 53
15 Belirsizlik, Entropi ve Shannon ın Modeli Bilgi Miktarı Logaritmanın tabanı 2 olarak seçildiğinde, bilgi miktarının birimi bit olmaktadır. log(1) = 0 olduğundan kesin olarak gerçekleşeceğini bildiğimiz bir olay bize 0 bitlik bilgi vermektedir. Tüm olasılıklar eşit olduğunda ise bilgi miktarı maksimum değerini almaktadır. Denklemdeki - işareti bilgi miktarı için H(X) 0 koşulunu yerine getirir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 15 / 53
16 Belirsizlik, Entropi ve Shannon ın Modeli Aksiyomlar H(X) süreklidir. H(X) simetriktir. H(X) için toplama özelliği vardır. H(X), X olayı uniform dağılış gösterdiğinde maksimum değerini alır. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 16 / 53
17 Belirsizlik, Entropi ve Shannon ın Modeli Süreklilik H(X), p de süreklidir. p=(p,1 p) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 17 / 53
18 Belirsizlik, Entropi ve Shannon ın Modeli Simetri Olasılıkların sıralanışının bir önemi yoktur. Örneğin: X = (Kırmızı top çekilir, Mavi top çekilir) P x =(0.8,0.2) için H(X)= 0.8 log(0.8) 0.2 log(0.2) = 0.72 bit. Y = (Kar yağar, Kar yağmaz) P y =(0.2,0.8) için H(Y)= 0.2 log(0.2) 0.8 log(0.8) = 0.72 bit. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 18 / 53
19 Belirsizlik, Entropi ve Shannon ın Modeli Toplama Özelliğinin Sağlanması Birbirinden bağımsız iki olay X,Y için: H(X,Y)=H(X)+H(Y) Örneğin: İki zar atıldığında, birbirinden bağımsız olaylar söz konusu olduğu için, beraber atılmaları ile birinin diğerinden sonra atılmasının bir farkı yoktur. H(X)=H(Y) H(p 1,q 1,...,p 6,q 1,...,p 6,q 6 )=H(p 1,p 2,...,p 6 )+H(q 1,q 2,...,q 6 ) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 19 / 53
20 Belirsizlik, Entropi ve Shannon ın Modeli Entropinin Maksimum ve Minimum Olma Durumları Teorem X =(x 1,...,x n ) örnek uzayımız olsun. P =(p 1,...,p n ) ise X örnek uzayına karşılık gelen olasılık dağılışımız olsun. 1 H(X) log(n), eşitlik durumu = p i = 1/n 2 H(X) 0, eşitlik durumu = p k = 1 değerini sağlayan bir k değeri mevcuttur. İspat için [1] Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 20 / 53
21 Belirsizlik, Entropi ve Shannon ın Modeli Örnek: Taralı alanı tahmin etmek Tüm karelerin taralı olma olasılıklarının eşit olduğunu varsayarsak: Minimum 4 soru sorarak taralı alanı bulabiliriz. H(X)= 16 i= log( 1 16 )=4bit Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 21 / 53
22 Belirsizlik, Entropi ve Shannon ın Modeli Ortak, Koşullu ve Marjinal Entropi Ortak, Koşullu ve Marjinal Entropi Tanım (X,Y) raslantısal iki boyutlu vektörel değişkenimiz olsun. r ij, x i ve y j sonuçlarının ortaya çıkma olasılığı ise, Ortak (joint ) Bilgi Miktarı H(X,Y)= n m i=1 j=1 r ij log(r ij ) Tanım (X,Y) raslantısal iki boyutlu vektörel değişkenimiz olsun. r ij, x i ve y j sonuçlarının ortaya çıkma olasılığı, q, Y nin marjinal olasılığı ise H(Y X), Y nin X olayına bağlı, yani Koşullu Bilgi Miktarı: H(Y X)= n m i=1 j=1 r ij log(q(y j x i )) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 22 / 53
23 Belirsizlik, Entropi ve Shannon ın Modeli Ortak, Koşullu ve Marjinal Entropi Ortak, Koşullu ve Marjinal Entropi Teorem H(Y X) koşullu bilgi miktarı olsun. H(Y X) 0 H(Y X) H(Y) ve eşitlik durumu ancak X ve Y bağımsız ise gerçekleşir. Teorem H(Y X) koşullu, H(X),H(Y) marjinal ve H(X,Y) ortak bilgi miktarları olsun. H(X,Y)=H(X)+H(Y X)=H(Y)+H(X Y) İspatları [1] de bulabilirsiniz. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 23 / 53
24 Belirsizlik, Entropi ve Shannon ın Modeli Karşılıklı Bilgi Karşılıklı Bilgi Miktarı Tanım X ve Y ye bağlı karşılıklı bilgi miktarı aşağıdaki gibi tanımlanır. I(X : Y)=H(Y) H(Y X)= n m i=1 j=1 r ij r ij log( ) p i q j Y ve X arasındaki bağımlılık miktarının ölçütüdür. X,Y bağımsız değişkenler ise I(X : Y)=0 dır. Y, X e tamamen bağımlı ise; H(Y X)=0 ve I(X : Y)=H(Y). Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 24 / 53
25 Belirsizlik, Entropi ve Shannon ın Modeli Karşılıklı Bilgi Bilgi Miktarları Arasındaki İlişki Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 25 / 53
26 Shannon - Weaver İletişim Modeli Shannon - Weaver İletişim Modeli Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 26 / 53
27 Shannon - Weaver İletişim Modeli Detaylı İletişim Modeli Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 27 / 53
28 Belleksiz kesikli bilgi kaynağı Belleksiz Kesikli Bilgi Kaynağı Bir bilgi kaynağının alfabesini, sonlu sayıda sembolden oluşan bir küme olarak düşünebiliriz. U =(u 1,u 2,...,u n ) Mesaj veya kelime ardarda gelen bir grup sembolden oluşmaktadır. Alfabede n sembol varsa ve mesajımızın uzunluğu l sembol ise n l adet olası mesaj oluşturabiliriz. Bilgi kaynağımızın stokastik olması, alfabedeki her sembol ile ilintili bir oluşma olasılığının, p(u i )=p i, var olması anlamına gelmektedir. Bu durumda, bu bilgi kaynağı tarafından üretlien bilgi miktarı, aşağıdaki formül ile bulunabilir. H(U)= p i log(p i )bit/sembol Maksimum üretilebileceğimiz bilgi miktarı ise: max[h(u)] = log(n)bit/sembol Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 28 / 53
29 Belleksiz kesikli bilgi kaynağı Fazlalık (Redundancy) Kavramı Tanım Bir bilgi kaynağındaki fazlalık Red = 1 H(U) H(U) = 1 max[h(u)] log(n) ile gösterilir. Formüldeki n kaynak alfabedeki olası sembol sayısıdır. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 29 / 53
30 Belleksiz kesikli bilgi kaynağı Kaynak Kodlama U =(u 1,u 2,...,u n ) alfabesini kullanarak mesaj üreten bir kaynağımız olduğunu varsayalım ve mesajların bir iletişim kanalına yazıldığını düşünelim. Verimliliği sağlamak adına mesajların mümkün olduğunca fazlalıklardan kurtulması gerekir. Üretilen mesajın fazlalıklardan kurtulmasını sağlamak adına yeni bir alfabe ile kodlanmasına kaynak kodlama denir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 30 / 53
31 Belleksiz kesikli bilgi kaynağı Kaynak Kodlama S =(s 1,s 2,...,s n ) kod alfabemiz olsun. U alfabesinde üretilen her bir mesajın S alfabesinde bir karşılığı mevcuttur, bu karşılığa kod kelimesi (code word) denir. Eğer olası tüm kod kelimeler birbirinden farklıysa, bu kodlama tekniğine (non - singular) tekil olmayan kodlama denir. Kodlamanın başarılı bir şekilde geriye çevrilebilmesi için, her bir kod kelimesinin tek bir karşılığı olması gerekmektedir. Aynı zamanda kod sembollerinin okunduğu anda orjinal mesajın alfabesine çevrilebilmesine ani kodlama (instantaneous code) denir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 31 / 53
32 Belleksiz kesikli bilgi kaynağı Verimlilik Tanım Bir kodlama tekniğinin verimliliği, η, aşağıdaki şekilde tanımlanır. η = H(U) L log(r) H(U) mesajın kaynağının bilgi miktarı, L kod kelimelerinin ortalama uzunluğu ve r ise kod alfabesinin uzunluğudur. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 32 / 53
33 Belleksiz kesikli bilgi kaynağı Huffman Kodlaması - Örnek Kayıpsız (lossless) olarak veriyi sıkıştırıp tekrar açmak için kullanılır. Huffman Kodlamasının en büyük avantajlarından birisi kullanılan karakterlerin frekanslarına göre bir ikili ağaç (binary tree) yapısında tutulmasıdır. Sık kullanılan karakterler daha kısa kod kelimelerle ifade edilip ağacın üst düğümlerinde yer alır. Nadir kullanılanlar ise daha uzun kelimelerle ifade edilip daha aşağıdaki düğümlerde yer alır. Örnek: Türkçe dilinde yapılan Huffman Kodlaması çalışması... Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 33 / 53
34 Bellekli kesikli bilgi kaynağı Bellekli Kesikli Bilgi Kaynağı Belleksiz olma özelliği bir çok dil için geçerli değildir. Çoğu zaman önceki karakterlerden bir sonraki karakterin tahmini yapılabilmektedir. Örn: bilg harflerini gördüğümüzde bir sonraki harfin çok büyük olasılıkla i olacağını tahmin edebiliriz. Bilgi kaynağımızın bellekli olması demek, o ana kadar kaynaktan gelen sembollerin bir sonraki sembolün olasılıklarını etkilemesi anlamına gelmektedir. Bellekli bilgi kaynakların ürettiği diziler markov zincirleri ile gosterilebilir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 34 / 53
35 Bellekli kesikli bilgi kaynağı Markov Zincirleri Tanım X n,(n= 0,1,2,...,) sonlu sayıda değerler alan bir stokastik proses olsun. X n = i notasyonu, prosesin n anında i değerinde olduğunu göstermektedir. Proses herhangi bir n anında i durumunda olduğunda, bir sonraki durumun j olma olasılığı sabittir. P{X n+1 = j X n 1 = i n 1,...,X 1 = i 1,X 0 = i 0 }=P ij i, j ve n 0. Bu özelliği sağlayan proseslere Markov Zinciri denir. Markov zincirleri durum geçiş matrisleri ile ifade edilir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 35 / 53
36 Bellekli kesikli bilgi kaynağı Örn: Markov Zincirleri Alfabemiz U = 0,1,2 olsun. Durum geçiş matrisimiz ise şu şekilde olsun. Bir sonraki durum Şu anki durum Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 36 / 53
37 Bellekli kesikli bilgi kaynağı Örn: Markov Zincirleri Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 37 / 53
38 Bellekli kesikli bilgi kaynağı Örn: İletişim Sistemi Bir ağ üzerinden 1 ve 0 gönderen bir iletişim sistemi düşünelim. Her bir adımda bir sonraki sembolün değişme olasılığı p olsun. Bu durumda geçiş matrisimiz şu şekildedir. p 1 p 1 p p Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 38 / 53
39 Bellekli kesikli bilgi kaynağı Chapman - Kolmogorov Denklemleri Bir prosesin n adımdan sonra durum değiştirme olasılıklarını Chapman - Kolmogorov denklemleri vermektedir. Bu denklemler P n+m ij = k=0 tüm n,m 0 ve tüm i,j için sağlanır P n ik P m kj Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 39 / 53
40 Bellekli kesikli bilgi kaynağı N. dereceden Markov Zincirleri İletişim sistemini tekrardan değerlendirirsek, p = 0.7 iken, 2. bitin ve 3. bitin olasılıklarını hesaplamak için: P = P 2 = P 1+1 = P P P 2 = P 2 = P 3 = P 2 P 1 P 3 = P 3 = Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 40 / 53
41 Bellekli kesikli bilgi kaynağı 1. Dereceden Markov Proseslerinin Bilgi Miktarı u i,i = 1,2,...,m alfabemizdeki semboller olsun. S i,i = 1,2,...,m prosesimizin durumları olsun. u 1i durumundan u 2j durumuna geçiş durumunu düşünelim. Bu olasılığı p(u 2j u 1i ) ile gösterirsek, bu geçişteki bilgi miktarı: H(U 2 U 1 )= m m i=1 j=1 p(u 2j u 1i ) log(p(u 2j u 1i )) (1) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 41 / 53
42 Bellekli kesikli bilgi kaynağı N. Dereceden Markov Proseslerinin Bilgi Miktarı n 1 önceki sembollerin bilindiği durumda, N. sembolün koşullu entropisi aşağıdaki gibi hesaplanır. F n (U)=H(U n U n 1,U n 2,...,U 1 ) Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 42 / 53
43 İletişim Kanalı Kapasitesi İletişim Kanalı Kapasitesi Güvenilir bir şekilde bir iletişim kanalından gönderebileceğiniz maksimum bilgi miktarına Operasyonel iletişim kanalı kapasitesi denir. Bilgi Kanalı İletişim Kapasitesi ise şu şekilde tanımlanır. C = max {p(x)} (I(X : Y)) Shannon ın İletişim Kanalı Kodlama Teorisi ne göre: bilgi iletişim kapasitesi = operasyonel iletişim kapasitesi Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 43 / 53
44 Bilgi Kuramı Örnek Uygulama Alanları Veri sıkıştırma Veri Sıkıştırma Kayıpsız sıkıştırma algoritmaları Huffman Fano - Shannon Arithmetic Coding Kayıplı sıkıştırma algoritmaları JPEG, DJVU MPEG 1-2-4, MP2, MP3, WMA Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 44 / 53
45 Bilgi Kuramı Örnek Uygulama Alanları Kriptografi Simetrik Kriptosistemler Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 45 / 53
46 Bilgi Kuramı Örnek Uygulama Alanları Kriptografi Simetrik Kriptosistemler M i, H(M i )= n i=1 p(m i) log(p(m i )) C i, H(M i )= n i=1 p(c i) log(p(c i )) K i, H(K i )= n i=1 p(k i) log(p(k i )) H(K C), key equivocation H(K C)= l m h=1 j=1 p(k h,c j ) log(p(k h C j )) H(M C), message equivocation aynı şekilde hesaplanmaktadır. H(M C,K)=0 olmasını bekleriz. Kusursuz gizlilik için ideal olarak I(M : C)=0 olması gerekir. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 46 / 53
47 Kolmogorov Karmaşası ve Shannon Entropisi Kolmogorov Karmaşası Hangisini daha karmaşık olarak nitelendirebiliriz? Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 47 / 53
48 Kolmogorov Karmaşası ve Shannon Entropisi Kolmogorov Karmaşası Yukarıdaki bit dizisi 16 adet 1 yazan Turing Makinesi ile ifade edilebilir Rasgele bit dizisi olarak nitelendirildiğinden tanımlayıcı Turing Makinesi bit dizisini sıkıştırmadan içermelidir. Kolmogorov Karmaşası ile bu fikri formal hale getirebiliriz. Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 48 / 53
49 Kolmogorov Karmaşası ve Shannon Entropisi Kolmogorov Karmaşası Tanım Bir x bit dizisinin Kolmogorov karmaşası, x bit dizisini üreten en küçük Turing Makinesi programının uzunluğuna eşittir. K f (x)=min p { p :f(p)=x} Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 49 / 53
50 Kolmogorov Karmaşası ve Shannon Entropisi Algorithmic information theory is the result of putting Shannon s information theory and Turing s computability theory into a cocktail shaker and shaking vigorously. G. J. Chaitin Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 50 / 53
51 Kolmogorov Karmaşası ve Shannon Entropisi Shannon Entropisi ve Kolmogorov Karmaşası Kolmogorov karmaşasının beklenen değeri bize Shannon Entropisini vermektedir. Kodlama teorisinie göre mesajımız fazlalıkları azaltacak şekilde kodlanmaktadır. Bu kodlamayı Kolmogorov Karmaşasının tanımındaki f olarak değerlendirebiliriz. Bu durumda kodlama sisteminin beklenen değeri ile Shannon Entropisi arasındaki bağlantı kurulmuş olur. Formal teoremler ve ispatlar için [4] Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 51 / 53
52 Kolmogorov Karmaşası ve Shannon Entropisi Teşekkürler... Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 52 / 53
53 Kolmogorov Karmaşası ve Shannon Entropisi References Jan C.A. van der Lubbe. Information Theory. Cambridge Press, Kaan Kurtel. Information theory lecture notes. Neil Conway. Kolmogorov complexity lecture notes. Grunwald p. Vitanyi, P. Shannon information and komogorov complexity C. E. Shannon. A mathematical theory of communication. Bell system technical journal, 27, C. Shannon. Communication theory of secrecy systems. Bell System Technical Journal, 28, Thomas M. Cover and Joy A. Thomas. Elements of information theory. Wiley-Interscience, Sheldon M. Ross. Introduction to Probability Models. Academic Press, New York, 10th edition, Çağatay Yücel (Yaşar Üniversitesi) Shannon Bilgi Kuramı / Shannon Bilgi Kuramı 53 / 53
İstatistik 1. Bölüm 5 Olasılık Teorisi ve Kesikli Olasılık Dağılımları. Ankara Üniversitesi SBF, GYY
İstatistik 1 Bölüm 5 Olasılık Teorisi ve Kesikli Olasılık Dağılımları Bu Bölümde İşlenecek Konular Temel Olasılık Teorisi Örnek uzayı ve olaylar, basit olasılık, birleşik olasılık Koşullu Olasılık İstatistiksel
Web Madenciliği (Web Mining)
Web Madenciliği (Web Mining) Hazırlayan: M. Ali Akcayol Gazi Üniversitesi Bilgisayar Mühendisliği Bölümü Konular Denetimli Öğrenmenin Temelleri Karar Ağaçları Entropi ID3 Algoritması C4.5 Algoritması Twoing
BAYES KURAMI. Dr. Cahit Karakuş
BAYES KURAMI Dr. Cahit Karakuş Deney, Olay, Sonuç Küme Klasik olasılık Bayes teoremi Permütasyon, Kombinasyon Rasgele Değişken; Sürekli olasılık dağılımı Kesikli - Süreksiz olasılık dağılımı Stokastik
Veri Ağlarında Gecikme Modeli
Veri Ağlarında Gecikme Modeli Giriş Veri ağlarındaki en önemli performans ölçütlerinden biri paketlerin ortalama gecikmesidir. Ağdaki iletişim gecikmeleri 4 farklı gecikmeden kaynaklanır: 1. İşleme Gecikmesi:
İSTANBUL TİCARET ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ BİLGİSAYAR SİSTEMLERİ LABORATUVARI
İSTANBUL TİCARET ÜNİVERSİTESİ BİLGİSAYAR MÜHENDİSLİĞİ BÖLÜMÜ BİLGİSAYAR SİSTEMLERİ LABORATUVARI Veri Sıkıştırma Yöntemleri ve Huffman Kodlama ile Veri Sıkıştırma 1. Deney Amacı Veri sıkıştırma sadece bilgisayar
Ankara Üniversitesi, SBF İstatistik 2 Ders Notları Prof. Dr. Onur Özsoy 1
1 Rastgele bir denemede ortaya çıkması olası sonuçların tamamıdır Örnek: bir zar bir kez yuvarlandığında S= Yukarıdaki sonuçlardan biri elde edilecektir. Sonuçların her biri basit olaydır Örnek: Bir deste
Makine Öğrenmesi 3. hafta
Makine Öğrenmesi 3. hafta Entropi Karar Ağaçları (Desicion Trees) ID3 C4.5 Sınıflandırma ve Regresyon Ağaçları (CART) Karar Ağacı Nedir? Temel fikir, giriş verisinin bir kümeleme algoritması yardımıyla
EME Sistem Simülasyonu. Giriş. Olasılık Dağılımı. Rassal Degiskenler
EME 3105 1 Giriş Sistem Simülasyonu Önümüzdeki hafta simulasyon girdilerinin modellenmesinde kullanılan kesikli ve sürekli Simulasyonda İstatistiksel Modeller-I Ders 4 dağılımlar hatırlatılacaktır. Rassal
Tesadüfi Değişken. w ( )
1 Tesadüfi Değişken Tesadüfi değişkenler gibi büyük harflerle veya gibi yunan harfleri ile bunların aldığı değerler de gibi küçük harflerle gösterilir. Tesadüfi değişkenler kesikli veya sürekli olmak üzere
Bekleme Hattı Teorisi
Bekleme Hattı Teorisi Sürekli Parametreli Markov Zincirleri Tanım 1. * +, durum uzayı * +olan sürekli parametreli bir süreç olsun. Aşağıdaki özellik geçerli olduğunda bu sürece sürekli parametreli Markov
BÖLÜM 1 TEMEL KAVRAMLAR
BÖLÜM 1 TEMEL KAVRAMLAR Bölümün Amacı Öğrenci, Analog haberleşmeye kıyasla sayısal iletişimin temel ilkelerini ve sayısal haberleşmede geçen temel kavramları öğrenecek ve örnekleme teoremini anlayabilecektir.
Algoritma Geliştirme ve Veri Yapıları 9 Ağaç Veri Modeli ve Uygulaması. Mustafa Kemal Üniversitesi
Algoritma Geliştirme ve Veri Yapıları 9 Ağaç Veri Modeli ve Uygulaması Ağaç, verilerin birbirine sanki bir ağaç yapısı oluşturuyormuş gibi sanal olarak bağlanmasıyla elde edilen hiyararşik yapıya sahip
YÖNEYLEM ARAŞTIRMASI-2 -Markov Zincirleri-
YÖNEYLEM ARAŞTIRMASI-2 -Markov Zincirleri- Hazırlayan Yrd. Doç. Selçuk Üniversitesi Mühendislik Fakültesi - Endüstri Mühendisliği Bölümü Giriş Zaman içerisinde tamamen önceden kestirilemeyecek şekilde
Olasılık Kuramı ve İstatistik. Konular Olasılık teorisi ile ilgili temel kavramlar Küme işlemleri Olasılık Aksiyomları
Olasılık Kuramı ve İstatistik Konular Olasılık teorisi ile ilgili temel kavramlar Küme işlemleri Olasılık Aksiyomları OLASILIK Olasılık teorisi, raslantı ya da kesin olmayan olaylarla ilgilenir. Raslantı
İMGE İŞLEME Ders-9. İmge Sıkıştırma. Dersin web sayfası: (Yrd. Doç. Dr. M.
İMGE İŞLEME Ders-9 İmge Sıkıştırma (Yrd. Doç. Dr. M. Kemal GÜLLÜ) Dersin web sayfası: http://mf.kou.edu.tr/elohab/kemalg/imge_web/odev.htm Hazırlayan: M. Kemal GÜLLÜ İmge Sıkıştırma Veri sıkıştırmanın
ii) S 2LW 2WH 2LW 2WH S 2WH 2LW S 3( x 1) 5( x 2) 5 3x 3 5x x Maliye Bölümü EKON 103 Matematik I / Mart 2018 Proje 2 CEVAPLAR C.1) C.
C.1) x1 x 1 4 4( x1) x 6 4x 4 x 6 x 46 x Maliye Bölümü EKON 10 Matematik I / Mart 018 Proje CEVAPLAR C.) i) S LW WH LW WH S LW WH S W W W S L H W ii) S LW WH WH LW S WH LW S W W W S H L W C.) ( x1) 5(
VERİ MADENCİLİĞİ (Karar Ağaçları ile Sınıflandırma) Yrd.Doç.Dr. Kadriye ERGÜN
VERİ MADENCİLİĞİ (Karar Ağaçları ile Sınıflandırma) Yrd.Doç.Dr. Kadriye ERGÜN kergun@balikesir.edu.tr Genel İçerik Veri Madenciliğine Giriş Veri Madenciliğinin Adımları Veri Madenciliği Yöntemleri Sınıflandırma
1. GRUPLAR. c (Birleşme özelliği) sağlanır. 2) a G için a e e a a olacak şekilde e G (e ye birim eleman denir) vardır.
1. GRUPLAR Tanım 1.1. G boş olmayan bir küme ve, G de bir ikili işlem olsun. (G yapısına aşağıdaki aksiyomları sağlıyorsa bir grup denir., ) cebirsel 1) a b cg,, için a( bc) ( ab) c (Birleşme özelliği)
28/04/2014 tarihli LYS-1 Matematik-Geometri Testi konu analizi SORU NO LYS 1 MATEMATİK TESTİ KAZANIM NO KAZANIMLAR 1 / 31
SORU NO LYS 1 MATEMATİK TESTİ A B KAZANIM NO KAZANIMLAR 1 1 / 31 11 32159 Rasyonel sayı kavramını açıklar. 2 12 32151 İki ya da daha çok doğal sayının en büyük ortak bölenini ve en küçük ortak katını bulur.
RASSAL DEĞİŞKENLER VE OLASILIK DAĞILIMLARI. Yrd. Doç. Dr. Emre ATILGAN
RASSAL DEĞİŞKENLER VE OLASILIK DAĞILIMLARI Yrd. Doç. Dr. Emre ATILGAN 1 RASSAL DEĞİŞKENLER VE OLASILIK DAĞILIMLARI Olasılığa ilişkin olayların çoğunluğunda, deneme sonuçlarının bir veya birkaç yönden incelenmesi
BİYOİSTATİSTİK Olasılıkta Temel Kavramlar Yrd. Doç. Dr. Aslı SUNER KARAKÜLAH
BİYOİSTTİSTİK Olasılıkta Temel Kavramlar Yrd. Doç. Dr. slı SUNER KRKÜLH Ege Üniversitesi, Tıp Fakültesi, Biyoistatistik ve Tıbbi Bilişim D. Web: www.biyoistatistik.med.ege.edu.tr 1 OLSILIK Olasılık; Tablo
IE 303T Sistem Benzetimi L E C T U R E 6 : R A S S A L R A K A M Ü R E T I M I
IE 303T Sistem Benzetimi L E C T U R E 6 : R A S S A L R A K A M Ü R E T I M I Geçen Ders Sürekli Dağılımlar Uniform dağılımlar Üssel dağılım ve hafızasızlık özelliği (memoryless property) Gamma Dağılımı
Örnek Bir zar atıldığında zarın üstünde bulunan noktaların sayısı gözlensin. Çift sayı gelmesi olasılığı nedir? n(s) = 3 6 = 1 2
Bir Olayın Olasılığı P(A) = n(a) n(s) = A nın eleman sayısı S nin eleman sayısı Örnek Bir zar atıldığında zarın üstünde bulunan noktaların sayısı gözlensin. Çift sayı gelmesi olasılığı nedir? Çözüm: S
Ders 1: Markov Zincirleri YÖNEYLEM ARAŞTIRMASI III. Markov Süreçleri Ders 4. Stokastik Süreç Nedir? Stokastik Süreç Nedir?
Ders : Markov Zincirleri YÖNEYLEM ARAŞTIRMASI III Markov Süreçleri Ders 4 Yrd. Doç. Dr. Beyazıt Ocaktan E-mail: bocaktan@gmail.com Ders İçerik: nedir? Markov Zinciri nedir? Markov Özelliği Zaman Homojenliği
SAYI VE KODLAMA SİSTEMLERİ. Teknoloji Fakültesi/Bilgisayar Mühendisliği
SAYI VE KODLAMA SİSTEMLERİ Teknoloji Fakültesi/Bilgisayar Mühendisliği Neler Var? Sayısal Kodlar BCD Kodu (Binary Coded Decimal Code) - 8421 Kodu Gray Kodu Artı 3 (Excess 3) Kodu 5 de 2 Kodu Eşitlik (Parity)
Şartlı Olasılık. Pr[A A ] Pr A A Pr[A ] Bir olayın (A 1 ) olma olsılığı, başka bir olayın (A 2 ) gerçekleştiğinin bilinmesine bağlıysa;
![Şartlı Olasılık. Pr[A A ] Pr A A Pr[A ] Bir olayın (A 1 ) olma olsılığı, başka bir olayın (A 2 ) gerçekleştiğinin bilinmesine bağlıysa;](/thumbs/68/58953092.jpg "Şartlı Olasılık. Pr[A A ] Pr A A Pr[A ] Bir olayın (A 1 ) olma olsılığı, başka bir olayın (A 2 ) gerçekleştiğinin bilinmesine bağlıysa;")
Şartlı Olasılık Bir olayın (A ) olma olsılığı, başka bir olayın (A 2 ) gerçekleştiğinin bilinmesine bağlıysa; Pr[A A 2 Pr A A Pr A A = Pr[A A 2 2 2 Pr[A Pr[A 2 2 A A 2 S Pr[A A 2 A 2 verildiğinde (gerçekleştiğinde)
Ders Kodu Dersin Adı Yarıyıl Teori Uygulama Lab Kredisi AKTS IND 621 Stokastik Süreçler
İçerik Ders Kodu Dersin Adı Yarıyıl Teori Uygulama Lab Kredisi AKTS IND 621 Stokastik Süreçler 1 3 0 0 3 8 Ön Koşul Derse Kabul Koşulları Dersin Dili Türü Dersin Düzeyi Dersin Amacı İngilizce Zorunlu Doktora
Olasılık teorisi, matematiğin belirsizlik taşıyan olaylarla ilgilenen bir dalıdır. Bu bilim dalı rasgele değişkenleri inceler.
Bölüm 2 OLASILIK TEORİSİ Olasılık teorisi, matematiğin belirsizlik taşıyan olaylarla ilgilenen bir dalıdır. Bu bilim dalı rasgele değişkenleri inceler. Rasgele değişken, gelecekteki bir gözlemde alacağı
İstatistik, genel olarak, rassal bir olayı (ya da deneyi) matematiksel olarak modellemek ve bu model yardımıyla, anakütlenin bilinmeyen karakteristik
6.SUNUM İstatistik, genel olarak, rassal bir olayı (ya da deneyi) matematiksel olarak modellemek ve bu model yardımıyla, anakütlenin bilinmeyen karakteristik özellikleri (ortalama, varyans v.b. gibi) hakkında
Yıldız Teknik Üniversitesi Endüstri Mühendisliği Bölümü KARAR TEORİSİ MARKOV SÜREÇLERİ. Markov Analizi
Yıldız Teknik Üniversitesi Endüstri Mühendisliği Bölümü KARAR TEORİSİ MARKOV SÜREÇLERİ Doç. Dr. İhsan KAYA Markov Analizi Markov analizi, bugün çalışan bir makinenin ertesi gün arızalanma olasılığının
Belirteç Seçiminin Huffman Kodlaması Üzerine Etkisi
Belirteç Seçiminin Huffman Kodlaması Üzerine Etkisi Korhan GÜNEL 1, Onur DİNCEL 2 1 Adnan Menderes Üniversitesi, Fen-Edebiyat Fakültesi, Matematik Bölümü, Aydın 2 Adnan Menderes Üniversitesi, Fen Bilimleri
İleri Diferansiyel Denklemler
MIT AçıkDersSistemi http://ocw.mit.edu 18.034 İleri Diferansiyel Denklemler 2009 Bahar Bu bilgilere atıfta bulunmak veya kullanım koşulları hakkında bilgi için http://ocw.mit.edu/terms web sitesini ziyaret
Olasılık, bir deneme sonrasında ilgilenilen olayın tüm olaylar içinde ortaya çıkma ya da gözlenme oranı olarak tanımlanabilir.
5.SUNUM Olasılık, bir deneme sonrasında ilgilenilen olayın tüm olaylar içinde ortaya çıkma ya da gözlenme oranı olarak tanımlanabilir. Günlük hayatta sıklıkla kullanılmakta olan olasılık bir olayın ortaya
MMT 106 Teknik Fotoğrafçılık 3 Digital Görüntüleme
MMT 106 Teknik Fotoğrafçılık 3 Digital Görüntüleme 2010-2011 Bahar Yarıyılı Ar. Gör. Dr. Ersoy Erişir 1 Konvansiyonel Görüntüleme (Fotografi) 2 Görüntü Tasarımı 3 Digital Görüntüleme 3.1 Renkler 3.2.1
rasgele değişkeninin olasılık yoğunluk fonksiyonu,
3.6. Bazı Sürekli Dağılımlar 3.6.1 Normal Dağılım Normal dağılım hem uygulamalı hem de teorik istatistikte kullanılan oldukça önemli bir dağılımdır. Normal dağılımın istatistikte önemli bir yerinin olmasının
ÖRNEKLEME DAĞILIŞLARI VE TAHMİNLEYİCİLERİN ÖZELLİKLERİ
ÖRNEKLEME DAĞILIŞLARI VE TAHMİNLEYİCİLERİN ÖZELLİKLERİ TEMEL KAVRAMLAR PARAMETRE: Populasyonun sayısal açıklayıcı bir ölçüsüdür ve anakütledeki tüm elemanlar dikkate alınarak hesaplanabilir. Ana kütledeki
İÇİNDEKİLER ÖNSÖZ Bölüm 1 SAYILAR 11 Bölüm 2 KÜMELER 31 Bölüm 3 FONKSİYONLAR
İÇİNDEKİLER ÖNSÖZ III Bölüm 1 SAYILAR 11 1.1. Sayı Kümeleri 12 1.1.1.Doğal Sayılar Kümesi 12 1.1.2.Tam Sayılar Kümesi 13 1.1.3.Rasyonel Sayılar Kümesi 14 1.1.4. İrrasyonel Sayılar Kümesi 16 1.1.5. Gerçel
Kesikli ġans DeğiĢkenleri Ġçin; Olasılık Dağılımları Beklenen Değer ve Varyans Olasılık Hesaplamaları
Kesikli ġans DeğiĢkenleri Ġçin; Olasılık Dağılımları Beklenen Değer ve Varyans Olasılık Hesaplamaları Kesikli ġans DeğiĢkenlerinin Olasılık Fonksiyonları X, şans değişkeni ve, 2,.., n ise bu tesadüfi değişkenin
Dosya Sıkıştırma (File Compression) Kütük Organizasyonu 1
Dosya Sıkıştırma (File Compression) Kütük Organizasyonu İçerik Dosya sıkıştırma nedir? Dosya sıkıştırma yöntemleri nelerdir? Run-Length Kodlaması Huffman Kodlaması Kütük Organizasyonu 2 Dosya Sıkıştırma
Tanım: (1. Tip Üretken Fonksiyonlar) (a r ) = (a 1, a 2, a 3,,a r, ) sayı dizisi olmak üzere, (a r ) dizisinin 1. Tip üretken fonksiyonu
Üretken Fonksiyonlar Ali İlker Bağrıaçık Üretken fonksiyonlar sayma problemlerinin çözümünde kullanılan önemli yöntemlerden biridir. Üretken fonksiyonların temeli Moivre nin 1720 yıllarındaki çalışmalarına
Rasgele Vektörler Çok Değişkenli Olasılık Dağılımları
4.Ders Rasgele Vektörler Çok Değişkenli Olasılık Dağılımları Tanım:,U, P bir olasılık uzayı ve X, X,,X n : R n X, X,,X n X, X,,X n olmak üzere, her a, a,,a n R n için : X i a i, i,, 3,,n U özelliği sağlanıyor
Üstel ve Logaritmik Fonksiyonlar
Üstel ve Logaritmik Fonksiyonlar Yazar Prof.Dr. Vakıf CAFEROV ÜNİTE 5 Amaçlar Bu üniteyi çalıştıktan sonra; üstel ve logaritmik fonksiyonları tanıyacak, üstel ve logaritmik fonksiyonların grafiklerini
DAVİD HUFFMAN ALGORİTMASI Sayısal haberleşme tekniklerinin önemli ölçüde arttığı günümüzde, sayısal verilen iletilmesi ve saklanması bir hayli önem kazanmıştır. Sayısal veriler çeşitli saklayıcılarda saklanırken
Birden Fazla RDnin Bileşik Olasılık Fonksiyonları
Birden Fazla RDnin Bileşik Olasılık Fonksiyonları Birden fazla x 1, x 2,..., x n gibi RDlerimiz olsun. Bunların bileşik olasılık fonksiyonları kesikli ve rastgele RDler için sırasıyla şu şekilde tanımlanır
Matris Cebiriyle Çoklu Regresyon Modeli
Matris Cebiriyle Çoklu Regresyon Modeli Hüseyin Taştan Mart 00 Klasik Regresyon Modeli k açıklayıcı değişkenden oluşan regresyon modelini her gözlem i için aşağıdaki gibi yazabiliriz: y i β + β x i + β
VEKTÖR UZAYLARI 1.GİRİŞ
1.GİRİŞ Bu bölüm lineer cebirin temelindeki cebirsel yapıya, sonlu boyutlu vektör uzayına giriş yapmaktadır. Bir vektör uzayının tanımı, elemanları skalar olarak adlandırılan herhangi bir cisim içerir.
OLASILIK PROBLEMLERİ I (BAĞIMSIZ OLAYLAR, KOLMOGOROV BELİTLERİ VE KOŞULLU OLASILIK)
İST65-0-02-OLASILIK I (BAĞIMSIZ OLAYLAR, KOLMOGOROV BELİTLERİ VE KOŞULLU OLASILIK). A ve B olayları ayrık olaylar ve olasılıkları sıfırdan farklı ise, bu olayların bağımlı olduklarını tanıtlayınız. A ve
KESİKLİ ŞANS DEĞİŞKENLERİNİN OLASILIK DAĞILIMLARI. Bernoulli Dağılımı Binom Dağılımı Poisson Dağılımı
KESİKLİ ŞANS DEĞİŞKENLERİNİN OLASILIK DAĞILIMLARI Bernoulli Dağılımı Binom Dağılımı Poisson Dağılımı 1 Bernoulli Dağılımı Bir şans değişkeninin bernoulli dağılımı göstermesi için ilgilenilen süreçte bernoulli
İstatistik ve Olasılık
İstatistik ve Olasılık Örnekleme Planlar ve Dağılımları Prof. Dr. İrfan KAYMAZ Tanım İncelenen olayın ait olduğu anakütlenin bütünüyle dikkate alınması zaman, para, ekipman ve bunun gibi nedenlerden dolayı
Leyla Bugay Doktora Nisan, 2011
ltanguler@cu.edu.tr Çukurova Üniversitesi, Matematik Bölümü Doktora 2010913070 Nisan, 2011 Yarıgrup Teorisi Nedir? Yarıgrup teorisi cebirin en temel dallarından biridir. Yarıgrup terimi ilk olarak 1904
K En Yakın Komşu Methodu (KNearest Neighborhood)
K En Yakın Komşu Methodu (KNearest Neighborhood) K-NN algoritması, Thomas. M. Cover ve Peter. E. Hart tarafından önerilen, örnek veri noktasının bulunduğu sınıfın ve en yakın komşunun, k değerine göre
KODLAMA SİSTEMLERİ ve VERİLERİN BİLGİSAYARDA TEMSİLİ
KODLAMA SİSTEMLERİ ve VERİLERİN BİLGİSAYARDA TEMSİLİ KODLAMA SİSTEMLERİNİN TANIMI : Kodlama, iki küme elemanları arasında karşılıklı kesin olarak belirtilen kurallar bütünüdür diye tanımlanabilir. Diğer
MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
Simetrik (Gizli) Kriptografik Sistemler Blok Şifreler Standartlaştırma. DES-Data Encryption Standard (Bilgi Şifreleme Standardı)
Bilgi Güvenliği Simetrik (Gizli) Kriptografik Sistemler Blok Şifreler Standartlaştırma DES-Data Encryption Standard (Bilgi Şifreleme Standardı) Düzmetin (64 bit) Başlangıç Permütasyonu 58 50 42 34 26 18
MIT OpenCourseWare http://ocw.mit.edu. 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
İstatistik ve Olasılık
İstatistik ve Olasılık Ders 4: OLASILIK TEORİSİ Giriş Bu bölüm sonunda öğreneceğiniz konular: Rastgele Olay Örnek Uzayı Olasılık Aksiyomları Bağımsız ve Ayrık Olaylar Olasılık Kuralları Koşullu Olasılık
Fonksiyon Optimizasyonunda Genetik Algoritmalar
01-12-06 Ümit Akıncı Fonksiyon Optimizasyonunda Genetik Algoritmalar 1 Fonksiyon Optimizasyonu Fonksiyon optimizasyonu fizikte karşımıza sık çıkan bir problemdir. Örneğin incelenen sistemin kararlı durumu
Olasılık bir olayın meydana gelme şansının sayısal ifadesidir. Örnekler:
OLASILIK Populasyon hakkında bilgi sahibi olmak amacı ile alınan örneklerden elde edilen bilgiler, bire bir doğru olmayıp hepsi mutlaka bir hata payı taşımaktadır. Bu hata payının ortaya çıkmasının sebebi
Kesikli Şans Değişkenleri İçin; Olasılık Dağılımları Beklenen Değer ve Varyans Olasılık Hesaplamaları
Kesikli Şans Değişkenleri İçin; Olasılık Dağılımları Beklenen Değer ve Varyans Olasılık Hesaplamaları 1 Şans Değişkeni: Bir dağılışı olan ve bu dağılışın yapısına uygun frekansta oluşum gösteren değişkendir.
Ders 8: Konikler - Doğrularla kesişim
Ders 8: Konikler - Doğrularla kesişim Geçen ders RP 2 de tekil olmayan her koniğin bir dönüşümün ardından tek bir koniğe dönüştüğü sonucuna vardık; o da {[x : y : z x 2 + y 2 z 2 = 0]} idi. Bu derste bu
Temel Kavramlar. (r) Sıfırdan farklı kompleks sayılar kümesi: C. (i) Rasyonel sayılar kümesi: Q = { a b
Bölüm 1 Temel Kavramlar Bu bölümde bağıntı ve fonksiyon gibi bazı temel kavramlar üzerinde durulacak, tamsayıların bazı özellikleri ele alınacaktır. Bu çalışma boyunca kullanılacak bazı kümelerin gösterimleri
Bu kısımda işlem adı verilen özel bir fonksiyon çeşidini ve işlemlerin önemli özelliklerini inceleyeceğiz.
Bölüm 3 Gruplar Bu bölümde ilk olarak bir küme üzerinde tanımlı işlem kavramını ele alıp işlemlerin bazı özelliklerini inceleyeceğiz. Daha sonra kümeler ve üzerinde tanımlı işlemlerden oluşan cebirsel
fonksiyonu için in aralığındaki bütün değerleri için sürekli olsun. in bu aralıktaki olsun. Fonksiyonda meydana gelen artma miktarı
10.1 Türev Kavramı fonksiyonu için in aralığındaki bütün değerleri için sürekli olsun. in bu aralıktaki bir değerine kadar bir artma verildiğinde varılan x = x 0 + noktasında fonksiyonun değeri olsun.
ÖZDEĞERLER- ÖZVEKTÖRLER
ÖZDEĞERLER- ÖZVEKTÖRLER GİRİŞ Özdeğerler, bir matrisin orijinal yapısını görmek için kullanılan alternatif bir yoldur. Özdeğer kavramını açıklamak için öncelikle özvektör kavramı ele alınsın. Bazı vektörler
MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
Çözüm: Siyah top çekilme olasılığı B olsun. Topların sayısı 12 olduğuna göre P(B)=8/12=2/3 tür.
1 Olasılık Örnekler 1. Bir çantada 4 beyaz 8 siyah top vardır. Bir siyah top çekilmesi olasılığı nedir? Çözüm: Siyah top çekilme olasılığı B olsun. Topların sayısı 12 olduğuna göre P(B)=8/12=2/3 tür. 2.
PERGEL YAYINLARI LYS 1 DENEME-6 KONU ANALİZİ SORU NO LYS 1 MATEMATİK TESTİ KAZANIM NO KAZANIMLAR
2013-2014 PERGEL YAYINLARI LYS 1 DENEME-6 KONU ANALİZİ SORU NO LYS 1 MATEMATİK TESTİ A B KAZANIM NO KAZANIMLAR 1 1 / 31 12 32173 Üslü İfadeler 2 13 42016 Rasyonel ifade kavramını örneklerle açıklar ve
SÜREKLİ RASSAL DEĞİŞKENLER
SÜREKLİ RASSAL DEĞİŞKENLER Sürekli Rassal Değişkenler Sürekli Rassal Değişken: Değerleriölçümyadatartımla elde edilen, bir başka anlatımla sayımla elde edilemeyen, değişkene sürekli rassal değişken denir.
Yrd. Doç. Dr. Fatih TOSUNOĞLU Erzurum Teknik Üniversitesi Mühendislik Fakültesi İnşaat Mühendisliği Bölümü
Mühendislikte İstatistiksel Yöntemler Yrd. Doç. Dr. Fatih TOSUNOĞLU Erzurum Teknik Üniversitesi Mühendislik Fakültesi İnşaat Mühendisliği Bölümü 1 GİRİŞ Olasılık Teorisi: Matematiğin belirsizlik taşıyan
İçindekiler. Ön Söz... xiii
İçindekiler Ön Söz.................................................... xiii Bölüm 1 İstatistiğe Giriş....................................... 1 1.1 Giriş......................................................1
MIT OpenCourseWare http://ocw.mit.edu. 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
TÜREV VE UYGULAMALARI
TÜREV VE UYGULAMALARI A R, a A ve f de A da tanımlı bir fonksiyon olsun. Eğer f(x) f(a) lim x a x a limiti veya x=a+h koymakla elde edilen f(a+h) f(a) lim h 0 h Bu türev f (a), df dx limiti varsa f fonksiyonu
SAKARYA UNIVERSİTESİ ENDUSTRI MUHENDISLIĞI YÖNEYLEM ARAŞTIRMASI II MARKOV ZİNCİRLERİ DERS NOTLARI
SAKARYA UNIVERSİTESİ ENDUSTRI MUHENDISLIĞI YÖNEYLEM ARAŞTIRMASI II MARKOV ZİNCİRLERİ DERS NOTLARI STOKASTİK (RASSAL) SÜREÇLER Bazen rassal değişkenlerin zamanla nasıl değiştiğiyle ilgileniriz. Örneğin
Dr. Mehmet AKSARAYLI OLASILIK. Ders 3 / 1
Dr. Mehmet AKSARAYLI OLASILIK Ders 3 / 1 1 0 Kesin İmkansız OLASILIK; Bir olayın gerçekleşme şansının sayısal değeridir. N adet denemede s adet başarı söz konusu ise, da başarının nisbi frekansı lim (s/n)
MAT223 AYRIK MATEMATİK
MAT223 AYRIK MATEMATİK Saymanın Temelleri 1. Bölüm Emrah Akyar Anadolu Üniversitesi Fen Fakültesi Matematik Bölümü, ESKİŞEHİR 2014 2015 Öğretim Yılı Ayşe nin Doğum Günü Partisi Saymanın Temelleri Ayşe
AKT201 Matematiksel İstatistik I Yrd. Doç. Dr. Könül Bayramoğlu Kavlak
AKT20 Matematiksel İstatistik I 207-208 Güz Dönemi AKT20 MATEMATİKSEL İSTATİSTİK I ÖDEV 6 Son Teslim Tarihi: 29 Aralık 207 Cuma, Saat: 5:00 (Ödevlerinizi Arş. Gör. Ezgi NEVRUZ a elden teslim ediniz.) (SORU
Polialfabetik Şifreleme (Vigenere)
Polialfabetik Şifreleme (Vigenere) Polialfabetik şifrelemede ise, anahtara bağlı olarak her harf alfabede birden fazla harfle eşleşmektedir. Bu tip şifreleme, mono alfabetik yöntemlerden farklı olarak,
Stokastik Süreçler (MATH495) Ders Detayları
Stokastik Süreçler (MATH495) Ders Detayları Ders Adı Ders Kodu Dönemi Ders Uygulama Laboratuar Kredi AKTS Saati Saati Saati Stokastik Süreçler MATH495 Güz 3 0 0 3 6 Ön Koşul Ders(ler)i Math392 veya öğretim
BIP116-H14-1 BTP104-H014-1
VERİ YAPILARI VE PROGRAMLAMA (BIP116) Yazar: Doç.Dr.İ.Hakkı.Cedimoğlu SAKARYA ÜNİVERSİTESİ Adapazarı Meslek Yüksekokulu Bu ders içeriğinin basım, yayım ve satış hakları Sakarya Üniversitesi ne aittir.
18.034 İleri Diferansiyel Denklemler
MIT AçıkDersSistemi http://ocw.mit.edu 18.034 İleri Diferansiyel Denklemler 2009 Bahar Bu bilgilere atıfta bulunmak veya kullanım koşulları hakkında bilgi için http://ocw.mit.edu/terms web sitesini ziyaret
Şimdi de [ ] vektörünün ile gösterilen boyu veya büyüklüğü Pisagor. teoreminini iki kere kullanarak
![Şimdi de [ ] vektörünün ile gösterilen boyu veya büyüklüğü Pisagor. teoreminini iki kere kullanarak](/thumbs/17/146647.jpg "Şimdi de [ ] vektörünün ile gösterilen boyu veya büyüklüğü Pisagor. teoreminini iki kere kullanarak")
10.Konu İç çarpım uzayları ve özellikleri 10.1. ve üzerinde uzunluk de [ ] vektörünün ile gösterilen boyu veya büyüklüğü Pisagor teoreminden dir. 1.Ö.: [ ] ise ( ) ( ) ve ( ) noktaları gözönüne alalım.
Rasgele Sayı Üretme. Rasgele Sayıların Özellikleri. İki önemli istaiksel özelliği var :
Rasgele Sayı Üretme Rasgele Sayıların Özellikleri İki önemli istaiksel özelliği var : Düzgünlük (Uniformity) Bağımsızlık R i, rasgele sayısı olasılık yoğunluk fonksiyonu aşağıdaki gibi olan uniform bir
1.GRUPLAR. c (Birleşme özelliği) sağlanır. 2) a G için a e e a a olacak şekilde e G. vardır. 3) a G için denir) vardır.
1.GRUPLAR Tanım 1.1. G boş olmayan bir küme ve, G de bir ikili işlem olsun. (G, ) cebirsel yapısına aşağıdaki aksiyomları sağlıyorsa bir grup denir. 1) a, b, c G için a ( b c) ( a b) c (Birleşme özelliği)
Olasılık bir diğer ifadeyle bir olayın meydana gelme şansının sayısal ifadesidir. Örnekler:
OLASILIK Populasyon hakkında bilgi sahibi olmak amacı ile alınan örneklerden elde edilen bilgiler bire bir doğru olmayıp hepsi mutlaka bir hata payı taşımaktadır. Bu hata payının ortaya çıkmasının sebebi
Şartlı Olasılık. Yrd. Doç. Dr. Tijen ÖVER ÖZÇELİK
Şartlı Olasılık Yrd. Doç. Dr. Tijen ÖVER ÖZÇELİK tover@sakarya.edu.tr Şartlı Olasılık ir olayın olasılığından söz edebilmek için bir alt kümeyle temsil edilen bu olayın içinde bulunduğu örnek uzayının
Simetrik Kriptografi
Temel Kavramlar Kriptanaliz Uygulamalı Matematik Enstitüsü Kriptografi Bölümü Orta Doğu Teknik Üniversitesi Ankara Kriptoloji Seminerleri 12 Mart 2013 Temel Kavramlar Kriptanaliz Temel Kavramlar Temel
3.Ders Rasgele Değişkenler
3.Ders Rasgele Değişkenler Tanım:,U, P bir olasılık uzayı ve X : R X olmak üzere, a R için, : X a U oluyorsa X fonksiyonuna bir rasgele değişken denir. a R için X, a : X a U özelliğine sahip bir X rasgele
Bilgi Güvenliği ve Kriptoloji Temel Kavramlar
Temel Kavramlar Uygulamalı Matematik Enstitüsü Kriptografi Bölümü Orta Doğu Teknik Üniversitesi SEM Seminerleri 29 Ocak 2013 Temel Kavramlar Temel Amaçlar Gizlilik Bilgi istenmeyen kişiler tarafından anlaşılamamalıdır.
ANADOLU ÜNİVERSİTESİ OLASILIĞA GİRİŞ
ANADOLU ÜNİVERSİTESİ İST 213 OLASILIK DERSİ OLASILIĞA GİRİŞ DOÇ. DR. NİHAL ERGİNEL OLASILIĞA GİRİŞ - Bugün yağmur yağma olasılığı % 75 dir. - X marka bilgisayarın hiç servis gerektirmeden 100000 saat çalışması
OLASILIĞA GİRİŞ P( )= =
OLASILIĞA GİRİŞ - Bugün yağmur yağma olasılığı % 75 dir. - X marka bilgisayarın hiç servis gerektirmeden 100000 saat çalışması olasılığı %85 dir. Olasılık modelleri; Sıvı içindeki moleküllerin davranışlarını
Rassal Değişken. Yrd. Doç. Dr. Tijen ÖVER ÖZÇELİK
Rassal Değişken Yrd. Doç. Dr. Tijen ÖVER ÖZÇELİK tover@sakarya.edu.tr S örnek uzayı içindeki her bir basit olayı yalnız bir gerçel (reel) değere dönüştüren fonksiyona rassal değişken adı verilir. O halde
KUADRATİK FORM. Tanım: Kuadratik Form. Bir q(x 1,x 2,,x n ) fonksiyonu
KUADRATİK FORMLAR KUADRATİK FORM Tanım: Kuadratik Form Bir q(x,x,,x n ) fonksiyonu q x : n şeklinde tanımlı ve x i x j bileşenlerinin doğrusal kombinasyonu olan bir fonksiyon ise bir kuadratik formdur.
12. SINIF. Ağırlık (%) SAYILAR VE CEBİR ÜSTEL VE LOGARİTMİK FONKSİYONLAR Üstel Fonksiyon 1 8 4
12. SINIF No Konular Kazanım Sayısı Ders Saati Ağırlık (%) 12.1. ÜSTEL VE LOGARİTMİK FONKSİYONLAR 6 36 17 12.1.1. Üstel Fonksiyon 1 8 4 12.1.2. Logaritma Fonksiyonu 3 18 8 12.1.3 Üstel, Logaritmik Denklemler
MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
BÖLÜM III: Şebeke Modelleri. Şebeke Kavramları. Şebeke Kavramları. Şebeke Kavramları. Yönlü Şebeke (Directed Network) Dal / ok
8.0.0 Şebeke Kavramları BÖLÜM III: Şebeke Modelleri Şebeke (Network) Sonlu sayıdaki düğümler kümesiyle, bunlarla bağlantılı oklar (veya dallar) kümesinin oluşturduğu yapı şeklinde tanımlanabilir ve (N,A)
İTÜ Bilgisayar Mühendisliği Bölümü, BLG433-Bilgisayar Haberleşmesi ders notları, Dr. Sema Oktuğ
Bölüm 3 : HATA SEZME TEKNİKLERİ Türkçe (İngilizce) karşılıklar Eşlik sınaması (parity check) Eşlik biti (parity bit) Çevrimli fazlalık sınaması (cyclic redundancy check) Sağnak/çoğuşma (burst) Bölüm Hedefi
MIT OpenCourseWare Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009
MIT OpenCourseWare http://ocw.mit.edu 14.30 Ekonomide İstatistiksel Yöntemlere Giriş Bahar 2009 Bu materyale atıfta bulunmak ve kullanım koşulları için http://ocw.mit.edu/terms sayfasını ziyaret ediniz.
DENİZ HARP OKULU ENDÜSTRİ MÜHENDİSLİĞİ BÖLÜM BAŞKANLIĞI DERS TANITIM BİLGİLERİ
DENİZ HARP OKULU ENDÜSTRİ MÜHENDİSLİĞİ BÖLÜM BAŞKANLIĞI DERS TANITIM BİLGİLERİ Dersin Adı Kodu Sınıf/Y.Y. Ders Saati (T+U+L) Kredi AKTS STOKASTİK SÜREÇLER ENM- / 3+0 3 3 Dersin Dili Dersin Seviyesi Dersin
ELK 318 İLETİŞİM KURAMI-II
ELK 318 İLETİŞİM KURAMI-II Nihat KABAOĞLU Kısım 4 DERSİN İÇERİĞİ Sayısal Haberleşmeye Giriş Giriş Sayısal Haberleşmenin Temelleri Temel Ödünleşimler Örnekleme ve Darbe Modülasyonu Örnekleme İşlemi İdeal