Communication Theory

Transkript

1 Communcaton Theory ENFORMASYON TEORİSİ KODLAMA Doç. Dr. Hakan Doğan ENFORMASYON DEYİMİ NEDEN KULLANILMIŞ? Kaynaklarn, kanalların,alıcıların blg karakterstklern ncelemek. Blgnn letmn optmze etmek çn İletmn güvenrllğnn düzeltlmes Farzedelm X şehrnden Y şehrne günlük hava tahmn verlyor ve havanın güneşl, bulutlu,yağmurlu,ssl olableceğn farzedelm. Her hava belrtec br kaynak sembolu olarak kodlansın. Yan br Kaynak kodlamayıcımız olsun. source kodng günlük hava raporu verlsn. Rapor dzsnede mesaj denr message Blg tanımı : Alıcı gönderlen blgy aldığında onun hakkında k kalkan belrszlk mktarına denr. Hava sembolu İhtmal Güneşl.65 Bulutlu. Yagmurlu.1 Ssl.5 Tablodan görüleceğ üzere X şehrnn güneşl br havası var ve bz A şehr güneşl dedğmzde az br blg vermş oluruz dğer taraftan ssl dedğmzde bu şaşırtıcı olur yan oldukça büyük br blgdr. Örnek mesaj : güneşl,güneşl,güneşl,bulutlu,bulutlu,yagmurlu

2 Tablo 1 Tablo Hava Sembolü Kod Hava Sembolü Kod Güneşl Güneşl Bulutlu 1 Bulutlu 1 Yagmurlu 1 Yagmurlu 11 Ssl 11 Ssl 111 Mesaj ın yukardak şekle göre kodlaması Tablo 1 e göre = 1 bt Tablo e göre = 1 bt Sonuç ve yorum : daha kısa br mesaj letmnde kaynak kodlayıcı htmal yüksek olan mesajı daha br kod uzunluğuyla kodlar. Bu br bçmde de şıkıştırma algortması olarak düşünüleblr. Mesajın olasılığı Kod sözcüğünün uzunluğu Kod sözcüğünde htmal büyük olan mesajın kaybedleblmes göz önüne alınıyor. Kod sözcüğünün küçük olması kadar kod sözcükler arasındak farkında büyük olması gerekmektedr şeklndek gb Blg kaynakları hafızalı ve hafızasız olarak kye ayrılır. Hafızalı br kaynakta mevcut çıkış sembolü öncek sembole bağlıyken, hafızasız br kaynakta herbr çıkış öncek sembollerden bağımsız olarak letlr. Ayrık hafızasız kaynak çn bg çerğ (Informaton content of a Dscrete Memoryless Source (DMS)) Br olaydak blg çerğ olayın belrszlğ le yakından lgldr. Blg çerğne lteratürde kend blgs^de denr. (self nformaton ) X le gösterlen br DMS çn X n alableceğ değerler gösteren alfabe (alphabet), x1, x, x m ve Px ( ) de x nn gelme olasılığını göstermek üzere le gösterlr. 1 I( x) logb (1.1) Px ( ) b bt b 1 Hartley veya Dect b e nat ( natural unt)

3 Haberleşmede b durumunu kullanrak blg çerğn bt cnsnden fade edyoruz. In a log1 a Hatırlatma : log a In log 1 P() =.7 P(1) =.3 1.denkleme göre.51 bt 1.denkleme göre 1.74 bt P( A B) P( A). P( B) statksel bağmsız k olay çn A olayı açıklanınca I(A) brm belrszlk ortadan kalkar. B olayı açıklanınca I(B) brm belrszlk ortadan kalkar. Hem A hem B oluyorsa C A B bu olayın olaması durumunda I(C) brm belrszlk ortadan kalkar. I C = I C + I B.51 bze sıfır ı göndermek çn 1 btten daha az yarım bte htyacımız var dyor pek yarım bt varmı tabk yok bu bze blgnn etkl br bçmde effcent depolanablmes veya letleblmesn gösterr. Bazı Özellkler: P( x ) 1 I( x ) I( x ) P( x ) P( x ) I( x ) I( x ) j j Entrop (Ortalama Blg) : Pratk haberleşme sstemlernde blg kaynağından letlen uzun blg sembol dzler söz konusu olduğu çn kaynağın ürettğ tekbr sembolün blg çerğnden daha çok kaynağın ortlama blg çerğnden bahsedlr. X kaynağına at ortalama blg mktarı m H( X ) E[ I( x )] P( x ) I( x ) (1.) 1 1 m H( X ) P( x )log ( P( x )) bt / symbol (1.3) Sonuç: Br şaretn blg çerğ, o şaret tanımlamak çn gerekl bt sayısına eşttr. (kend blg formulü le bulunur.) Eğer mesaj dzs çnse bu kavram artık entrop dr. Örnek : X kaynağı veya 1 üreten br kaynak olmak üzere P()=.5, P(1)=.5 se H(X) nedr? H( X ) log log 1 bt / symbol (1.4)

4 Kaynağın entrops H( X ), m alfabedek toplam sembol sayısını göstermek üzere H( X ) log m le sınırlıdır. Blg Hızı (Informaton Rate) R r H( X ) b / s (1.5) Örnek : 4 KHz lk br bantsınırlı br şaret (ses) Nyqust hızında örneklenyor ve 64 düzeyl br şaret halne getrlyor yan kuantalanıyor. (quantzaton) (A) örnekleme hızını (fs) ve örnekleme aralığını T s bulunuz. (B) Sembol hızını (r) bulunuz. (C) Düzeylern gönderlme olasılıkları eşt se blg hızını bulunuz. A- B= 4 KHz ; Fs= B = 8K Hz, Ts = 1/fs = 1/ 8 = 1.5 e-4 B- Sembol hızı r =1/Ts = fs= 8 sembol/sn = 8ksembol/sn C- Blg çerğ H= log (64) = 6 bt/sembol (bt/aralık) Blg hızı = r*h = 48 kbps. AYRIK HAFIZASIZ KANAL (Dscrete Memoryless Channel (DMC)) Kanala grş ve çıkış değerler bell br alfabeden oluşan (ayrık) ve çıkış değerler sadece o andak grş değerne bağlıysa bu kanala DMC denr. Blg kanalı, grş alfabes x x x ve çıkış alfabes,, m 1 y1, y, y n şartlı olasılıklar kümes bütün m ve n ler çn P( y j / x ) lerden oluşur. Burada P( y j / x ), x sembolü gönderldğnde çıkış sembolü y j nn gelme olasığını göstermektedr. İhtmal etkleyen faktör letşm ortamının yapısı ve gürültü. P( y j / x ) : Geçş Olasılığı (Transton probablty) Kanal Matrs P( y1 x1 ) P( y x1 ) P( yn x1 ) P( y1 x) P( y x) P( yn x) P( Y X ) P ( y1 xm) P( y xm) P( yn xm) (1.6) Bütün değerler çn n P( y j x) 1 (1.7) j1

5 Notasyon farkı : P(y j /x ) = P j P11 P1 P31 P1 P P3 P13 P3 P33 gb P 11 a 1 b 1 a b a 3 b 3 İKİLİ SİMETRİK KANAL : Bnary symmetrc channel BSC q q p 1 p 1 p q q p İKİLİ SİLEN KANAL : Bnary erasure channel BEC p q S q 1 1 p p q q p Grş olasılıkları P(X) ve çıkış olasılıkları P(Y) [ P( X )] [ P( x ), P( x ), P( x )] 1 [ P( Y)] [ P( y ), P( y ), P( y )] 1 m n (1.8) gb satır matrs le gösterlrse, olarak yazılablr. [ P( Y)] [ P( X )][ P( Y X )] (1.9)

6 Eğer PX ( ) daygonal matrs olarak gösterlrse; [ PX ( )] d Px ( 1) Px ( ) Px ( m) (1.1) [ P( X, Y)] [ P( X )] [ P( Y X )] (1.11) d Hatırlatma: P( A, B) P( A, B) P( B A) P( A) P( A B), P( B A), P( A B) P( B) P( A) P( B) Örnek:

7 Kanal çn Etrop Hesaplamaları H(X,Y) = Kanalın tümündek ortalama belrsklk mktarı ( Jont etrop ) H(X) = Kanalın grşndek ortalama belrszlk mktarı H(Y) = Kanalın çıkışındak ortalama belrszlk mktarı H(X/Y) = Kanalın çıkışı gözlendkten sonra kanal grş hakkında kalan ortalama belrszlk mktarı. H(Y/X) = X letldğnde kanalın çıkışındak ortalama belrszlk mktarı H(X) H(Y) H(X/Y) I(X,Y) H(Y/X) H(X,Y) Mutual Informaton I(X;Y) = H(X) H(X/Y) = Kanalın çıkışı gözlemlendkten sonra kanal grş hakkındak çözümlenen kısmı gösterr. I(X;Y) = H(Y) H(Y/X) n H( Y) P( y )log ( P( y )) (1.1) j1 1 j j m H( X ) P( x )log ( P( x )) (1.13) j1 1 n m H( X Y) P( x, y )log ( P( x y )) (1.14) j1 1 j j n m H( Y X ) P( x, y )log ( P( y x )) (1.15) j1 1 j j n m H( Y, X ) P( x, y )log ( P( y, x )) (1.16) j j P( x y j) I( X; Y) (, )log ( ) (1.17) ( ) n m P x y j j1 1 Px

8

9 KANAL KAPASİTESİ C le gösterlen br kanalın kanal sığası letebldğ maksmum ortalama enformasyon mktarı olarak tanımlanır. DMC br kanal çn sembol başına kanal kapastes C max( I( X, Y)) (1.18) Sayyede r adet sembol gönderlyorsa s P( x ) C rc b / s (1.19) s Gürültüsüz kanal : Tüm grş dağılımları çn H(X/Y) = gürültüsüzdür. H(Y/X) = se kanal x 1 y 1 x y x 3 y Buna göre gürültüsüz kanal çn Gürültülü kanal çn I(X,Y) = H(X) I(X;Y) = H(X)- H(X/Y) Kanal çıkışı gözlemlendkten sonra kanal grşndek kalkan belrszlk yoksa I(X,Y) =

10 Toplamsal beyaz gürültülü kanal (AWGN : Addtve Whte Gaussan Nose Channel) AWGN kanalda, X kanal grş, n toplamsal band sınırlı beyaz sıfır ortalamalı varyanslı gauss gürültüsü olmak üzere kanal çıkışı Y Y X n (1.) Olarak yazılırsa bu kanalda örnek başına kapaste S/N snyal gürültü oranını göstermek üzere s C max I A;B bt / sample (1.1) şeklnde yazılablr. Kanalın bandgenşlğ B Hz olarak sabtlenrse çıkışta bandsınırlı olur ve Nyqust hızı B olacak şeklde örnekler alınırsa bu durumda kanal kapastes olur. C.B. C bt / sn (1.) s P C Blog 1 NB 1 Örnek : 4 KHz bandgenşlğne sahp ve güç yoğunluk spektrumu / 1 W / olan br toplamsal beyaz gürültülü kanal çn alıcıda alınması gerekl olan snyaln gücü.1 mw. Kanalın kapastesn hesaplayınız. B= 4 Hz P =.1 (1-3 ) W N= NB = = W SNR = 1.5 * denkleme göre C= * 1 3 b/s R< C çn letm sağlanablr. 336 b/s model çalışabr. Hz Shannon Teorem : C.E Shannon a dek haberleşme teorcler gürültülü br kanal üzernden enformasyon letm şlemnde yapılan hata olasılığı küçültmek çn yegane yolun şaret/gürültü oranının büyütülmes ve/veya letm hızının düşürülmes gerektğn düşünmekteydler. 194 Shanon gürültülü kodlama teorem le letlmes gereken ortalama enformasyon mktarı R, C kanal sığası den küçük olduğu sürece uygun kodlama teknklernden yararlanarak enformasyon letm şlemnn hatasız olarak gerçekleşebleceğn göstermştr.