Önsel Bilgi ve Kestirim

Transkript

1 Bayesiyen Felsefe İlgilendiğimiz θ parametresinin bilinmeyen ancak deterministik bir sabit olarak kabul edildiği klasik yaklaşımdan ayrılıp istatistiksel kestirimi ele alacağız. θ yı, belirli bir realizasyonunu kestirmemiz gereken bir rasgele değişken olarak kabul edeceğiz. Buna, gerçeklemesi doğrudan Bayes teorime dayalı olduğundan Bayesiyen yaklaşım denilir. Böyle yapılmasının iki temel nedeni vardır: Birincisi θ hakkında ön bir bilgimiz varsa bunu kestirimcimizde kullanabiliriz. Bunu yapma mekanizması θ nın verilen bir önsel dağılıma sahip rasgele bir değişken olduğunu varsaymamızı gerektirir. Klasik kestirimde ise herhangi bir ön bilgiyi kullanmak zordur. Bayesiyen yaklaşım, uygulanabildiğinde, kestirimci doğruluğunu artırır. İkincisi, Bayesiyen kestirim bir MVU kestirimci bulanamayacak olduğunda kullanışlıdır. Örneğin yansız bir kestirimcinin varyansı birbiçimli olarak diğer tüm kestirimcilerden daha küçük değilken. Bu durumda parametrenin çoğu değerleri için ortalama kare hatası diğer tüm kestirimcilerden daha küçük olan bir kestirimcinin bulunabileceği doğru olabilir. θ ya bir PDF atayarak bu kestirimciyi bulmak için stratejiler kurabiliriz. Elde ettiğimiz kestirimciye ortalamada ya da varsayılan önsel PDF e göre optimal denilir.

2 Önsel Bilgi ve Kestirim Önsel bilgiyi kullanmanın daha doğru bir kestirimci vereceği kestirim teorisinin temel bir kuralıdır. Örneğin bir parametre bilinen bir aralıkta değerler alacak biçimde kısıtlanıyorsa, o zaman iyi bir kestirimci sadece bu aralıkta kestirimler üretmelidir. Daha önceki DC sinyal seviyesi örneğimizde A nın MVU kestirimcisi örneklem oratalaması x idi. Ancak A nın < A < aralığında herhangi bir değer alabileceği varsayılmıştı. Fiziksel kısıtlamalar nedeniyle A nın sadece A 0 A A 0 gibi sonlu bir aralıkta değerler alabileceğini varsaymak daha makul olur. A = x en iyi kestirimci olarak alınmak istenmez, çünkü bu durumda A, bilinen aralık dışında da sonuçlar verebilir. Aşağıdaki şekilde de görüldüğü gibi buna gürültü etkileri neden olur.

3 Önsel Bilgi ve Kestirim (devam) Kuşkusuz, kırpılmış bir örneklem ortalaması kestirimcisi kullanmış olsaydık kestirimimizin iyileşeceğini bekleyebiliriz, ki bu bilinen kısıtla tutarlı olurdu: A 0 A = x x < A 0 A 0 x A 0 A 0 x > A 0 Böyle bir kestirimcinin aşağıdaki gibi PDF si olurdu, p A ξ; A = Pr x A 0 δ ξ + A 0 + p A ξ; A u ξ + A 0 u ξ A 0 + Pr Burada u x birim adım fonksiyonudur. Aşağıdaki şekilde görülmektedir. x A 0 δ ξ A 0

4 Önsel Bilgi ve Kestirim (devam) A nın yanlı bir kestirimci olduğu görülüyor. Ancak iki kestirimcinin ortalama kare hataları (MSE) kıyaslandığında, A 0 A A 0 aralığında herhangi bir A için mse( A) = (ξ A) p A ξ; A dξ A = 0 (ξ A) A p A ξ; A dξ + 0 A0 (ξ A) p A ξ; A dξ + A0 (ξ A) p A ξ; A dξ A > 0 ( A 0 A) A p A ξ; A dξ + 0 A0 (ξ A) p A ξ; A dξ + (A0 A0 A) p A ξ; A dξ = mse( A) Dolayısıyla kırpılmış örneklem ortalaması kestirimcisi A, MSE bakımından örneklem ortalaması kestirimcisinden daha iyidir. A, hala MVU kestirimci olsada kestirimcinin yanlı olmasına izin vererek ortalama kare hatayı azaltabildik. Daha iyi kestirimci elde edebilmemiz kaydıyla, bu problem için optimal kestirimcinin mevcut olup olmadığı sorusunu sorabiliriz. (Hatırlarsak klasik durumda MSE optimallik kriteri genellikle gerçeklenemez kestirimcilere yol açıyordu. Bunun Bayesiyen yaklaşımda sorun olmadığını göreceğiz.) Buna ancak veri modelini yeniden formüle ettikten sonra olumlu cevap verebiliriz.

5 Önsel Bilgi ve Kestirim (devam) A nın bilinen bir aralıkta olacağını biliyoruz, dolayısıyla A nın doğru değerinin bu aralıktan seçildiğini varsayalım. O zaman bir değer seçme sürecini kendisine bir PDF atanabilecek rasgele bir olay olarak modelleriz. Sadece aralığı bildiğimizden ve A nın belirli bir değere yakın olması gerektiği gibi bir eğilim de yoksa rasgele değişken A ya Ս[ A 0, A 0 ] gibi bir PDF atamak mantıklı olur. Tam veri modeli aşağıda görülmektedir:

6 Önsel Bilgi ve Kestirim (devam) Görüldüğü gibi A yı verilen PDF ye göre seçme işlemi Bayesiyen yaklaşımın klasik yaklaşımdan ayrıldığı noktayı gösterir. Problem her zaman olduğu gibi A nın değerini ya da rasgele değişkenin realizasyonunu kestirmektir. Ancak şimdi A nın nasıl seçileceği bilgisini hesaba katabiliriz. Örneğin aşağıdaki gibi bir Bayesiyen MSE yi minimize edecek A kestirimcisini bulmaya çalışabiliriz: Bmse A = E[(A A) ] Hatayı tanımlamak için klasik kestirim hatası A A yerine A A olarak seçtik. A rasgele bir değişken olduğundan beklenen değer operatörü ortak (joint) PDF p(x, A) ya göre hesaplanır. Bu, klasik durumdakinden temel olarak farklı bir MSE dir. Bunu vurgulamak için Bmse gösterimi kullanıldı. Farkı daha iyi görebilmek için klasik MSE ile karşılaştıralım. Klasik MSE: mse A = A A p x; A dx Bayesiyen MSE: Bmse A = (A A) p x, A dxda Altta yatan deney bile farklıdır. Şöyleki, bir Monte Carlo bilgisayar benzetimi kullanarak MSE performansını değerlendirecek olsaydık, klasik yaklaşım için w[n] nin bir realizasyonunu seçip bunu verilen bir A ya eklerdik. Bu prosedürü M defa tekrarlardık. Her defasında yeni bir w[n] realizasyonu aynı A ya eklenirdi. Bayesiyen yaklaşımda, her realizasyon için A yı PDF si Ս[ A 0, A 0 ] a göre seçer sonra da w[n] ni üretirdik (w[n] nin A dan bağımsız olduğunu kabul ediyoruz).

7 Önsel Bilgi ve Kestirim (devam) Klasik durumda A nın kabul edilen her değeri için bir MSE elde edilir. Bayesiyen durumda ise A nın PDF si üzerinden bir ortalama olacak bir MSE edilir. Klasik MSE, A ya bağlı olacağından MSE yi minimize etmeye çalışacak kestirimcilerde genellikle A ya bağlı olacaktır. Bayesiyen MSE de bu durum görülmez. Esasen parametre bağımlılığı integral alarak ortadan kaldırıldı. Bu bakımdan klasik ve Bayesiyen kestirimcileri karşılaştırmak elmalar ile armutları karşılaştırmak gibidir. Bununla birlikte zaman zaman kestirimciler özdeş biçimler alabilir. Örneğimizi tamamlamak için Bayesiyen MSE yi minimize eden bir kestirimci türetelim. Önce Bayes teoremini yazalım: p x, A = p A x p(x) Buradanda; Bmse A = A A p A x da p x dx

8 Önsel Bilgi ve Kestirim (devam) Tüm x ler için p x 0 olduğundan, parantez içindeki integral her bir x için minimize edilebilir, ardından Bayesiyen MSE minimize edilir. itekim x i skaler bir A değişkeni elde etmek üzere (x in genel bir fonksiyonu olması yerine) sabitlediğimizde aşağıdaki ifadeyi elde ederiz: A A A p A x da = A A A p A x da = A A p A x da = Ap A x da + A p A x da Sıfıra eşitlediğimizde; A = Ap A x da Koşullu PDF nin 1 e integre olması gerektiğinden; A = E(A x)

9 Önsel Bilgi ve Kestirim (devam) Bayesiyen MSE yi minimize etmek bakımından optimal kestirimcinin sonsal (posterior) PDF p A x nin ortalaması olduğu görülüyor. Sonsal PDF, veri gözlendikten sonraki A nın PDF sine işaret eder. A nın önsel PDF si olarak düşünülebilecek p A ise; p(a) = p(x, A)dx A nın önsel PDF si veri gözlemlenmeden önceki PDF ye işaret eder. Bundan sonra Bayesiyen MSE yi minimize eden kestirimciye minimum ortalama kare hata (minimum mean square error/mmse) kestirimci diyeceğiz. Sezgisel olarak veriyi gözlemlemenin etkisi A nın PDF sini konsantre edecek biçiminde olacaktır. Bunun nedeni verinin, A hakkındaki belirsizliğimizi azaltacak olmasıdır.

10 Önsel Bilgi ve Kestirim (devam) MMSE kestirimciyi belirlemek için öncelikle sonsal PDF ye ihtiyacımız var. Bunu bulmak için Bayes kuralını kullanabiliriz: p A x = p x A p(a) p(x) = p x A p(a) p x A p A da Payda sadece bir normalizasyon faktörüdür, A dan bağımsızdır. p A x nin integralinin 1 olmasını sağlamak için gereklidir. Örneğimize devam edelim. Önsel PDF p(a), Ս[ A 0, A 0 ] idi. Koşullu PDF p x A yı belirlemek için ilave olarak A nın p(a) yoluyla seçiminin gürültü örneklemlerinin PDF sini etkilemediğini ya da w[n] nin A dan bağımsız olduğunu varsaymalıyız. O zaman n = 0,1,, 1 için: p x x n A = p w x n A A = p w x n A = 1 πσ exp 1 x n A σ

11 Önsel Bilgi ve Kestirim (devam) Dolayısıylada; p x A = 1 (πσ ) exp 1 1 σ n=0 x n A Bu PDF, klasik PDF p(x; A) ile aynı formdadır. Ancak Bayesiyen PDF koşullu bir PDF tir. Sonsal PDF aşağıdaki gibi olur: p A x = 1 A 0 1 A 0 exp 1 σ n=0 1 x n A A 0 (πσ ) A 0 (πσ ) exp 1 A A 0 σ n=0 1 x n A da 0 A > A 0

12 Önsel Bilgi ve Kestirim (devam) Ancak; olduğundan; 1 n=0 (x n A) = 1 n=0 = (A x) + x [n] A x + A 1 n=0 x [n] + x p A x = c 1 1 π σ exp 1 σ n=0 A x A A 0 0 A > A 0

13 Önsel Bilgi ve Kestirim (devam) c faktörü p A x nin integralinin 1 olması gereksinimi ile belirlenir; c = A 0 1 A 0 1 π σ exp 1 σ n=0 A x da PDF önceki şekilde görülen kırpılmış Gaussian olur. p A x nin ortalaması olan MMSE kestirimci şöyle olur: A = E(A x) = Ap A x da = A0 A 1 A0 π σ A0 1 A0 π σ exp 1 exp 1 σ n=0 1 A σ n=0 1 A x da x da Bu denklem kapalı formda çözülemez, ancak A nın A 0 ve σ nin olduğu gibi x nin de bir fonksiyonu olacağını görüyoruz.

14 Önsel Bilgi ve Kestirim (devam) MMSE kestirimci kırpılma nedeniyle, A 0 çok büyük olupta etkin olarak kırpılmanın olmayacağı durum dışında x olamaz. Bu durum A 0 σ ise görülür. Aksi halde kestirimci, x a eşit olmak yerine sıfıra doğru yanlı olacaktır. Bunun nedeni, p(a) da gömülü olan önsel bilginin, veri (x) olmadan aşağıdaki gibi bir kestirimci verecek olmasıdır: A = E A = 0 Verinin etkisi sonsal ortalamanın A = 0 ile A = x arasında konumlanması olur. Bu da, önsel bilgi ve veri tarafından yapılan katkı arasında bir ara nokta bulma anlamına gelir. Bu ağırlıklandırmayı daha iyi yorumlayabilmek için arttığında ne olacağına bakalım. Bu durumda veri bilgisi daha önemli hale gelir.

15 Önsel Bilgi ve Kestirim (devam) Bir üstteki şekilde görüldüğü gibi arttıkça sonsal PDF, x civarında daha konsantre olur (çünkü σ küçülür). Sonuçta neredeyse Gaussian olur ve ortalaması da x civarında olur. MMSE kestirimci önsel bilgiye giderek daha az güvenirken veriye daha çok güvenmeye başlar. Buna, veri önsel bilgiyi götürdü/sildi denir. Bu örnek için bulunan sonuçlar genelde de doğrudur. Özetle: Parametre kestirimine Bayesiyen yaklaşımı, kestirilecek parametreyi rasgele değişken θ nın bir realizasyonu olarak varsayar. Bunun için parametreye bir PDF (p(θ)) atanır. Veri gözlemlendikten sonra, parametre hakkındaki bilgimiz sonsal PDF (p(θ x)) ile özetlenir. Bayesiyen MSE denilen ve θ ve x in tüm realizasyonları üzerinden ortalama alındığındaki MSE yi minimize eden kestirimci olarak bir optimal kestirimci tanımlanır. Bu kestirimci, sonsal PDF ya da θ = E(θ x) nin ortalamasıdır. Kestirimci açık olarak aşağıdaki gibi belirlenir: θ = E θ x = θp θ x dθ

16 Önsel Bilgi ve Kestirim (devam) MMSE kestirimci genellikle önsel bilgi kadar veriye de bağlı olur. Önsel bilgi veriye nazaran zayıfsa, o zaman kestirimci önsel bilgiyi ihmal eder. Aksi durumda, kestirimci önsel ortalamaya doğru yanlı olacaktır. Beklendiği gibi önsel bilginin kullanılması her zaman kestirim doğruluğunu artırır. Önsel PDF nin seçimi Bayesiyen kestirim için kritiktik. Yanlış seçim, doğru olmayan bir veri modeli ile tasarlanan klasik bir kestirimcinin problemlerine benzer biçimde kötü bir kestirimciye yol açacaktır. Bayesiyen kestirimcilerle ilgili tartışmaların çoğu, pratikte önsel PDF yi doğrulamanın mümkün olmaması konusundadır. Bu tartışmalar konusunda önsel PDF nin fiziksel kısıtlara dayandırılamadığı müddetçe, klasik kestirimin daha uygun olacağını söylemek yeterlidir.

17 Önsel Bir PDF Seçmek Bir kez önsel bir PDF seçildiğinde MMSE kestirimcinin verilen eşitlik ile bulunacağını ifade ettik. Klasik yaklaşımda MVU kestirimci mevcut mudur sorusu burada söz konusu değildir. Ancak geriye pratikte tökezlenebilecek bir blok kalmaktadır. O da, E θ x nin kapalı formda hesaplanıp hesaplanamayacağıdır. Girişte ele aldığımız örnek için bulunan sonsal PDF (p(a x)) açık biçimde bulunamaz bir formda çıktı. Ayrıca sonsal ortalama da bulunamaz. Ancak, MMSE kestirimciyi gerçekten uygulamak için nümerik integrasyon yöntemlerini uygulayabilirdik. Bu problem vektör parametre durumu için önemli ölçüde büyür. Sonsal PDF aşağıdaki gibi olur; p θ x = p x θ p(θ) p x θ p θ dθ ve θ üzerinde p-boyutlu bir integrasyon gerekir. Ayrıca, ortalamanın hesaplanması için daha ilave integraller gerekir. Pratik MMSE ler için, bunları kapalı formda ifade edebilmeye gerek duyarız. Bir sonraki örnek bunun mümkün olduğu önemli bir durumu ele almaktadır.

18 Önsel Bir PDF Seçmek (devam) Örnek: WG içerisindeki DC seviye Gaussian önsel PDF Giriş örneğimizdeki önsel bilgiyi modifiye edelim. İzlenebilir olmayan bir integrasyona yol açan birbiçimli önsel PDF yerine yani, p A = 1 A 0 A A 0 0 A > A 0 Gaussian bir önsel PDF ele alalım; p A = 1 πσ exp 1 1 A σ A n=0 A μ A İki önsel PDF açıkça A hakkında farklı önsel bilgi ifade etmektedir. Ancak μ A = 0 ve 3σ A = A 0 alınırsa, Gausssian önsel PDF nin A A 0 bilgisini bünyesinde topladığı düşünülebilir. Tabiki A nın sıfıra yakın değerleri Gaussian önsel PDF için daha olası olacağı düşünülür. Şimdi eğer p x A = 1 (πσ ) exp 1 1 σ n=0 x n A = 1 (πσ ) exp 1 σ n=0 1 x n exp 1 σ (A A x) ise

19 Önsel Bir PDF Seçmek (devam) Aşağıdaki ifadeyi elde ederiz; p A x = p x A p(a) p x A p A da = 1 (πσ ) πσ A exp 1 σ n=0 1 x n exp 1 σ (A A x) 1 (πσ ) exp 1 σ πσ n=0 1 x n exp 1 σ (A A x). A exp 1 n=0 1 A μ σ A A exp 1 n=0 1 A μ σ A A da = exp 1 A A x + 1 σ A μ A A 1 exp A A x + 1 σ A μ A da A

20 Önsel Bir PDF Seçmek (devam) p A x = p x A p(a) p x A p A da = exp 1 Q(A) 1 exp Q(A) da Paydanın A ya bağlı olmadığını ve üstel ifadenin A ile quadratik olduğunu görüyoruz. Dolayısıyla da p A x, ortalaması ve varyansı x e bağlı Gaussian bir PDF olmalıdır. Devam edersek; Q A = σ A A x σ + A σ μ AA A σ A + μa σ A = σ + 1 σ A A σ x + μ A σ A A + μ A σ A

21 Önsel Bir PDF Seçmek (devam) σ A x 1 = σ + 1 σ A μ A x = σ x + μ A σ A σ A x diyelim. Q A = 1 A μ A x A + μ σ A x A x μ A x + A σ A x σ + μ A A σ A = 1 σ A μ μ A x A x A x σ + μa A x σ A p A x = exp 1 1 A μ σ A x exp A x 1 1 exp A μ A x exp σ A x μ A σ μ A x A μ A σ A x σ μ A x da A σ A x = 1 πσ A x exp 1 A μ A x σ A x

22 Önsel Bir PDF Seçmek (devam) Sonsal PDF de Gaussiandır. Bu formda MMSE kestirimci aşağıdaki bulunur, A = E(A x) = = μ A x σ x + μ A σ A σ + 1 σ A A = σ A σ x + σ A + σ σ A + σ = α x + (1 α)μ A μ A Burada α = σ A σ A + σ ve α bir ağırlıklandırma faktörüdür (0 < α < 1).

23 Önsel Bir PDF Seçmek (devam) Gaussian bir önsel PDF kullanarak MMSE kestirimciyi açık biçimde belirleyebildik. Önsel bilgi ile veri arasındaki duruma bakalım: az bir veri olduğunda yani σ A σ olur. Ancak σ A σ olacak biçimde daha çok veri gözlemlendiğinde α 1 ve A iken α küçüktür ve A μ A x olur. Ağırlıklandırma faktörü α doğrudan önsel bilgimize yani σ A ye ve veri bilgimize yani σ ne olan güvenimize σ bağlıdır. büyüklüğü koşullu varyans ya da E[ x A A] olarak yorumlanabilir. Alternatif olarak, süreci artarken sonsal PDF yi inceleyerek görebiliriz. Veri kayıt boyutumuz artarken sonsal PDF daha dar hale gelir.

24 Önsel Bir PDF Seçmek (devam) Sonsal PDF nin bu şekilde daralmasının nedeni sonsal varyansın küçülmesidir: var A x = σ A x 1 = σ + 1 σ A Hiç önsel bilgimiz yoksa, bunu σ A olarak modelleyebiliriz. O zaman herhangi bir veri uzunluğu için A olur. Yani klasik kestirimci elde edilir. x

25 Önsel Bir PDF Seçmek (devam) Son olarak, önsel bilgiyi kullanmanın kestirimci doğruluğunu iyileştirebileceğini söylemiştik. Bunun sebebini görebilmek için şunu hatırlayalım; Bmse A = E[(A A) ] Burada beklenen değer operatörü p A x ya göre alınır; Bmse A = (A A) p x, A dxda = A A p A x dap(x)dx A = E(A x) olduğundan; Bmse A = A E(A x) p A x dap(x)dx = var(a x)p A x p(x)dx Bayesiyen MSE nin aslında x in PDF si üzerinden ortalama alındıktan sonraki sonsal PDF nin varyansı olduğunu görüyoruz. Yani, σ A x değeri x e bağlı olmadığından; Bmse A = σ A x p(x)dx = 1 σ + 1 σ A

26 Önsel Bir PDF Seçmek (devam) Son yazılan aşağıdaki gibi yeniden ifade edilebilir; Bmse A = σ σ A σ A + σ ihayetinde; Bmse A < σ Burada σ, σ A olduğunda yani bir önsel bilgi olmadığında elde edilen minimum MSE dir. Buradan açıkça Bayesiyen anlamda modellendiğinde herhangi bir önsel bilginin Bayesiyen kestirimciyi iyileştireceğini görüyoruz. Gaussian önsel PDF ler matematiksel izlenebilirlikleri nedeniyle pratikte oldukça kullanışlıdır. Böyle olmasının temel nedeni yeniden üretme özelliğidir (reproducing property). p(x, A) PDF Gauusian ise marjinal PDF p A ve sonsal PDF p A x de Gauusian olur. x e koşullu olduğundan PDF nin biçimi aynı kalır sadece ortalama ve varyans değişir. Gaussian önsel PDF ler doğla olarak bir çok pratik problemde görülür. Önceki örneğimizde problemini bir güç kaynağının DC voltaj seviyesinin bir DC voltmetre ile ölçümü olarak düşünelim. Güç kaynağını 10 V ta ayarlarsak, doğru voltajın 10 Volta yakın olduğunu kabul edebiliriz. Önsel bilgimizi de A~(10, σ A ) olarak modelleyebiliriz. Burada σ A hassas bir güç kaynağı için küçük, daha az güvenilir olan için büyük olur. Ardından adet voltaj ölçümü yaparız. Ölçümler için model x n = A + w n olabilir, burada voltmetre hatası w n, varyansı σ olan WG olarak modellenir. σ nin değeri voltmetrenin kalitesine olan güvenimizi yansıtır. Doğru voltaj seviyesinin MMSE kesitirmi A = σ A σ A + σ voltmetrelerin bir topluluğu ile tekrar edersek kestirimcimiz Bayesian MSE yi mizimize edecektir. x + σ μ σ A + σ A olarak verilebilir. Bu işlemleri aynı hata karakteristiklerine sahip güç kaynakları ve

27 Gaussian PDF nin Özellikleri Önemli özellikleri göstermek için önce iki değişkenli (bivariate) Gaussian PDF yi ele alalım. Ardından sonuçları çok değişkenli (multivariate) Gaussian PDF için genelleştireceğiz. Önemli bir özellik, farklı ortalama ve varyansa sahip olsada sonsal PDF de Gaussian dir. PDF si aşağıdaki gibi olan ortak (jointly) Gaussian rasgele vektör x y T yi ele alalım; p x, y = 1 πdet 1/ (C) exp 1 x E(x) y E(y) T C 1 x E(x) y E(y) Buna aynı zamanda iki değişkenli Gaussian PDF denilir. Ortalama vektörü ve kovaryans matrisi aşağıdaki gibidir; C = E x y = E(x) E(y) var(x) cov(x, y) cov(y, x) var(y) Marjinal PDF ler p(x) ve p(y) de Gaussiandir. Aşağıdaki integrasyonlarla doğrulanabilir; p x = p x, y dy = 1 πvar(x) exp 1 var(x) x E(x) p y = p x, y dx = 1 πvar(y) exp 1 var(y) y E(y)

28 Gaussian PDF nin Özellikleri (devam) p x, y PDF sinin sabit olduğu noktaları birleştiren çizgiler aşağıdaki ifadenin sabit değerlerini veren x ve ye değerleridir. Bu durum aşağıdaki şekilde eliptik konturlar ile görülmektedir. x E(x) y E(y) T C 1 x E(x) y E(y) Bir kez x, diyelim ki x 0 gözlemlendiğinde y nin PDF si aşağıdaki gibi olur; p y x 0 = p(x 0, y) p(x 0 ) = p(x 0, y) p x0, y dy Böylelikle y nin koşullu PDF si integrali 1 olması için uygun biçimde normalize edildiğinde şekildeki kesit olur. p(x 0, y) (burada x 0 sabit bir sayıdır), y ye göre Gaussian şekle sahip olduğundan koşullu PDF nin de Gaussian olması gerekir. p(y) de Gaussian olduğundan bu özelliği, x ve y birlikte (jointly) Gaussian ise önsel PDF p(y) ve sonsal PDF p y x in ikisi de Gaussiandir biçiminde yorumlayabiliriz.

29 Gaussian PDF nin Özellikleri (devam) Teorem: (İki değişkenli Gaussianin koşullu PDF si) Eğer x ve y ortalama vektörü E(x) E(y) T ve kovaryans matrisi C = var(x) cov(x, y) cov(y, x) var(y) olan ikili Gaussian PDF e göre dağılıyorsa, yani; p x, y = 1 πdet (C) exp 1 x E(x) y E(y) T C 1 x E(x) y E(y) o zaman koşullu PDF p y x de Gaussiandir: E y x = E y + cov x, y var x (x E(x)) var y x = var y cov x,y var x Bu sonucu şu yolla da ele alabiliriz: x i gözlemlemeden önce rasgele değişken y, önsel PDF p(y) ya da y~(e(y), var(y)) ye göre dağılır. x gözlemlendikten sonra rasgele değişken y teoremde verilen sonsal PDF p y x e göre dağılır. Sadece ortalama ve varyans değişir.

30 Gaussian PDF nin Özellikleri (devam) x ve y nin bağımsız olmadığını varsayarsak, dolayısıyla da cov(x, y) 0, sonsal PDF daha konsatre olur çünkü y hakkındaki belirsizlik daha azdır. Bunu doğrulamak için Burada ρ = cov x,y var x var(y) var y x = var y 1 cov x,y var x var(y) = var y (1 ρ ), ρ 1 koşulunu sağlayan korelasyon katsayıdır. Daha önce dediğimiz gibi E y x, x gözlemlendikten sonra y nin MMSE kestirimcisidir. Dolayısıyla, y = E y + cov x, y var x (x E(x)) ormalize edilmiş formda (sıfır ortalamalı ve birim varyanslı bir rasgele değişken) bu aşağıdaki gibi olur; Ya da y E(y) var(y) = cov x, y var x var(y) y n = ρx n (x E(x)) var(x)

31 Gaussian PDF nin Özellikleri (devam) Korelasyon katsayısı, rasgele değişken y n nin normalize edilmiş realizasyonunun MMSE kestirimcisini elde etmek için, normalize edilmiş gözlem x n i ölçekler. Rasgele değişken hali hazırda normalize ise (E x = E y = 0, var x = var y = 1), sabit PDF konturları aşağıdaki şekilde görüldüğü gibi olur. x ve y nin fonksiyonu olarak düşünüldüğünde p(x, y) nin tepe noktalarının yerleri kesikli çizgilerle gösterilen doğru y = ρx üzerinde olur ve y = E y x = ρx tir. Dolayısıyla MMSE kestirimci birinin realizasyonuna dayalı diğerinin realizasyonunu kestirmek için rasgele değişkenler arasındaki korelasyondan faydalanır.

32 Gaussian PDF nin Özellikleri (devam) Minimum MSE, sonsal varyans x e bağlı olmadığından (var(y) ve ρ sadece kovaryans matrisine bağılıdır); Bmse y = var(y x) p(x)dx = var(y x) = var(y)(1 ρ ) Dolayısıyla kestirimcimizin kalitesi de x ve y arasındaki istatistiksel bağlılığı gösteren korelasyon katsayısına bağlıdır. Şimdi bu sonuçları aşağıdaki teoremle genelleştirelim. Teorem: (Çok değişkenli Gaussianin koşullu PDF si) Eğer x ve y birlikte (jointly) Gaussian ise, burada x, kx1 ve y, lx1 ve ortalama vektörü E(x) T bölütlenmiş kovaryans matrisi E(y) T T ve C = C xx C xy C yx C yy = kxk kxl lxk lxl olan çoklu Gaussian PDF e göre dağılıyorsa, yani;

33 Gaussian PDF nin Özellikleri (devam) p x, y = 1 (π) k+l det (C) o zaman koşullu PDF p y x de Gaussiandir: E y x exp 1 x E(x) y E(y) T C 1 = E y + C yx C 1 xx (x E(x)) x E(x) y E(y) C y x = C yy C yx C 1 xx C xy İki değişkenli durumda olduğu gibi önsel PDF p(x) gibi sonsal PDF p(y x) de Gaussiandir. e zaman birlikte (jointly) Gaussian varsayımı yapılabilir sorusu sorulabilir. Şimdi bunu geçerli olduğu önemli bir veri modelini, Bayesian doğrusal modeli ele alalım.

34 Bayesian Doğrusal Model Hatırlarsak veri modelimiz aşağıdaki gibi idi; x n = A + w n n = 0,1,, 1 için burada A ~(μ A, σ A ) ve w n, A dan bağımsız WG dir. Vektör gösterimi ile eşdeğer olarak; x = 1A + w Bu ifadenin, A nın rasgele değişken olması dışında daha önce tarif ettiğimiz doğrusal model biçiminde olduğu görülüyor. Dolayısıyla genel doğrusal modelin Bayesiyen eşdeğeri tanımlanabilir. Verinin aşağıdaki gibi modellediğimizi düşünelim; x = Hθ + w burada x, x1 veri vektörü, H, xp bilinen bir matris, θ, px1 (μ θ, C θ ) önsel PDF ye sahip rasgele vektör ve w, x1 PDF si (0, C w ) ve θ dan bağımsız gürültü vektörüdür. Bu veri modeline Bayesiyen genel doğrusal model denir. Klasik genel doğrusal modelden farkı θ nın Gaussian bir önsel PDF ye sahip rasgele değişken olmasıdır. x ve θ ortak Gaussian ise sonsal PDF nin de Gaussian olduğunu biliyoruz. O zaman sorun gerçektende x ve θ ortak Gaussian olup olmadığını doğrulamaktır.

35 Bayesian Doğrusal Model (devam) z = x T θ T T diyelim. Doğrusal modelden; z = = Hθ + w θ H I θ I 0 w burada birim matrislerin boyutları üst sağdaki x alt soldaki pxp dir ve 0 ise x sıfırlardır. θ ve x birbirinden bağımsız ve her biri Gaussian olduğundan, ayrıca z bir Gaussian vektörün doğrusal bir dönüşümü olduğundan kendisi de Gaussiandir. Dolayısıyla bir önceki teoremi doğrudan uygulayabiliriz, sadece sonsal PDF nin ortalama ve kovaryansını belirlemeye gerek duyarız. x i Hθ + w olarak ve y yi de θ olarak tanımlarsak ortalamalar aşağıdaki olur; ve kovaryanslar; E x = E Hθ + w = HE θ = Hμ θ C xx = E[(x E(x)) x E x T ] = E Hθ + w Hμ θ Hθ + w Hμ θ T = E H θ μ θ + w H θ μ θ + w T = HE θ μ θ θ μ θ T H T + E(ww T ) = HC θ H T +C w

36 Bayesian Doğrusal Model (devam) θ ve w nın bağımsız olduğunu hatırlayalım. Çapraz kovaryans matrisi; C yx = E[(y E(y)) x E x T ] = E[ θ μ θ H θ μ θ + w T ] T = E θ μ θ H θ μ θ = Cθ H T Teorem: (Bayesiyen Genel Doğrusal Model için Sonsal PDF) Eğer gözlemlene model x aşağıdaki gibi modellenebilirse, x = Hθ + w burada x, x1 veri vektörü, H, xp bilinen bir matris, θ, px1 (μ θ, C θ ) önsel PDF ye sahip rasgele vektör ve w, x1 PDF si (0, C w ) ve θ dan bağımsız gürültü vektörüdür, o zaman sonsal PDF p(θ x) ortalaması ve kovaryansı aşağıdaki verilen Gaussiandir; Ortalama: E θ x = μ θ + C θ H T HC θ H T + C w 1 (x Hμ θ ) Kovaryans: C θ x = C θ C θ H T HC θ H T + C w 1 HC θ

37 Bayesian Doğrusal Model (devam) Genel doğrusal modelin aksine burada HC θ H T + C w nin tersini almayı garantilemek için H nin full ranklı olmasına gerek yoktur. Örnek: WG içerisindeki DC seviye Gaussian önsel PDF (devam) x n = A + w n n = 0,1,, 1 için, A ~(μ A, σ A ) ve w n, varyansı σ olan A dan bağımsız WG olduğundan, Bayesiyen genel doğrusal model; x = 1A + w Bir önceki teoreme göre p(a x) Gaussiandir ve E A x = μ A + σ A 1 T 1σ A 1 T + σ I 1 (x 1μ A ) Woodbury özdeşliğini kullanarak (bkz: Kay, Appendix 1) I + σ A σ 11T 1 = I σ A σ 11T 1+ σ A σ buradan da

38 Bayesian Doğrusal Model (devam) E A x = μ A + σ A σ 1T I 11T + σ σ A (x 1μ A ) = μ A + σ A σ A + σ ( x μ A ) Bu biçimde yazıldığında MMSE kestirimci ardıl (seqeuntial) tip kestirimciye benzer. Veri yokkenki ya da A = μ A ikenki kestirimci, veri kestirimcisi x ile önceki kestirim μ A arasındaki hata ile düzeltilir. Kazanç faktörü bağlıdır. Sonsal varyans ise; σ A σ A + σ var A x = σ A σ A 1 T 1σ A 1 T + σ I 1 1σ A önceki kestirime ve güncel veriye olan güvenimize var A x = σ A σ A σ 1T I 11T + σ σ A 1σ A = σ σ A σ A + σ

39 Bayesian Doğrusal Model (devam) Sonsal PDF nin ortalama ve varyansı alternatif olarak aşağıdaki biçimde de yazılabilir; ve E θ x = μ θ + C θ 1 + H T C w 1 H 1 H T C w 1 (x Hμ θ ) C θ x = C θ 1 + H T C w 1 H 1 veya C 1 θ x = C θ 1 + H T C w 1 H Bönceki örneğimiz için bunu kullanırsak; 1 var A x = 1 σ A + 1T σ I 1 1 = 1 σ + 1 A σ Bu form, önsel bilgimizin veya varyansının tersininin yani 1 σ nin ve verimizin bilgisinin 1 σ A gömülü bilgiyi vermek üzere eklendiği şeklinde yorumlamamızı sağlar. sonsal PDF içinde

40 Rahatsızlık veren parametreler (uisance parameters) Bir çok kestirim problemi bilinmeyen parametrelerin bir kümesi ile karakterize edilir. Ancak gerçekte, bunların hepsiyle değil bir alt kümesiyle ilgilenilir. Kalan parametreler sadece problemi karmaşıklaştırır, ve rahatsızlık veren parametreler denilir. DC seviye örneğimizde, σ yi kestirmek isteseydik ve A da bilinmeseydi bu durum görülürdü. Bu durumda DC seviye A rahatsızlık veren parametre olur. Klasik kestirim yaklaşımında olduğu gibi parametreleri deterministik varsaysaydık, σ ve A yı kestirmekten başka alternetifimiz olmazdı. Bayesiyen yaklaşımda integre edip atarak bunlardan kurtulabiliriz. Şimdi, kestirilecek bilinmeyen parametrelerimiz θ ve ilave rahatsızlık veren parametreler α nın bulunduğunu varsayalım. O zaman, p(θ, α x) sonsal PDF yi gösterirse, sacede θ nın PDF sini aşağıdaki gibi belirleyebiliriz; p θ x = p θ, α x dα bunu aşağıdaki gibi de ifade edebiliriz; p θ x = p x θ p(θ) p x θ p θ dθ burada, p x θ = p x θ, α p α θ dα

41 Rahatsızlık veren parametreler (uisance parameters) Bunların yanında ayrıca, rahatsızlık veren parametrelerin istenilen parametrelerden bağımsız olduğunu varsayarsak, son yazdığımız ifade aşağıdaki ifadeye indirgenir; p x θ = p x θ, α p α dα Rahatsızlık veren parametrelerin önce koşullu PDF p x θ, α den integrasyonla çıkarıldığını ve ardından sonsal PDF nin bildiğimiz Bayes teoremi kullanılarak bulunduğu görülüyor. Bir MMSE kestirimci istenilirse sadece sonsal PDF nin ortalamasını belirlemeye ihtiyaç duyarız. Rahatsızlık veren parametreler probleme artık dahil olmaz. Elbette varlıkları kestirimciyi etkiler. Çünkü p x θ, p α ya bağlıdır. Bayesiyen yaklaşım, rahatsızlık veren parametrelerin bir kestirimciyi geçersiz kılabileceği klasik kestirimciler probleminden etkilenmez.

42 Rahatsızlık veren parametreler (uisance parameters) Örnek: Ölçeklenmiş kovaryans matrisi Koşullu PDF si (p x θ, σ ), (0, σ C(θ)) olan x1 lik veri vektörü x i gözlemlediğimizi varsayalım (θ nın kovaryansı C θ ile x in ölçeklenmiş kovaryans matrisi C(θ) karıştırılmamalıdır). burada θ parametresi kestirilecek ve σ rahatsızlık veren parametre olarak ele alınacak. Kovaryans matrisi θ ya bağlı ve bu bağlılığın nasıl olduğu belirtilmemiş. σ ye aşağıdaki önsel PDF yi atayalım; p(σ ) = λexp( λ σ ) σ 4 σ > 0 0 σ < 0 burada λ > 0 ve σ, θ dan bağımsız olduğu varsayılıyor. Önsel PDF ters çevrilmi (inverted) gamma PDF nin özel bir halidir. p x θ = p x θ, σ p σ dσ = (π) det σ C(θ) exp 1 xt (σ C(θ)) 1 x λexp( λ σ ) σ 4 dσ

43 Rahatsızlık veren parametreler (uisance parameters) = (π) σ det C(θ) exp 1 σ xt C 1 θ x λexp( σ ) dσ σ 4 λ ξ = 1 dersek; σ λ p x θ = (π) det 1 C(θ) 0 ξ exp λ + 1 xt C 1 θ x ξ dξ a > 0 ve m > 0 için gamma integralinin özelliklerinden aşağıdaki ifadeyi kullanırsak; 0 x m 1 exp ax dx = a m Γ(m) p x θ = Sonsal PDF de bu ifadeden bulunabilir. (π) det 1 C(θ) λγ( + 1) λ + 1 xt C 1 θ x +1

44 Deterministik parametreler için Bayesiyen Kestirim Bayesiyen yaklaşımın θ sadece rasgele olduğunda uygulanabilir olduğu söylensede, pratikte sıklıkla deterministik parametre kestirimi için de kullanılır. Bununla, bir kestirimci elde etmek için Bayesiyen varsayımların yapılarak kestirimci bulunduğunu (örneğin MMSE kestirimci) ve sonrada θ rasgele değilmiş gibi kullanıldığı kasdedilmektedir. MVU kestirimci mevcut olmadığında bu yaklaşım düşünülebilir. Örneğin, birbiçimli olarak diğer tüm kestirimcilerden daha iyi varyansa sahip bir yansız kestirimci bulunamayabilir. Oysa Bayesiyen çerçevede MMSE kestirimci her zaman bulunur ve en azından ortalamada (θ nın farklı değerleri için) iyi çalışan bir kestirimci sağlar. Elbette belirli bir θ değeri için iyi performans göstermeyebilir, bu da deterministik bir parametre için uygulandığında alınan bir risktir. Bu problemi göstermek için DC değer örneğimize dönelim. MMSE kestirimcimiz aşağıdaki gibi idi; A = σ A σ x + σ A + σ σ A + σ = α x + (1 α)μ A ve 0 < α < 1. Eğer A deterministik bir parametre ise MSE yi aşağıdaki gibi hesaplayabiliriz; μ A mse A = var A b ( A)

45 Deterministik parametreler için Bayesiyen Kestirim (devam) b A = E A A yanlılığı gösterir. O zaman MSE; mse A = α var x + αa + 1 α μ A A = α σ + 1 α (A μ A ) Bayesiyen kestirimcinin kullanılmasının varyansı küçültüğü görülüyor, çünkü 0 < α < 1 ancak MSE nin yanlılık bileşenini önemli ölçüde artırabilir. Aşağıdaki şekilde görüldüğü gibi Bayesiyen kestirimci sadece A, önsel ortalama μ A ya yakın ise MVU kestirimci x den daha küçük MSE sergiler. Diğer durumda kötü bir kestirimcidir.

46 Deterministik parametreler için Bayesiyen Kestirim (devam) İstenilen özellik yani birbiçimli olarak MSE bakımından diğer tüm kestirimcilerden daha küçük olmaya sahip değildir, sadece ortalamada ya da Bayesiyen anlamda bunu sağlar. Dolayısıyla A, sadece rasgele ise ve mse A, A nın bilinen bir değeri üzerine koşullu MSE olarak düşünülebilir ise aşağıdaki ifade elde edilir; Bmse A = E A mse( A) = α σ + 1 α E A (A μ A ) = α σ + 1 α σ A = σ σ A σ A + σ < σ = Bmse( x) Başka bir ifade ile Bayesiyen MSE daha küçüktür. Esasen Bayesiyen MMSE kestirimci, tüm MSE yi azaltmak için varyansa karşılık yanlılıktan ödün verir. Böyle yaparak önsel bilgiden yani A~(μ A, σ A ) olmasından faydalanır.

47 Deterministik parametreler için Bayesiyen Kestirim (devam) Bu bize tüm MSE yi daha az olacak biçimde α yı ayarlamamıza olanak tanır. Önceki şekilde A, μ A ya yakın değilken MSE lerin büyük olması α nın seçiminden değildir, esasen A nın bu değerleri zaten seyrek görülür. Klasik kestirim yaklaşımı, tüm A lar için iyi performans gerekliliği nedeniyle bu avantaja sahip değildir. İkinci bir husus ise önsel PDF nin seçimidir. Herhangi bir önsel bilgi mevcut değilse, klasik kestirimde varsaydığımız gibi, o zaman iyice konsantre olmuş bir önsel PDF ye dayalı bir Bayesiyen kestirimci uygulamak istemeyiz. Yine aynı örnekle ele alalım. A deterministik ve biz yinede Bayesiyen kestirimci uygulamak istiyor olalım. E A = σ A σ A + σ A + σ / σ A + σ Burada μ A ya doğru bir yanlılık vardır. Bu yanlılığı azaltmak için neredeyse düz ya da bu örnek için σ A olmasına izin verecek bir önsel PDF ye ihtiyaç duyardık. Aksi halde MSE, A, μ A ya yakın değilken oldukça büyük olurdu (ayrıca, σ A iken A x ve mse( A) mse( x) olur yani önceki şekildeki iki eğri özdeş hale gelir). Genelde, bu tür bir önsel PDF ye bilgilendirici olmayan (noninformative) önsel PDF denilir. Deterministik bir parametre için Bayesiyen bir kestirimci kullanmaya, bilgilendirici olmayan önsel PDF nin probleme herhangi bir bilgi katmayacağına dayalı bir gerekçe gösterilir. μ A