Monte Carlo Yöntemleri

Transkript

1 Monte Carlo Yöntemleri Sinan Yıldırım MDBF, Sabancı Üniversitesi September 29, 217

2 İçindekiler Giriş Buffon un iğnesi Örneklerin ortalaması Monte Carlo Kesin örnekleme yöntemleri Tersini alma yöntemi Dönüştürme yöntemi Birleştirme yöntemi Reddetme örneklemesi Önem örneklemesi Markov zinciri Monte Carlo Metropolis-Hastings Gibbs örneklemesi Sıralı Monte Carlo Sıralı önem örneklemesi Parçacık süzgeci

3 Giriş

4 Buffon un iğnesi

5 Örnek: Buffon un iğnesi Eşit aralıklı (1 cm) paralel çizgileri olan bir masaya 1 cm lik bir iğne rastgele atılıyor. İğnenin masadaki çizgilerden birini kesmesi ihtimali nedir?

6 Örnek: Buffon un iğnesi Bu olasılık kesin olarak hesaplanabilir: İğnenin ortasının en yakın çizgiye uzaklığı d olsun. İğnenin çizgilerle yaptığı küçük açı θ (, π/2) olsun. İğnenin çizgilerden birini kesmesi şu şartla olur: d sin θ < 1 2 (1).4 d > sin(θ)/2 d.3.2 d < sin(θ)/ θ

7 Örnek: Buffon un iğnesi.4 d > sin(θ)/2 d.3.2 d < sin(θ)/ θ d, θ bağımsız ve d [, 1/2] ve θ [, π/2] arasında homojen dağılır: p(d, θ) = { 4, π (d, θ) [, 1/2] [, π/2], else A = {(d, θ) : d/ sin θ < 1/2} = {(d, θ) : d < sin θ/2} kümesi, figürdeki eğrinin altındaki alana karşılık gelir. X = (d, θ) dersek, bu kümenin olasılığı P(X A) = p(r, θ)drdθ = 2 A π

8 Örnek: Buffon un iğnesi - Monte Carlo yaklaşımı P(X A) ı yaklaşık hesaplamak için Monte Carlo deneyi: X (i) = (d (i), θ (i) ), i = 1,..., N örnekleri üretilir: d (i) Unif(, 1/2), θ (i) Unif(, π/2), P(X A) olasılığı aşağıdaki gibi kestirilir: P(X A) 1 N = 1 N N I A (X (i) ) i=1 N I(d (i) < sin(θ (i) )/2) i=1

9 Örnek: Buffon un iğnesi - Monte Carlo yaklaşımı N = 1 atış ve karşılık geldikleri d, θ değereri Buffon's needle, N = 1. The estimated prob is.67. True value is d θ P(X A) number of red dots total number of dots.

10 Örnek: Buffon un iğnesi - Monte Carlo yaklaşımı Büyük sayılar kanunu N arttıkça kestirimin 2/π ye yaklaştığını öngörür..5 Buffon's needle, N = 1. The estimated prob is.659. True value is d θ Buffon's needle, N = 1. The estimated prob is True value is d θ

11 π nin kestirimi π ile P(X A) arasındaki ilişki: π = 2 P(X A), π nin Monte Carlo kestirimi: π 2 = 2 N N i=1 I(d (i) < sin(θ (i) )/2) toplam nokta sayısı kırmızı nokta sayısı 3.8 Buffon's needle experiment to approximate π 3.6 estimate of π N

12 Örneklerin ortalaması

13 Örneklerin Ortalaması Bir X R dx, d x 1 kümesinden N 1 tane rassal örnek verilmiş olsun: X (1),..., X (N). Örneklerin bağımsız ve özdeş dağılımlı olduğunu ve π olasılık dağılımından geldiğini varsayalım: i.i.d. X 1,..., X N π. Ayrıca π dağılımı bilinmiyor olsun.

14 π ye göre ortalama değer X in π dağılımına göre beklentisini X (1:N) örneklerini kullanarak yaklaşık olarak nasıl hesaplayabiliriz? π(x) olasılık yoğunluk fonksiyonu ise: E π(x ) = X xπ(x)dx. π(x) olasılık kütle fonksiyonu ve X, x 1, x 2,... değerlerini alıyorsa: E π(x ) = i x i π(x i ). Makul bir kestirim: E π(x ) 1 N N X (i). i=1

15 Genel fonksiyonların beklenti değeri Şimdi de ϕ : X R fonksiyonunun π ye göre beklentisini inceleyelim. π(ϕ) := E π(ϕ(x )) = ϕ(x)π(x)dx. Bu beklentinin kestirimi: E π(ϕ(x )) 1 N ϕ(x (i) ). N i=1 Örnek: ϕ(x) = x 2, ϕ(x) = log x, vs. ϕ(x ) = X bizi ilk probleme geri götürür. X

16 Bir kümenin olasılığı A X şeklinde bir küme verilmiş olsun. İşaret fonksiyonu: I A : X {, 1} π(a) := P(X A) I A (x) = { 1, x A, x / A Üstteki olasılık ϕ = I A fonksiyonunun beklenti değeri olur: E π(i A (X )) = I A (x)π(x)dx X = π(x)dx Bu olasılığa örnekler kullanılarak A = P(X A). şeklinde yaklaşılabilir. P(X A) 1 N N I A (X (i) ). i=1

17 Monte Carlo

18 Monte Carlo: Ana fikir Şimdi şu senaryoyu düşünelim: π dağılımını biliyoruz, ama π den gelen örneklerimiz yok. π den istediğimiz kadar bağımsız örnek üretebiliyoruz. π(ϕ) yi hesaplayamıyoruz. Bu durumda π(ϕ) ye nasıl yaklaşılabilir? Eğer X (1),..., X (N) π örneklerini kendimiz üretirsek, ilk probleme geri döneriz. Bu basit fikir, Monte Carlo yöntemlerinin ana fikridir.

19 Monte Carlo nun gerekçelendirilmesi - yansızlık π(ϕ) nin Monte Carlo kestirimini π N MC(ϕ) ile gösterelim: π N MC(ϕ) = 1 N N ϕ(x (i) ). i=1 Herhangi bir N 1 için, πmc(ϕ) nın N beklenti değeri: ( ) ( ) E πmc(ϕ) N 1 N = E ϕ(x (i) ). N = 1 N i=1 N E π(ϕ(x (i) )) i=1 = 1 NEπ(ϕ(X )) N = E π(ϕ(x )) = π(ϕ). Ancak, yansızlık tek başına yeterli bir özellik değildir.

20 Monte Carlo nun gerekçelendirilmesi - Büyük sayılar kanunu π N MC(ϕ) = 1 N N ϕ(x (i) ). i=1 Büyük sayılar kanunu: Eğer π(ϕ) < ise π N MC(ϕ) nin π(ϕ) ye yakınsar: π N MC(ϕ) a.s. π(ϕ), as N.

21 Monte Carlo nun gerekçelendirilmesi - Merkezi limit teoremi π N MC(ϕ) nin varyansı: [ ] V πmc(ϕ) N = 1 N 2 N i=1 ] V π [ϕ(x (i) ) = 1 Vπ [ϕ(x )]. N Buradan, V π [ϕ(x )] sonlu olduğu sürece π N MC(ϕ) nin doğruluğunun N ile arttığı söylenebilir. Merkezi limit teoremi: Eğer V π [ϕ(x )] < ise N [ π N MC (ϕ) π(ϕ)] d N (, V π [ϕ(x )]) as N.

22 Monte Carlo gerekçelendirilmesi - Deterministik integraller π(ϕ) nin hesaplanması için bir takım belirlemeci integral teknikleri de vardır; Ancak bu teknikler X in boyutu d x büyüdükçe kötüleşir. Monte Carlo yaklaşımının başarımı d x ten bağımsızdır. [ ] V πmc(ϕ) N = 1 Vπ [ϕ(x )]. N

23 İleri yöntemlere ihtiyaç Çoğu problemde, tek sorun integralin alınamazlığı değil. π den örnekleme yapmak homojen dağılım kadar kolay olmayabilir. Bunun için bir takım kesin örnekleme yöntemleri geliştirilmiştir. Örnek: tersini alma yöntemi, reddetme örneklemesi, kompozisyon, vs π den örnekleme yapmak imkansız olabilir. Örnek: Bayesçi çıkarımdaki sonsal dağılım: X bilinmeyen değişkenininin Y = y verisi verildiğindeki sonsal dağılımı π(x) := p X Y (x y) = p X (x)p Y X (y x) px (x )p Y X (y x )dx = p X,Y (x, y) px,y (x, y)dx p X (x)p Y X (y x) Bu tür dağılımlardan yaklaşık örnekler elde etmek için yazında bir çok yöntem var, örn: Markov zinciri Monte Carlo, Sıralı Monte Carlo, vs.

24 Kesin örnekleme yöntemleri

25 Sözde-rassal sayı Çıkış noktası olarak, bilgisayarımızın homojen dağılımdan örnekler üretebildiğini varsayacağız. U Unif(, 1) Bu üretilen sayılar belirlenimci yöntemlerle üretilir; bu sebeple bu sayılara sözde-rassal sayı denir. Soru: Elimizde Unif(, 1) dağılımından gelen sayılar olsun. Bu sayıları kullanarak herhangi bir π dağılımından nasıl örnek üretebiliriz?

26 Tersini alma yöntemi

27 Tersini alma yöntemi X π rassal değişkeninin kümülatif dağılım fonksiyonu: F (x) = P(X x), x R. F nin genelleştirilmiş tersi: G(u) := inf{x X : F (x) u}. Homojen dağılmış sayılar ve G kullanılarak X π elde edilebilir. U Unif(, 1) G(U) π

28 Tersini alma yöntemi F nin genelleştirilmiş tersi: G(u) := inf{x X : F (x) u}. X ayrık ise ve x 1, x 2,... değerlerini alıyorsa: G(u) = x i, i = min{i : F (x i ) u} F (x i 1) < u F (x i ) X sürekli ise ve π(x) > şeklinde bir olasılık yoğunluk fonksiyonu varsa (F te sıçrama ve düz alanlar yok), F monoton artandır ve tersi G = F 1 alınabilir. G(u) = F 1 (u)

29 Örnek: Üssel dağılım X Exp(λ), λ >, olasılık yoğunluk dağılımı { { λe λx x, x π(x) =, u = F (x) = λe λt dt = 1 e λx, x., else, else Exp(1) : sampling via the method of inversion pdf cdf.8 u G(u) x O halde, Exp(λ) dan U Unif(, 1) ve X = log(1 U)/λ şeklinde örnek üretebiliriz.

30 Örnek: Geometrik dağılım X Geo(ρ), olasılık kütle fonksiyonu π(x) = (1 ρ) x ρ, x =, 1, 2..., F (x) = 1 (1 ρ) x Geo(.3): sampling via the method of inversion pmf cdf.8 u G(u) x log(1 U) O halde, Geo(ρ) dan U Unif(, 1) ve X = üretilebilir. 1 şeklinde örnek log(1 ρ)

31 Dönüştürme yöntemi

32 Dönüştürme yöntemi: basit durum Tersini alma yöntemi U dan X = G(U) ya bir çeşit dönüştürme olarak görülebilir. Daha genel olarak, uygun bir g fonksiyonuyla bir dağılımdan diğerine geçilebilir. Basit örnek: X Unif(a, b) üretmek için, U Unif(, 1) üretip U yu şeklinde dönüştürebiliriz. X = g(u) := (b a)u + a.

33 Dönüştürme yöntemi: genel Elimizde olasılık yoğunluk fonksiyonu p X (x) olan m boyutlu X X R m rassal değişkeni olsun. Tersi alınabilir bir g : X Y R m kullanarak X i dönüştürelim: Y = (Y 1,..., Y m) = g(x 1,..., X m) Soru: Y nin olasılık yoğunluk dağılımı p Y (y) ne olur? y = (y 1,..., y m) = g(x 1,..., x m) kullanarak, Jakobian ı tanımlayalım x 1/ y 1... x 1/ y m J(y) = det g 1 (y) = det x (x1,..., xm) = det y y (y 1,..., y = det. m) x m/ y 1... x m/ y m Y nin olasılık yoğunluk fonsiyonu: p Y (y) := p X (g 1 (y)) J(y)

34 Uygulama: N (, 1) için Box-Muller yöntemi Standart Gauss dağılımı (normal dağılım) N (, 1) ın olasılık yoğunluk fonksiyonu 1 φ(x; µ, σ) = 1 2πσ 2 e 2σ 2 (x µ)2 Kümülatif dağılım fonksiyonunun tersini almak kolay değil. Alternatif olarak, dönüştürme kullanacağız İlk önce R Exp(1/2), Θ Unif(, 2π). üretilir, sonra X 1 = R cos(θ), X 2 = R sin(θ) dönüşümü ile X 1, X 2 i.i.d. N (, 1) elde edilir.

35 Box-Muller yöntemi: Kanıt Bu yöntem doğrudan değişkenlerin dönüştürülmesine dayanır: (R, Θ) = (X X 2 2, arctan(x 2/X 1))) Jakobian ın (r, θ) = (x1 2 + x2 2, arctan(x 2/x 1)) deki değeri J(r, θ) = r/ x1 r/ x2 θ/ x 1 θ/ x 2 = 2x 1 2x 2 1 y 2 1+(y 2 /y 1 ) 2 y1 2 (X 1, X 2) nin olasılık yoğunluk fonksiyonu, formülü kullanarak, p X1,X 2 (x 1, x 2) = p R (r)p Θ (θ) J(r, θ) (y 2 /y 1 ) 2 y 1 = p R (x x 2 2 )p Θ (arctan(x 2/x 1)) J(r, θ) = 1 2 e 1 2 (x2 1 +x2 2 ) 1 2π 2 = 1 2π e 1 2 x π e 1 2 x2 2 = φ(x 1;, 1)φ(x 2;, 1) olarak bulunabilir, ki bu da iki Gauss dağılımının çarpımı olduğu için i.i.d. X 1, X 2 N (, 1) olduğu görülür. = 2

36 Çokdeğişkenli Gauss dağılım n 1 boyutlu çok değişkenli Gauss dağılımını X N (µ, Σ) şeklinde gösterelim. µ = E(X ), n 1 ortalama vektörüdür. Σ = Cov(X ) = E[(X µ)(x µ) T ] ise n n simetrik ve kesin artı kovaryansa matrisidir. Bu matrisin (i, j) inci elemanı σ ij = Cov(X i, X j ) = E[(X i µ i )(X j µ j )] = E(X i X j ) µ i µ j Olasılık yoğunluk fonksiyonu φ(x; µ, Σ) = 1 { 2πΣ exp 1 } 2 (x µ)t Σ 1 (x µ) Burada, determinantı simgeler.

37 Çokdeğişkenli Gauss dağılımı Varsayalım ki X = (X 1,..., X n) T N (µ, Σ) olsun. Kertesi m n olan m n bir matris ve bir m 1 η vektörünü kullanarak X i şeklinde dönüştürelim. Y = AX + η Y, X in doğrusal dönüştürülmüş hali olduğu için Y de Gauss dağılımına sahiptir. E(Y ) = E(AX + η) = AE(X ) + η = Aµ + η Cov(Y ) = E([Y E(Y )][Y E(Y )] T ) = E([AX + η (Aµ + η)][ax + η (Aµ + η)] T ) = E(A(X µ)(x µ) T A T ) = ACov(X )A T = AΣA T Sonuç olarak, Y N (Aµ + η, AΣA T ) yazabiliriz.

38 Çokdeğişkenli Gauss dağılımı: örnekleme n 1 boyutlu µ vektörü ve n n kesin artı Σ matrisi verildiğinde, X N (µ, Σ) nasıl üretilir? Önce R 1,..., R n i.i.d. N (, 1) üretilir böylece sağlanmış olur. R = (R 1,..., R n) N ( n, I n) Sonra, Cholesky ayrıştırması kullanılarak eşitliğini sağlayan A matrisi bulunur. Σ = AA T Son olarak değişkeni üretilir. X = AR + µ

39 Birleştirme yöntemi

40 Birleştirme yöntemi: Sıradüzenli modeller Z kümesinden değer alan ve Z α( ) rassal değişkenimiz olsun. Z = z verildiğinde X Z = z p z( ) olsun. Bu durumda, X P in marginal (tekil) dağılımı bir karışım dağılımıdır. { pz(x)α(z)dz, α(z) olasılık yoğunluk fonksiyonu ise π(x) = z pz(x)α(z)dz, α(z) olasılık kütle fonksiyonu ise X π nasıl üretilebilir?

41 Birleştirme yöntemi X π nasıl üretilebilir? { pz(x)α(z)dz, α(z) olasılık yoğunluk fonksiyonu ise π(x) = z pz(x)α(z)dz, α(z) olasılık kütle fonksiyonu ise Doğrudan P den örnekleme çok zor olabilir, ancak Π ve P z den örnekleme yapmak kolaysa, birleştirme yöntemi kullanılabilir: 1. Z α( ) üretilir, 2. X p Z ( ), üretilir 3. Z atılır ve X tutulur. Bu şekilde üretilen X kesin olarak π den gelir.

42 Örnek: Karışım Gauss dağılımı K bileşeni olan, bileşenlerinin ortalama değerleri ve varyansları: (µ 1, σ 2 1),..., (µ K, σ 2 K ) karışımdaki olasılık ağırlıkları w 1,..., w K (w w K = 1 olacak şekilde) olan karışım Gauss dağılımının yoğunluk fonksiyonu π(x) = K w k φ(x; µ k, σk 2 ). k=1 Bu dağılımdan örnekleme yapmak için 1. w k olasılıkla k üretilir, 2. X N (µ k, σ 2 k ) üretilir, 3. k atılır ve X tutulur.

43 Örnek: Mahremiyet gözeten veri paylaşımı Bir şirket D olan aylık talep miktarını mahremiyet sebebiyle gürültü olarak X şeklinde paylaşıyor. Paylaşılan X in dağılımı π(x) = d [ e λ λ d d! ] [ ( )] 1 2b exp x d b Bu paylaşım sürecinin Monte Carlo ile benzetimini yapmak istiyoruz. X π nasıl üretilir? Toplamdaki ilk terim PO(λ) nin olasılık kütle fonksiyonunun d deki değeri, diğeri de Laplace(d, b) nin olasılık dağılım fonksiyonunun x teki değeri. 1. D PO(λ) üretilir, 2. X Laplace(D, b) üretilir (veya V Laplace(, b) ve X = D + V.). 3. D atılır X tutulur.

44 Reddetme örneklemesi

45 Reddetme örneklemesi Sık kullanılan bir başka yöntem. Şu şartları sağlayan bir q(x) dağılımı gerekir. π(x) > ise q(x) > olmalı Her x X için π(x) Mq(x) yi sağlayacak bir M > olması. Reddetme örneklemesi: 1. X q( ) ve U Unif(, 1) üretilir. 2. U π(x ) Mq(X ), ise X = X alınır; değilse 1. e geri dönülür.

46 Reddetme örneklemesi: Kabul olasılığı 1. X q( ) ve U Unif(, 1) üretilir. 2. U π(x ) Mq(X ), ise X = X alınır; değilse 1. e geri dönülür. Bir döngüde kabul etme olasılığı P(Kabul) = P(Kabul X = x)p X (x)dx π(x) = Mq(x) q(x)dx = 1 π(x)dx M = 1 M, (2) Dolayısıyla q(x) i π(x) e olabildiğince yakın seçmek ve M = sup x π(x)/q(x) almak makuldür.

47 Reddetme örneklemesi: Neden çalışır? 1. X q( ) ve U Unif(, 1) üretilir. 2. U π(x ) Mq(X ), ise X = X alınır; değilse 1. e geri dönülür. Yöntemin doğruluğunu göstermek için, üretilen X in dağılımının π olduğunu göstermek gerekir. Bayes teoremini kullanarak, p X (x) = p X (x Kabul) = p X (x)p(kabul X = x) P(Kabul) = q(x) 1 M 1/M = π(x). π(x) q(x)

48 Örnek: Gamma dağılımı Örneklenecek dağılım: X Γ(α, 1), α > 1. Olasılık yoğunluk fonksiyonu: π(x) = x α 1 e x, x >. Γ(α) Aracı dağılım olarak q λ = Exp(λ), < λ < 1, seçelim. q λ (x) = λe λx, x >. Bütün x X için π(x) Mq(x) i sağlayacak M bulunmalı: π(x) q λ (x) = x α 1 e (λ 1)x λγ(α) x = (α 1)/(1 λ) de enbüyütülür, dolayısıyla ( ) α 1 e (α 1) alınabilir. Kabul olasılığı M λ = π(x) q λ (x)m λ = α 1 1 λ λγ(α) ( ) α 1 x(1 λ) e (λ 1)x+α 1 α 1

49 Örnek: Gamma dağılımı Kabul olasılığı 1/M λ, M λ yı önceden bulmuştuk: ( ) α 1 e (α 1) M λ = α 1 1 λ λγ(α) Şimdi de M λ yı enküçültecek λ yı seçelim. M λ, λ = 1/α da enküçültülür ve M = αα e (α 1). Γ(α) elde edilir. Sonuç olarak Γ(α, β) dan örnekleme yapmak için, 1. X Exp(1/α) ve U Unif(, 1) örneklenir. 2. If U (x/α) α 1 e (1/α 1)x+α 1, ise X = X alınır, değilse 1 e gidilir.

50 Örnek: Gamma dağılımı rejection sampling for Γ(2, 1) with optimal choice for λ p(x) M q λ (x) Mq λ (x) when M = 1.5 M rejection sampling for Γ(2, 1) with different values of λ p(x) lambda =.5 lambda =.1 lambda = x histogram of samples generated using λ = x histogram of samples generated using λ = frequency x x

51 π(x) tam olarak bilinmediğinde Diyelim ki π(x) in sadece bilinmeyen bir sabit çarpanla çarpılmış haldeki değerini biliyoruz: π(x) = π(x), Z π = π(x)dx Z π Reddetme örneklemesi, bütün x X için π(x) Mq(x) i sağlayan bir M ile hala uygulanabilir. 1. X q( ) ve U Unif(, 1) üretilir. 2. U π(x ) Mq(X ) ise, X = X alınır; değilse 1. e gidilir. Kabul olasılığı: 1 M Zπ.

52 π(x) tam olarak bilinmediğinde: Bayesci çıkarım örneği Bilinmeyen sabit sorunu Bayesci çıkarımda sıklıkla karşımıza çıkar. Bayesci çıkarımda amaç sonsal dağılımı bulmaktır. Hesaplanamayan sonsal dağılımlardan örnekleme yapılabilir. X in Y = y verildiğindeki sonsal dağılımı π(x) := p X Y (x y) p X (x)p Y X (y x) = π(x) Çarpımsal (ve çoğunlukla hesaplanamayan) sabit: p Y (y) = p X (x)p Y X (y x)dx

53 Bilinmeyen sabite örnek: Bayesci çıkarım X in Y = y verildiğindeki sonsal dağılımı p X Y (x y) p X (x)p Y X (y x) Çarpımsal (ve çoğunlukla hesaplanamayan) sabit: p Y (y) = p X (x)p Y X (y x)dx π(x) = p X Y (x y) dan örnekleme için reddetme örneklemesi kullanılabilir. Örnek: Eğer bütün x X için p Y X (y x) M i sağlayacak bir M varsa, reddetme örneklemesi bu M ile ve q(x) = p X (x) ile kullanılabilir: 1. X q( ) ve U Unif(, 1) üretilir, 2. Eğer U p Y X (y X )/M ise X = X alınır; değilse 1. e gidilir.

54 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatlarını saptamak istediğimiz bir hedef (source) X = (X (1), X (2)): 3 2 sensor 1 1 r 1 x(2) source -1 r 2 sensor 2 r 3-2 sensor x(1) s 1, s 2, s 3 noktalarındaki üç sensör hedefe olan uzaklıklarını ölçüyor: r i = [(X (1) s i (1)) 2 + (X (2) s i (2)) 2 ] 1/2, i = 1, 2, 3 Ölçümler Y = (Y 1, Y 2, Y 3) gürültülü: Y i = r i + V i, V i N (, σy 2 ), i = 1, 2, 3.

55 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatla ilgili önsel kanı: X N ( 2, σ 2 x I 2), σ 2 x 1 Amaç: Y = y = (y 1, y 2, y 3) verildiğinde E(X Y = y) yi hesaplamak. π(x) := p X Y (x y) p X (x)p Y X (y x) }{{} π(x) = φ(x; 2, σx 2 I 2) }{{} p X (x) Reddetme örneklemesi q(x) = p X (x) alınarak yapılabilir: π(x) q(x) = p Y X (y x) = O halde, M = 3 φ(y i ; r i, σy 2 ) = i=1 1 (2πσ 2 y )3/2 seçilmelidir. 3 φ(y i ; r i, σy 2 ) i=1 } {{ } p Y X (y x) 1 1 3i=1 (2πσy 2 ) 3/2 e 2 (y i r i ) 2 1 (2πσ 2 y ) 3/2

56 Hedef yer saptaması - dağılımlar, σ 2 x = 1, σ 2 y = 1 Likelihood term p(y 1 x) -6 Likelihood term p(y 2 x) -6 Likelihood term p(y 3 x) x(1) x(1) x(1) x(2) x(2) x(2) -6 Prior p X (x) posterior prior x likelihood x(1) -2 2 x(1) x(2) x(2)

57 Hedef yer saptaması - reddetme örneklemesi σ 2 x = 1, σ 2 y = 1 hist of 1 rej samp estimates for E(X(1) y) hist of 1 rej samp estimates for E(X(2) y) estimated values estimated values histogram of number of samples out of 1 iterations number of accepted samples

58 Önem örneklemesi

59 Önem örneklemesi: Motivasyon Yola çıkarkenki problemimiz: yaklaşık hesaplamak istediğimiz beklenti değeri π(ϕ) = E π(ϕ(x )) = ϕ(x)π(x)dx. π(ϕ) nin Monte Carlo kestirimi X π N MC(ϕ) = 1 N N ϕ(x (i) ), X (i) π, i = 1,..., N, i=1 için π den örnekleme yapmamız gerekiyor. Bir çok durumda X π örneklemesi çok zor, çok pahalı veya imkansız olabilir.

60 Önem örneklemesi Yine, π(x) > ise q(x) > şartını sağlayan bir yardımcı dağılımımız olsun. π(x) ve q(x) verildiğinde, önem fonksiyonunu tanımlayalım w : X R { π(x)/q(x), q(x) >, w(x) := q(x) =. Önem örneklemesine temel oluşturan bağlantı: π(ϕ) = E π(ϕ(x )) = ϕ(x)π(x)dx X = ϕ(x) π(x) X q(x) q(x)dx = ϕ(x)w(x)q(x)dx X = E q(ϕ(x )w(x ))

61 Önem örneklemesi Eğer q(x) ten örnekleme yapmak kolay ise, π(ϕ) ye yaklaşmak için önem örneklemesi yapılabilir. 1. X (1),..., X (N) i.i.d. q( ) örneklenir. 2. π(ϕ) ye şu şekilde yaklaşılır: π N IS(ϕ) := 1 N N ϕ(x (i) )w(x (i) ). i=1

62 Önem örneklemesi: Örnek (X, Y ) X Y değişkenlerinin ortak dağılımının yoğunluk fonksiyonu p X,Y (x, y) olsun p X,Y (x, y) = p X (x)p Y X (y x) Bazı durumlarda p Y (y) hesaplanmak istenebilir: p Y (y) = p X,Y (x, y)dx = p X (x)p Y X (y x)dx = E PX (p Y X (y X )) X Standard Monte Carlo kestirimi: p Y (y) 1 N X N p Y X (y X (i) ), i=1 Önem örneklemesi ile kestirim: X (1),..., X (N) p X (x). p Y (y) 1 N N i=1 p X (X (i) ) q(x (i) ) p Y X (y X (i) ), X (1),..., X (N) q(x).

63 Önem örneklemesi: en iyi q(x) q(x) yu seçme özgürlüğümüz var, o halde en iyileştirmeye çalışalım. ] V q [πis(ϕ) N = 1 Vq [w(x )ϕ(x )] N Varyansı en küçük yapacak q(x) q(x) = π(x) ϕ(x) π( ϕ ) Bu tercih ile elde edilen varyans: [ ] min V q π N q IS(ϕ) = 1 ( [π( ϕ )] 2 [π(ϕ)] 2). N

64 Öz-düzgeleyici önem örneklemesi Önem örneklemesi π(x) = π(x) Z p uygulanabilir. olduğunda ve sadece π(x) bilindiğinde yine Önem fonksiyonu E(w(X )) = w(x) := { π(x) q(x) q(x) >, q(x) =, π(x) q(x) q(x)dx = π(x)zπ q(x)dx = Zπ. q(x) E(w(X )ϕ(x )) = π(x) q(x) ϕ(x)q(x)dx = π(x)zπ ϕ(x)q(x)dx = π(ϕ)zπ. q(x) İki ifadeyi birbirine bölersek π(ϕ) = E(w(X )ϕ(x )) Z π = E(w(X )ϕ(x )). E(w(X ))

65 Öz-düzgeleyici önem örneklemesi π(ϕ) = E(w(X )ϕ(x )) Z π = E(w(X )ϕ(x )). E(w(X )) Hem pay hem payda için aynı örnekler kullanarak önem örneklemesi yapılabilir. π N IS(ϕ) = 1 N N i=1 ϕ(x (i) )w(x (i) ) 1 N N i=1 w(x (i) ), X (1),..., X (N) q( ). Öz-düzgeleyici önem ağırlıkları: W (i) = w(x (i) ) N j=1 w(x (j) ) Öz-düzgeleyici önem örneklemesi 1. i = 1,..., N için; X (i) q( ) üretilir ve w(x (i) ) = π(x (i) ) q(x (i) ) 2. i = 1,..., N için W (i) = w(x (i) ) Nj=1 w(x (j) ) hesaplanır. 3. π N IS(ϕ) = N i=1 W (i) ϕ(x (i) ) hesaplanır. hesaplanır.

66 Öz-düzgeleyici önem örneklemesi: Bayesci çıkarım Sonsal dağılım: π(x) = p X Y (x y) p X (x)p Y X (y x) Hesaplanmak istenen beklenti değeri E(ϕ(X ) Y = y) = p X Y (x y)ϕ(x)dx. Öz-düzgeleyici önem örneklemesi: 1. i = 1,..., N için; X (i) q( ) örneklenir ve önem ağırlıkları hesaplanır w(x (i) ) = p X (X (i) )p Y X (y X (i) ). q(x (i) ) 2. i = 1,..., N için; W (i) = w(x (i) ) Nj=1 w(x (j) ) hesaplanır. 3. E(ϕ(X ) Y = y) N i=1 W (i) ϕ(x (i) ) hesaplanır. Eğer q(x) = p X (x) seçilirse, önem fonksiyonu w(x) = p Y X (y x) olur.

67 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatlarını saptamak istediğimiz bir hedef (source) X = (X (1), X (2)): 3 2 sensor 1 1 r 1 x(2) source -1 r 2 sensor 2 r 3-2 sensor x(1) s 1, s 2, s 3 noktalarındaki üç sensör hedefe olan uzaklıklarını ölçüyor: r i = [(X (1) s i (1)) 2 + (X (2) s i (2)) 2 ] 1/2, i = 1, 2, 3 Ölçümler Y = (Y 1, Y 2, Y 3) gürültülü: Y i = r i + V i, V i N (, σy 2 ), i = 1, 2, 3.

68 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatla ilgili önsel kanı: X N ( 2, σ 2 x I 2), σ 2 x 1 Amaç: Y = y = (y 1, y 2, y 3) verildiğinde p X Y (x y) i bulmak ve E(X Y = y) yi hesaplamak. π(x) = p X Y (x y) p X (x)p Y X (y x) }{{} π(x) = φ(x; 2, σx 2 I 2) }{{} p X (x) 3 φ(y i ; r i, σy 2 ) i=1 } {{ } p Y X (y x) Öz-düzgeleyici önem örneklemesi q(x) = p X (x) alınarak yapılabilir: w(x) = π(x) q(x) = p X (x)p Y X (y x) = p Y X (y x) = p X (x) 3 φ(y i ; r i, σy 2 ) i=1

69 Hedef yer saptaması - dağılımlar, σ 2 x = 1, σ 2 y = 1 Likelihood term p(y 1 x) -6 Likelihood term p(y 2 x) -6 Likelihood term p(y 3 x) x(1) x(1) x(1) x(2) x(2) x(2) -6 Prior p X (x) posterior prior x likelihood x(1) -2 2 x(1) x(2) x(2)

70 Hedef yer saptaması histogram of 1 importance sampling estimates for E(X(1) y) 7 histogram of 1 importance sampling estimates for E(X(2) y) estimated values estimated values

71 Öz-düzgeleyici önem örneklemesi: q(x) in seçiminin önemi Bir başka Bayesci çıkarım örneği: X N (µ, σ 2 ), Y 1,..., Y n X = x i.i.d. Unif(x a, x + a). Sonsal dağılım: π(x) = p X Y (x y) φ(x; µ, σ 2 1 n ) I }{{} (2a) n (x a,x+a) (y i ) i=1 p X (x) }{{} p Y X (y x) Öncül ve sonsal dağılımlar (n = 1, a = 2, µ =, σ 2 = 1):.1.8 p X (x) p X (x) y 1,..., y 1 p X, Y (x, y) = p X (x)p (y x) Y X 5 p X, Y (x, y) y 1,..., y x x

72 Öz-düzgeleyici önem örneklemesi: q(x) in seçiminin önemi Sonsal dağılım: π(x) = p X Y (x y) φ(x; µ, σ 2 1 n ) I }{{} (2a) n (x a,x+a) (y i ) i=1 p X (x) }{{} p Y X (y x) Öz-düzgeleyici önem örneklemesi E(X Y = y) ı kestirmek için kullanılabilir. q(x) için ilk seçim: öncül dağılım q(x) = φ(x; µ, σ 2 ). Bu geçerli bir seçimdir, ama a küçük ve σ 2 büyük ise önem fonksiyonu w(x) = 1 (2a) n çoğu örnek için, çok az örnek için olmasına sebep olur. n I (x a,x+a) (y i ). i=1 1 (2a) n olacaktır. Bu da varyansın fazla

73 Öz-düzgeleyici önem örneklemesi: q(x) in seçiminin önemi Daha akıllı bir seçim sonsal dağılıma bakılarak yapılabilir. y max = max i y i ve y min = min i y i olsun. x (y max a, y min + a) x a < y i < x + a, i = 1,..., n Dolayısıyla, (y max a, y min + a) aralığının dışında vakit harcamamıza gerek yok. Mantıklı bir seçim: q(x) = Unif(x; y max a, y min + a). Bu seçimle φ(x;µ,σ 2 ) 1 (2a) n w(x) =, x 1/(2a+y min y (ymax a, y max) min + a), else

74 Öz-düzgeleyici önem örneklemesi: q(x) in seçiminin önemi importance distribution is prior: variance:.89 7 importance distribution is uniform: variance: estimated posterior mean estimated posterior mean

75 Markov zinciri Monte Carlo

76 Ayrık zamanlı Markov zinciri Başlangıç yoğunluk/kütle fonksiyonu ve geçiş olasılık çekirdeği yoğunluk/kütle fonksiyonu sırasıyla η(x) ve M(x x) olan bir Markov zinciri {X t} t 1: p(x 1:n) = η(x 1)M(x 2 x 1)... M(x n x n 1) n = η(x 1) M(x t x t 1) t=2 Geçmiş değerler verildiğinde, Markov zincirinin n zamanındaki değeri sadece n 1 zamandaki değerine bağlıdır. p(x n x 1:n 1) = p(x n x n 1) = M(x n x n 1).

77 Değişimsiz dağılım ve durağan dağılım X n in marjinal dağılımını özyinelemeli olarak yazabiliriz π 1(x) := η(x) π n(x) := M(x x )π n 1(x )dx Eğer verilen bir π(x) dağılımı π(x) = M(x x )π(x )dx şartını sağlıyorsa π(x), M ye göre değişimsizdir denir ve M nin belli şartları sağlaması durumunda π(x), M nin tek değişimsiz dağılımıdır, π(x), M nin durağan dağılımıdır, yani lim n πn π

78 Metropolis-Hastings

79 Markov zinciri Monte Carlo Örnekleme problemi: π(x) dağılımından örnekleme yapmak. Markov zinciri Monte Carlo (MZMC) yöntemleri, durağan dağılımı π olan bir Markov zincirinin tasarımına dayanır. Bu zincir yeterince uzun zaman çalıştırıldığında (mesela bir t b zamanından sonra) zincirin üretilen değerlerinin X tb +1, X tb +2,..., X T yaklaşık olarak π den geldiği kabul edilir. Bu değerler, π dağılıma göre olan beklenti değerlerini hesaplamaya yarar. 1 π(ϕ) T t b T ϕ(x t) t=t b +1

80 Metropolis-Hastings En çok kullanılan MZMC yöntemlerinden biri Metropolis-Hastings yöntemidir. X n 1 = x verildiğinde yeni değer için q( x) koşullu dağılımından çekilen bir örnek yeni değer olarak önerilir, bu değer belli bir olasılığa göre kabul edilir, edilmezse eski değerde kalınır. X n 1 = x verildiğinde, Yeni değer için x q( x) önerilir. X n in değeri { α(x, x ) = min 1, π(x } )q(x x ) π(x)q(x x) olasılıkla X n = x alınır, yoksa önerilen değer reddedilir ve X n = x alınır.

81 Metropolis-Hastings: doğruluk Metropolis-Hastings in geçiş matrisi (çekirdeği): [ ] M(x x) = q(x x)α(x, x ) + 1 q(x x)α(x, x ) δ x(x ). X }{{} x te reddetme olasılığı π, M için ayrıntılı denge koşulunu sağlar: Herhangi A, B X kümeleri için M(x x)π(x)dxdx = M(x x)π(x)dxdx A B (X ayrıksa, her x, x için M(x x)π(x) = M(x x )π(x ).) π, M için ayrıntılı denge koşulunu sağlarsa, M tersinebilirdir ve π, M in değişimsiz dağılımıdır. B A

82 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatlarını saptamak istediğimiz bir hedef (source) X = (X (1), X (2)): 3 2 sensor 1 1 r 1 x(2) source -1 r 2 sensor 2 r 3-2 sensor x(1) s 1, s 2, s 3 noktalarındaki üç sensör hedefe olan uzaklıklarını ölçüyor: r i = [(X (1) s i (1)) 2 + (X (2) s i (2)) 2 ] 1/2, i = 1, 2, 3 Ölçümler Y = (Y 1, Y 2, Y 3) gürültülü: Y i = r i + V i, V i N (, σy 2 ), i = 1, 2, 3.

83 Bayesci çıkarım örneği: Hedef yer saptaması Koordinatla ilgili önsel kanı: X N ( 2, σ 2 x I 2), σ 2 x 1 Amaç: Y = y = (y 1, y 2, y 3) verildiğinde p X Y (x y) i bulmak ve E(X Y = y) yi hesaplamak. π(x) = p X Y (x y) p X (x)p Y X (y x) }{{} π(x) = φ(x; 2, σx 2 I 2) }{{} p X (x) 3 φ(y i ; r i, σy 2 ) i=1 } {{ } p Y X (y x) Metropolis-Hastings algoritması q(x x) = φ(x ; x, σqi 2 2) alınarak yapılabilir: { α(x, x ) = min 1, p X (x )p Y X (y x )q(x x } { ) = min 1, p X (x )p Y X (y x } ) p X (x)p Y X (y x)q(x x) p X (x)p Y X (y x)

84 Hedef yer saptaması - dağılımlar, σ 2 x = 1, σ 2 y = 1 Likelihood term p(y 1 x) -6 Likelihood term p(y 2 x) -6 Likelihood term p(y 3 x) x(1) x(1) x(1) x(2) x(2) x(2) -6 Prior p X (x) posterior prior x likelihood x(1) -2 2 x(1) x(2) x(2)

85 Hedef yer saptaması için Metropolis-Hastings: örnekler 6 Samples for X(1) 6 Samples for X(2) 4 4 X t (1) 2 X t (2) iterations Histogram of samples for X(1) x iterations Histogram of samples for X(2) x

86 Hedef yer saptaması için Metropolis-Hastings: ilk 2 örnek -6 first 2 samples -4-2 x(1) x(2)

87 Gibbs örneklemesi

88 Gibbs örneklemesi Bir diğer çok sık kullanılan MZMC yöntemi de Gibbs örneklemesidir. Uygulanması için X = (X (1),..., X (d)) değişkeni çok boyutlu olmalı, tam koşullu π k ( X (1),... X (k 1), X (k + 1),..., X (d)) dağılımlarından örnekleme yapılabilmeli. Gibbs örneklemesi: X 1 = (X 1(1),..., X 1(d)) ile başla. n = 2, 3,... için, k = 1,..., d için X n(k) π k ( X n(1),..., X n(k 1), X n 1(k + 1),..., X n 1(n)).

89 Gibbs örneklemesi: doğruluk Gibbs örneklemesi: X 1 = (X 1(1),..., X 1(d)) ile başla. n = 2, 3,... için, k = 1,..., d için X n(k) π k ( X n(1),..., X n(k 1), X n 1(k + 1),..., X n 1(n)). Bu algoritmanın döngüsünün k ıncı adımına karşılık gelen geçiş matrisi (çekirdeği) M k : M k (x, y) = π k (y k x k )δ x k (y k ) Burada x k = (x 1:k 1, x k+1:d ) y k = (y 1:k 1, y k+1:d ). Bütün bür döngüye karşılık gelen geçiş matrisi (çekirdeği) M = M 1M 2... M d Her bir M k nın ayrıntılı denge koşulunu sağladığı ve π ye göre tersinirliği gösterilebilir.

90 Sıralı Monte Carlo

91 Büyüyen boyutlarda sıralı çıkarım {X n} n 1, her biri X ten değer alan rassal değişkenler dizisi olsun. X 1:n için {π n(x 1:n)} n 1 dağılım dizisi verilmiş olsun. Her biri ϕ n : X n R olan bir {ϕ n} n 1 fonksiyon dizisi verilsin. Amaç: Sıralı çıkarım π n(ϕ n) = E πn [ϕ n(x 1:n)] = π n(x 1:n)ϕ n(x 1:n)dx 1:n, n = 1, 2,... integrallerine sıralı bir şekilde nasıl yaklaşabiliriz?

92 Örnek: Saklı Markov modelleri (SMM) SMM, biri gizli ve Markov zinciri olan, diğeri gözlenen iki süreçten oluşur. {X t X, Y t Y} t 1 {X t} t 1 başlangıç ve geçiş yoğunlukları η(x) ve f (x x) olan saklı Markov zinciri X 1 η(x), X t (X 1:t 1 = x 1:t 1) f ( x t 1), {Y t} t 1, {X t} t 1 ye koşullu bağımsız süreç: Y t ({X i } i 1 = {x i } i 1, {Y i } i t = {y i } i t ) g( x t).

93 Örneğe örnek: Hedef takip V t = (V t(1), V t(2)): t anındaki hız vektörü P t = (P t(1), P t(2)): t anındaki pozisyon vektörü X t = (V t, P t): t anındaki hız ve pozisyon Y t N (( S 1 P t, S 2 P t, S 3 P t ), σy 2 I 3): 3 sensörlerden alınan gürültülü uzaklık ölçümleri. X t bir Markov zinciri olarak modellenebilir. Bu durumda {X t, Y t} bir SMM oluşturur.

94 SMM: hedef sonsal dağılımlar Ortak dağlım: n n p(x 1:n, y 1:n) = η(x 1) f (x t x t 1) g(y t x t) t=2 t=1 Gözlemlerin marjinal (tekil) dağılımı p(y 1:n) = p(x 1:n, y 1:n)dx 1:n. X n x 1:n nin y 1:n e olan sonsal dağılımı: p(x 1:n y 1:n) = p(x1:n, y1:n) p(y 1:n) p(x 1:n, y 1:n) Amaç: π n(x 1:n) = p(x 1:n y 1:n) ve E πn [ϕ n(x 1:n)] e yaklaşmak.

95 Sıralı önem örneklemesi

96 Sıralı önem örneklemesi E πn [ϕ n(x 1:n)] için önem örneklemesi yapmak istiyoruz. Bunun için q n(x 1:n) ye ihtiyacımız var, bu durumda ağırlık fonksiyonları w n(x 1:n) = πn(x1:n) q n(x 1:n). q n yi sıralı olarak oluşturabiliriz: q n(x 1:n) = q 1(dx 1) n q i (x i x 1:i 1 ) Bu durumda ağırlık fonksiyonları özyinelemeli olarak yazılabilir: i=1 π n(x 1:n) w n(x 1:n) = w n 1(x 1:n 1). π n 1(x 1:n 1)q n(x n x 1:n 1) }{{} w n n 1 (x 1:n ) π n(x 1:n) = π n(x 1:n)/Z n ve π n(x 1:n) biliniyorsa, W (i) n = N i=1 w n(x (i) 1:n ) wn(x (i) 1:n ).

97 Sıralı (öz-düzgeleyici) önem örneklemesi Diyelim ki π n(x 1:n) = π n(x 1:n)/Z n ve π n(x 1:n) biliniyor. Öz-düzgeleyici önem örneklemesi sıralı bir şekilde uygulanabilir: n = 1, 2,... için; i = 1,..., N için, n = 1 ise X (i) 1 q 1( ) üretilir, w 1(X (i) 1 ) = π 1(X (i) n 2 ise X n (i) q n( X (i) (i) 1:n 1 ) üretilir, X 1:n oluşturulur, ve w n(x (i) (i) 1:n ) = wn 1(X 1:n 1 ) Öz-düzgeleyici önem ağırlıkları: i = 1,..., N için W (i) n = N i=1 1 ) q 1 (X (i) hesaplanır. 1 ) (i) = (X 1:n 1, X n (i) ) π n(x 1:n) π n 1(x 1:n 1)q n(x n (i) X (i) 1:n 1 ). w n(x (i) 1:n ) wn(x (i) 1:n ).

98 SMM için sıralı önem örnekleyicisi Hedef dağılımlar: π n(x 1:n) π n(x 1:n) = p(x 1:n, y 1:n) p(x 1:n, y 1:n) = η(x 1)g(y 1 x 1) p(x 1:n y 1:n) özyinelemeli olarak yazılabilir: n f (x t x t 1)g(y t x t) t=2 p(x 1:n, y 1:n) = p(x 1:n 1, y 1:n 1)f (x n x n 1)g(y n x n) q n sıralı olarak gözlemlere göre ayarlanabiliir. Örneğin, Önem ağırlıkları: q n(x 1:n y 1:n) = q(x 1 y 1) n q(x t x t 1, y t) t=2 = q n 1(x 1:n 1 y 1:n 1)q(x n x n 1, y n) w n(x 1:n) = w f (xn xn 1)g(yn xn) n 1(x 1:n 1). q(x n x n 1, y n)

99 Parçacık süzgeci

100 Ağırlık bozulması sorunu n arttıkça çok az sayıda X (i) (i) 1:n nin önem ağırlıkları wn(x 1:n ) diğerlerininkine göre çok büyük olacaktır. Dolayısıla, W n (i) öz-düzgelenmiş ağırlıkarindan çok azı 1 e yakın olacak, diğerleri a yaklaşacaktır. Limitte, W n (i) lerden bir tanesi 1, diğerleri olacaktır. Bu soruna, ağırlık bozulması sorunu denir.

101 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

102 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

103 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

104 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

105 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

106 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

107 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

108 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

109 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

110 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

111 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

112 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

113 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

114 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

115 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

116 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

117 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

118 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

119 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - before weighting: t = sample values time step

120 Ağırlık bozulması sorunu: Örnek Doğrusal Gauss saklı Markov modeli η(x) = φ(x;, σ), 2 f (x x) = φ(x ; ax, σx 2 ), g(y x) = φ(y; bx, σy 2 ) Sequential importance sampling - after weighting, t = sample values time step

121 Resampling: Yeniden örnekleme Parçacık süzgeci In order to address the weight degeneracy problem, a resampling step is introduced at iterations of the SIS method, leading to the sequential importance sampling resampling (SISR) algorithm. Ağırlık Generally, bozulması we can sorununu describe resampling önlemek için, as a method sıralı önem by which örneklemesinin a weighted empirical her bir adımına distribution yeniden is replaced örnekleme with anuygulanır. equally weighted distribution, where the samples of the equally weighted distribution are drawn from the weighted empirical distribution. X (i) 1:n 1 X (i) 1:n 1 i =1 i =2 i =3 i =4 i =5 i =6 Figure 6.1: Resampling in SISR. Circle sizes represent weights. Diyelim ki n 1 zamanında X (1) 1:n 1,..., X (N) 1:n 1 örneklerimiz var ve bunların öz-düzgelenmiş In sequential Monte ağırlıkları Carlo for W { (1) n (x 1:n )} n 1,resamplingisappliedto n N 1(x 1:n 1 )before n 1,..., W (N) n 1. proceeding to approximate n (x 1:n ). Assume, again, that n 1 (x 1:n 1 )isapproximatedby Bu örneklerden, ağırlıkları olasılıklarıyla NX N kere bağımsız örnekler çekilir: n N 1(x 1:n 1 )= W (i) n 1 (x X (i) 1:n 1 ), 1:n 1 (i) i=1 P( X 1:n 1 = X (j) We draw N independent samples X e 1:n 1 ) = W (j) (i) n 1, i, j = 1,..., N. 1:n 1, i =1,...,N from n N 1, suchthat P( X e (i) 1:n 1 = X (j) (1) 1:n 1) =W (j) (N) Artık yolumuza 1/N eşit ağırlıklı X 1:n 1,. n 1,.., i, X j 1:n 1 =1,...,N. ile devam ediyoruz. Obviously, this corresponds to drawing N independent samples from a multinomial distribution, therefore süzgeci: thissıralı particular örnekleme resampling yöntemine scheme is called yeniden multinomial örnekleme resampling. adımının Now Parçacık eklenmesiyle the resampledelde particles edilen formyönteme an equallydenir. weighted discrete distribution

122 SMM için parçacık süzgeci Hedef dağılımlar: π n(x 1:n) π n(x 1:n) = p(x 1:n, y 1:n) n p(x 1:n, y 1:n) = η(x 1)g(y 1 x 1) f (x t x t 1)g(y t x t) t=2 Parçacık süzgeci: n = 1 için; i = 1,..., N için X (i) 1 q( y 1) örneklenir ve W (i) (i) η(x 1 1 )g(y 1 X (i) 1 ) q(x (i) 1 y 1) n = 2, 3,... için, (1) (N) Yeniden örnekleme ile X 1:n 1,..., X 1:n 1 üretilir: i = 1,..., N için, X n (i) oluşturulur. Bu parçacıkların ağırlıkları (i) P( X 1:n 1 = X (j) 1:n 1 ) = W (j) n 1, i, j = 1,..., N. hesaplanır. (i) (i) (i) q n( X n 1, yn) örneklenir, X 1:n = ( X 1:n 1, X n (i) ) W (i) n (i) (i) f (X n X n 1 q(x n (i) (i) )g(yn X n ) (i) X n 1, yn).

123 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

124 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

125 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

126 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

127 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

128 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

129 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

130 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

131 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

132 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

133 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

134 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

135 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

136 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

137 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

138 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

139 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

140 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

141 Parçacık süzgeci 3 Sequential importance sampling - resampling, before weighting t = sample values time step

142 Parçacık süzgeci 3 Sequential importance sampling - resampling, after weighting t = sample values time step

143 Yeniden örnekleme: Yol bozulması sorunu Ağırlık bozulması sorununu yeniden örnekleme ile giderilebilir. Ancak yeniden örnekleme yol bozulması sorunu yaratır. Art arda yeniden örneklemeler sebebiyle önceki zamanlara ait parçacık sayısı gitgide düşer.