Stoasti Süreçler Bir stoasti Süreç ya da rastgele süreç şöyle tanımlanabilir. Zamanla değişen bir rastgele değişendir. Rastgele değişenin alacağı değer zamanla değişmetedir. Deney çıtılarına atanan rastgele bir zaman fonsiyonudur. Örne: X t cost şelinde tanımlanan süreli zaman sinyalinde rastgele değişendir ve alacağı değer bir madeni paranın atılması ile belirlenmetedir. 0, Tura gelirse, Yazı gelirse X t nin değeri önceden bilenemediğinden X t rastgeledir. X t, rastgele bir deneyin çıtılarına atanan bir sayı olmayıp bir zaman fonsiyonu olduğundan Örne Uzay: X t rastgele değişen değildir. x t, x t cos t, cost Her hangi bir t zamanı için X t bir rastgele değişendir ve en fazla ii değerden birini alabilir: cos t ve. cost
Stoasti Süreçler Örne: Rastgele darbe genişliğine sahip are dalga treni: X t nin değeri önceden belirlenemediği için X t rastgeledir. X t bir zaman fonsiyonu olduğu için bir rastgele değişen değildir. Xt 0 ya da A olası değerlerini alabilen bir Her hangi bir t zamanı için rastgele değişendir. Burada örne uzay sonsuz tane zaman fonsiyonunu içermetedir.
Stoasti Süreçler 3 X t nin her hangi bir t zamanındai değeri rastgele değişendir. X t nin bir gerçelenişi (realization) bir zaman fonsiyonudur ve örne fonsiyon ya da üye fonsiyon adını alır. Bir sayı değildir. Bu durumda örne uzay (toplulu (ensemble)) zaman fonsiyonları topluluğudur. Farlı zaman anları için X t ço farlı dağılımlara sahip olabilir.
Stoasti Süreçler 4 Rastgele Süreçlerin Karaterizasyonu Xt bir rastgele değişen olduğundan Xt E g X t X t g x t f x t dx t, X t süreli i i g x t P X t x t, X t esili i nin ortalaması, iinci momenti ve varyansı aşağıdai gibi elde edilir. E X t xf x dx X t E X t x f x dx X t Ortalama Fonsiyonu İinci Moment Fonsiyonu x E X t f xdx E X X t t E X t X t Burada Varyans Fonsiyonu x xt Toplulu Ortalaması
Stoasti Süreçler 5 Rastgele Süreçlerin Karaterizasyonu X t sürecinde her hangi ii zaman anında elde edilen ii rastgele değişen Xt ve Xt için orta olasılı yoğunlu fonsiyonu f x, x tanımlanabilir.,,, E g X t X t g x x f x x dx dx X t X t Özilinti Fonsiyonu (Autocorrelation Function): RX t, t E X t X t Otoovaryans Fonsiyonu (Autocovariance Function): C X t, t E X t E X t X t E X t X, R t t E X t E X t İlinti Katsayısı (Correlation Coefficient): C t, t X t, t X t X t X t X t
Stoasti Süreçler 6 Rastgele Süreçlerin Karaterizasyonu Örne: Rastgele faza sahip bir sinüsün ortalama ve özilintisini bulunuz. Aşağıda verilen sinüs fonsiyonun ele alalım. X t Asin w t 0 w bilinen sabitler olup, Burada A ve 0 0 sahip rastgele değişendir. f X t nin ortalama ve özilintisi:, 0, diğer yerler aralığında düzgün dağılıma sin sin E X t E A w t E g A w t f d 0 0 A A sinw0t d cosw0t 0 Ortalama t ye bağımlı değil.
Stoasti Süreçler 7 Rastgele Süreçlerin Karaterizasyonu Örne (Devam): RX t t E X t X t E A w0t w0 w0t sin sin cos cos A RX t, t E cosw0 E cosw0t w0 A cos 0 Sadece zaman farı 'ya bağımlı, sin sin w R
Stoasti Süreçler 8 Rastgele Süreçlerin Sınıflandırılması X t rastgele süreci için t için X t süreli rastgele değişen ise Her sabit X t SÜREKLİ rastgele süreçtir. Her sabit X t esili rastgele değişen ise X t KESİKLİ rastgele süreçtir. Bütün marjinal ve orta OYF ler zaman orijini seçimine bağlı değilse, bir başa deyişle bütün arateristiler zamandan bağımsız ise KATI ANLAMDA DURAĞAN süreç denir (Strictly Stationary Process). Sürecin ortalama ve özilintisi zaman bağımlı değilse GENİŞ ANLAMDA DURAĞAN süreç denir (Wide Sense Stationary (WSS) process). E X t zaman değişeni t'ye bağımlı değil t için R t, t R t t R her t ve t için X X X Sürecin arateristileri zaman bağılı ise süreç durağan değildir denir (Nonstationary process).
Stoasti Süreçler 9 Rastgele Süreçlerin Sınıflandırılması X t rastgele süreci için Sürecin BEYAZ (White Process) olması aşağıdai gibi eşdeğer tanımlardan her hangi biri ile verilmetedir. o Farlı zaman anları için sürecin değerleri ilintisizdir. o Farlı zaman anları için otoovaryans her zaman sıfırdır. o Farlı zaman anları için özilinti, belenen değerlerin çarpımı olara yazılabilmetedir. CX t, t 0 ya da RX t, t E X t E X t t t Her örne fonsiyon xt için sürecin toplulu ortalaması (yani ortalaması) zaman ortalamasına eşit ise süreç ERGODİK tir denir. T E X w, t lim xtdt, verilen bir w T T T
Stoasti Süreçler 0 IID Rastgele Süreç: Eğer esili zaman süreci değişenler dizisinden oluşuyor ise bu sürece IID Rastgele Süreç denir. Bir Boyutlu Rastgele Yürüyüş: D n, X n bağımsız ve özdeşçe dağılmış rastgele değerini alabilen rastgele değişenlerin IID rastgele süreci olsun. Bu S n bir parçacığın n. andai pozisyonu S n bir boyutlu rastgele yürüyüş için bir örnetir. duruma arşılı gelen toplama süreci olsun. Rastgele süreç sürecinin bir örne fonsiyonu aşağıdai gibidir. S n
Stoasti Süreçler Winer Süreci: Wiener rastgele süreci (ya da Wiener-Levy ya da Brownian Hareeti) rastgele yürüyüşün limit formudur. Her saniyede her yönde eşit olasılığa (equiprobable) sahip, bağımsız, genlili adımlar atılıyor olsun. Süreli zaman süreci X t, t anına adar olan adımların toplamı olma üzere t X bir basama fonsiyonudur ve her saniyede yapar. T anında süreç n t tane sıçrama yapmış olacatır. X t nin ortalama ve varyansı t X t h D D D hs n 0 h h genlili sıçrama E X t he S n var X t h nvar D h n, var D 4p p, p n n
Stoasti Süreçler Hem adımların genliğini hem de adımlar arasındai zamanın limiti alınara sıfıra görütürülsün. Özel olara bir sabit olma üzere h şelinde tanımlanırsa ve h 0, 0 X t olsun. götürüldüğünde ortaya çıan süreç X t sürecinin ortalama ve varyansı olur. E X t 0, var X t t X t sürecine Winer Süreci denir ve t=0 da sıfır değerini alır. 0 olur. Dolayısı ile durumunda n t X t sonsuz tane rastgele değişenin toplamını göstermeye başlar. Merezi limit teoremi ullanılara X t nin OYF si f x exp x t X t t
Wiener süreci beyaz gürültü sahiptir. Stoasti Süreçler nt ile aşağıda verilen şeilde bir ilişiye t 0 w t n d E n t n t t t Marov Süreci: Marov süreci aşağıda verilen Marov özelliği ile tanımlanır. p x t x, t p x t x t, t t t anına adar olan geçmiş, sürecin t anındai değeri ile tamamen araterize edilebilir. Şu an biliniyor ise gelece geçmişten bağımsızdır. Wiener süreci Marov özelliği gösterir ve n, t, t, Xt t t X t X t n d den bağımsızdır. Beyaz gürültü ile sürülen bir sistemin durumu Marov sürecidir. xt f t, xt, nt 3
4 Parametre elimesi zamanla değişmeyen salar ya da vetör değerli nicelileri tarif etmetedir (Bu ders apsamında). Amaç x parametresini verilen ölçümleri ullanara estirmetedir. z j h j, x, w j, j,, Şelinde tanımlanan ölçümlerin varsayılmatadır ve bu ölçümlerin bir fonsiyonu w j gürültüsü varlığında elde edildiği j xˆ Z xˆ xˆ, Z, Z z j x parametresini bir anlamda estirmetedir. ˆx fonsiyonuna estirici ve fonsiyonun değerine estirim denir. Burada Kestirim hatası: x x xˆ
5 Parametre estirimi için temelde ii model vardır: i) Kestirilme istenen parametre bilinmeyen bir sabit: Bayesçi olmayan yalaşım ya da Fisher yalaşımı. ii) Kestirilme istenen parametre önsel OYF si bilinen bir rastgele değişen: Bayesçi yalaşım. Bayesçi Yalaşım: pz x px px Z pz x px pz c Burada c normalizasyon sabitidir ve parametrenin sonsal OYF si ullanılara parametrenin estirimi gerçeleştirilebilir. Bayesçi Olmayan Yalaşım (Lielihood Function Approach): x p Z x ya da x p Z x Z Olabilirli fonsiyonu parametrenin estirimi için ullanılmatadır.
6 En Ço Olabilirli Kestiricisi (Maximum Lielihood Estimator MLE) Z ML xˆ Z argmax x argmax p Z x Burada x bilinmeyen bir sabittir ve x ˆML fonsiyonudur. Dolayısı ile x ˆML x x Z rastgele değişenler dizisi Z nin Z rastgele değişendir. Olabilirli eşitliğinin çözümü MLE yi verecetir. dz x dp Z x 0 dx dx En Ço Sonsal Kestirici (Maximum a Posteriori Estimator MAP) MAP xˆ Z argmax p x Z argmax p Z x p x x MAP estirimi Z ölçümlerini ve x in gerçelenişine bağlı olduğunda rastgele değişendir. x
7 Gauss Önseli Varlığında MLE vs. MAP Kestirici Te bir ölçümün olduğu durum ele alınsın. z x w, w ~ N 0, İl olara x in bilinmeyen bir sabit olduğu varsayımı için MLE elde edelim. z x x p z x N z; x, exp Buradan ML xˆ Z argmax x z olara elde edilir. Parametrenin rastgele olduğu ve önsel dağılımının ;, 0 varsayılsın. Bu durumda sonsal dağılım x N x x olduğu
8 Gauss Önseli Varlığında MLE vs. MAP Kestirici p z p Z x p x z x x x p x Z exp c 0 c 0 p z İi Gauss OYF nin çarpımı yine bir Gauss OYF dir. z x p x Z N x; x, exp 0 0 x x z x z x 0 0 0 0 0
9 Gauss Önseli Varlığında MLE vs. MAP Kestirici Sonsal dağılım masimize edilirse MAP estiricisi elde edilir ve aşağıdai gibi olur. x ˆMAP Z x Sonuç: Tamamen Gauss dağılımı ile modellenen bu problem için MAP estiricisi ölçüm ve önsel dağılımın ortalamasının ağırlılı birleşimdir. MLE olabilirli fonsiyonunun tepesini veren z değeridir. Fonsiyonun modudur. MAP estiricisinde ölçüm ve önsel dağılımın ortalaması varyansları ile ters orantılıdır. x x x z 0 0 0 0 0 0 Enformasyon z
0 Düzgün Dağılımlı Önsel Varlığında MAP Kestirici (Diffuse Prior) px, x, 0 faat üçü bir değer Burada Z x p x p z p p x Z, Toplam olasılı teoreminden p z p Z x p x dx p Z x dx g Z elde edilir.. g parametre x e bağlı değildir. p Z x p x p Z x px Z pz x p z g Z c Dolayısı ile MAP xˆ Z argmax p x Z argmax p Z x ML xˆ Z olur. x x
Yeterli İstatisti ve Olabilirli Fonsiyonu Eğer ilgilenilen parametrenin olabilirli fonsiyonu aşağıdai gibi çarpım şelinde yazılabiliyorsa x pz x f g Z, x fz x in ML estirimi sadece gz fonsiyonuna bağlıdır. Bu durumda gz fonsiyonuna yeterli istatisti denir. Yeterli istatisti parametreye bağlı değildir ve verinin parametre haında içerdiği bilgiyi özetler. Örne: z j x w j, j,, salar ölçümleri ele alınsın. Gürültü bileşenleri IID olsun ve dağılımları sıfır ortalamalı varyanslı Gauss dağılımı olsun. w j ~ N 0,
Örne (Devam): Bu durumda ölçümlerin dağılımı z j ~ N x, olur. z j ölçümleri x oşullu olara aralarında bağımsızdırlar. Bu durumda x in ölçümler türünden olabilirli fonsiyonu x p Z x p z,, z p z j x N z j; x, cexp z j x j j j Biraz matematisel manipülasyon yapılırsa olabilirli fonsiyonu ii fonsiyonun çarpımı şelinde yazılabilmetedir.
Örne (Devam): x cexp z j x cexp z j z j x x j j j j x cexp z j exp x z j j j Burada f Z fg Z, x f Z c z j j exp f g Z x x x z j j g Z z j z, exp j 3
4 Örne (Devam): Yeterli istatistiğin tanımına göre gz yeterli istatistitir. Burada olabilirli fonsiyonu masimum yapılma istenirse x d df g Z, x 0 0 dx dx x x d exp x z j d ln exp x z j j j x z 0 dx dx Buradan olara elde edilir. ML xˆ z j z j
5 En Küçü Kareler Kestiricisi (Least Squares Estimator LS) Salar ve doğrusal olmayan ölçümler aşağıdai gibi tanımlansın. z j h j, x w j, j,, x parametresinin LS estiricisi LS ˆ argmin, x z j h j x x j Burada tarif edilen problem doğrusal değildir. Eğer h fonsiyonu doğrusal ise problem doğrusal LS estirimi adını alır. Eğer gürültü bileşenleri rastgele değişeleri ise LSE ile MLE aynı olur. w j ler sıfır ortalamalı ~ 0, w j N varyanslı IID Gauss
6 En Küçü Kareler Kestiricisi (Least Squares Estimator LS) z j ~ N h j, x,, j,, x in olabilirli fonsiyonu aşağıdai gibi yazılır. x p Z x p z,,z x N z j h j x c z j h j x j j ;,, exp, Olabilirli fonsiyonunun masimizasyonu üstel ifadenin minimizasyonu anlamına gelir ve LS estiricisi ile aynı ifade elde edilir.
7 En Küçü Ortalama Kare Hata Kestiricisi (Minimum Mean Square Error Estimator MMSE) ˆ MMSE xˆ Z argmin E x x Z x MMSE estiricisi için çözüm parametre e göre türev alınıp sıfıra eşitlenere bulunabilir. de xˆ x Z E xˆ x Z xˆ Ex Z 0 dxˆ MMSE xˆ Z E x Z xp x Z dx Koşullu Belenen Değer Vetör rastgele değişenler için de aynı sonuç elde edilebilir: T E x x x x Z E x x Z x Ex Z ˆ ˆ ˆ ˆ ˆ x 0 MMSE xˆ Z E x Z xp x Z dx Koşullu Belenen Değer ˆx
8 LS Kestiricisi: Te Ölçüm Durumu z x w argmin LS xˆ Z z x z LS Kestiricisi: Ço Ölçüm Durumu z j x w j, j,, j x w j ~ N 0,, j,, ve IID LS xˆ Z argmin z j x x j argmax cexp z j x x Z x j j z j ML ˆ
9 Gauss Gürültü varlığında MMSE vs. MAP Daha öncei örnete sonsal dağılım elde edilmişti. p x z exp x z Sonsal OYF nin yapısından da anlaşıldığı gibi bu Gauss OYF nin ortalama değeri z dir ve aynı zamanda moduna da eşittir (tepe değeri aldığı yer). Dolayısı ile MMSE xˆ E x z z xˆ olur. Gauss OYF nin modu ve ortalama değeri aynı olduğundan MAP ve MMSE estiriciler aynıdır. MAP