Görüntü Stabilizasyonu İçin Paralel İşlev Gören İki Kalman Filtresiyle İşlem Gürültü Varyansının Adaptifleştirilmesi

Transkript

1 Görütü Stabilizasyou İçi Paralel İşlev Göre İki Kalma Filtresiyle İşlem Gürültü Varyasıı Adaptifleştirilmesi Eylem Yama, Sarp Ertürk Kocaeli Üiversitesi Elektroik ve Haberleşme Müh. Bölümü Özetçe Görütü stabilizasyouu, istemeye kamera hareketii sebep olduğu düzesiz titreşimleri yok etmek amacıyla amatör bir kamerama tarafıda yapıla veya hareket halideki araçlarda yapıla çekimlerde uygulamaları bulumaktadır. Görütü çerçevesii kaybetmemek içi uzu süreli kamera hareketi koruarak, istemeye ai değişimli hareketler stabilizasyo işlemi ile bastırılmaktadır. Bu bildiride suula stabilizasyo sistemide, paralel olarak işlev göre ve biri referas olarak kullaıla iki kalma filtresi ile işlem gürültüsüe daha etki bir adaptiflik kazadırılarak kalma filtreli stabilizasyo sistemii daha verimli çalışması sağlamıştır.. Giriş Görütü stabilizasyouu, amatör bir kamerama tarafıda yapıla veya hareket halideki araçlarda yapıla çekimlerde, görütülü cep telefoları ve robot-kamera uygulamaları gibi istemeye kamera hareketii sebep olduğu düzesiz titreşimleri gözlediği alalarda uygulamaları mevcuttur. Kaymaı sebep olduğu titreşimleri arıdırılması iki-boyutlu görütü dizii stabilizasyou, kaymaı yaıda rotasyo ve zoomu sebep olduğu düzesizlikleri arıdırılması üç-boyutlu görütü dizii stabilizasyou olarak adladırılmaktadır. Video görütüleride, kamera hareketide dolayı oluşa ve çerçevei yer değişimi şeklide gözlee global hareket ve çerçeve içideki bir objei hareketi olarak belire yerel hareket olmak üzere iki çeşit hareket şekli gözlemektedir. Görütü stabilizasyou açısıda global hareketi, kameraı yer değişimide dolayı gerçekleşe "istee" ve titreşimlerde dolayı gözlee "istemeye" hareket bileşeleri mevcuttur. Görütü çerçevesii kaybetmemek içi uzu süreli kamera hareketi koruarak, istemeye ai değişimli hareketler stabilizasyo işlemi ile bastırılmaktadır []. Görütü dizii stabilizasyo (GDS) sistemii iki parçaya ayırmak mümküdür: )hareket tahmi sistemi, )hareket düzeltme sistemi. Hareket tahmi sistemi GDS sistemi içi öemlidir. Çükü bu aşamada yapılabilecek bir hata ayı zamada doğruda hareket düzeltme sistemii de etkileyecektir Hareket tahmi işlemi içi geel olarak blok karşılaştırması, FFT tabalı faz korelasyou ve özellik karşılaştırması kullaılmaktadır. Hareket tahmi sistemide, görütü dizii içi, global hareket vektörleri bir öceki çerçeveye göre hesaplamaktadır. Herhagi bir çerçevei birici çerçeveye göre gösterdiği toplam yer değişimi, o görütü ve oda öceki tüm görütüleri global hareket

2 vektörleri toplamıa eşittir. Hareket düzeltmesi işlemi içi hareket vektörü etegrasyou ve çerçeve koum düzeltmesi öerilmiştir []. Kalma filtresi kullaarak çerçeve koum düzeltmesi ile gerçekleştirile görütü stabilizasyou sistemi [3] de taıtılmış ve adaptif işlem gürültüsü ile etki bir stabilizasyo gerçekleştirilirke düzeltme vektörüü izi verile azami değeri aşmasıı öüe geçilebildiği de [4] de gösterilmiştir. Bu bildiride suula stabilizasyo sistemide, paralel olarak işlev göre ve biri referas olarak kullaıla iki kalma filtresi ile işlem gürültüsüe daha etki bir adaptiflik kazadırılarak kalma filtreli stabilizasyo sistemii daha verimli çalışması sağlamıştır.. Kalma Filtresi İle Görütü Stabilizasyou Kalma Filtresi, doğrusal diamik ve doğrusal gözlemleme deklemleri ile taımlamış bir sistemi ayrık zamalı durum tahmiii gerçekleştirmektedir [5]. Sabit hızlı bir kamera modeli ile Kalma filtresi kullaarak görütü dizii stabilizasyou ayrıtılı olarak [3] ve [4] de gösterilmiştir. Bua göre çerçeve koumlarıı orijial değeri ile Kalma filtrelemiş değeri arasıdaki fark olarak bulua düzeltme vektörüe göre her çerçevei stabilizasyo sağlamış kouma getirilmesi sağlamaktadır... Kalma Filtresii Görütü Stabilizasyou içi kullaılması Kalma Filtresi, Gauss sistem gürültüsüe bağımlı ola doğrusal diamik ve Gauss ölçüm gürültüsüe bağımlı ola doğrusal gözleme sistemleriyle taımlamış, ayrık zamalı bir işlemi durum tahmiii gerçekleştirmektedir []. Kalma filtresi matematiksel özellikleri bakımıda video işlemede avataj sağlayabilmektedir. Kalma filtresi gerçek zamalı olarak çalışmaktadır. Kalma filtre yapısı içeriside taımlamış işlem gürültüsü ve ölçüm gürültüsü sayeside, sistem modeli tam olarak sistemi davraışıı temsil etmese dahi, Kalma filtresi aldığı giriş ölçümlerie göre davraışıı ayarlayabilmektedir. Video diziideki hareketli bir cismi hareket tahmiii yapılmasıı zor olduğu örtme problemi (öreği bir cisim çerçeve girmesi veya çerçevede çıkması, yada arka plada öcede gözükmeye bir ala ortaya çıkması) gibi olaylarda Kalma Filtresi, cismi bir öceki çerçevedeki yörügesie dayaa bir hareket tahmii yapabilmektedir. Kalma Filtresi, x(t+) = F * x(t) + w(t) eşitliğide Gauss işlem gürültüsü (w(t)) ile birlikte, ayrık zamalı süreci durum tahmiii yapa, doğrusal diamik bir sistem formudadır. Bu eşitlikte x(t) sistem hali olmak üzere, F matrisi ikici derecede kiematik bir model, w(t) de Gauss işlem gürültüsü olarak taımlamaktadır. y(t) = H * y(t) + v(t) eşitliği, gerçekleştirile tahmiler içi baz alıa ölçüm değerlerii sistem yapısıyla ilişkiledire gözlemleme sistemidir. Bu eşitlik, durum gözlemi ola y(t) ile sistem durumu ola x(t) arasıdaki ilişkiyi açıklamaktadır. Bu ilişki H matrisi ve v(t) ölçüm gürültüsüyle taımlamaktadır. v(t) ile gösterile ölçüm gürültüsü hareket tahmii sırasıda gerçekleşebilecek hataları kapsamaktadır. İşlem ve ölçüm gürültüsü birbiride bağımsız, beyaz ve ormal dağılımlı olarak w N(,Q) ve v N(,R) şeklide taımlamıştır. Stabilizasyo içi, koum değişimii göstere vektör siyali Kalma Filtreside geçirilmektedir. Yatay ve düşey düzlemde çerçeve koumuu sırasıyla (x, x ) ve o çerçeve koumuyla alakalı alık hızı da sırasıyla (dx, dx ) olduğu düşüülürse, doğrusal diamik sistem formu aşağıdaki gibi ifade edilmektedir.

3 x( ) x = dx ( ) x ( ) x ( ) dx ( ) ( ) + wx wx wdx wdx () Hareket tahmi sistemideki hareket vektörleri kullaılarak gerçek zamalı olarak oluşturula çerçeve koum değerlerii kullaıldığı gözlemleme sistemi aşağıdaki gibi oluşturulmaktadır. y y = x( ) x dx ( ) vx + vx () Kalma Filtresii çalışma presibie göre tahmi bölümü ve düzeltme bölümü olarak iki bölüme ayırabiliriz. Tahmi bölümü Kalma Filtresii bir soraki koumu öcede tahmi ettiği bölümdür. Görütüü ilk çerçeve koumu başlama değeri olarak alımaktadır. Bir soraki çerçeve koumuu bir öceki çerçevei koumua göre tahmii xˆ = F * xˆ + bağıtısıyla hesaplamaktadır. Burada x ˆ +, (+) ici çerçevei öcede yapıla durum tahmii ve xˆ, ici çerçevei düzeltilmiş durum tahmiii göstermektedir. Bir soraki koumu tahmi edilmesi T işlemide olması beklee tahmii hata koveryası P + = FP F + Q şeklide taımlamıştır. T T Düzeltme aşamasıda, K = P H ( HP H + R) bağıtısıyla hesaplaa kazaç matrisi kullaılarak, düzeltilmiş koum tahmii x ˆ = ˆ + ( ˆ x K y Hx ) formülüde elde edilmektedir. Düzeltilmiş tahmii hata koveryası da P ( I K H ) P formülüde bulumaktadır []. = Görütü dizii içeriside ici görütü çerçevesi içi hareket tahmi sistemide elde edile orijial koum vektörü X orj (), bu çerçeve içi Kalma Filtresii bulduğu düzgüleştirilmiş koum vektörü X Klm () ile gösterilirse, çerçevei düzeltme vektörü V düz () = X Klm () X orj () olarak buluur..3. Kalma Filtre Parametreleri İşlem gürültüsü ve ölçüm gürültüsü, Kalma Filtre parametrelerii oluşturmaktadırlar. Bu parametreler, Kalma Filtresii çalışma biçimii doğruda etkiledikleride, bular içi seçile varyas değerleri öemlidir. İşlem gürültüsü varyası Q, kamera hareketii yö ve hızıda meydaa gelebilecek değişimlere ayak uydurabilme yeteeği olarak taımlaabilir. Q küçük alıdığıda, sistem çalışmasıı kararlılığa zorlar ve filtrelemiş bileşe, orijial bileşei hareket diamiğide meydaa gele değişiklikleri iyi takip edemez. Fakat buula birlikte üst düzeyde stabilizasyo sağlaır. Q büyük alıdığıda ise sistem çalışmasıı tam olarak sabitlemediği içi orijial hareketteki değişiklikler yakıda takip edilmekte, fakat stabilizasyo performası düşmektedir. Sağlıklı bir düzgüleştirme içi Q, tipik olarak ile arasıda taımlamalıdır. Ölçüm gürültüsü varyası R, Kalma Filtresii ölçüm değerleri içi kabul edilebilecek titreşim

4 bileşeii değişme miktarıı belirler. R değeri küçük alıdığıda sistem, ölçüm değerlerii iyi kabul etmekte yai harekette titreşimleri olmadığıı varsaymaktadır. Böylece hareketteki küçük değerli titremeler de takip edilmekte ve stabilizasyo yoğuluğu düşmektedir. R değeri büyük alıdığıda sistem, ölçüm değerlerii kötü kabul etmekte ve bu değerlere gecikmeli olarak tepki vermektedir. Bu durumda stabilizasyo yoğuluğu yüksek olmakta, fakat kamera hareketi tam olarak takip edilememektedir. E iyi Kalma Filtre performasıı sağlamak içi R değeri taım itibariyle, görütülerdeki titreşim bileşelerii görütü elemaı ciside gösterdiği stadart sapmaı karesi olarak alımalıdır. Eğimli bir arazide ilerleye bir araçta yapıla çekimde, paralel yolda ilerleye aracı video görütüsüde, aracı hareketide dolayı oluşa yataysal kamera yer değişimii yaıda, dikeyde arazii egebeli olmasıda kayaklaa sallatılar görülmektedir. Bu video dizii içi şekil de, hareket tahmiide sora oluşturula, işlememiş çerçeve koum bileşeleri, Q=. ike Kalma Filtreside geçe koum bileşeleri ve Q=. ike Kalma Filtreside geçe koum bileşeleri görülmektedir. Şekil.. Araba dizisi içi Q=. ve Q=. ike kalma filtre çıkışları Tahmi sistemide gele yatay koum bileşeleri, ilk çerçeve pozisyoua göre, aracı hareket hızıa bağlı bir artış göstermektedir. Dikey koum bileşei ise kameraı buluduğu aracı hareket ettiği arazii yapısıı göstermektedir. Q=. ike yatay pozisyoda, filtrelemiş bileşelerdeki titreşimleri giderildiği, acak yaklaşık ellici çerçevede sora aracı hareket diamiğide meydaa gele değişimleri tam olarak takip edilemediği görülmektedir. Dikey düzlemde, istee şekilde bir stabilizasyo gerçekleşmekte, acak filtrelemiş koum bileşeleri hareket tahmi sistemide gele koum bileşelerie biraz gecikmeli olarak cevap vermektedir. Q=. değerie çıkarıldığıda taktirde yatay ve dikey pozisyolarda, Kalma Filtresi hareket diamiğide meydaa gele değişimlere kolay adapte olmakta ve özellikle dikey pozisyoda hareket diamiği ile beraber hareketteki sallatılar daha yakıda takip edilmektedir. Düşük işlem gürültü varyası daha iyi bir stabilizasyo sağlamasıa rağme, sistemi kararlı kıldığı içi kasıtlı kamera hareketide meydaa gele değişimlere kolayca ayak uyduramamaktadır. Bu durumlarda daha yüksek işlem gürültü varyas değeri kullaılması tercih edilmelidir. Hem obje hareketii yakıda takip etmek, hem de yüksek yoğuluklu bir stabilizasyo gerçekleştirmek içi işlem gürültü varyas değeri, objei hareket diamiğie göre değiştirilebilir. Buu içi öcelikle filtrei kasıtlı kamera hareketideki ai değişiklikleri algılayabilmesi gerekmektedir. Bu doğrultuda [4] de orijial çerçeve değerleri ile Kalma filtrelemiş çerçeve değerlerii arasıdaki fark gözlemekte ve bu fark izi verile azami düzeltme vektörü boyutua yaklaştığıda işlem gürültüsü varyası arttırılmaktadır. Fakat orijial çerçeve koumu ile Kalma filtrelemiş koum arasıdaki fark, esasıda harekette bir sapma olmaksızı bir titreşim aıda titreşimi etkiside

5 dolayı da yüksek değere çıkabilmektedir. Buu egellemek içi paralel olarak çalışa iki kalma filtresii kullaımıı ve bu filtrelerde birii işlem gürültüsü varyasıı sürekli olarak Q=. (yüksek işlem gürültü varyası) değeride tutularak, hareket diamiğide meydaa gelecek değişimler içi bir referas oluşturulmasıı öeriyoruz. Stabilizasyo içi kullaıla Kama filtresi düşük bir işlem gürültüsü varyası (Q=.) ile çalıştırılmaya başlaarak, referas olarak alıa diğer Kama filtresi ile arasıdaki fark arttığı zamalarda stabilizasyo içi kullaıla kalma filtresii işlem gürültüsü varyası arttırılmaktadır. Referas filtresi hareket diamiğii çok iyi takip etmekte, stabilizasyou gerçekleştire filtre de yüksek yoğuluklu bir stabilizasyo sağlamaktadır. Birbirie paralel olarak çalışa referas ve stabilizasyo filtrelerii çıkışları karşılaştırılıp, aralarıdaki farka göre, stabilizasyo filtresii işlem gürültüsü varyas değeri ayarlamaktadır. Kotrollü olarak fark, izi verile azami düzeltme vektörü değerie yaklaştığıda, stabilizasyo filtresii işlem gürültüsü varyas değeri arttırılmakta, fark küçüldüğüde de stabilizasyo filtresii işlem gürültüsü varyas değeri azaltılmaktadır. Şekil de araba diziide, hareket diamiğie göre yatay ve dikey düzlemler içi istee stabilizasyo yoğuluğu birbiride farklı olduğuda, her bir düzlem birbiride bağımsız olarak paralel çalışa iki Kalma Filtresi ile stabilize edilmiştir. Her iki düzlem içi, fark: pikselde büyükse Q stab =., 9 pikselde büyükse Q stab =., 6 pikselde büyükse Q stab =., 6 pikselde küçükse Q stab =. olarak seçilmiştir. Şekil.. Araba dizisi içi adaptifleştirilmiş Q değeri ile stabilize edilmiş yer değişim vektörleri Yatay ve düşey düzleme birbiride bağımsız olarak stabilizasyou gerçekleştirilmesi içi, Q değerleri farklı seçilebilecek iki Kalma Filtresi uygulamıştır. Böylece bir görütü dizii içi ikisi yatayda, ikisi de dikeyde olmak üzere dört adet Kalma Filtresi kullaılmıştır. Aşağıda yatay düzlem içi doğrusal diamik sistem ve gözlemleme sistemi (3) ve (4) deklemleri ile, dikey düzlem içi doğrusal diamik sistem ve gözlemleme sistemi (5) ve (6) deklemleri ile gösterilmiştir. x dx = x( ) dx ( ) wx + wdx (3) [ y ] = [ ] x dx + [ vx ] (4) x = x ( ) ( ) wx + wdx (5) [ y ] = [ ] x + [ vx ] (6) İkici bir görütü dizii olarak virajlı bir yolda ilerleye motosiklet dizii içi yapıla çekimlerde

6 düzesiz titreşimleri et bir şekilde görülebilmesi içi kamera hareket halideki motosikleti arkasıa, biraz gevşek bir şekilde mote edilmiştir. Şekil 3 deki grafiklerde motosiklet dizii içi, yer değişim vektörleri, Q=. ve Q=. içi Kalma Filtre çıkışları ve yatay ve dikey düzlemlerde birbiride bağımsız olarak paralel çalışa iki adet Kalma Filtresii kulladığımızda elde ettiğimiz çıkış gösterilmiştir. Görütüde titreşimde kayaklaa ai değişimler, dikey düzlemde daha yüksek gelikte olmakla beraber her iki düzlemde de görülmektedir. Her iki düzlemde de, Q=. ike stabilizasyo yoğuluğu düşük olmakla birlikte kasıtlı kamera hareketi yakıda takip edilmiştir. Dikeyde titreşimler çok olacağıda bu düzlem içi Q=. değeri daha uygudur. Buula birlikte, paralel çalışa iki kalma filtresi ile adaptifleştirdiğimiz Q değeri sayeside her iki düzlemde de kasıtlı kamera hareketide meydaa gele değişimlere filtre çıkışıda adaptasyo sağlaarak stabilizasyo işlemi gerçekleştirilmiştir. 3. Souç Şekil.3. Motosiklet dizisi içi stabilize edilmiş koum vektörleri Video görütüleride gerçek zamalı hareket düzeltme işlemi içi kullaıla Kalma Filtresi ile yüksek yoğuluklu bir stabilizasyo gerçekleştirilirke ayı zamada kasıtlı yapıla kamera hareketleri eğer hareket diamiğide bir değişim meydaa geliyorsa, filtre tarafıda takip edilememektedir.bu bildiride, kalma filtresie getirile adaptiflik sayeside etki bir stabilizasyo gerçekleştirilirke ayı zamada kasıtlı kamera hareketlerii de koruya, gerçek zamalı çalışa verimli bir görütü stabilizasyo sistemi suulmaktadır. Düşük işlem gürültü varyasıı daha iyi bir stabilizasyo sağladığı, fakat sistemi kararlı kıldığı içi kasıtlı kamera hareket diamiğide meydaa gele değişimlere ayak uyduramadığıda dolayı, hareket diamiğide değişim gözlediği taktirde daha yüksek bir işlem gürültü varyas değeri kullaılarak, sistemi geel kamera hareketii yakıda takip etmesi sağlamaktadır. Kayaklar [] E.Yama, F. Teki, S. Ertürk: Kalma Filtresi ile Görütü Stabilizasyou, EEBM 9. Ulusal Kogresi, Kocaeli,, syf [] S. Ertürk, T.J. Deis: Image sequece stabilisatio based o DFT filterig, IEE Proc. O Image Visio ad Sigal Processig, Vol. 47, No., syf. 95-,. [3] S. Ertürk: Image sequece stabilisatio based o Kalma filterig of frame positio, Electroics Letters, 37, (), 7-9,. [4] E. Yama, S. Ertürk: Image stabilisatio by Kalma filterig usig a costat velocity camera model with adaptive process oise, Iteratioal Coferece o Electrical ad Electroics Egieerig, ELECO,Bursa,, Electroics Vol., syf