Fırat Üniversitesi-Elazığ UYARLAMALI İKİ YÖNLÜ HAREKET KESTİRİMLİ ZAMANSAL VİDEO ARA DEĞERLEMESİ ADAPTIVE BILATERAL MOTION COMPENSATED TEMPORAL VIDEO INTERPOLATION Yücel ÇİMTAY 1, Erol SEKE 2 1 Elektrik-Elektronik Mühendisliği Bölümü Eskişehir Osmangazi Üniversitesi 503120100003@ogrenci.ogu.edu.tr 2 Elektrik-Elektronik Mühendisliği Bölümü Eskişehir Osmangazi Üniversitesi eseke@ogu.edu.tr Özetçe Video işleme uygulamalarında, video modellerinde atlanan çerçeveleri yeniden oluşturma amacıyla kullanılan çerçeve tekrarı ya da doğrusal ara değerleme gibi yöntemler resimler üzerinde istenmeyen etkiler ve gürültüler meydana getirmektedir. Bu nedenle daha kaliteli ara resimler oluşturma amacıyla önceki yöntemlerden farklı olarak hareket dengelemeli zamansal çerçeve ara değerlemesi (HDZÇA) yöntemi kullanılmıştır. Bu yöntem tek yönlü olarak uygulana gelmiş olmasına rağmen, yapılan çalışmalarda çift yönlü uygulamalarda daha yüksek tepe-sinyalgürültü (PSNR) performansı ve kalitesi yüksek ara resimler elde edilebilmiştir. Bu bildiride iki yönlü hareket dengelemesi kullanan yeni bir zamansal çerçeve ara değerlemesi yöntemi önerilmiştir. Uygulama sonuçlarında önerilen yöntemin uygulana gelen tek ve iki yönlü hareket kestirimi yöntemlerine göre daha yüksek bir başarı oranı ve daha kaliteli ara resimler sağladığı görülmüştür. Anahtar Kelimeler: MCTI, PSNR, Hareket vektörü, Ara değerleme Abstract In video processing applications, some techniques such as frame repetition or linear interpolation for reconstructing skipped, lost or nonexisting frames within video streams result in undesirable artifacts and noise. An effective technique called motion compensated temporal interpolation (MCTI) is used to interpolate well-reconstructed video frames in the time domain. Although MCTI can be implemented unidirectionally, results show that bidirectional MCTI is more successful to achieve higher Peak-Signal-To-Noise Ratio (PSNR) and well-constructed images. In this paper, we propose an adaptive method that fundamentally employs bilateral motion compensated frame interpolation. Results show that the performance of this new technique is better than the unidirectional and bidirectional methods that were previously studied. 1. GİRİŞ Video çerçeve ara değerlemesi, videokonferans gibi uygulamalarda bant genişliğinin sınırlı olması ya da kullanılan kameraların daha az görüntü verisiyle kayıt yapma zorunluluğu gibi nedenlerle, video çerçeve hızının (frame rate) düşürülmesiyle bozulan görsel niteliğin çerçeve hızının arttırılması ile iyileştirilmesini amaçlar. Çerçeve ara değerlemesi, iki video çerçevesinin arasına bir ya da daha fazla sayıda yeniden oluşturulan çerçevenin eklenmesiyle daha akıcı bir video elde edilmesidir. Buna ek olarak video sıkıştırmasında verici tarafında atlanan çerçeveleri alıcı tarafında yeniden oluşturma amacıyla da kullanılabilen verimli ve önemli bir yaklaşımdır. Bu bağlamda uygulanmış olan 78
Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 çerçeve tekrarı ya da doğrusal ara değerleme gibi yöntemler elde edilen ara resimde özellikle bulanıklık gibi istenmeyen etkiler oluşturmaktadır. Bu durumda, elde edilecek ara resimden önceki ve sonraki çerçevelerin, hareket dengelemesi yöntemine tabi tutulup her bir çerçeve içindeki her bir bloğun ne kadar hareket ettiğini bulmak ve ara resmi oluştururken bu verileri kullanmak çok daha gerçekçi bir yaklaşımdır. Bu sayede oluşturulacak olan ara çerçevedeki her bir blok, HDZÇA sonucunda bulunan hareket vektörlerine göre oluşturulmaktadır. 2. HAREKET DENGELEMELİ ÇERÇEVE ARA DEĞERLEMESİ Blok tabanlı tek yönlü hareket dengelemeli çerçeve ara değerlemesinde, bulunan hareket yörüngelerinin bir bölgeden hiç geçmemesi ara çerçevede boşluklar kalmasına, birden fazla hareket yörüngesinin aynı bölgeden geçmesi ise ara blokların üst üste çakışmasına neden olur. Bu durum Şekil- 1 de gösterilmiştir. Şekil-1: Blok bazlı tek yönlü ara değerleme {1,2,3,4}: Ara değerlenen bloklar (k+1).ç: Sonraki çerçeve (k-1).ç: Önceki çerçeve Ara değerlenecek blok, tek yönlü HDZÇA sonucu bulunmuş olan hareket vektörleri (v x,v y ) kullanılarak bulunur. olmak üzere ara değerlenecek blok aşağıdaki gibi elde edilir. Parantez içindeki ifadeler, kullanılacak blokların sol üst köşesinin koordinatlarını ifade etmektedir. Bu durumda kalan boşluklar uzamsal ara değerleme gibi yöntemler ile doldurulur [1]. Bu ise oldukça maliyetli bir yöntemdir. Oluşturulacak ara çerçevede boşluk kalmaması için iki yönlü hareket dengelemeli çerçeve ara değerlemesi yapılır. Önceki çerçeve (k-1), ara çerçeve (k) ve sonraki çerçeve (k+1) birbirleriyle örtüşmeyen bloklara ayrılır. Önceki ve sonraki çerçeveler arasında ileri hareket kestirimi yapılarak her bir blok için hareket vektörleri (vx,vy) hesaplanır. Bu işlem sonraki çerçevedeki her blok için uygulandıktan sonra ara çerçevede oluşturulacak her blok (i,j) için bu blokla kesişim yapan, önceki ve sonraki çerçevedeki konumlarının ortasındaki ve (i-v x /2,j-v x /2) konumundaki bloklar ve bu bloklara ait hareket vektörleri(v x /2,v y /2) listesi elde edilir. Aynı işlem geri hareket kestirimi yapılarak da uygulanır. Hareket vektörlerinden ara çerçevede oluşturulmak istenen blokla olan kesişim alanı en fazla olanı seçilir ve ara değerlenecek blok konumuna yerleştirilir [2]. ileri ve geri hareket dengelemesi yapıldığı için işlem yükü daha fazla olmasına karşın tek yönlü blok tabanlı hareket dengelemesine göre başarımı daha yüksektir. İki yönlü hareket dengeleme işleminde birçok videoda katı cisimlerin blok boyutuna göre geniş olma durumu prensibinden yola çıkılarak, bir çerçevedeki blokların hareket vektörlerinin, uzamsal ve zamansal komşularının hareket vektörlerine yakınlığı temel alınmış ve yeni bir yöntem geliştirilmiştir [3]. Bu yöntemde 79
Fırat Üniversitesi-Elazığ asıl çerçevedeki her blok için sol ve üst uzamsal komşu bloklarının hareket vektörleri, kendisiyle aynı konumda, komşu çerçevedeki bloğun hareket vektörleri ve sıfır hareket vektörleri aday hareket vektörü olarak kabul edilmiştir. Bu bloklarla olan toplam mutlak fark (TMF) hesap edildikten sonra, en düşük TMF yi veren bloğun hareket vektörü, hareket vektörü aranan bloğun hareket vektörü olmuş olur. Tüm bloklar için hareket vektörleri hesap edildikten sonra, oluşturulacak olan ara çerçevedeki her bir blok için, bulunmuş olan hareket vektörünün yarısı, bloğun sol üst köşe indeksine eklenip, gelinen noktadaki blok sonraki çerçeveden, yine ara resimdeki oluşturulacak bloğun sol üst köşe indeksinden çıkarılarak gelinen noktadaki blok ise önceki çerçeveden alınır. Alınan iki bloğun ortalaması alınarak oluşturulmak istenen blok bulunmuş olur. Şekil-2 de, oluşturulacak ara blok için kendisiyle aynı konumda komşu çerçevedeki blokla en küçük TMF değerini verdiği durum temel alınarak yöntemin aşamaları gösterilmiştir. Bu yöntemde bloklar arasında doğrusal bir hareket olduğu kabul edilmiştir. 1.adım 2.adım Şekil 2: İleri ve geri hareket vektörlerinin bulunması 1.adım: Ara değerlenecek blokla aynı konumda olan bloğun komşu çerçeveden alınıp referans çerçevede aranarak ileri ve geri hareket vektörleri (V i,v g ) nin bulunması 2.adım: Doğrusal hareket varsayımıyla ara değerlenecek blok için kullanılacak hareket vektörleri ve blokların tespiti 3. UYARLAMALI ÇERÇEVE ARA DEĞERLEMESİ Önerilen metotta, iki yönlü hareket kestirimi yapılmış, hareket kestirimi yapılırken tam arama yöntemi kullanılmış ve ara değerleme işlemi [3] deki gibi uygulanmıştır. [3] den farklı olarak bu çalışmada asıl çerçevedeki bir bloğun hareket vektörü bulunurken o blok için önceki çerçevede tam arama yapılmış ve hareket vektörü bu yolla bulunmuştur [5]. Böylece dört farklı blokla olan TMF hesabı yapılmamış ve işlem yükünden kazanılmıştır. İleri ve geri ara değerleme işlemi sonucunda iki farklı ara resim elde edilmiştir. [4] te yapılan çalışmada ise [3] teki yöntem temel alınarak ileri ve geri hareket vektörleri kullanılarak oluşturulmuş iki ara çerçeve bulunmuştur. Bu çerçeveler, bloklara ayrılarak blokların, belirlenen bir hata eşik değerine göre iyi oluşturulup oluşturulmadığı belirlenmiş ve blok, elde edilen ara resimlerden hangisinde daha iyi oluşturulmuş ise o çerçeveden alınarak yeni ara çerçeveye konulmuştur. Böylece orijinal ara çerçeveye daha yakın bir ara çerçeve elde edilmiştir. Önerilen yöntemde ise bu ara resimlerdeki her bir blok için tek tek karşılaştırma adımları uygulanmayarak yeni bir hesap yükünden kazanılmış olur. Çünkü ara resimler üzerinde durulmayıp ileri ve geri hareket vektörlerinin ortalaması alınarak yeni bir hareket vektörü bulunmuş ve hareket dengelemesinde kullanılarak yeni ara resim elde edilmiştir. Uygulanan yöntemin aşamaları 3.1 ve 3.2 de detaylandırılmıştır. 3.1 İki yönlü hareket kestirimi ve ara çerçevelerin elde edilmesi İleri ve geri hareket vektörlerinin tespit edilmesi Şekil-2 de gösterilmiştir. İleri hareket dengelemeli çerçeve ara değerlemesi sonucu, ileri hareket dengelemeli ara çerçeve 80
Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 (İHDAÇ) elde edilmiştir. Bu işlem ters yönlü olarak tekrar edilmiş ve geri hareket dengelemeli ara çerçeve (GHDAÇ) elde edilmiştir. İHDAÇ ve GHDAÇ ın ilişkisi Şekil-3 te ifade edilmiştir. daha iyi oluşturulmuş yeni bir ara resim elde etmektir. Uygulanan adımlar sırasıyla şu şekildedir: 1-Ara değerleme yapılacak çerçevedeki her bir blok için ileri ve geri hareket kestirimi sonrasında iki farklı hareket vektörü elde edilir. İleri hareket vektörleri ya da geri hareket vektörleri hesaplanıp ara resimler elde edilirken blokların doğrusal hareket ettiği varsayılmıştır. Şekil 3: İHDAÇ ve GHDAÇ ın HDZÇA ile elde edilmesi 3.2 Geliştirilen yöntem İleri ve geri HDZÇA uygulaması sonucunda iki farklı ara resim elde edilmiştir. Ara resimlerin elde edilişi sırasında, blok tabanlı tek yönlü hareket dengelemeli çerçeve ara değerlemesinde karşılaşılan blok örtüşmeleri ve çerçevede boşluklar kalması gibi durumların önlenmesi için, yukarıda anlatılan yöntemlerle işlem yapılmıştır. Bu sayede boşlukları doldurmak için uygulanan ve maliyetli bir yöntem olan uzamsal ara değerlemeye gerek duyulmadan ara resimler elde edilmiştir. Burada blokların çerçeveler arasında doğrusal bir hareket yörüngesi izlediği varsayımına dayanarak bulunan hareket vektörleri güvenilir olarak ele alınmış ve kullanılmıştır. Fakat bulunan hareket vektörleri gerçeğe yakın değilse bulunacak ara resimlerde hayalet etkisi (ghost effect) gibi durumların görülmesi muhtemeldir. Bunu azaltmak ya da engellemek için farklı yöntemler geliştirilmiş ve uygulanmıştır. Bu çalışmada önerilen yöntemdeki temel amaç ise ileri ve geri hareket vektörlerini kullanarak orijinal ara çerçeveye daha yakın bir ara çerçeve üretmektir. Diğer bir ifadeyle, ileri ve geri hareket vektörlerinin tek başlarına kullanılmasıyla elde edilen ara resimlerden 2-Doğrusal olmayan hareket içeren ya da çerçeveler arasındaki değişimin fazla olduğu video modellerinde ara blok elde edilirken bu hareket vektörleri tek başlarına hatalar vermektedirler. Bu nedenle ara değerleme yaparken, bulunan hareket vektörlerine göre önceki ve sonraki çerçevede kullanılacak blokların seçimindeki güvenirliliği artırmak, diğer bir ifadeyle bulunmuş olan hareket vektörlerini gerçek hareket vektörlerine yaklaştırmak amacıyla, bu vektörlerinin ortalaması alınarak yeni bir hareket vektörü(vyeni) oluşturulur. 3-Elde edilen Vyeni hareket vektörü kullanılarak aşağıdaki formüle göre ara değerlenecek blok oluşturulur. Bu yöntem ara değerlenecek çerçevedeki her blok için uygulanarak yeni ara çerçeve (YAÇ) elde edilir. Önerilen yöntem Şekil-4 te 1.ve 2.adımda özetlenmiştir. Şekil-2 de gösterilen yöntemde, ileri ve geri hareket kestirimi, doğrusal olmayan hareket modellerinde hata 81
Fırat Üniversitesi-Elazığ vermektedirler. Çünkü ara değerleme yapılırken kullanılan bloklar, çevre bloklar yaklaşık aynı hareket modeline sahiptir varsayımıyla elde edilen bloklardır. Çevre blokların aranılan blokla aynı hareket modeline sahip olmadığı durumlarda yani doğrusal olmayan hareket içeren video modellerinde ileri ve geri hareket kestiriminin birbirine ters yönde hata yaptıkları düşünülmüştür. Ara değerlemede bu hataların birbirini götürebilmesi amacıyla ileri ve geri hareket kestirimi sonucu bulunmuş blokların ortasındaki bloğu kullanmak bir çözüm olarak sunulmuştur. Sonuçta, doğrusal olmayan hareket modeline uygun olarak eğrisel bir hareket yörüngesi elde edilerek yeni ara çerçeve oluşturulmuştur. Şekil-5 te bu durum bloksal gösterimle ifade edilmiştir. Şekil 4: Önerilen Yöntem ve Uygulama Adımları İHDÇA: İleri hareket dengelemeli çerçeve ara değerlemesi GHDÇA: Geri hareket dengelemeli çerçeve ara değerlemesi 1.adım Şekil 5: Yeni Bulunan Bloklar ve Doğrusal Olmayan Hareket Yörüngeleri 4. UYGULAMA SONUÇLARI 2.adım Bu kısımda 30 resimden oluşan, american football ve city dizileri için, dizilerdeki resimler birer atlanarak alınan önceki (k-1) ve sonraki (k+1) çerçeveler kullanılarak orijinal ara çerçeve (k) elde edilmeye çalışılmıştır. Bulunan ara resimler ve orijinal ara resimler kullanılarak hesaplanan PSNR değerleri Şekil-6 da verilmiştir. Deneysel çalışmada 16x16 lık bloklar kullanılmıştır. Arama yöntemi, tam aramadır. Elde edilen PSNR değerlerinin, ileri hareket dengelemeli ara çerçeve (İHDAÇ) veya geri hareket dengelemeli ara çerçeve (GHDAÇ) ye göre daha yüksek çıktığı ve ara resim 82
Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 görselliğinin daha yüksek olduğu Şekil-6 ve Tablo-1 de gözlenmektedir. Tablo-1 de görüldüğü gibi önerilen yönteme göre, american football resim dizisindeki ara resimlerde PSNR iyileşmesinin city dizisine göre daha fazla olduğu gözlenmiştir. Bunun en önemli nedenleri olarak american football dizisinde çerçeveler arasında doğrusal olmayan hareket bölgelerinin daha fazla oluşu ve çerçeveler arasındaki farkın büyüklüğü gösterilebilir. Nitekim City videosuna benzer, genel olarak doğrusal hareket içeren video modellerinde yöntemlerin sonuçları arasında çok fazla fark olmadığı, fakat american football videosuna benzer, içinde doğrusal olmayan hareket bölgelerinin fazla olduğu video modellerinde yapılan deneylerde, yeni yöntemin İHDÇA ve GHDÇA ya göre çok daha iyi sonuçlar ürettiği görülmüştür. Şekil-7 ve Şekil-8 de city ve american football dizileri için elde edilen ara çerçevelerden örnekler gösterilmiştir. Ara çerçevelerin görselliğinden ve PSNR değerlerinden anlaşılacağı gibi önerilen yönteme göre elde edilen ara resimler, kalite ve PSNR değerleri açısından, ileri veya geri hareket vektörlerinin tek başlarına kullanılarak elde edilen ara resimlerden daha başarılıdır. Şekil 6: american football ve city dizisi için PSNR grafikleri Tablo 1: american football ve city resim dizisi için PSNR ortalamaları ÇERÇEVE PSNR(DB) American Football PSNR(DB) City İHDAÇ 17,43 22,12 GHDAÇ 17,32 22,02 YAÇ 18,64 22,81 83
Fırat Üniversitesi-Elazığ Şekil 7: City resim dizisi, 20 ve 22. çerçevelerden elde edilen ara resimler a) İHDAÇ (21.24db) b) GHDAÇ (21.52db) c) YAÇ (22.05db) Şekil 8: American football resim dizisi, 3 ve 5. çerçevelerden elde edilen ara resimler a) İHDAÇ (18.64db) b) GHDAÇ (18.72db) c) YAÇ (19.76db) 5. SONUÇ 84
Elektrik-Elektronik ve Bilgisayar Sempozyumu 2011 Bu çalışmada, hareket dengelemeli çerçeve ara değerlemesi konusu üzerinde durularak yapılmış olan çalışmaların genel yapısından söz edilmiştir. Birbirini bütünleyici nitelikte oldukları için ileri ve geri hareket kestirimi yöntemleri birlikte kullanılmış, güvenirliğini artırmak, ileri ve geri hareket vektörlerinin gerçek hareket vektörüne göre birbirine ters yönde yaptıkları hatayı en aza indirmek amacıyla hareket vektörlerinin ortalaması alınarak yeni bir hareket vektörü elde edilmiştir. Yeni hareket vektörü kullanılarak yeni bir ara resim elde edilmiştir. Ara resimler elde edilirken bir resim dizisi üzerinde çalışılmış ve ardışık üç çerçeveden baştaki ve sondaki çerçeve alınarak önerilen yönteme göre işleme tabi tutulmuş ve sonuçta ortadaki çerçeve elde edilmeye çalışılmıştır. Elde edilen ara resimler için PSNR değerleri hesaplanmış ve bir karşılaştırma yapılmıştır. Uygulama sonuçlarına göre önerilen yöntemin hali hazırda uygulanan ileri ve geri hareket kestirimden elde edilen ara resimlere göre daha başarılı sonuçlar verdiği görülmüştür. Doğrusal hareket içeren video modellerinde, ara çerçeve elde edilirken uygulanan yöntemler birbirine yakın sonuçlar verir. Doğrusal hareket içermeyen ya da çerçeveler arasında daha fazla fark bulunan video modellerinde ise ileri veya geri hareket kestirimi orijinal ara çerçeve oluşturulması işleminde hatalı sonuçlar vermekte ve yetersiz kalmaktadırlar. Bu çalışmada, ileri ve geri hareket kestirimi sonucunda elde edilen hareket vektörleri kullanılarak daha güvenilir ve gerçek hareket vektörüne daha yakın, daha az hata yapacak yeni bir hareket vektörü elde edilmeye çalışılmıştır. Bu hareket vektörü kullanılarak yeni bir ara çerçeve oluşturulmuştur. Deney sonuçlarına göre, önerilen yöntem sonucunda bulunan hareket vektörü, ileri veya geri hareket vektörlerine göre ara resmi oluşturmada gerçeğe daha yakın sonuçlar üretmektedir. Doğrusal hareket içeren video modellerinde, blokların çerçeveler arasındaki hareketi tek dereceli bir denklemle ifade edilebilir. Fakat doğrusal olmayan hareket bölgelerinde bu denklem hata verecek ve yetersiz kalacaktır. Bu nedenle bu tip hareket bölgeleri içeren video modellerinde hareket vektörlerini ikinci ve ya yüksek dereceden bir denklemle ifade edilebilecek doğrusal olmayan bir hareket modeline oturtmak ve bu denklemle her bir ara çerçeve için anlık bir hareket vektörü bulmak daha gerçekçi çözümler ve daha iyi oluşturulmuş ara çerçeveler sunacaktır. 6. KAYNAKÇA [1] K. A and T. Aach. Efficient Prediction of Uncovered Background in Interframe Coding Using Spatial Extrapolation. Proc. ICASSP, 5:501 504, 1994. [2] Selim N., 2-Boyutlu Hareket Kestirimi ve Video Çerçeve Ara değerlemesinde Uygulanması, Yıldız Teknik Üniv. Fen Bil.Ens. Y.Lisans Tezi.,2007. [3] K. Hilman, H. W. Park, and Y. Kim, Using Motion-compensated Frame-rate Conversion for the Correction of 3:2 Pulldown Artifacts in Video Sequences, IEEE Trans. Circuirs Sysr. Video Technof.. vol. 10, pp. 869-877, Sept. 2000. [4] Chen, T., Adaptıve Temporal Interpolation Using Bidirectional Motion Estimation and Compensation, 2002 International Conference on Image Processing Proceedings, Volume 2, Issue 2, Page(s): 313-316. [5] Barjatya, A., Block Matching Algorithms for Motion Estimation, DIP 6620 Spring 2004 Final Project Paper 85