Pamukkale Üniversiesi Mühendislik Bilimleri Dergisi Pamukkale Universiy Journal of Engineering Sciences Düşük işlem yüküne sahip hareke kesirimi için ümlev imge emelli ikilileşirme Inegral image based binarizaion for low-complexiy moion esimaion Aysun TAŞYAPI ÇELEBİ 1*, Oğuzhan URHAN 2 1,2Elekronik ve Haberleşme Mühendisliği Bölümü, Mühendislik Fakülesi, Kocaeli Üniversiesi, Kocaeli, Türkiye. aysun.asyapi@kocaeli.edu.r, urhano@kocaeli.edu.r Geliş Tarihi/Received: 27.09.2017, Kabul Tarihi/Acceped: 27.02.2018 * Yazışılan yazar/corresponding auhor doi: 10.5505/pajes.2018.48303 Araşırma Makalesi/Research Aricle Öz Günümüzde yüksek çözünürlüklü elevizyonlar, kameralar, akıllı elefonların kullanımı ile birlike yüksek çözünürlüklü video uygulamalarına alep duyulmakadır. Bu cihazlardaki güç ükeimi ve sınırlı hafıza gibi kısılardan dolayı da düşük işlem yüküne sahip video kodlama yönemlerine ihiyaç armakadır. Video kodlama sandarlarında halen en fazla işlem yükü hareke kesirimi kısmındadır. Bu çalışmada düşük işlem yüküne sahip, düşük bi derinliği göserimi emelli bir hareke kesirimi yönemi önerilmekedir. Bu yaklaşımda video çerçeveleri ümlev imge kullanılarak ekin bir şekilde ikilileşirilmeke ve video çerçevelerinin iki bi ile göserimi elde edilmekedir. Elde edilen ikili çerçeveler üzerinden geleneksel mulak farklar oplamı (SAD) yerine donanıma daha uygun olan dışaran veya (EX-OR) operasyonu kullanılarak uyumlama işlemi yapılmakadır. Hareke kesiriminde ikilileşirme işlemi gerçekleşirirken ümlev imge kullanılması ilk kez bu çalışmada önerilmekedir. Önerilen yönem, lieraürde mevcu olan 1-bi dönüşüm (1BT) emelli yaklaşımlara kıyasla hareke kesirim doğruluğunu gelişirirken iki-bi dönüşüm emelli yaklaşımların başarısı ile hemen hemen aynı seviyede olmakadır. Bunun yanında özellikle ikilileşirme aşamasında bu yönemlerin işlem yükünü azalmakadır. Anahar kelimeler: Tümlev imge, İkilileşirme, Düşük bi derinliği, Hareke kesirimi Absrac Today, high resoluion video applicaions are demanded wih he use of high resoluion elevisions, cameras, smar phones. The requiremen for low processing load video coding mehods increase due o consrains such as power consumpion and limied memory in hese devices. In video coding sandards, mos of he processing load sill originaes from he moion esimaion par. In his sudy, a low bi-deph represenaion based moion esimaion mehod ha has low compuaional load is proposed. In his approach, video frames are binarized efficienly by using inegral image and he represenaion of video frames in erms of wo bis is performed. Maching operaion is carried ou on hese binary image frames using hardware-friendly EX-OR operaion insead of convenional SAD (Sum of Absolue Difference This sudy is he firs aemp of using he inegral image for he binarizaion process in he moion esimaion. While he proposed mehod improves he moion esimaion accuracy compared o he 1BT based approaches available in he lieraure, i provides similar moion esimaion performance wih he wo-bi deph based approaches. Addiionally, i reduces he processing load of hese mehods, especially during he binarizaion phase. Keywords: Inegral image, Binarizaion, Low bi-deph, Moion esimaion 1 Giriş Günümüzde eknolojinin hızla ilerlemesi ile beraber video kaydeme, video akarımı, gerçek zamanlı konuşma gibi uygulamaların olduğu cihazların kullanımı önemli mikarda arış gösermişir. Bu cihazlarda özellikle yüksek çözünürlüklü videoların kullanımının yaygınlaşmaya başlaması ile cihazların sınırlı kalıcı bellek, baarya, işlem gücü ve ban genişliğine sahip olması nedeniyle daha yüksek sıkışırma başarımına sahip kodlama yönemlerinin kullanılması kaçınılmaz hale gelmişir. Ardışık video çerçevelerindeki zamansal arıklığı oradan kaldıran hareke kesirimi (HK) aşaması halen video kodlayıcılardaki hesapsal olarak en yüksek karmaşıklığa sahip olan kısımdır. Sandar bir video kodlayıcıda HK bloğu, kodlama süresinin yaklaşık %90 ından fazlasını harcamakadır [1]. HK işleminin kodlayıcıya geirdiği yükün armasıyla birlike gerçek-zamanlı uygulamalar için daha düşük işlem yüküne sahip olan hareke kesirimi algorimalarının kullanılması kaçınılmaz olmuşur. Video kodlayıcılarda HK için geleneksel olarak mulak farklar oplamı (SAD-sum of absolue difference) ölçüü kullanılarak blok uyumlama (block maching) yaklaşımlı yönemler kullanılmakadır. Blok uyumlama yaklaşımında, video çerçeveleri birbirleriyle örüşmeyen bloklara bölünmeke, sonrasında ise her bir blok referans çerçevede önceden belirlenmiş bir arama penceresi içinde üm aday nokalarda en iyi blok uyumunu verecek şekilde aranmakadır. Bu yaklaşımda aranacak blok, arama penceresi içerisinde büün olası nokalarda arama yapığı için yüksek bir işlem yüküne sahipir. SAD uyumlama ölçüü kullanan am arama emelli bu yönem işlem yükü ve güç kısılamalarına sahip mobil cihazlarda kullanılması pek de mümkün değildir. Bu sebeple lieraürde am arama yaklaşımına göre daha düşük işlem yüküne ve kaynak kullanımına sahip, donanımsal gerçeklemelere uygun farklı HK yaklaşımları önerilmişir. Bu yaklaşımlardan birincisi arama nokası sayısını azalmaya dayalı seyrek arama yönemleridir. Bu gruba dahil olan yaklaşımlar aranan bloğu referans çerçevenin büün aday nokalarında aramak yerine sadece önceden belirlenmiş bazı seyrek arama nokalarında arama manığını kullanmakadır. Örneğin üç-adımlı arama (Three sep-search 3SS) [2], yeni üç adımlı arama (new hree-sep search N3SS) [3], dör adımlı arama (four-sep search 4SS) [4], elmas biçimli arama (diamond search) [5] ve alıgensel arama (hexagonal search) [6] bu gruba giren yaklaşımlardır. İkinci grup yaklaşım da ise uyumlama ölçüü hesabında büün pikseller kullanılmamakadır. Uyumlama hesabının yapılması sırasında blok içerisinde seçilmiş bazı piksellerin kullanımı ile işlem yükü düşürülmekedir. Bu grupa bulunan [7]-[8] deki 850
yaklaşımlar farklı al-örnekleme oranları ve N-Queen farklı al-örnekleme örünülerini kullanmakadır. Diğer bir grup yaklaşımda ise kısmi haa araması (parial error search) [9], uyarlamalı arama bölgesi espii (adapive search range) [10] ve ardışık eleme algoriması (successive eliminaion algorihm) [11] gibi aramayı erken sonlandıran yaklaşımlar yer almakadır. Son grup ise düşük işlem yüküne sahip uyumlama ölçüü kullanan video çerçevelerini düşük-bi derinliği ile emsil eden yaklaşımlardan oluşmakadır. Bu yaklaşımlarda am arama emelli HK deki uyumlama ölçüü olarak kullanılan SAD yerine hesapsal olarak daha düşük karmaşıklığa sahip EX-OR işlemi emelli donanımsal ve paralel gerçeklemeye uygun bir uyumlama ölçüünün kullanılmasını hedeflenmekedir. Lieraürde düşük bi çözünürlüğünü kullanan yönemlerden bazıları 1-bi dönüşümü (1BT) [12], çarpmasız 1-bi dönüşümü (MF-1BT) [13], 2-bi dönüşümü (2BT) [14], kısılanmış 1-bi dönüşümü (C-1BT) [15] gibi çalışmalardır. 1BT yaklaşımı [12] ile 8-bi çözünürlüğündeki imge çerçeveleri bir-bi derinliğindeki imge çerçevelerine dönüşürülmekedir. Bu işlem, çoklu ban geçiren karakerisike bir çekirdek (kernel) ile imgeler süzgeçlenerek yapılmakadır. Süzgeçlenmiş imge çerçevesi ile orijinal imge çerçevesi pikselleri arasında bir karşılaşırma yapılır ve bu karşılaşırma sonucuna göre bir-bi derinliğinde imgeler elde edilmekedir. Giriş imgelerinin ikili (binary) hale geirilmesi sonrasında blok uyumlamasını hesaplamak için EX-OR işlemi kullanılarak uyumsuz noka sayısı (number of non-maching poins-nnmp) adı verilen bir uyumlama ölçüü kullanılmakadır. Çarpmasız bir-bi dönüşümü (MF-1BT) [13] emelli HK yaklaşımında ise 1BT yaklaşımının işlem yükünü azalmak hedeflenmişir. Bir-bi dönüşümde kullanılan çekirdeke 25 ade "1" bulunmaka ve normalizasyon işlemi sırasında kullanılan kasayısı 2 nin kuvvei şeklinde olmamakadır. MF-1BT yaklaşımında ise elmas şeklinde bir çekirdek oluşurulmuş ve bu çekirdeğe 16 ane "1" yerleşirilerek normalizasyon kasayısı 2 nin kuvvei olacak şekilde ayarlanmışır. Kullanılan çekirdekeki bu değişiklik haricinde MF-1BT yaklaşımı 1BT yaklaşımı ile aynıdır. 2BT yaklaşımlı HK yöneminde [14] yerel blokların oralama ve değişini özellikleri dikkae alınarak ikilileşirme işlemi gerçekleşirilmekedir. [14] eki yönemde yerel oralama ve değişini değerlerini kullanarak yerel eşik değerleri oluşurmakadır. Hesaplanan bu eşik değeri kullanılarak giriş imgelerinin iki bilik göserimi elde edilmekedir. [15]'e önerilen kısılanmış bir-bi dönüşümü emelli yönemde (C-1BT) ise 2BT yönemindeki gibi iki bi-uzayı kullanılmakadır. Ancak bu yönemde ilk bi-uzayı MF-1BT'de olduğu gibi oluşurulurken, ikinci bi uzayı uyumlamayı kaılacak pikselleri espi emek üzere kısı maskesi (consrain mask-cm) kullanılarak elde edilmekedir. [16]'da önerilen iyileşirilmiş 2BT yöneminde uyumlama ölçüünün hesabında yapılan değişiklik ile hareke kesirim başarımının arırılması hedeflenmekedir. [17]'de C-1BT yöneminde önerilen kısı maskesinin iki bi kullanımı ile ifade edilmesi önerilmeke ve böylelikle oplamda üç bi uzayı kullanılarak HK başarımının arırılması sağlanmakadır. [18]'de ikilileşirme aşamasında bulanık manık kullanımı önerilmekedir. Bu çalışmada, ümlev imge yaklaşımının kullanıldığı özgün bir ikilileşirme aşaması bulunduran düşük işlem yüküne sahip bir HK yaklaşımı önerilmekedir. Önerilen yaklaşımda giriş imgelerinin iki-bilik göserimi elde edilerek her bi uzayı için NNMP değeri hesaplanmaka ve uyumlama işlemi gerçekleşirilmekedir. Önerilen yönem iki-bi uzayı kullanılan lieraürdeki çalışmalar ile hemen hemen aynı nesnel hareke kesirimi başarımını daha düşük işlem yükü ile sağlamakadır. 2 Tümlev imge emelli ikilileşirme Lieraürde birçok ikilileşirme yönemi mevcuur. Bir imgeyi ikili hale geirmek için global bir eşik değeri kullanarak (örneğin Osu ile espi edilmiş) eşikleme yapmak her durumda başarılı sonuçlar vermemekedir. Bunun yerine lieraürde birçok yerel uyarlamalı eşikleme yönemleri önerilmişir [19]-[21]. Bu yönemler her bir merkez piksel için w w komşuluğunda oralama değer ve sandar sapmaya bakarak bir eşik değeri belirlemekedir. Yalnız bu yönemler w ya bağlı olarak çok fazla iş yüküne sahipir. Öe yandan [22] de önerilen yönem ümlev imge kullanarak gerçek zamanlı uyarlamalı eşikleme yapmakadır. Bu çalışmada da ümlev imge kullanılarak hızlı bir şekilde ikili imgeler elde edilmekedir. 2.1 Tümlev imge Tümlev imge [23],[24], bir imgede veya imgedeki bir dikdörgen alandaki piksel değerlerinin oplamını hesaplamak için kullanılan hızlı ve ekili bir yönemdir. Her bir pikselin ümlev imge değeri, ilgili pikselin solundaki ve üsündeki piksellerle sınırlanan alan içindeki piksellerin oplam değeridir. Şekil 1'de ümlev imge hesabının emsili hale göserilmekedir. Tümlev imgedeki x ve y nokalarındaki değer, giriş imgesinin sol yukarıdaki piksel değerlerinin oplamına eşiir ve bu değer Denklem (1) de verilen formül ile hesaplanmakadır. Şekil 1: Tümlev imge oluşurma [24]. I T (x, y) = I(x, y ) x x, y y Burada, I giriş imgesini, I T ise elde edilen ümlev imgeyi ifade eder. Şekil 2 de gri seviyeli bir imgede küçük bir blok için için ışıklılık değerleri ve bu blok için oluşurulan ümlev imge göserilmekedir. Giriş imgesi üzerinde ilk 3 3 lük (mavi renk ile göserilen) bloğun oplamı, denklem (1) de de göserildiği gibi ümlev imge üzerinde IT (3,3) 752 şeklinde oluşmakadır. Bir kez ümlev imge oluşuruldukan sonra giriş imgesi üzerindeki belirli bir bölgenin piksellerin oplamı hızlı ve kolay bir şekilde ümlev imge kullanılarak yapılabilmekedir. Tümlev imge üzerinde sadece 4 referans nokadaki değerin kullanılması, isenilen dikdörgen alanın hesabının yapılması için yeerli olmakadır. Örneğin Şekil 3 eki ümlev imgede D bölgesinin alanı, ümlev imge üzerindeki 1,2,3,4 No.lu nokalardaki değerler kullanılarak D=4-3-2+1 olacak şekilde hesaplanmakadır. (1) 851
(a) Şekil 2: (a): Giriş imgesinden bir bölge. (b): Oluşurulan ümlev imgeden bir bölge. (b) Şekil 3: Herhangi bir bölgenin alanının hesaplanmasında izlenen yol hesabı [24]. Şekil 3 eki göserimin 8-bilik bir imge üzerinden yorumu Şekil 4 e verilmekedir. Şekil 4 e orijinal imgede herhangi bir dikdörgen alan içinde kalan piksellerin oplamının inegral imge üzerinde nasıl hesaplanıldığı göserilmekedir. Şekil 4(a) da 8-bilik orijinal imge üzerinde kırmızı dikdörgen ile çevrilmiş alandaki ışıklılık değerlerinin oplamı Şekil 4(b) e verilen ümlev imgedeki 4 referans noka ile bulunmakadır. Kırmızı dikdörgen ile belirilen piksellerin oplam işlemi ümlev imge üzerinden 2010-40-506+10=1474 işlemi ile hesaplanılmakadır. Giriş imgesi üzerinde seçilen dikdörgen alan büyüse bile (yani oplanılacak piksel sayısı arsa da) bu işlem ümlev imge üzerinde sadece 4 referans noka üzerinden 2 çıkarma ve 1 oplama işlemi gerçeklenmekedir. (a) Şekil 4: (a): Giriş imgesinden bir bölge. (b): Oluşurulan ümlev imgeden bir bölge. Tümlev imge kullanarak yerel oralama değer hesaplamak ve hesaplanan oralama değere bağlı olarak video çerçevelerini ikili hale çevirmek, işlem yükü açısından çok ekili bir yoldur. Çünkü bir kez ümlev imge hesaplandığı durumda Denklem (2) de verilen yerel oplam s( x, y) değerini herhangi bir w pencere boyuunda hesaplamak çok kolaylaşmakadır. Giriş imgesi üzerinde yerel oplam değeri ümlev imge kullanılarak Denklem (2) deki gibi hesaplanabilmekedir. (b) s(x, y) = I T (x + d 1, y + d 1) I T (x + d 1, y d 1) I T (x d 1, y + d 1) + I T (x d 1, y d 1) d = w 2 (2) Burada, sembolu elde edilen bölümü üse yuvarla anlamında kullanılmakadır. Bu denklem Şekil 4 e de göserildiği gibi ümlev imgede dör nokadan faydalanılarak, giriş imgesinde herhangi bir pikselin erafında w w aralığındaki piksellerin ışıklılık değerlerinin oplamının elde edilmesini ifade eder. Örneğin Şekil 4 e verilen giriş imgesi üzerindeki I(3.3) nokası erafında 3 3 lük alan için yerel oplam hesaplanırken d 2 olacak şekilde seçilir ve Denklem (2) kullanılarak ümlev imge üzerinden bu oplam; s(x, y) = I T (4,4) I T (4,1) I T (1,4) + I T (1,1) = 2010 40 506 + 10 şeklinde elde edilir. Yerel oralama değeri (x, y) nokasında hesaplandıkan sonra, giriş imgesinde (x, y) nokası erafındaki w w aralığındaki piksellerin oralama değeri olan yerel arimeik oralama m(x, y) değeri, Denklem (3) eki gibi hesaplanmakadır. Bu şekilde yerel oralama değeri, ümlev imge kullanılarak pencere boyuuna bağlı olmaksızın çok ekili ve hızlı bir şekilde hesaplanmış olmakadır. m(x, y) = s(x, y) w 2 (3) Hızlı bir şekilde hesaplanan yerel oralama değeri kullanılarak her bir piksel için bir karşılaşırma yapılarak ekin bir şekilde ikilileşirme işlem gerçeklenebilir. 2.2 Önerilen Yaklaşım Önerilen yaklaşımda giriş çerçevesi için ümlev imge bir kez hesaplandıkan sonra w1 pencere boyuuna bağlı olarak Denklem 3 deki gibi yerel oralama değer hesaplanmakadır. Hesaplanan oralama değer kullanılarak da aşağıdaki denklemde göserildiği gibi ilgili piksel için bir karşılaşırılma yapılarak ikilileşirme işlemi gerçekleşirilmekedir. B 1 (x, y) = { 1, I(x, y) m 1(x, y) T 1 0, diğer Burada, B 1 birinci bi uzayını, I giriş imge çerçevesini, m 1 ümlev imgeden faydalanarak hızlı bir şekilde hesaplanan yerel oralama değeri ve T 1 deneysel sonuçla belirlenmiş eşik değerini gösermekedir. Bir pikselin değeri erafındaki w1 pencere boyuundaki alan için hesaplanan yerel oralama değerden T 1 kadar büyük ise bu piksel için kenar bilgisidir veya deay içeren bir pikseldir kararı verilmekedir. Bu karar ile de uyumlama aşamasında kullanılacak birinci bi uzayı oluşurulmakadır. Burada, T 1 değerinin kullanılmasının sebebi gürülüye karşı olan hassasiyei azalmakadır. Karşılaşırma işlemi, pikselin ışıklılık değeri ile doğrudan yerel oralama değeri kullanılarak yapılırsa, elde edilen ikili imgede birçok yerde piksel kenar gibi algılanıp ciddi mikarda gürülü oluşacakır. Elde edilen birinci bi uzayı ile komşuluk ilişkileri dikkae alınarak ince ayrınılar ciddi şekilde çıkarılmakadır. Bu bilgiye ek olarak imgedeki daha kaba ayrınıları çıkarmak için ikinci bi uzayı oluşurulmakadır. İkinci bi uzayı oluşurulurken w1 pencere boyuundan daha küçük w2 pencere boyuunda yerel oralama değer hesaplanmakadır. Denklem 5 de verildiği gibi w1 ve w2 pencere boyuundan elde edilen iki oralama değerin karşılaşırılması ile de ikinci bi uzayına karar verilmekedir. Buradaki moivasyon ilgili piksel için büyük pencere boyuunda hesaplanan oralama değeri küçük bir pencere boyuu için hesaplanan oralama değerinden belli bir eşik değeri kadar büyük ise bu piksel kesinlikle kenar bilgisi içermeke ve HK için deay içeren bir bilgiye sahip olmakadır. (4) 852
Burada T2 gibi bir eşik kullanılmasının sebebi de birinci bi uzayı için anlaıldığı gibi gürülüye olan hassasiyei azalmak içindir. Birinci bi uzayı elde edilirken gürülü de kenar bilgisi şeklinde algılanabilirken ikinci bi uzayında bu şekilde ikinci bir konrol yapılarak çok yüksek ihimal kenar olan pikseller espi edilmiş bulunmakadır. B 2 (x, y) = { 1, abs(m 1 (x, y) m 2(x, y)) T 2 0, diğer Burada, B 2 ikinci bi uzayını, m 2 ümlev imgeden faydalanarak w 2 pencere boyuuna bağlı olarak hızlı bir şekilde hesaplanan yerel oralama değeri ve T 2 deneysel sonuçla belirlenmiş eşik değerini gösermekedir. Şekil 5 e bu yaklaşım kullanılarak elde edilen bi düzlemleri göserilmekedir. Bu şekilden de görüldüğü gibi birinci bi düzlemi ince ayrınıları göserirken ikinci bi düzlemi imgenin belirgin özelliklerini çıkarmakadır. Bu iki bi düzleminin birlike kullanılmasıyla beraber HK başarımının arırılması hedeflenmekedir. Bu şekilde sonuçlar elde edilirken T1=5 ve T2=11 olarak seçilmişir. (a): Orijinal çerçeve. (5) Önerilen yaklaşımda ümlev imge kullanarak giriş imgesi 2-bi düzleminde emsil edildiken sonra, bir bloğun hareke vekörlerinin bulunması için aşağıda verilen denklem ile genişleilmiş uyumsuz noka sayısı (Exended Non-Maching Poins (ENNMP)) isimli bir merik hesaplanmakadır. N1N1 1 P c c B i j B i c j c x y 1 1 x y 1 0 j0 ( i, j ) B ( i c, j c ) 2 2 x y ENNM (, ) (, ) (, ) (7) B (, ) B i j birinci bi düzlemini ve B ( i, j ) ise ikinci bi 1 2 düzlemini emsil emekedir. Sandar NNMP krieri alında yaan yaklaşımla elde edilen minimum ENNMP değerini veren ( c x, c ) nokası o blok için hareke vekörü olarak y belirlenmekedir. 3 Deneysel sonuçlar Önerilen yönemin HK başarımı düşük çözünürlüklü, farklı karakerisiğe sahip video dizileri için açık çevrim (open loop) olarak değerlendirilmişir. Bu amaçla orijinal çerçeve ile kesirilen çerçeve arasında PSNR (Peak Signal o Noise Raio) değeri hesaplanmışır. İkilileşirme işlemi gerçekleşirilirken ümlev imge elde edildiken sora birinci bi uzayını elde emek için kullanılan w1 pencere boyuu ve karşılaşırma için kullanılan T1 değeri deneysel olarak belirlenmiş ve en iyi değerler sırasıyla 11 ve 5 olarak espi edilmişir. Aynı şekilde ikinci bi uzayı edilirken en iyi sonuçları verdiği için w2 değeri 5 olarak T2 değeri de 10 olarak belirlenmişir. Şekil 6 da Tenis dizisinin bir çerçevesi için bu paramereler kullanılarak elde edilen bi uzayları göserilmekedir. (b): Önerilen yönem ile edilmiş birinci bi-düzlemi. (c): Önerilen yönem ile edilmiş ikinci bi-düzlemi. Şekil 5: Foreman dizisinin bir çerçevesi için önerilen yönem ile elde edilen bi düzlemleri. İkillileşilime işlemi gerçeklendiken sonra ikili imgeler üzerinde bir bloğun hareke vekörlerini bulmak için lieraürde uyumsuz noka sayısı (Non-Maching Poins (NNMP)) isimli bir merik hesaplanılmaka ve denklemi aşağıdaki gibi verilmekedir. NNMP N1N1 1 ( c, c ) B ( i, j ) B ( i c, j c ) x y x y i0 j0 (6) Burada, s c, c s 1 aralığında olup, ( x y c, c ) aday x y hareke vekörlerini gösermekedir. N ve s sırasıyla blok boyuunu ve arama aralığını gösermekedir. B ( i, j ) ikili imgeyi emsil emekedir. İkili imgelerde referans ve o anki çerçeve kendi içinde EX-OR lanıp sonuçlar oplanarak NNMP değeri hesaplanmakadır. Elde edilen minimum NNMP değerini veren ( c, c ) nokası o blok için hareke vekörü olarak y belirlenmekedir. x (b): Önerilen yönem ile edilmiş birinci bi-düzlemi. (a): Orijinal çerçeve. (c): Önerilen yönem ile edilmiş ikinci bi-düzlemi Şekil 6: Tenis dizisinin bir çerçevesi için önerilen yönem ile elde edilen bi düzlemleri. Şekil 7 de Fooball dizisi için bir referans ve o anki çerçeve göserilmekedir. O anki çerçeve için referans çerçeveden önerilen çalışma ile elde edilen hareke vekörleri oklar ile işarelenmişir. 853
(a) (b) Şekil 7: (a): Fooball dizisinden bir referans çerçeve, (b): O anki çerçeve ve bulunan hareke vekörleri. Şekil 8 de önerilen HK yaklaşımı sonucunda bir önceki çerçeveden elde edilen hareke vekörleri kullanılarak geri çaılmış çerçeveler göserilmekedir. Şekilden görüldüğü gibi kesirim sonucu elde edilen çerçevelerde bozulma çok az olmakadır. Bu bozulma video kodlayıcının diğer bileşenleri arafından kodlanmakadır. (a): Orijinal çerçeveler. (b): Önerilen yönem ile kesirilmiş çerçeveler. Şekil 8: Foreman ve Tenis dizilerinin bir çerçevesi için önerilen yönem ile elde edilen sonuçlar. Kullanılan pencere boyularına bağlı olarak yerel oralamalar hesaplanırken donanım için zorluğu bilinen kayan nokalı (floaing poin) çarpma işlemi yerine kuvve indirgeme (srengh reducion) yönemi ile yaklaşık olarak sonucu verecek şekilde kaydırma işlemi gerçeklenmişir. Birinci bi uzayı elde edilirken w1=11 pencere boyuu için oralama değer hesabında 1/121 ile çarpmak yerine (1/128) değeri ile çarpma işlemine karşılık gelen 1 ane 7-bi kaydırma işlemi yapılmışır. Aynı şekilde ikinci bi uzayı için w2=5 değeri için oralama hesabında 1/25 ile çarpmak yerine (1/32 + 1/128) değeri ile çarpma işlemini karşılık gelen 1 ane 7-bi ve 1 ane 5-bi kaydırma işlemi yapılıp sonuçları oplanmışır. Bu yaklaşımla kayan nokalı çarpma işlemlerinden kaçınılmış ve büün işlemler amsayı formda gerçeklenerek donanımsal uygulamalar için de ekin bir yönem gelişirilmişir. Önerilen yaklaşımın başarımı Tablo 1 de bulunan düşük işlem yüküne sahip bir-bi ve iki-bilik diğer yönemler ile karşılaşırıldığında bir-bilik yönemler olan 1BT ve MF-1BT yaklaşımlarından daha iyi PSNR değeri verirken iki-bilik yönemlerden 2BT nin başarımını geçerken C-1BT ile hemen hemen aynı başarımı vermekedir. Gelişirilen yaklaşımın işlem yükü, diğer düşük-bi derinliğine sahip diğer yaklaşımlar ile beraber Tablo 2 de karşılaşırılmakadır. Burada piksel başına düşen işlem sayısı dikkae alınmakadır. Tabloya bakıldığında en az işlem yükü veren HK yaklaşımının önerilen yaklaşım olduğu görülmekedir. Önerilen yaklaşımın işlem yükü deaylı incelendiğinde ümlev imge oluşururken piksel başına 1 oplama işlemi, ümlev imgeden belirli bir alandaki piksellerin oplamını oluşururken bi-uzayı başına 1 oplama 2 çıkarma işleminden iki bi uzayı için 2 oplama 4 çıkarma yapılmakadır. İlgili bloğun oralama değerini hesaplarken birinci bi uzayı için (1/128) değeri ile çarpma işlemine karşılık gelen 1 ane kaydırma, ikinci bi uzayı için (1/32 + 1/128) değeri ile çarpma işlemine karşılık gelen 2 ane kaydırma ve 1 ane oplama işlemi yapılmakadır. İkili imgeleri oluşurmak için birinci bi uzayını elde ederken I( x, y ) m ( x, y ) T 1 1 denkleminden 1 çıkarma, 1 karşılaşırma işlemi bunun yanında ikinci bi uzayını elde emek için ( m ( x, y ) m ( x, y )) T işleminden dolayı 1 çıkarma ve 1 1 2 2 karşılaşırma işlemi yapılmakadır. Önerilen yaklaşımın işlem yükü oplamda incelendiğinde ise ikili imge elde eme aşamasında 4 oplama, 6 çıkarma, 3 kaydırma ve 2 karşılaşırma olmak üzere 15 işlem gerekirdiği görülmekedir. Diğer düşük bi göserim emelli yaklaşımlardan piksel başına bir-bi kullanan 1BT ve MF-1BT nin HK başarımlarının düşük olmasının yanında ikilileşirme aşamasında kullandığı işlem sayısı da daha fazla olmakadır. 2BT yönemi piksel başına 2.8125 oplama, 1.0625 çarpma ve 0.0312 karşılaşırmaya ihiyaç duymakadır. Buradaki kayan noka çarpma ise donanım açısından uygun olmayan bir işlem olup gerçeklemesi zordur. C-1BT yaklaşımının ikili imge elde eme aşamasında ise oplam 20 işlem bulunmaka ve önerilen yaklaşım ile karşılaşırıldığında daha fazla işlem yüküne sahip olduğu görülmekedir. Uyumlama aşamasındaki işlem yükü ise önerilen yönemde ve 2BT, C1-BT yaklaşımlarında benzer seviyededir. Sonuçlardan anlaşılacağı gibi önerilen yaklaşım lieraürde donanıma uygun olan düşük bi derinliği kullanarak düşük işlem yüküne sahip olan HK yönemleri arasında en az işlem yüküne sahip olurken HK başarımı olarak da 1BT, MF-1BT ve 2BT ye göre daha iyi başarım göserirken C-1BT ile yaklaşık aynı olmakadır. 4 Sonuçlar Bu çalışmada ümlev imge kullanılarak hızlı bir şekilde uyarlamalı eşik hesabı yapan ve giriş çerçevelerini iki-bi ile emsil ederek HK gerçekleşirilen özgün bir ikilileşirme yaklaşımı önerilmekedir. Önerilen yaklaşım mevcu düşük bi göserimli yaklaşımlara göre işlem yükünü özellikle ikilileşirme aşamasında düşürmekedir. 854
HK Yönemi Tablo 1: Düşük-bi derinliği kullanan HK yönemlerinin ve önerilen çalışmanın başarımı (db). Fooball ( 352 240 ) (125 çerçeve) Foreman ( 352 288 ) (300 çerçeve) Video Dizileri (Çerçeve Boyuu, Dizi uzunluğu) Flowergarden Coasguard Tennis ( 352 240 ) ( 352 288 ) ( 352 240 ) (115 (300 (150 çerçeve) çerçeve) çerçeve) Mobile ( 352 240 ) (300 çerçeve) 6 Video dizisinin oralaması SAD (8-bi derinlike) 22.88 32.09 23.79 30.48 29.45 23.94 27.10 1BT [12] 21.83 30.32 23.31 29.83 28.11 23.61 26.17 MF-1BT [13] 21.81 30.38 23.26 29.88 28.18 23.63 26.19 2BT [14] 22.06 30.70 23.43 29.94 28.46 23.66 26.38 C-1BT [15] 22.10 30.86 23.38 29.98 28.71 23.69 26.45 Önerilen Yönem 22.02 30.92 23.32 30.10 28.60 23.66 26.44 İkilileşirme Tablo 2: Önerilen yaklaşımın diğer yönemler ile işlem yükü karşılaşırılması. 1BT [12] MF-1BT [13] 2BT [14] C-1BT [15] Önerilen Yönem Toplama 25 16 2.8125 16 4 Çarpma 1-1.0625 - - Kaydırma - 1-1 3 Çıkarma - - 0.0312 1 6 Karşılaşırma 1 1 3 2 2 Boolean - - 1 - - TOPLAM 27 18-20 15 Uyumlama Boolean 1 1 3 3 2 Toplama - - - - 1 TOPLAM 1 1 3 3 3 Önerilen yaklaşım HK başarımı açısından incelendiğinde ise bir-bilik yönemlere göre çok iyi başarım göserirken 2BT ve C-1BT gibi iki bi uzayı kullanan yaklaşımlar ile karşılaşırıldığında C-1BT aynı başarımı, 2BT den ise daha iyi başarım gösermekedir. Bu durum önerilen yönemin hareke kesirimi başarımı ile işlem yükü arasında bir denge kurduğunu gösermekedir. İleriki çalışmalarda önerilen bu yaklaşım için donanım mimarisi gelişirilmesi planlanmakadır. 5 Teşekkür Bu çalışma, Türkiye Bilimsel ve Teknoloji Araşırma Kurumu (TÜBİTAK) arafından EEEAG/115E921 No.lu araşırma projesi kapsamında deseklenmişir. 6 Kaynaklar [1] Medha A, Shalaby A, Sayed MS, Elsabrouy M. A highly parallel SAD archiecure for moion esimaion in HEVC encoder. IEEE Asia Pacific Conference Circuis Sysems (APCCAS), Ishigaki, 17-20 November 2014. [2] Koga T, Linuma K, Hirano A, Lijima Y, Ishiguro T. Moion compensaed inerframe coding for video conferencing. In Naional Telecommunicaion Conference, C9.6.1-C9.6.5, 29 November -3 December 1981. [3] Renxiang L, Bing Z, Ming LL. A new hree-sep search algorihm for block moion esimaion. IEEE Transacions Circuis and Sysems for Video Technology, 4(4), 438-442, 1994. [4] Lai-Man P, Wing-Chung M. A novel four-sep search algorihm for fas block moion esimaion. IEEE Transacions Circuis and Sysems for Video Technology, 6(3), 313-317, 1996. [5] Zhu S, Ma KK. A new diamond search algorihm for fas block-maching moion esimaion. IEEE Transacions. Image Processing., 9(2), 287-290, 2000. [6] Zhu, C, Lin, X, Chau, LP. Hexagon-based search paern for fas block moion esimaion. IEEE Transacions Circuis and Sysems for Video Technology, 12(5), 349-355, 2002. [7] Yu Y, Zhou J, Chen CW. "A novel fas block moion esimaion algorihm based on combined subsamplings on pixels and search candidaes". Journal Visual Communicaion Image Represenaion, 12(1), 96-105, 2001. [8] Wang CN, Yang SW, Liu CM, Chiang T. A hierarchical decimaion laice based on n-queen wih an applicaion for moion esimaion. IEEE Signal Processing Leers, 10(8), 228-231, 2003. [9] Cheung CK, Lai-Man P. Normalized parial disorion search algorihm for block moion esimaion. IEEE Transacions Circuis and Sysems for Video Technology, 10(3), 417-422, 2000. [10] Kim I, Kim J, Jeong J, Jeon G. Low-complexiy block-based moion esimaion algorihm using adapive search range adjusmen. Opical Engineering, 51(6), 2012. [11] Li W, Salari E. Successive eliminaion algorihm for moion esimaion. IEEE Transacions Image Processing, 4(1), 105-107, 1995. [12] Naarajan B, Bhaskaran V, Konsaninides K. "Lowcomplexiy block-based moion esimaion via one-bi ransforms". IEEE Transacions Circuis and Sysems for Video Technology, 7(4), 702-706, 1997. [13] Erürk S. "Muliplicaion-Free one-bi ransform for lowcomplexiy block-based moion esimaion". IEEE Signal Processing Leers, 14(2), 109-112, 2007. [14] Erürk A, Erürk S. "Two bi ransform for binary block moion esimaion". IEEE Transacions Circuis and Sysems for Video Technology, 15(7), 938-946, 2005. 855
[15] Urhan O, Erürk S. Consrained one-bi ransform for low-complexiy block moion esimaion. IEEE Transacions Circuis and Sysems for Video Technology, 17(4), 478-482, 2007. [16] Choi C, Jeong J. Enhanced wo-bi ransform based moion esimaion via Exension of maching crierion. IEEE Transacions Consumer Elecronics, 56(3), 1883-1889, 2010. [17] Güllü MK. "Weighed consrained one-bi ransform based fas block moion esimaion". IEEE Transacions Consumer Elecronics, 57, 751-755, 2011. [18] Song CM, Guo Y, Wang XH, Liu D. "Fuzzy quanizaion based bi ransform for low bi-resoluion moion esimaion". Signal Processing: Image Communicaion, 28(10), 1435-1447, 2013. [19] Sankur B, Sezgin M. "A survey over ımage hresholding echniques and quaniaive performance evaluaion". Journal of Elecronic Imaging, 13(1), 146-165, 2004. [20] Sauvo la J, Pieikainen M. Adapive documen image binarizaion. Paern Recogniion, 33(2), 225-236, 2000. [21] Sauvola J, Seppanen T, Haapakoski S, Pieikainen M. "Adapive documen binarizaion". 4 h Inernaional Conference. on Documen Analysis and Recogniion, Ulm Germany, 18-20 Augus 1997. [22] Romen ST, Roy S, Imocha SO, Sinam T, Manglem SK. "A new local adapive hresholding echnique in binarizaion". Inernaional Journal of Compuer Science, 6( 2), 271-277, 2011. [23] Crow F. "Summed-area ables for exure mapping". In Proceedings of SIGGRAPH, July 1984. [24] Viola P, Jones MJ. Robus real-ime face deecion. Inernaional Journal of Compuer Vision, 57(2), 137-154, 2004. 856