İstanbul Üniversitesi İstanbul University of Mühendislik Bilimleri Dergisi Engineering Sciences 1, 1-7, 2010 1, 1-7, 2010 HAREKETLİ GÖRÜNTÜDE KENAR BELİRLEME ALGORİTMASININ ANALOG HÜCRESEL SİNİR AĞI VE SAYISAL İŞARET İŞLEME İŞLEMCİLERİ ÜZERİNDE UYGULAMASI Emel ARSLAN 1 Sabri ARIK 2 Özet Hücresel Sinir Ağlarının (HSA donanımsal gerçeklemesi olan ACE16k işlemcisinin yanı sıra Sayısal İşaret İşleme (DSP işlemcisi de içeren HSA Çok Fonksiyonlu Makineler gelişmiş hesaplama özelikleri ile görüntü işleme uygulamalarında öne çıkmaktadır. Bu çalışmada bir HSA Çok Fonksiyonlu Makine olan Bi- i Hücresel Görü Sistemi üzerinde hareketli görüntüde kenar belirleme algoritması uygulanmış ve iki farklı kenar belirleme yöntemi karşılaştırılmıştır. Anahtar Kelimeler: Hücresel Sinir Ağları, Görüntü İşleme, Kenar Belirleme Algoritması, Evrensel Makina Abstract CNN Multi- functional Machines that include Digital Sign Procesing (DSP are widely used in image processing applications due to their improved calculation characteristics, along with the ACE16 processor which is the hardware realisation of Cellular Neural Networks (CNN. In this study,the algorithm used for edge detection on moving images is applied and two different edge detection algorithms are compared. Keywords: Cellular Neural Networks, Image Processing, Edge Detection Algorithms, Universal Machine 1 2 Bilgisayar Bilimleri Araştırma ve Uygulama Merkezi İstanbul Üniversites earslan@istanbul.edu.tr İstanbul Üniversites Bilgisayar Mühendisliği Bölümü, ariks@istanbul.edu.tr
2 Emel ARSLAN, Sabri ARIK GİRİŞ Gün geçtikçe görüntü işlemeye olan ilgi artmakta ve görüntü işlemenin uygulama alanları genişlemektedir. Bu çalışmada hareketli görüntüler üzerinde görüntü işleme uygulamalarından söz edilecektir. Burada hareketli görüntü ile kastedilen yapay olarak oluşturulan yada herhangi bir kamera ile kaydedilmiş değişik formatlardaki (.av.mpg v.b. film dosyalarıdır. Bu çalışmada.avi uzantılı hareketli bir görüntü dosyası üzerinde iki farklı yöntem ile kenar belirleme yapan bir algoritma uygulanmıştır. Uygulama sonucunda hakaretli görüntünün adeta bir karakalem çalışmasını andırır hali çıkış olarak elde edilir. Sözkonusu algoritma Bi- i Hücresel Görü Sistemi üzerinde hem Sobel yöntemi hem de Edge yöntemi ile kenar belirlemiş ve bu iki yöntem sonucu alınan çıkışlar karşılaştırılmıştır. Analog, doğrusal olmayan, gerçek zamanlı işlem yapan bir sinir ağı modeli olan Hücresel Sinir Ağı (HSA teorisi 1988 de L. O. Chua ve L. Yang tarafından önerilmiştir [1]. Mimarisini HSA nın donanımsal gerçeklemesi olan Analojik Hücresel Makinelerin (ACE4 ACE16k vs. oluşturduğu HSA Çok Fonksiyonlu Makine gelişmiş hesaplama özellikleri ile birlikte HSA ların görüntü işleme uygulamaları için gelişmiş özelliklerine de sahip olduğundan görüntü işleme uygulamaları için çok uygundur [2]- [3]. Bir HSA Çok Fonksiyonlu Makine olan Bi- i Hücresel Görü Sistemi çok yüksek hızda gerçek zamanlı işlem yapabilen, kompakt, bağımsız ve akıllı bir kamera olarak tanımlanabilir. Bi- i Hücresel Görü Sistemi yüksek çözünürlüklü sensörler ve biri HSA işlemci (ACE16k diğeri ise Sayısal İşaret İşlemci (DSP olmak üzere birbiri ile etkileşimli iki işlemciye sahiptir [4]. Bu çalışma şu şekilde organize edilmiştir : 2. bölümde HSA mimaris ACE16k işlemcisi ve Bi- i görü sistemi incelenmiştir. 3. bölümde Kenar Belirleme Algoritması ve detayları anlatılmış olup 4. bölümde ise uygulamadan elde edilmiş olan sonuçlar gösterilmiştir. Son olarak 5. bölümde çalışma hakkında genel bir değerlendirme yapılmıştır. HSA MİMARİSİ VE Bİ- İ HÜCRESEL GÖRÜ SİSTEMİ Bu bölümde HSA mimarisi ve Bi- i Hücresel Görü Sistemi hakkında temel bilgiler verilmiştir. Hücresel Sinir Ağlarının Mimarisi 4x4 boyutundaki bir HSA nın her bir hücresi bir kare ile temsil edilmiş olarak Şekil 1 de gösterilmiştir. C(1,1 C(2,1 C(3,1 C(4,1 C(1,2 C(2,2 C(3,2 C(4,2 C(1,3 C(2,3 C(3,3 C(4,3 Şekil 1. 4x4 hücreli iki boyutlu bir HSA Bu HSA mimarisinde her hücre sadece kendi komşuları ile bağlantılıdır. M satır ve N sütun şeklinde düzenlenmiş olan MxN hücreye sahip bir HSA düşünelim. i. satırın j. sütunundaki hücre C(j şeklinde gösterilir [1]. HSA daki bir C(j hücresinin r- komşuluğu r pozitif bir değer olması koşulu ile şu şekilde tanımlanmıştır: N r (j = C(l max { k i, l j } r 1 k M, 1 l N (1 C(1,4 C(2,4 C(3,4 C(4,4 Şekil 2 de merkezde siyah renk ile gösterilmiş olan hücreye sırasıyla r=1 ve r=2olmak üzere iki farklı komşuluk değerinde komşu olan hücreler gri renkli olarak gösterilmişlerdir.
Hareketli Görüntüde Kenar Belirleme 3 dx (t 1 ij C = xij(t + A( lykl(t + B( lukl + dt R x C( l S( j C( l S( j I ij 1 y ij = f ( xij = ( xij + 1 xij 1 (3 2 Şekil 2. C(j hücresinin r=1 ve r=2 için komşuları Bir Hücresel Sinir Ağının bir C(j hücresinin giriş, durum ve çıkış değerlerinin sırasıyla u, x ve y ile temsil edildiği tipik bir örneği Şekil 3 te gösterilmektedir. v düğüm gerilimi C(j nin girişi v y ij u ij düğüm gerilimi ise hücrenin çıkışı olarak adlandırılır [1]. Şekil 3. Bir hücre devresi örneği Şekil 3 e bakıldığında her bir C(j hücresinin birer adet bağımsız gerilim kaynağı (E ij, bağımsız akım kaynağı (I ve doğrusal kondansatör (C, iki adet de doğrusal direnç (R x ve R y içerdiği görülmektedir. v kontrol giriş gerilimi ve v çıkış u ij gerilimidir. I xy ( l ve ( l ve I xu I ( l = A( l xy y kl I ( l = B( l xu u kl y ij (2 karakteristikleri ile doğrusal gerilim kontrollü akım kaynaklarıdır. HSA nın dinamik denklemleri şu eşitliklerle karakterize edilebilir [1] : v = E, v ( 0 1, v 1; 1 k M ; 1 l N uij ij xij uij A( l = A( l; j,1 k M ;1 j, l N ve C>0, R x >0. (4 A(l ve B(l sırasıyla geri besleme ve kontrol operatörü olarak adlandırılır [1]. HSA Çok Fonksiyonlu Makine HSA nın donanımsal gerçeklemesi hücre yapısı ve sadece komşu hücreleri arasında bağlantı bulunması nedeniyle klasik Yapay Sinir Ağlarına kıyasla daha kolaydır. Analojik Hücresel Makineler (ACE4 ACE16k vs. [5] HSA Çok Fonksiyonlu Makine mimarisine dayanarak tasarlanmıştır. HSA Çok Fonksiyonlu Makine mimarisi analog dizi işlemleri ve lojik işlemleri bir arada yürütebildiği için Roska ve Chua tarafından analojik hesaplama olarak adlandırılmıştır [2]. HSA Çok Fonksiyonlu Makinedeki her bir hücre içerisinde OPT, LAM, LLM, LAOU, LCCU ve LLU olarak isimlendirilen farklı bellek yapıları ve özel devreler mevcuttur. Bir görüntü, optik algılayıcı (OPT girişinden alınabilir. Yerel bellekler her hücre içindeki Yerel Analog Bellek (LAM: Local Analog Memory ve Yerel Lojik Bellek (LLM: Local Logical Memory değerlerini saklarlar. HSA Çok Fonksiyonlu Makine üzerinde gri seviye görüntüleri tutan 8 adet LAM ve ikili görüntüleri tutan 2 adet LLM bellek mevcuttur. Bu bellekler sınırlı sayıda olmalarına rağmen üzerinde aritmetik ve lojik işlemler kolaylıkla gerçekleştirilmektedir. Gri seviye görüntüleri saklayan LAM bellek toplama, çıkarma gibi gri seviye işlemlerin, ikili seviye görüntüleri saklayan LLM bellek ise morfolojik ve lojik işlemlerin kolaylıkla yapılabileceği bir yapı sunarlar. Elde edilen ara sonuçlar iki bellek arasında iletilebilmektedir.
4 Emel ARSLAN, Sabri ARIK Saklanan değerler üzerinde analog işlemleri gerçekleştirmek için bir yerel analog çıkış birimi (LAOU: Local Analog Output Unit, lojik işlemleri gerçekleştirmek için ise bir yerel lojik birim (LLU: Local Logic Unit kullanılır. Elde edilen çıkışlar her zaman yerel belleklerden birine gönderilir. Yerel İletişim ve Kontrol Birimi (LCCU: Local Communication and Control Unit erişilen hücre ve makinenin Global Analojik Program Birimi (GAPU - Global Analogic Program Unit arasında iletişimi sağlar. Dört fonksiyonel bloğa sahip olan GAPU programların etkili şekilde yürütülmesini ve birimlerin efektif kontrolünü sağlar. Bu dört bloktan biri analog program komutlarını ve HSA şablonlarını saklayan Analog Program Belleğidir (APR: Analog Program Register. GAPU nun içindeki diğer tüm birimler hücre dizisinde işlem yapmak için gerekli kontrol kodlarını içeren lojik belleklerdir. ACE16k İşlemcisi ACE16 HSA Çok Fonksiyonlu Makinenin analog olarak işlem yapabilen HSA temelli işlemcisidir. Görüntülerin şablonlarla işlenmes lojik işlemler, toplama çıkarma gibi birçok görüntü işleme işleminin gerçekleştirilmesinde kullanılan ACE16k (Focal Plain Array Analog Processor işlemcisi düşük çözünürlüklü (128 x 128 CMOS gri seviye görüntü algılayıcısı ve analog işlemci dizilerini içermektedir. Bu işlemci dizisi bütün görüntüyü paralel olarak işleyebildiği için geleneksel işlemcilere göre görüntü işleme uygulamaları konusunda çok daha hızlıdır. ACE16k işlemcisi saniyede 30000 çerçeve işleyebilme kapasitesine sahiptir. Bi- i Hücresel Görü Sistemi HSA tabanlı ACE16k işlemcisi ve yüksek performanslı bir Sayısal İşaret İşlemcisi olmak üzere iki farklı işlemci içeren Bi- i hücresel görü sistem kısaca çok yüksek hıza sahip, kompakt, bağımsız ve akıllı bir kamera olarak tanımlanabilir[4]. Görüntüler, sistemde bulunan iki farklı algılayıcı yardımıyla yerel belleklere kaydedilir. Bu algılayıcılardan birisi yüksek çözünürlüklü (1280*1024 renkli CMOS (IBIS 5- C algılayıcısı, diğer görüntü kaynağı ise düşük çözünürlüklü (128*128 ACE16K algılayıcısıdır. Bi- i üzerinde 100 Mbit/sec hızla TCP/IP üzerinden bilgi değişimi yapabilen Gömülü Etrax iletişim işlemcisi ile birlikte USB, Ethernet ve RS232 gibi bazı harici arayüzler de mevcuttur. Bi- i Programlama HSA çok fonksiyonlu makinede iki farklı programlama yöntemi bulunmaktadır. Bunlardan bir daha çok basit uygulamalar geliştirmeye uygun geleneksel Bi- i programlama yöntemi olan AMC (Analogic Macro Code dilidir. AMC dilinde yazılan kodlar ikilik tabana dönüştürülerek Bi- i üzerinde çalıştırılır. Bir diğer yöntem ise daha karmaşık uygulamalar geliştirmek için kullanılan Bi- i Yazılım Geliştirme Aracı (Software Development Kit- SDK dır. Bi- i SDK, uygulama geliştirmek için kullanılan bir grup C++ programlama kütüphanesinden oluşmaktadır. Bu kütüphaneler geliştirme birimi Code Composer Studio ile birlikte Sayısal İşaret İşleyici (DSP için de kullanılabilir. TACE sınıfı ACE16k tüm devresini kontrol etmek için görüntü ve şablon transfer lojik ve aritmetik işlemler ve şablon çalıştırmak gibi birçok fonksiyonu içerir. TACE_IPL ise ACE16k için oluşturulmuş bir görüntü işleme kütüphanesidir. Bu kütüphane içerisinde temel gri seviye (toplama, çıkarma, sobel, laplace vs. ve morfolojik işlemler (genişleme, aşınma, kapama, açma, iskeletleme vs. için tanımlanan fonksiyonlar mevcuttur. Bununla birlikte Bi- i Hücresel Görü Sistem içerdiği DSP leri kullanarak uygulama geliştirmeye imkan veren InstantVision kütüphanelerini içermektedir. Bu kütüphaneler aynı zamanda diğer DSP tabanlı platformlarda da kullanılmaya uygun bir şekilde geliştirilmiştir. Veri yapılarını tanımlama, giriş/çıkış için ara yüz, işaret ve görüntü işleme, özellik çıkarma, sınıflandırma ve çoklu hedef takip etme gibi görüntü işleme uygulamaları geliştirmek için kullanılabilen etkili fonksiyonlara sahip temel yazılım kütüphaneleri mevcuttur [6]. HAREKETLİ GÖRÜNTÜDE NESNELERİN KENARLARINI BELİRLEYEN ALGORİTMA Bu çalışmada Bi- i Hücresel Görü Sistemi kullanılarak hareketli görüntüdeki nesnelerin kenarlarını belirleyen bir algoritma geliştirilmiş ve bu algoritmayı kullanan uygulamadan alınan çıkış görüntüleri üzerinden sonuçlar değerlendirilmiştir.
Hareketli Görüntüde Kenar Belirleme 5 Giriş Videosu bir işaret eklenerek de keskinleştirme yapılabilir. Matematiksel ifadesi aşağıda verilmiştir. i=0; i<çerçevesayısı; i++ v( m, n u( m, n + λg( m, n = (5 ith çerçeveye uygulanan Ön İşlemler: Kenar Belirginleştirme Alçak Geçiren Filtre Ortanca Filtre Sobel Yöntemi ile kenar belirleme Edge Yöntemi ile kenar belirleme Kenarları belirlenmiş hareketli görüntü kaydedilir Biri Edge diğeri Sobel yöntemi ile barındırdığı nesnelerin kenarları belinlenm iş karakalem hareketli görüntü dosyaları Bulanıklaştırma için ise görüntü Alçak Geçiren Filtreden (Low Pass Filter geçirilir. Ortalama veya ağırlıklı ortalamaya dayandığı için Ortalama Filtreleri (Averaging Filter olarak da adlandırılır. Alçak geçiren filtre olarak adlandırılmasının sebebi de görüntüdeki gri tonlarındaki keskin geçişleri azaltmasıdır. Ardından görüntü özellikle tuz biber gürültülerinden temizlenmek için Ortanca Filtresinden (Median Filtering geçilir. Ortanca Filtresinde komşu piksel değerleri önce sıraya konulur, sonra ortadaki değer alınır. Genellikle bu işlem için tek sayıda komşu seçilir. Eğer çift sayıda komşu kullanılırsa, ortada kalan iki pikselin aritmetik ortalaması kullanılır. Matematiksel olarak aşağıdaki şekilde ifade edilir: Çıkış Videosu Şekil 4. Hareketli görüntü içindeki nesnelerin kenarlarını belirleyen algoritmanın blok diyagramı Blok diyagramı Şekil 4 te verilmiş olan algoritmada öncelikle işlenecek olan hareketli görüntü sisteme giriş olarak verilir. Bu hareketli görüntü nesnelerinin en iyi şekilde tespitini sağlamak amacıyla ilk olarak Keskinlik Maskelemesi ve Kenar Koyulaştırma (Unsharp Masking and Crispening işlemlerine tabi tutulur. Keskinlik Maskelemesi ve Kenar Koyulaştırma görüntüdeki ayrıntıları, keskin geçişleri belirginleştirme bulanıklaşmış görüntülerdeki ayrıntıları yeniden ortaya çıkarmak için kullanılır [7]. Endüstriyel ve askeri alanda, tıbbi çalışmalarda ve diğer birçok alanda oldukça yararlıdır. Keskinleştirme, sayısal farkların alınması ile gerçekleştirilir (diferansiyel, türev v.b.. Fark alma, resimdeki kenarları, süreksizlikleri (gürültü gibi belirginleştirir (keskinleştirir ve görüntüdeki düşük gri düzeyi değişimleri olan bölgeleri belirsizleştirir. Bu algoritmada keskinleştirme işlemi için kullanılan yöntem, görüntünün kendisinden bulanıklaştırılmış hali çıkarılması şeklindedir. Bir başka yöntem olarak dereceli veya yüksek geçiren ( m, n = median{ y( m n l, ( l W} (6 v Bu işlemin ardından görüntü gürültü denilen görüntü kirliliğinden arındırılmış olur. Gürültülerinden arındırılmış olan görüntünün öncelikle Sobel fonksiyonu kullanılarak Sobel Kenar Belirleme Yöntemi ile kenarları belirlenir. Nesnelerinin kenarları belirlenmiş her bir çerçeveye ait görüntü dosyası biriktirilerek bu yöntemin sonucu olarak alınan hareketli görüntü çıkış dosyası olarak elde edilir. Blok diyagramda da görüleceği gibi uygulamada kullanılan diğer kenar belirleme yöntemi Edge8 fonksiyonu kullanılarak gerçekleştirilen Edge Kenar belirleme Yöntemidir. Burada kullanılmış olan her iki yöntemin fonksiyonu da (Edge8 ve Sobel InstantVision kütüphaneleri içinde mevcuttur. Sobel yönteminde olduğu gibi Edge yöntemi uygulanması sonucu elde edilen görüntüler de biriktirilip sonuç hareketli görüntü dosyası olarak elde edilir. Uygulama çalışması esnasında hareketli görüntünün değişik çerçeveleri için alınan çıkış görüntüleri Şekil 5., Şekil 6. ve Şekil 7. de verilmiştir.
6 Emel ARSLAN, Sabri ARIK Orijinal Görüntü Orijinal Görüntü Sobel uygulanmış çıkış Edge8 uygulanmış çıkış Sobel uygulanmış çıkış Edge8 uygulanmış çıkış Şekil 5. Hareketli görüntünün 66. çerçevesi için alınan çıkışlar Şekil 7. Hareketli görüntünün 137. çerçevesi için alınan çıkışlar Yukarıdaki örnek ekran görüntülerinden de anlaşılacağı üzere Sobel yöntemi ile görüntü çok daha belirgin şekilde elde edilmiştir. DENEYSEL SONUÇLAR Orijinal Görüntü 3. bölümde bahsedilmiş olan uygulamada kullanılan yöntemlerin çalışma sürelerini belirlemek için C++ da kodlanmış olan fonksiyonlar kullanılarak bazı istatistikî bilgiler elde edilmiştir. Bu fonksiyonlar sonucu belirlenen istatistikî değerler Tablo 1 de verilmiştir. Tablo 1. İki yöntemin çalışma süreleri Yöntem 1 çerçeve için ortalama süre Tüm hareketli görüntü için süre Sobel uygulanmış çıkış Edge8 uygulanmış çıkış Edge 13340 µs 1827555 µs Sobel 4406 µs 603663 µs Şekil 6. Hareketli görüntünün 110. çerçevesi için alınan çıkışlar
Hareketli Görüntüde Kenar Belirleme 7 Bu istatistikî bilgiler hareketli görüntünün sadece 1 çerçevesi için gerekli süre ve tüm hareketli görüntünün (137 çerçeve işlenmesi için gerekli süre olmak üzere ayrı ayrı hesaplanmış değerlerdir. Burada elde edilen istatistikî bilgiler, bir hareketli görüntünün içerdiği nesnelerinin kenarlarının belirlenmesi için kullanılan Sobel yönteminin Edge yöntemine göre hem görüntü anlamında daha iyi sonuç verdiğini hem de süre anlamında daha büyük avantaj sağladığını göstermektedir. SONUÇ Bu çalışmada Hücresel Görü Sistemi kullanılarak geliştirilmiş olan hareketli görüntünün içerdiği nesnelerin kenar belirlemesini yapan algoritma gerçekleştirilmiştir. Algoritma Sayısal İşaret İşleme (DSP işlemcisi üzerinde işletilmiştir ve algoritma sonucunda sisteme verilen hareketli görüntünün bir adet Edge yöntemi ile kenar belirleme işlemi sonucu elde edilen, bir adet de Sobel kenar belirleme yöntemi ile elde edilen olmak üzere iki adet sonuç hareketli görüntüsü elde edilmiştir. Bu uygulama bir hareketli görüntüdeki nesnelerin tespiti ve özelliklerinin belirlenip işlenmesi çalışmaları için bir ön adım sayılabilir. KAYNAKÇA [1] L. O. Chua ve L. Yang, Cellular neural networks: Theory and applications, IEEE Trans. on CAS, cilt 35 no. 10, 1988, s. 1257 1290. [2] T. Roska ve L. O. Chua, The CNN universal machine: an analogic array computer, IEEE Trans. on CAS- I, cilt. 40 no. 3, 1993, s. 163 173. [3] T. Roska ve A. Rodriguez- Vazquez, Towards visual microprocessors, Proceedings of the IEEE, cilt 90 no.7, 2002, s. 1244 1257. [4] A. Zarandy ve C. Rekeczky, Bi- i: a standalone ultra high speed cellular vision system., IEEE Circuit and Systems Magazine, cilt 5, no.2, 2005, s. 36 45. [5] A.R. Vazquez, G. L. Cembrano, L. Carranza, E.R.Moreno, R.C. Galan, F.J. Garrido, R.D. Castro ve S. E. Meana, ACE16k: the third generation of mixed- signal SIMDCNN ACE chips toward VSoCs, IEEE Trans. CAS- I, cilt 51,no.5, 2004, s. 851 863. [6] http://www.analogic- computers.com /Support [7] T. Acharya ve A.K. Ray, Image Processing: Principles and Applications, Wiley and Sons, 2005. [8] C. Gonzales ve R.E. Woods, Digital Image Processing, Prentice Hall, New