GÖRÜNTÜ ONARMADA OLUŞAN ÇERÇEVE HATALARININ İYİLEŞTİRİLMESİ Memdu KÖSE ve Ziya TELATAR Ankara Üniversitesi Elektronik Mü. Böl., Tandoğan, 61, Ankara, Türkiye kose@science.ankara.edu.tr, telatar@science.ankara.edu.tr Özetçe Bu çalışmada, bulanıklaşmış görüntülerin Wiener yada ters süzgeç ile onarılması sırasında kullanılan dönüşümlerin etkisi veya atalı onarma sonucunda oluşan kenar bölgeleri ataları probleminin çözümüne yönelik bir yöntem geliştirilmiştir. Yöntemde görüntünün alt,üst,sağ ve sol çerçeve bölgelerindeki bozulmalar için bir kestirim ve daa sonrasında onarma yapılmış, merkez bölgedeki atanın ise iyi bilinen algoritmalar ile onarıldığı kabul edilmiştir. Geliştirilen yöntem görüntünün kenar bölgeleri üzerinde farkedilebilir bir iyileştirme sağlamıştır. Mevcut yöntemlerle bir karşılaştırması yapılmış, sayısal değerler ve onarılmış görüntüler sonuçlar bölümünde verilmiştir. 1. Giriş Hareket, atmosferik şartların değişimi vs. gibi etkiler nedeniyle görüntülerde bozulmalar oluşabilir. Görüntülerin anlaşılırlıklarını olumsuz etkileyen bu bozulmaların ortadan kaldırılması sayısal görüntü işlemenin temel konularından biri olmuştur. Araştırmacılar görüntü onarma olarak bilinen problemin çözümü için pek çok yöntem geliştirmişlerdir. Sezan ve Tekalp yayınladıkları makalede bulanık görüntülerin iyileştirilmesine yönelik olarak convex setler teorisi üzerinde çalışmışlardır [1]. Telatar ve Tüzünalp [2], görüntünün ayrıt bilgisinden yararlanarak onarma için bir algoritma geliştirmişlerdir.woods [3] Kalman süzgecini kullanarak kenar değerleri için bir inceleme yapmış, Lim [4] sağ ve sol kenarların şiddetleri arasındaki farklardan yararlanarak kaymayla bulanıklaşmış görüntüler için matematiksel ifadeler türetmiştir. Burada verilenler ve diğer tüm onarma yöntemlerinin genelinde atanın bütün görüntü boyunca eşit dağılmış olduğu kabulü ile ata düzeltme işlemi tüm görüntü boyunca gerçekleştirilir. Halbuki onarma atası olarak bilinen ve görüntünün kenar bölgelerine gidildikçe belirginleşen kenar bölgesi ataları yukarıda verilen algoritmaların sonucu ortaya çıkarlar. Bu yüzden onarma işlemi sonrasında bazı görüntülerin yeniden işlenmesi gerekebilir. Kenar bölgesi onarma atası olarak bilinen bu konuda ilk çalışmayı yapan Tan ve diğerleri [5] kaymayla bulanıklaşmış görüntülerin iyileştirilmesinde Wiener ve Ters süzgeç için optimal bir pencere tanımlamışlardır. Nokta yayınım fonksiyonu terimleri ile tanımlanan bu pencere, sınırlardaki ortalama piksel şiddetleri arasındaki farka göre onarma atalarını ortadan kaldırmaya yöneliktir. Kenar bölgelerde piksel şiddeti değişimlerinde artan atalar ortaya çıkabilmesine rağmen, bu pencere bulanıklaşmış görüntüler için uygulanabilir ilk kenar onarma çalışmasıdır. Çalışmalarında uzaysal olarak değişmeyen nokta yayınım fonksiyonuna saip bir fonksiyonla bulanıklaşmış bir görüntü için optimal pencere tasarlamışlardırlar. Bu çalışmada yukarıda verilen pencere tasarımına alternatif olarak, ters, Wiener süzgeç veya yukarıda belirtilen erangibir yöntem sonucu oluşan kenar atalarının giderilmesi icin yeni bir pencereleme tekniği önerilmiştir. Yöntemin sadece bozulmuş görüntünün kenar bölgeleri üzerinde etkili olması amaçlanmıştır. Bir sonraki bölümde genel pencereleme yöntemi ile ilgili tanımlamalar verilmiş, devamında bu çalışmada kapsamında geliştirilen pencere yöntemi açıklanmıştır. Sonuçlar bölümünde algoritmanın değişik bulanıklaşma değerleri ile gerçekleştirilen deneysel çalışmaları ile gerçek görüntüler üzerindeki performans değerlendirmesi ve daa önceki yöntemle bir karşılaştırması verilmiştir.
2.Görüntü Modeli ve Pencereleme NxN boyutlu sayısallaştırlmış bir f i,k görüntüsünün iki boyutlu nokta yayınım fonksiyonu i,k ile bulanıklaştırılması sonucunda g i M-1 L-1, k = l= j,l f i- j,k-l 1 g i,k bulanık görüntüsü elde edilir. Burada M ve L PSF nin satır ve sütun boyutlarıdır. Bulanık görüntünün ayrık Fourier dönüşümü denklem (2) de verildiği gibidir. G u N-1 N 1 M-1 L-1 W ju v f + l = j,l i- j,k-l = j,lw f, v k= l= M 1 L 1 l= N 1 j N-1-l -j k= -l i,k W 2 Burada genel terimler kullanılarak (2) eşitliği açılırsa (3) denklem elde edilir, G = F + E u, v H u, v u, v u, v 3 H u, vf u, v terimi ters süzgeçleme için mükemmel onarma terimini, u v E, terimi ise toplam ata terimini verir ve Lim ve diğerleri [4] makalelerinde bunu kenar atası olarak tanımlanmıştır. Görüntüde yatay ve düşey yönlerde bir periyodiklik varsa Ters süzgeçleme ve Wiener süzgeçleme bu ataları bir ölçüde yenebilir. Optimum pencere bulunurken amaç atayı minimuma yaklaştırmaktır. Bu amaçla ya atanın gradyenti sıfırlanmaya çalışılır yada iterasyonla göreceli olarak iyileştirme yapılır. Bu amacı gerçekleyen pencere değerleri esaplanır. Hata terimleri ile ilişkili olarak pencere karakteristiği 9 terimden oluşur. Bu 9 terimin esabı bulanıklaşma modeli terimindeki ataların azaltılması yönünde bazı terimlerin toplamı şeklinde ortaya çıkacaktır. Bu durum Şekil-1 üzerinde gösterilmiştir. Burada dokuz ayrı bölgenin seçilmesine yapılan deneyler sonucunda optimum iyileştirme sağlayacak şekilde karar verilmiştir. Burada seçilen dokuz ayrı bölgenin erbiri için aynı işlemler tekrarlanırlar. 3. Onarma için Pencereleme Tekniği Bu bölümde yukarıda basedilen dokuz bölge için en iyi onarmayı sağlayacak yeni bir pencere yöntemi önerilmiştir. Bu pencerede önceki çalışmalarda kullanılan pencerelerin aksine bozulmuş görüntünün kenar bölgeleri üzerinde çalışılmış ve algoritmanın sadece kenar bölgeleri üzerinde etkili olması sağlanmıştır. Bunun için pencere önce bir doğrusal öngörüme tabi tutulur. Bu öngörüm, atanın azaltılması yönünde mümkün olduğu kadarıyle iyileştirme yapmaktır. Mevcut görüntünün kendi kenar bölgelerinden oluşan pencereyi esaplayabilmek için önce pencerenin boyutu belirlenir. Burada dikkat edilmesi gereken nokta, pencerenin iyileştirmede kullanılan nokta yayınım fonksiyonunun boyutuna yakın bir boyutta seçilmesidir. Bu boyut piksel cinsinden esaplanarak görüntü kenarına bir kenar öngörümü ile birlikte eklenir. Bunun için kaç piksellik blok ekleneceği belirlendikten sonra doğrusal kestirim kullanılarak görüntünün kenarından başlayarak, bir sonraki piksel tamin edilir. Bu işleme pencere boyutuna ulaşıncaya kadar devam edilir. Amaç kenarlardaki iyileştirmeyi artırmak olduğundan ideal onarmaya yaklaşmak ancak ve ancak iyi bir kestirim ile mümkündür. Katlamadan doğan atalar, kestirim sırasında yapılan ataları büyültebilir ve yöntemi başarısızlığa uğratabilir. Pencere kestirilip görüntünün kenarlarına eklendikten sonra işlemlere devam edilir. Daa sonra, genel onarma tekniklerinden biri görüntüye (ters süzgeçleme, Wiener süzgeçleme vs.) uygulanır. Eklenen pencere kenarlara yumuşak bir geçiş sağlamak zorundadır. Eğer keskin bir geçiş yaparsa onarma öncesinde kenarın o bölgesi yumuşatıcı süzgeçten geçirilir. Şekil-1 de tasarlanan pencere verilmiş olup pencerenin kestirimi şu şekilde gerçekleştirilir. Çalışmada once 4 ve 8 inci bölgeler kestirilir ve öngörüme tabi tutulur. Sonra oluşan görüntünün kalan bölgeleri kestirilen
bölgeler de dail olmak üzere tekrar kestirilir. Böylece 1, 2, 3 ile 5, 6, 7 bölgeleri için kestirme işlemi tamamlanmış olur. Merkez bölgesi (1) ise kenar bölgesi bozulmalarından en az etkilenen bölge olduğundan, bu bölgede erangibir işlem gerçekleştirilmez ve aynen bırakılır. Eğer elimizde NxN lik bir görüntü varsa ilk etapta M piksel pencere kestirip ekleyeceksek 4 ve 8 inci bölgeler eklendikten sonra NxM+N görüntü elde edilir. Daa sonra kalan bloklar kestirilir ve en sonunda N+MxN+M lik bir pencere eklenmiş görüntü elde edilmiş olur. Kestirim sırasında kenar bölgelerde ayrıntı bilgisi fazla olan yerlerde geçişlerin daa keskin olduğu görülür. Bu keskin geçişlerden kurtulmak için yönsel kestirim yöntemleri önerilir. Bir görüntü için yönsel kestirim, merkez bölgesinden eklenen bloklara doğru görüntüdeki geçişleri koruyarak yani yönlerini kestirerek kestirimin yönünü tayin etmektir. Eşitlik (2) de verilen f i,k, g i,k ve i,k yeni pencereleme tekniği için modellenirse eşitlik (4) teki ifadeler elde edilir. g ( n, n p 1 2 gi,k = ) = g( n1, n M 1 L-1 l= 2 ) j, l f i j, k l < i, k < N + 1 < i, k < ; N < i, k < N + Burada g ( n, n p 1 2 ) yeni pencere ifadesini tanımlar, g( n1, n2 ) ise öngörme fonksiyonu olup, satırlar ve sütünlar için ayrı ayrı aşağıdaki gibi esaplanmışlardır. ( 1 2 1 2 1 2 1 2 ( n1, n2 ) = g( n1, n2 1) + g( n1, n2 2) g( n1, n2 3 Satırlar için g n, n ) = g( n 1, n ) + g( n 2, n ) g( n 3, n ) Sütunlar için g ) 5 Öngörülmüş ifadede görüldüğü gibi piksel sayısı kadar görüntü er yönde genişlemiştir (Şekil 2.a). Bu ifadenin görüntüde meydana getirdiği değişiklik şekil 2.c de gösterilmiş olup (5) İfadesinden de anlaşılacağı gibi bu doğrusal kabulü ile bir öngörüm ifadesidir. Ancak bütün kenar bölgeleri boyunca değişim genellikle doğrusal değildir. Yani kenarlardaki geçişler doğrusal ifadede yakalanamazlar. Şekil-2.c de görüldüğü gibi kesikli olan öngörülmüş bölge doğrusal öngörümün atalarını gösterir. Bu kesikli atalar öngörümde kullanılan terimlerden kaynaklanmaktadır. Bir sonraki piksel değeri belirlenirken bir önceki piksel değerine iki ve üç önceki piksel değerleri arasındaki fark eklenmektedir. Bu fark bir sonraki piksel değeri için bir pozitif bir negatif olacağından dalgalı geçişler ilerleyerek devam eder. Bu ata iyi bir öngörüm ile ortadan kaldırılmakta ve daa yumuşak geçişler elde edilmektedir. Olası diğer bir ata da kenara açıyla gelen değişimlerin doğrusal bir şekilde ilerlediği kabulünün yapılmasıdır ki, bu ata da yönsel öngörümle giderilir. Eşitlik (2), (4) ve (5) eşitlikleri ile genişletilirse, 4 G p = N+ -1 N + 1 k= W M-1 L-1 ju+ lv j,lf i- j,k-l = j,lw f l= M 1 L 1 l= N + 1 j N+ -1-l -j k= -l i,k W 6 elde edilir. Burada genişletilmiş yeni pencere tekniği için (6) eşitliği yeniden yazılırsa, G p H u, v Fu, v + E u, v = 7 elde edilir. Görüleceği gibi pencereleme tekniği için elde edilen sonuç (eşitlik 6) ve genelleştirilmiş sonuç eşitliği (eşitlik 7) literatürde bilinen bozulmuş görüntü ifadesini vermektedir. Bu da pencereleme yöntemi için izlenen yolun doğru sonuca ulaştığını teorik olarak göstermektedir.
4. Deneysel çalışmalar ve sonuçlar Bu kısımda geliştirilen algoritmayı test etmek için yapılan çalışmalar sunulmuştur. Değişik gürültülerle bulanıklaşmış 256x256 piksel boyutundaki görüntülere önce literatürde mevcut onarma yöntemleri ve pencereleme tekniği ve daa sonra da bu çalışma kapsamında geliştirilen yeni pencere tekniği uygulanmıştır. Sonuçlar ve görüntüler karşılaştırmalı olarak sunulmuştur. Yöntem değişik görüntülere uygulanmış ve deneylerin sonuçları verilmiştir. Bulanıklaştırma fonksiyonu olarak Gauss dağılımlı gürültü alınmıştır. Bu gürültü ile bozulmuş görüntü pencere fonksiyonu ile genişletildikten sonra ters ve Wiener süzgeç ile onarılmış ve sonuçları çizelge ve şekillerde verilmiştir. Sonuçlara bakıldığında algoritma kenar bölgelerde görüntü üzerinde farkedilebilir bir iyileştirme sağladığı gözlenmiştir. Bu tekniğin bulanıklaştırma fonksiyonuna bağımlılığı yoktur ve sadece çerçeve kenarları için blok tamininde ataya düşülebilir. Bu da iyi tamin yöntemleri kullanılarak azaltılabilir. Şekil-3.a. da ters süzgeç ile onarılmış uçak görüntüsü verilmiştir. Kenar bölgelerdeki çizgiler onarma atası sonucu ortaya çıkmıştır. Şekil-3.b. de ise G=.4 için bu çalışmada önerilen pencere yöntemi ile kenar atalarının minimuma indirilmiş görüntüsü verilmiştir ve db cinsinden esaplanan iyileştirmeler çizelgelerde verilmiştir. Çizelge-1 ve 3 de ters süzgeç ve Wiener süzgeç için önerilen yöntemin bir karşılaştırması verilerek, sabit blok genişliği ve gamma değerinin artışıyla (artan nokta yayınım fonksiyonu için) PSNR esaplama sonuçları sunulmuş ve önerilen pencere yönteminin klasik yöntemlerden biraz daa iyi sonuçlar ürettiği gözlenmiştir. Çizelge-2 ve 4 de ise sabit gamma değeri için blok genişliği değiştirilerek ters ve Wiener süzgeç için bir karşılaştırması verilmiştir. PSNR esabında kenara yaklaşıldıkça 5 db ye kadar iyileştirme sağlandığı gözlenmiştir. Çizelge 5 ve çizelge 6 da ise yeni pencere yönteminin klasik onarma yöntemleri ve önceki pencere yöntemiyle bir karşılaştırması verilmiştir. Bu çizelgelerde bu çalışma kapsamında sunulan pencere yönteminin öncekine göre iyileştirme farkı çizelgede açıklıkla görülmektedir. Algoritma yalnızca kenar çerçeveleri üzerinde iyileştirme sağlamakta, orta bölgelerde ise erangi bir işlem yapılmamaktadır. Yapılan deneyler sonucunda G nin daa büyük değerleri için daa yüksek oranda iyileştirmelerin sağlandığı gözlenmistir. PSNR esaplamaları görüntü boyunca yapılmıştır. İyileştirme işlemi ise sadece kenar çerçeve bölgeleri üzerinde yapıldığından iyileştirme esapları mevcut onarma yöntemlerine yakın çıkmıştır. 5. Çıkarımlar Deneysel çalışmalar sonucunda blok ekleyerek yaptığımız yeni pencere tekniği [Tan, Lim, Tan 1991] de önerilen kenar algoritması yönteminden daa iyi sonuçlar verdiği deneylerle gözlenmiştir. Deneylerde er iki yöntem aynı görüntülere uygulanmış yöntemlerin sonuçları PSNR olarak tabloda ve görüntü olarak şekillerde verilmiştir. Yeni yöntem kenarlara yaklaşıldıkça iyileştirme oranını artırmaktadır. Ayrıca yeni yöntem için erangibir görüntü kısıtlaması yoktur. Öngörüm algoritmasının iyi çalıştığı bütün görüntülerde başarıyla uygulanabilir. İlerisi için komşuluk değerlerinden yararlanan öngörüm algoritmaları kullanılarak iyileştirme oranı daada iyiye götürülebilir. Kaynakça [1] Sezan, M. I., Tekalp A. M., 1988. Iterative Image Restoration wit Ringing Suppression Using te Metod of POCS, Proceedings, IEEE Int. Conf. On ASSP, New York, pp. 13-133. [2] Telatar, Z., Tüzünalp, Ö., 1998, Edge Estimation and Restoration of Gaussian Degraded Images, JIST- Journal of Imaging Science and Tecnology, v.42, n.4, pp.37-374. [3] Woods, J. Biemond, W. J. Tekalp, A. M. 1985. Boundary Value Problem in Image Restoration, ICASSP 85, Tampa, FL, 692-695. [4] Tan, K. C., Lim, H., Tan, B. T. G., 1991 Edge Errors in Inverse and Wiener Süzgeç Restorations of Motion-Blurred Images and Teir Windowing Treatment, CVGIP: Grap. Models Image Process. Vol. 53, No. 2, Marc, pp. 186-195. [5] Tan, K. C., Lim, H., Tan, B. T. G., 1991. Windowing Tecniques for Image Restoration, CVGIP: Grap. Models Image Process. Vol. 53, No. 5, September, 491-5.
Çizelge-1 Sabit Blok Genişliği İçin Ters Süzgeç PSNR Ölçümleri =1 Kadar Bölgede Ters Süzgeç İçin Hesaplanmış PSNR Değerleri Gamma Değerleri Ters Süzgeç- Bloklanmış Görüntü-.1 35.2811 35.3697.5 29.399 3.5575.9 24.7211 26.729 1 19.8443 2.65 5 13.4531 17.139 Çizelge-2 Sabit Gamma İçin Ters Süzgeç PSNR Ölçümleri Gamma=.5 İçin Değişik Blok Genişliklerinde Ters Süzgeç İçin Hesaplanmış PSNR Değerleri Blok Genişliği Ters Süzgeç- Bloklanmış Görüntü- 5 29.4245 34.3815 1 3.3718 31.5794 2 32.2124 33.6259 Çizelge-3 Sabit Blok Genişliği İçin Wiener Süzgeç PSNR Ölçümleri =1 Kadar Bölgede Wiener Süzgeç İçin Hesaplanmış PSNR Değerleri Gamma Değerleri Ters Süzgeç- Bloklanmış Görüntü-.1 16.865 16.8771.5 21.8759 22.223.9 21.751 21.948 1 21.728 21.9272 5 21.358 21.5538 Çizelge 4 Sabit Gamma İçin Wiener Süzgeç PSNR Ölçümleri Gamma=.5 İçin Değişik Blok Genişliklerinde Wiener Süzgeçleme İçin Hesaplanmış PSNR Değerleri Blok Genişliği Ters Süzgeç- Bloklanmış Görüntü- 5 22.9829 23.1919 1 21.8759 22.222 2 2.8128 2.876 Çizelge 5 Değişik Görüntüler İçin Ters Süzgeç PSNR Sonuçları Görüntü Pencere- Ters S.- Y.Pencere- Uçak G=.4 15.9266 26.9464 27.6484 Uçak G=.6 14.5199 25.7189 26.767 Çizelge 6 Değişik Görüntüler İçin Wiener Süzgeç PSNR Sonuçları Görüntü Pencere- Wiener Y.Pencere- Uçak Gamma=.4 9.1236 13.167 13.3231 Uçak Gamma=.6 8.9673 12.2342 12.4675
7 6 5 8 Merkez Bölgesi 4 1 2 3 Şekil-1 Pencere Fonksiyonunun Tanımı GÖRÜNTÜ Öngörü (a) (b) (c) Şekil-2. Öngörüm ifadesinin gösterimi (a) (b) Şekil-3. a. Ters süzgeçlenmiş uçak görüntüsü, b. (a) daki görüntünün pencere yöntemi ile onarılmış şekli