FARKLI NETLİKTEKİ RESİMLERİN İRLEŞTİRİLMESİ İÇİN ÖLGE AZLI YENİ İR METOD Veysel ASLANTAŞ Ayder ULATOV, ilgisayar Mühendisliği ölümü, Erciyes Üniversites Kayseri e-posta: aslantas@erciyes.edu.tr e-posta: ayderbulatov@gmail.com ASTRACT Optical lenses suffer from the problem of limited depth of field. So, it is almost impossible to obtain an image which is in focus everywhere. To solve this proble several pictures of the same scene are taken by a camera with different focal lengths and the focused parts of the images are then fused to form a single image. The fused image becomes the focused image of the scene. Image fusion techniques that work this way are called multifocus image fusion techniques. In this paper a new multifocus image fusion using blurring method is proposed. Experimental results show that proposed method outperforms the Spatial Frequency (SF) based approach. Anahtar sözcükler: Görüntü irleştirme, Görüntü İşleme, ulanıklaştırma.. GİRİŞ Fotoğraf makinelerinin objektifler karşılarındaki bölgenin sadece sınırlı bir uzaklığına odaklanabilirler. u ise çekilen görüntünün tamamen net olmayacağı anlamına gelmektedir. u problemi çözebilmek için ilk olarak farklı odak uzunlukları ile ard arda aynı çevrenin görüntüleri çekilir. Daha sonra da bu görüntülerden net (odaklanmış) kısımlar alınarak tek bir resimde birleştirilir. u işleme görüntü birleştirme adı verilir. Son zamanlarda görüntü birleştirme teknikleri görüntü işlemenin önemli konularından biri haline gelmiştir.[-4]. u tekniklerin amacı, görüntüyü bilgisayar/insan tarafından analiz edilmes bölümleme ve obje tespiti gibi görüntü işleme süreçleri için uygun hale getirmektir. Şu ana kadar hem amaç hem de kullanılan metot açısından birçok görüntü birleştirme tekniği geliştirilmiştir. Söz konusu teknikler akıllı sistemler ve robotlar, tıbbi uygulamalar, imalat sistemler askeriye ve güvenlik gibi birçok sahada uygulanmaktadırlar.[5]. En basit görüntü birleştirme metodu, resimlerin gri ton olarak piksel-piksel ortalamasını almaktan ibarettir. u işlem ise genellikle resim netliğinin azalmasına sebep olur. Son yıllarda bu konuda birçok metot üretilmiştir. unlardan bazıları: Laplace Piramidi [6], Gradient Piramidi [7], Alçak Geçiren Piramit Oranı [8], Morfoloji Piramidi [9], Dalgacık Dönüşümü [0- ] ve Uzaysal Frekans [3]. Ayrıca bu alanda yapay sinir ağları temelli teknikler de uygulanmıştır [4]. u makalede fotoğraf makinesinden farklı uzaklıklara sahip nesneler içeren çevrelerin görüntülerinin birleştirilmesi problemi ele alınacaktır. Yukarıda da belirtildiği gibi genelde sadece bir fotoğraf çekmekle çevrenin tamamen net olan bir görüntüsünü elde etmek mümkün değildir. Dolayısıyla buradaki amaç, farklı odak uzunluklarıyla çekilen resimleri kullanarak tamamen net olan bir görüntüyü elde etmektir [5]. Geliştirilen teknikle, aynı çevreye ait, farklı netlik bölgelerine sahip birden fazla kaynak resmin ortalaması alındıktan sonra alçak geçiren filtre işlemleriyle bulanıklaştırılır. Kaynak resimlerle bulanıklaştırılmış ortalama resimin karşılaştırılması ile bütünüyle net bir resim elde edilir. Önerilen birleştirme metodunun hesaplama yükünün az olması sebebiyle gerçek zamanlı uygulamalarda kolaylıkla kullanılabilir. Ayrıca Uzaysal Frekans (SF) tabanlı birleştirme yaklaşımı ile kıyaslandığında üstün performans sergilemektedir. Makalenin devamı aşağıdaki gibidir: ölüm de algoritmanın temel mantığı anlatılacaktır, ölüm 3 te yeni metotla yapılan görüntü birleştirmenin deney sonuçları gösterilecek ve son olarak ölüm 4 te çalışma ile ilgili değerlendirmeler yapılacaktır.. ÖLGE AZLI ULANIKLAŞTIRMA YAKLAŞIMI Geliştirilen algoritma ikiden fazla giriş resmini birleştirebilecek şekilde tasarlanmış olmasına rağmen, burada anlatım kolaylığını sağlamak maksadıyla teori sadece iki adet giriş resmi üzerine inşa edilmiştir. İlk önce aynı çevrenin farklı odak uzunluklarıyla iki ayrı görüntüsü çekilir. Algoritma bu iki resmin (f ve f ) ortalamasını alır ve daha sonra bu ortalamayı bir alçak geçiren filtre (H) işlemine tabi tutar: = ( f + f )/ ()
* = H () simgesi konvolüsyon işlemini temsil etmektedir. Konvolüsyon işlemi esnasında enerji korunumunu sağlayabilmek için elemanlarının toplamı olmak üzere farklı boyutta maskeler kullanılmaktadır. u maske ile yapılan konvolüsyon işlemi sonucunda daha önce elde edilen ortalama resim bulanıklaştırılır. Dolayısıyla elde edilen sonuç, giriş resimlerinin bulanık bölgelerine daha yakın bir hale gelecektir. Şekil- deki resimlerin grafiksel gösterimine dikkat edilirse * resmin iki tarafı da bulanıktır. Dolayısıyla hangi giriş resimle karşılaştırılırsa karşılaştırılsın, bu resim her zaman bulanık görüntüye daha yakın olacaktır. Dolayısıyla karar mekanizması * resimden daha uzak olan görüntüyü seçmekle net görüntüyü elde etmiş olacaktır. Şekil-. Giriş resimlerin, ortalamanın ve bulanıklaştırılmış ortalamanın grafiksel gösterimi. Eğer fark > fark ise sonuç resmine f penceresini kopyala. fark = fark olduğu durumda ise sonuç resmine ortalama resim ( ni penceresini kopyala. f SONUÇ f(, ( = f(, f( + f(, fark ( > fark ( ise fark ( > fark ( ise diger (5) Adım 6- Elde edilen ara sonuçtaki hataları düzeltmek için Çoğunluk Filtresi operatörü uygula. Çoğunluk Filtre işlemi birleştirme sonucunda oluşan hataları gidermek için kullanılmıştır. Genellikle görüntülerdeki bulanık ve net bölgeler resmin birbirinden ayrı belirli bölgelerini oluşturduklarından dolayı, etrafı net bölgelerin olduğu bir yerde bulanık bir bölge olamaz (veya bunun tam tersi) kabulü kullanılmaktadır. u filtre ile birleştirme işlemi neticesinde elde edilen net resimdeki izole edilmiş bölgeler temizlenir. Yani net resimdeki herhangi bir bölgenin, kopyalandığı kaynak resimden başka bir bölgeye komşu olmaması durumunda, o bölgeye karşılık gelen diğer kaynak resmin bölgesi kopyalanır. Şekil- de önerilen metodunun şematik diyagramı gösterilmiştir. Daha sonra girişte verilen resimler ve elde edilen sonuç resim ilk önce küçük bölgelere ayırt edilir yani bölümleme işlemine tabi tutulur. irbirine karşılık gelen küçük bölgelerin mutlak farkı alınır ve tek bir değeri oluşturmak için bu fark bölgelerin içerisindeki tüm değerler toplanır. u işlemlerden sonra da hangi resim parçasının toplam mutlak farkı daha büyük ise o parça net olarak belirlenir ve sonuç resme kopyalanır. Algoritmanın adımları aşağıdaki gibi sıralanabilir: Adım - f ve f giriş resimlerinin ortalamasını al (Denklem ). Adım - f, f ve resimlerini belirli KxK boyutundaki pencerelere bölümle. Adım 3- Ortalama resmini H maskesi ile konvolüsyon işlemine tabi tut. öylece ortalama resmini bulanıklaştırmakla oluşan * resminin her zaman için bulanık resme daha yakın olmasını sağla. Adım 4- Aşağıdaki denklemleri kullanarak farkları hesapla: uradaki fark fark P f K K = Pf ( P * ( (3) i= j = K K = Pf P ( i= j=, ( * (4) ve P f * P sırasıyla f, f ve * (bulanıklaştırılmış ortalama) resimlerinin incelenen KxK boyutundaki pencereleridir. Adım 5- Adım 4 te hesaplanmış farkları karşılaştır: Eğer fark > fark ise, yani incelenen pencere için f resmi * bulanık resimden daha uzak ise sonuç resmine f penceresini kopyala. Şekil-. Önerilen görüntü birleştirme metodunun şematik diyagramı 3. DENEY SONUÇLARI Yapılan değerlendirme esnasında Şekil-3 da gösterilen resim ile ondan türetilmiş bulanıklaştırılmış resimler kullanılmıştır. uradaki referans resim (Şekil-3a), 456x486 boyutlu, iki objeyi (köpek yavrularını) içeren ve tamamen net olan bir resimdir. u resim kullanılarak farklı bulanıklığa sahip iki giriş resmi üretilmiştir. irisi sağa odaklı (Şekil-3), yani sağ tarafı net, solu bulanık, diğer giriş resmi ise sola odaklıdır (Şekil-3). Amaç bu iki giriş resimden sadece net kısımlarını alıp referans resmine çok yakın bir görüntüyü elde etmektir. Şekil-3 de geliştirilen birleştirme metodu ile elde edilmiş sonuç resim verilmiştir. urada kullanılan bölümleme pencere boyutu=8x8 dir. ulanıklaştırma maskesi olarak:
= 9 H (6) kullanılmıştır. u maskenin uygulanmasıyla, resimlerde karşılık gelen değerlerin ortalamasının alınacağı aşikardır. u da bir bulanıklaştırma etkisi meydana getirecektir. 3.. Pencere oyutu ve Maske Etkeni Tablo- değişik pencere boyutu ve maske kullanılarak elde edilmiş RMS hatalarını göstermektedir (vurgulanmış sayılar her bir maske boyutu için en küçük RMSE değerleri göstermektedirler). uradaki en düşük hata 8x8 boyutlu pencere ve 3x3 (ve 5x5) boyutlu maske kullanılarak elde edilmiştir. Tablo- de ise değişik boyuttaki bölümleme pencere ve maske boyutu için SF değerleri verilmiştir (vurgulanmış sayılar her bir maske boyutu için en büyük SF değerleri göstermektedirler). uradaki değerler birbirine yakın olduğu için RMSE tabloları analiz için daha kullanışlıdır. 3.. SF azlı Görüntü irleştirme Yaklaşımı ile Kıyaslama u bölümde SF bazlı görüntü birleştirme yaklaşımının [3] vermiş olduğu sonuçlar gösterilecektir. Tablo-3 te Şekil-3 ve resimleri üzerinde 3 tane farklı eşik değerinin uygulanması sonucunda oluşan RMSE ve SF değerleri verilmiştir. Şekil-3. Referans resi bulanıklaştırılmış resimler ve birleştirme sonucu: referans resi sağ odaklı bulanıklaştırılmış resi sol odaklı bulanıklaştırılmış resi birleştirme sonucu. Değerlendirme kriteri olarak RMSE ile SF (Spatial Frequency-Uzaysal Frekans) operatörü kullanılmıştır. Referans resmi R ve birleştirme sonucu F olmak üzere RMSE aşağıdaki gibi tanımlanır: RMSE I J i= j= = [ R( ] I J (7) uradaki R( ve F( sırasıyla R ve F resimlerin ( konumundaki piksel değerlerini ifade ederler. SF resimdeki genel etkinliği ölçer [7] yani resimdeki piksel değerlerinin değişimini hesaplar. aşka bir ifadeyle yan yana duran iki pikselin arasındaki farkı ölçer, sonucunda ise resmin netlik ölçüsüyle doğru orantılı bir değer vermektedir. F resmin uzaysal frekansı (SF) aşağıdaki gibi tanımlanır: RF = CF = MN SF + M = RF CF (8) N m= n= n= m= ( F( n )) (9) N M ( F( m, ) MN (0) urada RF satır frekansı, CF sütun frekansı, F( ise ( konumunda F resmin griton değerini ifade etmektedir. Tablodan da görüleceği üzere buradaki en iyi RMSE değeri (,79), bölümleme pencere boyutu 8x8 ve eşik değeri=0 iken elde edilmiştir ki önerilen yeni metot daha küçük RMSE değerlere sahip olmakla beraber çok daha iyi bir performans sergilemektedir. Ayrıca geliştirilen teknikte herhangi bir eşik değer kullanma mecburiyeti de yoktur. 3.3. Sübjektif Değerlendirme u bölümde fotoğraf makinasından farklı uzaklıktaki objeleri içeren resimler üzerinde önerilen birleştirme metoduyla SF bazlı birleştirme yaklaşımı uygulanacaktır. u tür resimlerin gerçek manada bir referans resmi olmadığından, buradaki değerlendirme sübjektif olacaktır. Tablo-. Farklı boyuttaki pencere ve maske kullanılarak elde edilmiş RMSE sonuçları: ölümleme pencere boyutu 3x3 8x8 3x3 8x8 3x3 8x8 33x33 38x38 x 7,368 7,306 7,306 7,306 7,306 7,306 7,306 7,306 x 6,45 4,4,6648,076,8405,039,34,734 3x3,856,857 0,8977 0,33577,553,753,684,734 4x4 4,3637,369,388 0,6688,5576,746,684,734 5x5,5479,68 0,90346 0,33577,5374,753,897,734 Karesel Maske oyutu Dairesel Maske oyutu (r) 6x6,8959,405 0,969 0,5400,584,744,684,734 7x7,5,756 0,9074 0,5443,5395,744,897,734 8x8,4696,935 0,9797 0,59309,5386,743,897,734 9x9,5477,393 0,998 0,5935,5393,746,897,734 0x0,654,397 0,9364 0,9478,539,743,897,734,967,404 0,9734 0,5039,5575,746,684,7953,659,3389 0,9 0,33577,5374,744,897,734 3,5,3083 0,90984 0,5443,5395,744,897,734 4,55,3556 0,973 0,5443,5395,744,897,734 5,5635,368 0,9885 0,5935,5386,744,897,734 6,7598,443 0,93644 0,87,5397,743,897,734 7,0,5878 0,945,347,5397,7477,897,734 8,635,704 0,95609,355,5397,7477,684,734 9,3877,73,0053,3303,5397,87,684,734 0,6565,8397,03,396,5405,9608,684,734
Şekil-4 te disk adlı kaynak resimler üzerindeki birleştirme sonuçları gösterilmiştir. Şekilden de görüleceği üzere Şekil-4 ve resimleri aynı çevreye ait olup farklı odak uzunluklarıyla çekilmiştir. Dolayısıyla birisinde saat net iken diğerinde kitaplık nettir. urada SF bazlı birleştirme yaklaşımı (Şekil- 4) pencere boyutu=3x3, eşik değeri=0,75 iken, önerilen bölge bazlı bulanıklaştırma yaklaşımı (Şekil- 4) ise pencere boyutu=3x3, bulanıklaştırma maskesi =(5x5) iken elde edilmiştir. Tablo-. Farklı boyuttaki pencere ve maske kullanılarak elde edilmiş SF sonuçları ölümleme pencere boyutu 3x3 8x8 3x3 8x8 3x3 8x8 33x33 38x38 x 8,6705 8,6574 8,6574 8,6574 8,6574 8,6574 8,6574 8,6574 x 3,403 3,546 3,76 3,758 3,764 3,747 3,806 3,77 3x3 3,9 3,8 3,8 3,89 3,795 3,777 3,809 3,77 4x4 3,643 3,766 3,8 3,86 3,79 3,774 3,809 3,77 5x5 3,85 3,8 3,8 3,89 3,795 3,777 3,808 3,77 Karesel Maske oyutu Dairesel Maske oyutu (r) 6x6 3,8 3,8 3,8 3,84 3,794 3,774 3,809 3,77 7x7 3,80 3,8 3,8 3,84 3,795 3,774 3,808 3,77 8x8 3,795 3,88 3,8 3,8 3,795 3,774 3,808 3,77 9x9 3,79 3,86 3,8 3,8 3,795 3,774 3,808 3,77 0x0 3,77 3,83 3,8 3,793 3,795 3,774 3,808 3,77 r= 3,98 3,84 3,89 3,86 3,795 3,774 3,809 3,768 r= 3,85 3,89 3,8 3,89 3,795 3,774 3,808 3,77 r=3 3,84 3,8 3,8 3,84 3,795 3,774 3,808 3,77 r=4 3,80 3,87 3,8 3,84 3,795 3,774 3,808 3,77 r=5 3,793 3,87 3,8 3,8 3,795 3,774 3,808 3,77 r=6 3,776 3,84 3,8 3,799 3,795 3,774 3,808 3,77 r=7 3,753 3,80 3,89 3,778 3,795 3,774 3,808 3,77 r=8 3,739 3,786 3,89 3,768 3,795 3,774 3,809 3,77 r=9 3,76 3,784 3,88 3,759 3,795 3,766 3,809 3,77 r=0 3,7 3,773 3,87 3,754 3,795 3,746 3,809 3,77 Tablo-3. SF bazlı görüntü birleştirme yaklaşımı ile farklı boyuttaki pencere ve eşik değeri kullanılarak elde edilmiş RMSE ve SF sonuçları. RMSE Eşik Değeri TH (Threshold) SF Eşik Değeri TH (Threshold) ölümleme pencere boyutu 3x3 8x8 3x3 8x8 3x3 8x8 33x33 38x38 0,00 6,605 3,4638,938,79,503,0653,4433,65 0,5 6,7006 3,5485,044,5,545,9,594,7454 0,50 6,7864 3,679,99,670,6,64,6077,8055 0,75 6,874 3,7309,3784,74,773,7,68,835,00 6,963 3,889,45,99,99,566,6878,9,5 7,087 4,0337,5096,009,936,6057,754,943,50 7,66 4,946,64,0847,53,744,0948,9607,75 7,3434 4,307,7574,736,3794,809,3806,9607,00 7,4756 4,487,8485,40,679,908,575,563,5 7,5788 4,595,996,5038,868 3,078,5536,68,50 7,689 4,75 3,86,7603 3,3 3,4493,754,3383,75 7,837 4,963 3,455 3,08 3,4843 3,6604 3,0779,488 3,00 7,966 5,0884 3,6404 3,43 3,9069 3,947 3,5654,68 0,00 4.44 3.87 3.84 3.807 3.809 3.75 3.8 3.776 0,5 4.4 3.869 3.84 3.806 3.809 3.745 3.806 3.769 0,50 4.35 3.873 3.843 3.797 3.809 3.738 3.Ağu 3.764 0,75 4.3 3.867 3.84 3.793 3.796 3.75 3.794 3.744,00 4,43 3,857 3,838 3,767 3,78 3,688 3,794 3,737,5 4,38 3,845 3,838 3,764 3,78 3,676 3,79 3,735,50 4,7 3,83 3,836 3,757 3,737 3,65 3,745 3,733,75 4, 3,88 3,83 3,749 3,705 3,637 3,705 3,733,00 4,09 3,805 3,8 3,734 3,676 3,69 3,685 3,78,5 4,063 3,783 3,8 3,75 3,63 3,596 3,68 3,73,50 4,05 3,759 3,79 3,699 3,64 3,553 3,65 3,70,75 4,06 3,78 3,757 3,67 3,57 3,55 3,595 3,683 3,00 3,98 3,70 3,73 3,633 3,494 3,448 3,489 3,67 Şekil-5 te lab adlı kaynak resimler üzerindeki birleştirme sonuçları gösterilmiştir. urada SF temelli birleştirme tekniğinde pencere boyutu=0x0, eşik değeri=0,75 iken, önerilen bölge bazlı bulanıklaştırma yaklaşımı ise pencere boyutu=0x0, bulanıklaştırma maskesi=ortalama (9x9) iken elde edilmiştir. Pepsi adlı kaynak resimler üzerindeki birleştirme sonuçları Şekil-6 da gösterilmiştir. urada SF bazlı birleştirme yaklaşımı pencere boyutu=3x3, eşik değeri=,0 iken, önerilen bölge bazlı bulanıklaştırma yaklaşımı ise pencere boyutu=3x3, bulanıklaştırma maskesi=ortalama (9x9) iken elde edilmiştir. 4. SONUÇ u makalede çok odaklı görüntü birleştirme için yeni bölge bazlı bulanıklaştırma algoritması önerilmiştir. Algoritma performansıyla ilgili birçok denemeler ve araştırmalar yapılmıştır. SF bazlı birleştirme yaklaşımı ile kıyaslama sonucunda hem hata istatistiğe göre hem de görsel olarak üstün performans sergilemekte olduğu görülmüştür. Çalışma süresi kısa olduğu için gerçek zamanlı uygulamalarda rahatlıkla uygulanabilen bir tekniktir. Ayrıca donanım olarak gerçekleştirilebilinir olmasından dolayı büyük bir avantaja sahiptir. Şekil-4. disk adlı kaynak resimler üzerindeki b), SF önerilen metot Şekil-5. lab adlı kaynak resimler üzerindeki b), SF, önerilen metot.
Şekil-6. pepsi adlı kaynak resimler üzerindeki b), SF önerilen metod [] Zhang Z., lum R.S., A categorization of multiscale decomposition-based image fusion schemes with a performance study for a digital camera application, Proc. IEEE 87 (8), 35-36, 999. [3] Shutao L., Kwok J. T., Wang Y., Combination of images with diverse focuses using the spatial frequency, Information Fusion, 69-76. September 00. [4] Shutao L., Kwok J. T., Wang Y., Multifocus image fusion using artificial neural Networks, Pattern Recognition Letters 3, 985-997, 00. [5] Seales W.., Dutta S., Everywhere-in-focus image fusion using controllable cameras, Proc. SPIE 905, 7-34, 996. [6] V. Aslantaş, Criterion functions for automatic focusing TAINN00, X th Turkish Symposium on Artificial Intelligence and Neural Networks, Gazimagusa, Turkish Republic of Northern Cyprus, - June 00, pp.30-3. [7] Eskicioglu A.M., Fisher P.S., Image quantity measures and their performance, IEEE Trans. Commun. 43 () 959-965, 995. KAYNAKLAR [] Aggarwal J.K., Multisensor Fusion for Computer Vision, Springer, erlin, 993. [] Akerman A., Pyramid techniques for multisensor fusion, Rroc. SPIE 88, 4-3, 99. [3] Hall D. L., Llinas J., An introduction to multisensor data fusion, Proc. IEEE 85 (), 6-3, 997. [4] Varshney P.K., Multisensor data fusion, Electron. Commun. Eng. J. 9 (6), 45-53, 997. [5] Electrical Engineering and Computer Science Department, Lehigh University, ethlehe PA 805, http://www.ece.lehigh.edu/spcrl/if/ image_fusion.htm. [6] urt P. T., Andelson E. H., The Laplacian pyramid as a compact image code, IEEE Trans. Commun. 3 (4), 53-540, 983. [7] urt P. T., Kolczynski R. J., Enchanced image capture through fusion, in: Proceedings of the 4th International Conference on Computer Vision, erlin, Germany, pp. 73-8, May 993. [8] Toet A., van Ruyven L. J., Valeton J. M., Merging thermal and visual images by a contrast pyramid, Opt. Eng. 8 (7), 789-79, 989. [9] Matsopoulos G. K., Marshall S., runt J.N.H., Multiresolution morphological fusion of MR and CT images of the human brain, Proc. IEE: Vision, Image Signal Process. 57 (3), 7-4, 994. [0] Yocky D.A., Image merging and data fusion by means of the discrete two-dimensional wavelet transfor J. Opt. Soc. Am. A: Opt., Image Sci. Vision (9), 84-84, 995. [] Li H., Manjunath.S., Mitra S.K., Multisensor image fusion using wavelet transfor Graphical Models Image Process. 57 (3), 35-45, 995.