Çoklu-Algılaıcılardan Alınan Görüntülerde Eşleştirme Yöntemlerinin Karşılaştırılması Vesel Aslantaş, Emre Bendeş, Rifat Kurban, A. Nusret Toprak Ercies Üniversitesi, Bilgisaar Mühendisliği Bölümü, 38039, Melikgazi, Kaseri, Türkie {aslantas, ebendes, rkurban, antoprak}@ercies.edu.tr Özet Görüntü eşleştirme farklı görüntülerin anı bilgii içeren kısımlarının çakıştırılarak en ugun şekilde gerekli dönüşümlerin apılması işlemidir. Bu çalışmada çoklu algılaıcılardan elde edilen termal ve optik görüntülerin benzerlik, ilgin, izdüşümlü, polinomsal, doğrusal ve erel ağırlıklandırılmış ortalama öntemleri ile eşleştirilmesi ve öntemlerin kıaslaması apılmıştır. Anahtar Kelimeler-Çoklu-algılaıcılar, görüntü eşleştirme, dönüşümler, termal ve optik görüntüleme I. GİRİŞ Günümüz teknolojisinde birçok ugulama alanı bulunan görüntü işleme öntemlerinin giriş verisi olan görüntüler, metotların ugulanabilmesi için ön işlemlere tabi tutulmaktadırlar. Görüntü eşleştirme de bu ön işlemler içerisinde sıklıkla ihtiaç duulan öntemlerden birisidir. Anı sahnenin vea nesnenin farklı zamanlarda, farklı perspektiflerde vea farklı algılaıcılar ile elde edilen veri kümeleri farklı koordinat sistemlerindedir [1]. Görüntü eşleştirme, farklı koordinatlardaki veri kümelerinin en ugun şekilde anı koordinat sistemine dönüştürülmesi işlemidir. Görüntü eşleştirme işleminde, iki vea daha fazla görüntünü giriş olarak alınmaktadır. Bu veriler hizalanarak üst üste bindirilmektedir. Genelde, görüntülerden birisi referans görüntü olarak adlandırılır. Bu görüntü, diğer eşlenmek istenen giriş görüntülerine taban teşkil edecektir. Giriş görüntüler, uzasal dönüşümler ugulanarak referans görüntü ile anı koordinat sistemine getirilir. Uzasal bir dönüşüm, bir görüntüdeki pozisonların diğer görüntüdeki eni erlerine eşleştirilmesini sağlar. Eşleştirilecek görüntülerin elde edildiği kanağa göre görüntü eşleştirme algoritmaları tek-modlu ve çok-modlu olarak ikie arılmaktadır [2]. Tek-modlu görüntü eşleştirme öntemlerinde bir sahnee ait anı tür algılaıcılardan farklı önelimlerle elde edilmiş görüntüler kullanılmaktadır. Çokmodlu görüntü eşleştirme öntemlerinde ise giriş görüntüleri farklı algılaıcılarla elde edilmektedir. Farklı algılaıcılar ile elde edilen görüntüler genelde çakışık olarak elde edilemezler. Bu tür veriler görüntü birleştirme algoritmaları gibi birçok öntemde kullanılmaktadır ve algoritmaların başarısı için görüntülerin eşleştirilmiş olması gerekmektedir [3]. Görüntü eşleştirme öntemleri temelde iki adımdan oluşmaktadır. Şekil 1. de görüntü eşleştirme öntemlerinin temel adımları görülmektedir. İlk adımda referans ve giriş görüntüleri üzerinden anı bölgeleri ifade eden kontrol noktaları seçilmelidir. Nokta seçme esnasında noktaların görüntüe homojen olarak dağıtılması gerekmektedir. Arıca farklı dönüşüm işlemleri için kullanılması gereken minimum kontrol noktası saısına dikkat edilmelidir. Elde edilecek noktalar eşleştirme işleminde referans alınacak noktalar olması sebebile önem arz etmektedir. Nokta çiftlerinde noktaların anı bölgei ifade etmemesi eşleştirme önteminin başarısını etkileecektir. Tek-modlu görüntü eşleştirme için noktaların belirlenmesi SIFT a da Harris gibi algoritmalarla gerçekleştirilebilir. Bu çalışmada kullanılan görüntü çiftlerinin (Tablo 1) anı sahnee ait farklı algılaıcılardan elde edilen çok-modlu görüntü olmasından dolaı sahneden farklı içeriğe sahip sinallerin toplanmıştır. Bu sebepten dolaı bu çalışmada kontrol noktaları elle belirlenmiştir. Şekil 1. Görüntü eşleştirmenin adımları. 110
C. İzdüşümlü dönüşüm: Sahnede eğikliğin bulunduğu görüntülerde kullanılır. Düz çizgiler dönüşün sonrası düz kalır ancak paralel çizgiler ufuk noktasına akınsar. En az dört kontrol noktası gerektirir. Kontrol noktaları belirlendikten sonra ikinci adımda dönüşüm önteminin seçilmesi gerekmektedir. Bu öntemler referans görüntü ile giriş görüntüsü arasındaki bağıntıı kurmaktadır. Dolaısıla görüntü eşleştirmenin temelini ifade eder. Bu çalışma literatürde sıklıkla kullanılan ve aşağıda verilen dönüşüm öntemler değerlendirilmiştir. Benzerlik, İlgin, İzdüşümlü, Polinomsal, Doğrusal, Yerel ağırlıklandırılmış ortalama (YAO). D. Polinomsal dönüşüm: Görüntüde eğim oluşmuş ise bu dönmüşüm kullanılır. Yüksek dereceli polinomlar daha ii eşleştirme sağlamaktadır fakat sonuç referans görüntüden daha fazla eğim içerebilir. İkinci derece için en az altı, üçüncü derece için en az on, dördüncü derece için en az onbeş kontrol noktası gerekmektedir. E. Doğrusal dönüşüm: Görüntünün farklı bölgelerinde farklı bozulmalar bulunmakta ise bu dönüşüm metodu kullanılabilir. Bu dönüşümde kontrol noktaları kullanılarak Delauna üçgenleme metodula elde edilen bölgelere ilgin dönüşümler ugulanmaktadır [6]. En az dört kontrol noktası gerekir. Bu çalışmada farklı algılaıcılardan elde edilen görüntülerin ukarıda belirtilen öntemlerle eşleştirilmesi gerçekleştirilmiş ve sonuçlar karşılaştırılmıştır. Yapılan denesel çalışmalar Matlab görüntü işleme aracı kullanılarak gerçekleştirilmiştir. II. F. Yerel ağırlıklandırılmış ortalama dönüşümü: Bozulmalar erel olarak dağıldığı ve doğrusal dönüşümün etersiz kaldığı erlerde kullanılabilir. En az altı kontrol noktası gerekir [7]. GÖRÜNTÜ ÇAKIŞTIRMA YÖNTEMLERI A. Benzerlik dönüşümü: Benzerlik dönüşümü, görüntüdeki nesnelerde bir değişikliğin olmadığı ancak kama, dönüklük ve ölçekleme gibi dönüşümlerin kombinasonlarından oluşan bozulmaların bulunduğu görüntülerde kullanılır. Yansımanın hariç tutulduğu dönüşüm, ansımasız benzerlik dönüşümü olarak isimlendirilmektedir. Dönüşüm sonrası düz çizgiler halen düz paralel çizgiler ise halen paralel kalmaktadır. En az üç kontrol noktası gerektirir [4]. III. A. Giriş Görüntüleri Tablo 1. de denesel çalışmalarda kullanılan görüntüler verilmiştir. İlk satırda optik görüntüler ikinci satırda ise anı sahnee ait termal görüntüler bulunmaktadır. Göründüğü üzere giriş görüntüleri farklı algılaıcılara sahip farklı mercek apısında iki farklı kamera ile elde edilmiştir. Optik görüntüler Vivotek firmasının IP7330 gündüz/gece dış ortam kamerası ile, termal görüntüler ise Flir firmasının E60 endüstriel tip el termal kamerası kullanılarak elde edilmiştir. Termal görüntüler işlemler bounca referans görüntü olarak kullanılmıştır. B. İlgin dönüşüm: Meillendirmenin bulunduğu görüntüler üzerinde kullanılır. Paralel çizgiler dönüşüm işleminden sonra da birbirine paralel kalırlar. Arıca, dikdörtgenler paralel kenara dönüşür. En az üç kontrol noktası gerektirir [5]. Tablo 1. Kullanılan görüntüler. G2 G3 Termal(referans) Optik G1 DENEYSEL SONUÇLAR Yapılan denesel çalışmalar görüntü birleştirme amaçlı elde edilmiş görüntü gurubu için apılmış görsel ve saısal sonuçlar verilerek değerlendirilmiştir. 111 G4
II de anlatılan edi farklı görüntü eşleştirme öntemile elde edilen eşleşik görüntüler tablo satırlarında verilmiştir. Termal görüntüler referans görüntü olduğundan optik görüntüler eşleştirme işleminde dönüşüme uğramıştır. Bu üzden Tablo 2. de dönüşüme uğramış optik görüntüler bulunmaktadır. B. Görsel ve Saısal Sonuçlar Anı sahnee ait termal ve optik görüntülerin çok-modlu görüntü eşleştirilmesine ait görsel sonuçlar Tablo 2. de ki gibidir. Giriş verisi olarak kullanılan dört görüntü için Bölüm Doğrusal dönüşüm Polinomsal İzdüşümlü Benzerlik Y. Benzerlik İlgin G1 Tablo 2. Görüntü eşleştirme sonuçları. G2 G3 112 G4
Ağırlıklandırılmış Görüntü eşleştirme işleminin ilk aşamasında referans görüntü ve eşleşecek görüntü üzerinde anı olan noktaların belirlenmesi gerekmektedir. Şekil 2. de ilgin öntemi ile elde edilmiş G1 optik ve termal görüntülerinin üst üste gösterilmiş hali bulunmaktadır. Görüntüde + ile işaretlenen konum termal görüntü üzerindeki referans noktaları o ile işaretlenen konumlar ise sahnedeki anı erlerin optik görüntüdeki konumlarını göstermektedir. değerlendirmesi görülmektedir. Bu değerler hata değerini gösterdiği için küçük değerli öntem daha başarılı olarak orumlanmaktadır. Tablo 3. Yöntemlerin Saısal Başarıları Yöntemler G1 G2 G3 G4 İlgin 18,0605 19,6637 39,9889 22,2804 Y. Benzerlik 18,3567 21,8527 43,0721 26,5213 Benzerlik 18,3567 21,8527 43,0721 26,5213 İzdüşümlü 15,6562 19,7132 31,2867 19,8936 Polinomsal 12,0077 15,2190 26,1719 18,3653 Doğrusal 2,8715 2,84E-14 8,53E-14 2,8315 Ağırlıklandırılmış 10,0708 12,2194 15,4268 10,5716 Şekil 2. İlgin öntemi ile eşleşen görüntüler Şekil 2 de verilen eşleştirilmiş G1 görüntüsü için on tane referans noktası bulunmaktadır. Yöntemler için saısal değerlendirmeler (1) de verilen formüller vasıtasıla hesaplanmıştır. Burada ref (n) referans resme ait n. kontrol noktasının koordinatı iken g (n) de eşleşecek görüntüe ait n. kontrol noktasının koordinatını ifade etmektedir. Bir görüntü çifti için h önündeki hata miktarını, h ise önündeki hata miktarını ifade etmektedir. Hata miktarları referans noktaları arasındaki farkların kareler toplamının kareköküdür. Toplam hata H değeri, ve önündeki hataların toplamı olarak hesaplanmaktadır. h h = = H = h N n= 1 N n= 1 2 ( ref ( n) g ( n)) + h 2 ( ref ( n) g ( n)) Tablo 3. de ukarıdaki formüller ardımı ile hesaplanmış eşleştirme öntemlerinin, kullanılan görüntülerdeki saısal (1) IV. SONUÇLAR Bu çalışmada, dört adet termal ve optik algılaıcılardan elde edilen çoklu-algılaıcılı görüntü çiftleri üzerinde, edi faklı öntem ile çok-modlu görüntü eşleştirme işlemi apılarak sonuçlar saısal ve görsel olarak verilmiştir. Sonuçlara bakıldığında bazı öntemler kontrol noktalarını üst üste çakıştırmakla birlikte kontrol noktaları arasında ki bölgelerde büük bozulmalara sebep olmaktadır. Kullanılan bütün görüntüler için doğrusal dönüşüm öntemine baktığımızda hata değerinin diğer öntemlere göre daha küçük olduğu görülmektedir. Bunun anlamı referans resim ile giriş resmine ait referans noktalarının dönüşüm sonucunda daha ii çakıştığı ve bu noktalar için koordinatsal farkın çok daha az olduğudur. Bununla birlikte çakıştırılmış görüntüler Tablo 2. den görsel olarak incelendiğinde bu öntem için fark edilebilir büük bozulmaların oluştuğu görülmektedir. Görüntülerde kapı, kitaplık, bina kenarı gibi düz kısımlarda bu bozulmalar kolalıkla görülebilir. Polinomsal, doğrusal, erel ağırlıklandırılmış ortalama öntemleri için Tablo 3. de ki saısal değerler ve Tablo 2. de ki görsel değerler göz önünde bulundurulduğunda benzer sonuçların ortaa çıktığı görülmektedir. Bu öntemler kontrol noktalarını diğer öntemlere göre daha ii çakıştırırken noktalar arasında büük bozulmalara sebep olmaktadır ve görsel değerlendirmede olumsuz sonuçlar vermektedir. Bu durum polinomsal dönüşüm, doğrusal dönüşüm ve erel ağırlıklandırılmış ortalama dönüşümü öntemlerinin seçilen kontrol noktalarına bağımlılık gösterdiği önünde orumlanmaktadır. TEŞEKKÜR Bu çalışma 110E058 kodu ile TÜBİTAK tarilgindan desteklenmektedir. 113
REFERANSLAR [1] L. G. Brown, "A surve of image registration techniques," ACM Comput. Surv., vol. 24, pp. 325-376, 1992. [2] Wikipedia. (2008). Image registration. Available: http://en.wikipedia.org/wiki/image_registration [3] V. Aslantas and R. Kurban, "A comparison of criterion functions for fusion of multi-focus nois images," Optics Communications, vol. 282, pp. 3231-3242, 2009. [4] G. Arfken, Mathematical Methods for Phsicists, 3rd ed. Orlando, FL: Academic Press, 1985. [5] D. Steiner, M. E. Kirb, Geometric referencing of LANDSAT images b affinetransformation and overlaing of map data, Photogrammetria, 33, pp. 41 75, 1977 [6] Goshtasb, Ardeshir, "Piecewise linear mapping functions for image registration," Pattern Recognition, Vol. 19, 1986, pp. 459-46 [7] Goshtasb, Ardeshir, "Image registration b local approimation methods," Image and Vision Computing, Vol. 6, 1988, pp. 255-261. 114