GebzeYüksek Teknoloji Enstitüsü Bilgisayar Mühendisliği Bölümü PK Gebze/Kocaeli

Transkript

1 GebzeYüksek Teknoloji Enstitüsü Bilgisayar Mühendisliği Bölümü PK Gebze/Kocaeli Teknik Rapor Seminer Raporu X TM # : Başlık : Ayrıştırma Teknikleri Kullanarak Görüntü Birleştirme Anahtar Kelimeler : Yazarlar : Görüntü Füzyonu, Piramit Ayrıştırma Yöntemleri,Wavelet Dönüşümü, Gauss Dönüşümü Münibe Şimşek Tarih : Yayın Dili : Türkçe

2 Özet: Görüntü birleştirme, bazı özel tekniklerle birden fazla giriş görüntüsünden çok daha kullanışlı tek bir birleşik görüntü oluşturulması işlemidir. Görüntü birleştirme işlemi sayesinde kaynak görüntülerdeki gerekli bilgiler ortaya çıkarılır, görüntünün kullanılabileceği işlemleri etkileyebilecek çelişkili bölümler ortadan kaldırılır ve ölçeklendirme sırasında meydana gelen bazı problemlere karşı güvenilir ve sağlam bilgiler sunulur. Görüntü birleştirme bilgisayarlı görme, otomatik nesne bulma, görüntü işleme, medikal görüntüleme, paralel ve dağıtık işlemler ve robotik gibi birçok alanda kullanılmaktadır. Bu çalışmada günümüzde kullanılan temel görüntü birleştirme teknikleri genel olarak açıklanmaktadır. Anahtar Kelimeler Görüntü Füzyonu, Piramit Ayrıştırma Yöntemleri,Wavelet Dönüşümü, Gauss Dönüşümü Abstract: Image fusion is a process of combining images, using specific techniques, to form a more useful composite image. By fusing images, it is possible to discern the useful information from the input images, remove artifacts or inconsistencies which will distract human observers or the following processing, and present reliable and robust images to imperfections such as mis-registration. Image fusion is widely use in areas such that image vision, automatic object detection, image processing, parallel and distributed processing, robotics. In this work, a review of the image fusion techniques that are widely used is presented. Keywords Image Fusion, Laplacian Pyramid Decomposition Techniques, Wavelet Transform, Gaussian Transform.

3 1.Sunuş Ayrıştırma Teknikleri Kullanarak Görüntü Birleştirme Münibe Şimşek Gebze Yüksek Teknoloji Enstitüsü, Bilgisayar Mühendisliği Bölümü, 2006 Görüntü birleştirme, bazı özel tekniklerle birden fazla giriş görüntüsündeki gereksiz bölümleri ayrıştırıp, bu sayede güvenirliği arttıran, ve tamamlayıcı bilgileri baskınlaştırarak daha kullanışlı tek bir birleşik görüntü oluşturulması işlemidir. Görüntü birleştirme işlemi sayesinde kaynak görüntülerdeki gerekli bilgiler ortaya çıkarılır, görüntünün kullanılabileceği işlemleri etkileyebilecek çelişkili bölümler ortadan kaldırılır ve ölçeklendirme sırasında meydana gelen bazı problemlere karşı güvenilir ve sağlam bilgiler sunulur. Görüntü birleştirme bilgisayarlı görme, otomatik nesne bulma, görüntü işleme, medikal görüntüleme, paralel ve dağıtık işlemler ve robotik gibi birçok alanda kullanılmaktadır. Görüntü birleştirmede kullanılan veriler aynı görünümün farklı gösterimlerini içeren birden fazla görüntü kümesidir. Bu farklı gösterimler görüntü şartlarındaki değişikliklerden kaynaklanabileceği gibi farklı görüntüleme elemanları (algılayıcılar) kullanımından da kaynaklanır. Görüntü birleştirme ile hem görüntülerdeki olumsuzluklar giderilir hemde daha anlamlı bilgiler elde edilir. Görüntü birleştirme işleminin gerçekleştirilebilmesi için kullanılan görüntülerin uyumluluğunu sağlamak amacıyla diğer sayısal görüntüleme işlemlerinin de temel adımı olan ölçeklendirmenin tüm görüntüler için tamamlanmış olması gerekir. Kullanılan en ilkel füzyon yöntemi kaynak görüntüler üzerinde piksel piksel ortalama alınmasıdır. En basit görüntü birleştirme tekniği olmasının rağmen kontrastı düşürerek istenmeyen kenar efektleri oluşturduğu için kullanımı tercih edilmemektedir [1]. Seksenli yıllarda piramit dönüştürme yöntemlerinin geliştirilmesi ile beraber görüntü birleştirme teknikleri de hızla gelişmeye ve daha kapsamlı bir hal almaya başlamıştır. Birçok araştırma füzyon işleminin dönüşüm uzayında yapılmasının çok daha iyi sonuçlar sunduğunu göstermektedir [2][3]. Füzyon işleminde kullanılan birçok piramit ayrıştırma yada çok skalalı dönüşüm tekniği bulunmaktadır. Bu tekniklerin bazıları, Laplacian Piramit (LP), Alçak Geçirgen Piramit Oranı (AGPO), Morfolojik Piramit (MP), Gradyen Piramit (GP) dönüşüm yöntemleridir. Günümüzde sıklıkla kullanılan diğer bir teknik Wavelet

4 teorisinin geliştirilmesiyle kullanımı yaygınlaşan Wavelet Dönüşüm (WD) yöntemidir. Bu çalışmada yukarıda başlıklar halinde belirtilen görüntü birleştirme yöntemleri, ikinci bölümde Piramit Ayrıştırma Teknikleri ana başlığı altında LP, AGPO, MP ve GP teknikleri kullanan yöntemler, üçüncü bölümde ise WD teknikleri açıklanacaktır. Sonuç bölümünde genel bir karşılaştırma ile rapor tamamlanacaktır. 2. Piramit Ayrıştırma Teknikleri Görüntü piramit dönüşümü ile orjinal görüntü alçak geçirgen yada bant geçirgen filtreler kullanılarak ve içeriği korunarak farklı çözünürlüğe sahip ve farklı skalalı görüntü setlerine dönüştürülür [2][4][5]. Piramit ayrıştırma yapılırken bir örnekleme faktörü kullanılır. Genellikle örnekleme faktörü yatay ve dikey doğrultuda 2 olarak kullanılmaktadır. Piramit oluşturulurken her katmanda alt geçirgen yada bant geçirgen filtre uygulanarak bir önceki görüntü örneklenir. Şekil-1 de bir kaynak görüntünün piramit dönüşüm adımları görülmektedir. Şekil-1. Çoklu çözünürlükte piramit gösterimi. En düşük seviyedeki görüntü orjinal görüntüdür ve en yüksek çözünürlüğe sahiptir. Piramidin yükselen seviyelerinde içerik bilgileri korunurken çözünürlük azalır yani daha kaba bir yaklaşım elde edilir. Görüntünün piramit dönüşümünde kullanılan yöntem terslendirilebilir özelliktedir. Yani piramit dönüşüm görüntüsünden orjinal görüntü kolayca elde edilebilir. Piramit dönüşüm teknikleri kullanılarak yapılan görüntü birleştirme işleminin ilk adımında her bir kaynak görüntü temel modellerine ayrıştırılır. Ayrıştırılmış görüntülerin baskın olan kısımlarının analizi yapılır ve birleştirme şemaları kullanılarak görüntülerin baskın kısımları birleştirilir. En son adımda ise kuvvetlendirilmiş bilgi ve detaylar ters piramit dönüşümü uygulanarak son görüntü içerisinde toplanır [2]. Şekil-2 de piramit dönüşüm tekniği kullanılarak gerçekleştirilen görüntü birleştirme işlemi şematik olarak görülmektedir.

5 Piramit dönüştürme işlemi yapılırken kullanılan filtrelerin yapıları oluşan görüntü piramidinin de yapısını belirler. Lineer bant geçirgen filtreler kullanılarak LP, morfolojik filtreler kullalınarak MP elde edilir. AGPO yapısını oluşturmak için ise alt geçirgen filtrelerle işlenmiş görüntülerde fark hesaplama yöntemi yerine oran hesabı kullanılır. Aynı şekilde alt geçirgen piramit dönüşümüne bir gradyen operatörü eklenerek GP dönüşümü oluşturulur [5] Laplacian Piramit Ayrıştırma Şekil-2. Piramit dönüşüm ile görüntü birleştirme. Bir görüntünün LP dönüşümü her kademede görüntüye bant geçirgen filtre uygulanarak yada alçak geçirgen filtre kullanılarak dönüşüm yapılan Gauss piramit yapısında ardıl görüntüler arasındaki fark hesabıyla gerçekleştirilen görüntü ayrıştırma tekniğidir [4]. Şekil-3 de şematik olarak görülen LP dönüşümü kullanılarak görüntü birleştirme işlemi şu adımlarla gerçekleştirilir; Birleştirilecek olan tüm görüntülerin ayrı ayrı LP dönüşümleri elde edilir. Bu görüntü piramitlerinin her seviyesinde herbir görüntünün baskın piksellerini öne çıkaran bir teknik kullanılarak, yerel piksel toplamı yada ortalaması gibi, birleşim piramidi oluşturulur. Son adımda elde edilen birleşim piramidine ters LP dönüşümü uygulanarak füzyon görüntüsü elde edilir. LP ler genellikle Gauss piramit dönüşümlerinden elde edilirler. I orjinal görüntüyü ve G Gauss piramit görüntüsünü ifade etmek üzere sıfır seviyesindeki görüntüler aynı olacaktır (G 0 =I). Ve ilk seviyedeki görüntü ; G Olasılık Dağılım = G Fonksiyonunun Kerneli 1 0 örnekleme faktörü (1) ile elde edilir [6].

6 Burdaki * ifadesi iki boyutlu konvolusyonu, [ ] ise parantez içerisindeki ifadenin örnekleme faktörüyle yatay ve dikeyde alt örneklenmesini ifade eder. Bu örnekleme işlemi k seviyesindeki görüntü için genellenecek olursa formülasyon şu biçimde yazılabilir. k 1 [ k G = Olasılık Dağılım Kerneli G faktör k=0,...,n-1 (2) Sonuçta elde edilen piramit orjinal görüntünün alçak geçirgen filtre ile filtrelenmiş kopyalarından oluşur. Sekil-3. LP Dönüşüm tekniğiyle görüntü birleştirme. LP yapısı ise L k k seviyesindeki LP görüntüsünü ifade etmek üzere en alt seviyeden başlayarak (L N =G N ) şu şekilde elde edilir; L = G G + k k k 1 4(Olasılık Dağılım Kerneli) faktör k=0,...,n-1 (3) Bu dönüşüm gerçekleştirilirken yatay ve dikeyde üst örnekleme yapılır. [ ] ifadesi parantez içerisindeki görüntünün üst örneklemesini göstermektedir. Bu örneklemelerin ardından görüntü birleştirilmesi yapılırken her seviyede ayrı ayrı birleştirme gerçekleştirilir. Bu birleştirme işleminde baskın olan pikselin k k seçimi gerçekleştirilmektedir. Kabaca formüle etmek gerekirse LveL 2 k 1

7 seviyesinde iki farklı görüntünün LP görünümü olmak üzere birleştirilmiş k görüntünün i,j pozisyonundaki piksel değeri, L (, i j), şu şekilde hesaplanır [6]; B k k k 1(, ) Eğer 1(, ) 2(, ) k L i j L i j L i j LB ( i, j) = (4) k L2 ( i, j) Diğer durumlar Bu analiz yönteminin dışında ortalama hesaplaması yada piksellerin toplamlarının mutlak değeri de baskınlık belirlemek için kullanılmaktadır. LP dönüşümünün terslendirilebilirlik özelliğinden dolayı I ile özdeş birleştirilmiş görüntü kolayca oluşturulabilmektedir Alçak Geçirgen Piramit Oranı AGPO, LP dönüşümünde olduğu gibi Gauss piramit ayrıştırma işlemi kullanılarak gerçekleştirilir. Bu teknik LP dönüşümünden farklı olarak Gauss piramidindeki ardıl seviyeler arasında oran hesaplaması kullanır [4]. Bu yöntemde görüntü birleştirme yapılırken genel piramit ayrıştırma teknikleri kullanılarak görüntü birleştirme prosedürü kullanılır. LP ayrıştırma kullanılarak yapılan füzyon işleminden farklı olarak birleştirilmiş görüntüdeki piksel belirlenirken birleştirilecek olan kaynak görüntülerden en fazla sapmaya sahip piksel değerlendirilir Morfolojik Piramit Dönüşümü MP dönüşümü gerçekleştirirlirken yukarıda anlatılan yönemlerden farklı olarak morfolojik filtreler olarak adlandırılan özel filtreler kullanılır. Morfolojik filtreler alçak geçirgen yada bant geçirgen filtreler kullanılarak yapılan dönüşümlerde ortaya çıkan şekil değişimlerini ve konum kaymalarını azaltır [4]. Serra tarafından geliştirilen morfolojik filtreler iki basit dönüşüme dayanır. Bu dönüşümler kapanış ve açılış operatörleri ile gerçekleştirilir. Açılış birbirini takip eden ve aynı girdi üzerinde işlem yapan iki operatörü ihtiva eder. Bunlardan ilki aşındırma operatörüdür ve biçimin yerel olarak mukayese edilmesi işlevini gerçekleştirir. Aşındırma işleminin hemen arkasından genişletme operatörü işlem yapar. Bu iki operasyon için kullanılan girdi yapısal eleman olarak adlandırılır. Yapısal eleman 0 ve 1 lerden oluşan ve komşu biçim ve büyüklüklerini açıklamak için kullanılan bir matrisdir. Bu matrisin biçim ve boyutu isteğe bağlı olarak belirlenmektedir. MP dönüşümü yapılmış olan görüntülerin birleştirilmesi LP ayrıştırma tekniği kullanılarak yapılan füzyon işlem adımları izlenerek gerçekleştirilir Gradyen Piramit Dönüşümü GP dönüşümü kullanılarak görüntü birleştirme işlemi LP dönüşümü kullanılan birleştirme yöntemiyle aynı şekilde gerçekleştirilir. Diğer yöntemlerden en temel

8 farkı Gauss piramit dönüşümü gerçekleştirildikten sonra her seviye için yatay, dikey ve iki köşegen doğrultusunda gardyen operatörü kullanılarak dönüşümün tamamlanmasıdır. 3. Wavelet Dönüşüm Teknikleri Wavelet dönüşümü (WD) görüntünün çoklu çözünürlükte ayrıştırılmasını sağlayan bir veri analiz aracıdır [1]. WD tekniğinde de piramit dönüşüm yöntemlerinde olduğu gibi girdi görüntüsü çeşitli seviyelerde görüntülere ayrıştırılır. WD tekniğinin en önemli farklılığı elde edilen sonuç görüntüsünün girdi görüntü boyutundan farksız olmasıdır [5]. WD sırasında çoklu çözünürlükteki frekans bantlarını alt bantlara ayrıştırmak için bu frekanslara bir çift filtre uygulanır. Bu amaçla genellikle. Sonlu İmpuls Yanıtlı (SIY)(Finite Impulse Response(FIR)) filtrelerinin kullanımı tercih edilmektedir. Bu filtreler özyineli olarak uygulandığında tüm alt frekans bantları elde edilebilmektedir [3]. Daha sonra bu SIY filtre dizileri bir sinyalin WD yapısını oluşturmak için kullanılır. Bu amaçla ayrık ölçekleme ve Ayrık WD (AWD) fonksiyonları olarak ifade edilen iki fonksiyon sırasıyla aşağıdaki şekilde tanımlanır. i 2 i i, j( k) 2 hi( k 2 j) (5) φ = i 2 i i, j( k) 2 gi( k 2 j) (6) ψ = Bu fonksiyonlar kullanılarak x sinyalinin 1 boyutlu AWD si şu şekilde formülize edilir. xk ( ) = s ( j) φ ( k) + d ( j) ψ ( k) (7) ( N) N, j ( i) i, j j Z i= 1 j Z N Bu formülde s ve d ifadeleri WD sabiti olarak tanımlanır [3].

9 Şekil-4. 2-boyutlu WD görüntü piramidi. Görüntü birleştirme işlemi için kullanılan veri 2 boyutlu olduğu için 2-B AWD uygulanması gerekir. Ilk seviyedeki ayrıştırma işlemi sonucunda alçak_alçak (AA), alçak_yüksek (AY), yüksek_alçak (YA) ve yüksek_yüksek (YY) olmak üzere dört temel frekans bandı elde edilir. Daha sonraki seviyelerde ayrıştırma işlemi sadece AA bandı üzerinde özyineli olarak gerçekleştirilir. Şekil-4 de bu dönüşüm üç seyiye için gösterilmektedir. N kademeli dönüşüm sonunda 3N tane YY frekans bandı ve bir tane AA frekans bandı olmak üzere görüntü 3N+1 farklı frekans bandına ayrıştırılmış olur. şekilde görüldüğü gibi her kademede frekans bandının boyutu küçüldüğü için piramit dönüşümüne benzer bir dönüşüm elde edilir. WD tekniği ile görüntü birleştirme herbir ayrıştırma seviyesinde gerçekleştirilen standart bir yapıya sahiptir. Şekil-5 de genel yapısı görülen WD görüntü füzyonunda öncelikle kaynak görüntüler AWD ile alt frekans bantlarına ayrıştırılırlar. Bu dönüşüm esnasında kullanılan sabitler genellikle birleştirme kurallarını belirlerler. WD birleştirme teknikleri bu sabitlerin seçimine bağlı olarak farklıllık kazanırlar. Birleştirme kurallari uygulanarak elde edilen WD formundaki birleşik görüntüye son adımda Ters AWD (TAWD) uygulanarak girdi görüntülerle aynı boyutlu son füzyon görüntüsü elde edilir.

10 Şekil-5. WD görüntü birleştirme yapısı. Birleştirme kurallari WD sabitlerinin nasil seçileceğine bağlı olarak şekillenir. Bu seçim işlemi bir seviyedeki birleştirilecek olan görüntülerin dönüşüm sabitlerinin mutlak değerlerinin en büyüğü, ortalaması veya toplamı alınarak yada alan tabanlı maksimum enerji kriteri kullanılarak yapılabilir. Maksimum seçme kriteri kullanılarak birleştirme yapıldığında i,j piksel pozisyonu için F birleştirilmiş görüntü, IveI 1 2 AWD ile elde edilen görüntü olmak üzere seçim şu şekilde tanımlanır [1]. Fij I (, i j) Eğer I (, i j) > I (, i j) = I2(, i j) Eğer I2(, i j) > I1(, i j) (, ) (8) Füzyon kuralları, sabitlerin belirlenmesi için kullanılan görüntü alanının yapısına bağlı olarak üç farklı şekilde belirlenebilir [3]. 1. Piksel Tabanlı Füzyon Kuralları: Görüntü birleştirme işlemi yapılırken hangi kaynak görüntünün birleştirme sabitini daha iyi ifade edebileceğinin bulunması gerekir. Bu işlem kaynak görüntüler, (8) de olduğu gibi, piksel piksel incelenerek gerçekleştirilebilir. Bu şekilde belirlenen kurallar piksel tabanlı füzyon kuralları olarak ifade edilir. 2. Pencere Tabanlı Füzyon Kuralları: Bu yapıda sabitler belirlenirken kaynak görüntülerin sadece incelenen konumdaki pikselleri değil etrafındaki yakın komşu pikselleri de değerlendirmeye katılır. 3. Alan Tabanlı Füzyon Kuralları: Sabitler belirlenirken pencere tabanlı kurallara ek olarak sabitlerin bulunduğu alanlarda dikkate alınır. Aşağıdaki şekilde alan tabanlı görüntü birleştirma kurallarının nasıl belirlendiği şematik olarak görülmektedir.

11 Şekil-6. Alan tabanlı görüntü birleştirme kurallarının belirlenmesi. Alan tabanlı kurallar belirlenirken görüntünün kenarları yada alan bilgileri gibi özellikleri de dikkate alınmaktadır. Leigh üniversitesi görüntü birleştirme araştırmaları sayfasında açıklanan teknikte öncelikle kaynak görüntünün WD sindeki AA bandında Canny köşe belirleme yöntemi uygulanmaktadır [3]. Bu bilgi daha sonra alan bölümlemede kullanılmaktadır. Görüntü alanları farklı değerler farklı alanları belirtecek şekilde oluşturulur. Yüksek frekanslı wavelet sabitlerinin ortalaması alınarak aktivite seviyeleri belirlenir. Bu aktivite seviyeleri kullanılarak aktivite tabloları oluşturulur. Aktivite değerinin yüksek olması o alanın birleştirme işlemi için daha fazla bilgi sunabileceği anlamını taşır. Herbir kaynak görüntünün görüntü alanı ve bu alanların aktivite tabloları kullanılarak füzyon kuralları belirlenir. Bu kuralların bütünü füzyon karar haritasını oluşturur. Bu haritalar kullanılar WD formunda birleşik görüntü elde edilir. Bu yaklaşımda kullanılan birleştirme kuralları şu şekilde tanımlanmıştır; Aktivite seviyesi yüksek olan bölgeler tercih edilir. Köşe noktalar tercih edilir. Küçük alanlar tercih edilir. Öncelikle köşe olmayan noktalar incelenir. Köşe noktalar için karar verilirken komşular değerlendirmeye alınır.

12 Karar haritasında yer alan bağımsız (tek) noktalar ihmal edilir. Köşe ve kenar bilgilerini daha belirgin hale getirerek birleştirme işlemi yapan başka bir yaklaşım [7] de sunulmaktadır. Bu yaklaşımda en büyüklük ölçülü WD kullanılarak nesnelerin köşe özelliklerini ve bileşen bilgilerini son birleştirilmiş görüntüde daha iyi belirtebilen, farklı seviye ve bant genişliklerinde uygulanabilen bir yapı oluşturulmuştur. Görüntü birleştirilmesi dört temel adımda gerçekleştirilmektedir. Ilk olarak görüntülerin AWD ile ayrıştırılması yapılır. Ikinci adımda [7] de ayrıntılı olarak belirtilen formüllerle kaynak görüntülerin her farklı seviyesi için en yüksek ölçüt hesaplaması yapılır. Üçüncü adımda füzyon kuralları kullanılarak görüntüler birleştirilir. Bu yöntemde kullanılan seçim kriteri WD uygulanan her noktanın katsayılarının mutlak değer olarak en büyük olanının kullanılmasına dayanır. En son adımda TAWD ile birleştirilmiş görüntü elde edilir. Klasik AWD işlemi kaydırma ile değişen sinyaller sunduğu için, görüntü birleştirme yapıldığında birçok noksanlıklara sebep olabilmektedir. Yani AWD ile görüntü birleştirme gerçekleştirildiğinde oluşan son görüntü dengesiz olacaktır. Oysaki görüntü füzyonunda kullanılan tekniğin nesne konumundan bağımsız ve sonuç görüntüsünün dengeli ve giriş görüntüleriyle tutarlı olması gerekir. AWD deki bu olumsuzlukları gidermek için birçok teknik bulunmaktadır. Bu yöntemlerden bazıları [8] ve [9] da sunulmaktadır. Ayrıntılar için bu makaleler incelenebilir. 4. Diğer Görüntü Birleştirme Teknikleri 4.1. Kontrast Piramit Yaklaşımı AGPO görüntü birleştirme tekniğine çok benzer bir yapıdadır [4]. Bu benzerliğin sebebi bir noktadaki contrast değerinin o noktadaki obje parlaklığının arka alan parlaklığından farkını belirtiyor olmasıdır. Bu yaklaşımla oluşturulan görüntü piramitleri de AGPO füzyonu ile aynı teknikle birleştirilir Kaynak Bileşen Füzyonu (KBF) Bu yöntemde istatistiksel analizler kullanılarak görüntü sinyalleri kaynak bileşenlerine ayırılır ve füzyon işlemi bu bileşenler kullanılarak gerçekleştirilir [1]. KBF birbiriyle ilişkili değişkenler içeren veri setlerini birbiriyle ilişkisiz değişkenler içeren veri setine dönüştürür. Temel bileşen analizi yapılırken birçok kaynaktan elde edilen bilgi giriş verisi olarak kullanılabilir. Bileşen analizi sonucunda bir veri matrisi oluşturulur. Bu veri matrisinin oluşturulmasında giriş görüntülerinin kanal bilgileri kullanılabileceği gibi genetik algoritmalar gibi farklı tekniklerde tercih edilebilir. N boyutlu orjinal görüntü değişkenleri ortagonal doğrusal dönüşüm sonucunda veri matrisine yerleştirilir. Yeni değişkenlerin boyutu orjinal görüntü boyutundan küçük ve birbiriyle ilişkisizdir.

13 Şekil-7 de KBF akış şeması görülmektedir. Bu şekil termal bir görüntü ile aynı görünümün normal görüntüsünün birleştirilme adımlarını göstermektedir. İki görüntünün veri matrisi oluşturulurken iki kanaldan gelen veriler veri matrisinin sutunlarına alfabetik bir yaklaşimla yerleştirilir. İkinci adımda korelasyon T matrisinin C = X X eigen değerleri ve vektörleri bulunarak eigen değerlere karşılık gelen vektörler bu değerlerin azalan sırasına göre yerleştirilmektedir. Bu sayede L matrisi oluşturulur. KB matrisi,p, veri matrisi ile eigenvektör matrisinin çarpımı ile elde edilir, P = X L. Görüntü birleştirilirken ilk temel bileşenle en yüksek eigendeğere karşılık gelen eigenvektör çarpılır, ˆ T X = P L. KBF yöntemi ile elde edilen birleşik görüntüde giriş görüntülerinin birçok temel özelliği korunmuş ve birleşik görüntüye aktarılmış olur. Şekil-7. KBF Akış şeması.

14 4.3. Toplam Olasılık Yoğunluk Fonksiyonu (TOYF) Sensör çıktılarından elde edilen görüntülerin birbirinden bağımsız olduğu durumlarda herbir sensör kaynak görüntüsünün toplam olasılık yoğunluk fonksiyonu hesaplanarak birleştirilmiş görüntü bu bilgiler ışığında elde edilebilir [4] Biyolojik İlhamlı Birleştirme (BİB) Bu yöntem insan ve diğer gelişmiş organizmaların görüntüleri değerlendirme ve birleştirme yapılarından esinlenilerek geliştirilmiştir [4]. Yüksek seviyedeki görüntü işlemleri gelişmiş organizmaların retina, görüntü korteksi ve beyinlerinde gerçekleştirilir. BİB yaklaşımı iki biyolojik modele dayanmaktadır. 1. Pirimatların, bütün maymun türlerini ve bazı araştırmacılara göre insanları da içine alan memeliler takımı, renk algılama teknikleri. 2. Çıngıraklı yılan ve piton yılanı olarak bilinen iki gurup yılan türünde normal görüntü ile termal kızılötesi görüntünün birleştirilme yöntemi. Bu teknik genellikle kızılötesi görüntülerle normal görüntülerin füzyonunda tercih edilmektedir. 5. Sonuç Bu çalışmada genel olarak görüntü birleştirme teknikleri açıklanmıştır. Görüntü Birleştirme günümüzde birçok alanda sıklıkla kullanılan temel işlemlerden biridir. Görüntü birleştirme gerçekleştirilirken kullanılacak olan yöntemlerin belirlenmesi tamamen problem tanımına bağlıdır. Yani görüntü birleştirme işleminin performansı uygulandığı probleme göre şekillenir. Bu çalışmada anlatılan görüntü birleştirme tekniklerinin elektro-optik (Şekil-8) görüntü ile aynı görünümün eş zamanlı kızılötesi görüntüsünün (Şekil-9) birleştirilmesinde kullanım sonuçları Ek.1 de görülmektedir. Piramit dönüşüm yöntemleri en sık kullanılan görüntü birleştirme yöntemleridir. Bu tekniklerde kullanılan piramit seviyesi sayısı ve işlem yapılan pencerenin büyüklüğünün nasıl belirlenmesi gerektiği önemlidir. Genelde cok fazla piramit seviyesi kullanımı birleştirilmiş görüntü kalitesini arttırır. Fakat bu durumda çalışma zamanı da artacaktı. Bu nedenle kullanılacak seviye miktarı kullanım ihtiyaclarına bağlı olarak belirlenmelidir. Kullanılan pencere ise uygun parametrelerin seçimini sağlayabilecek kadar veri ihtiva eder büyüklükte ve pencere parametresinin o bloğu temsil edebileceği kadar küçük seçilmelidir ( Genellikle 3x3 yada 5x5 boyutlarında pencereler kullanılmaktadır).

15 WD görüntü birleştime yöntemleri piramit ayrıştırma tekniklerindeki seviyeler arasındaki boyut farklığı gibi problemleri kaldırarak iyi sonuçlar sunabildiği için yeni araştırmalarının temelini oluşturmaktadır. WD dönüşümü ile görüntü birleştirme yapılırken ortaya çıkan görüntü kaymalarının giderilmesi konusunda birçok araştırma bulunmaktadır. KBF yöntemi ile elde edilen birleşik görüntüde ise giriş görüntülerinin birçok temel özelliği korunmuş ve birleşik görüntüye aktarılmış olur. Hangi tekniğin hangi problem için kullanımının daha etkili olcağının belirlenmesi için birkaç karşılaştırma/değerlendirme analizi ve metriği bulunsada bu problem tam anlamıyla çözüme kavuşturulmamıştır. Tüm tekniklerin efektif bir şekilde karşılaştırmasına olanak sağlayacak yöntemler günümüzde araştırılması devam eden konulardır. Kaynakça [1] H. Hariharan, A. Gribok, M. Abidi, and A. Koschan, "Image Fusion and Enhancement via Empirical Mode Decomposition," Journal of Pattern Recognition Research, Vol. 1, No. 1, pp , January [2] J. Yang and R. S. Blum, "Multi-frame Image Fusion Using the Expectation- Maximization Algorithm," International Conference on Information Fusion, Philadelphia, PA, July [3] Lehigh University, Investigations of Image Fusion, [4] Sadjadi, F., Comparative Image Fusion Analysais, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05),Workshops,Volume 03,P:8,2005. [5] Gemma Piella, Henk Heijmans, MULTIRESOLUTION IMAGE FUSION GUIDED BY A MULTIMODAL SEGMENTATION, Proceedings of ACIVS 2002 (Advanced Concepts for Intelligent Vision Systems), Ghent, Belgium, September 9-11, [6] Sharma R.K, Probabilistic Model_Based Multisensor Image Fusion, PhD thesis, Graduate Institute of Science and Technology, Oregon (1999). [7] Q. Guihong, Z. Dali, and Y. Pingfan, "Medical image fusion by wavelet transform modulus maxima," Opt. Express 9, (2001). [8] S.G. Mallat, A Wavelet Tour of Signal Processing, Academic press, San Diego, California, 1998.

16 [9] Rochiger O., Image Sequence Fusion Using a Shift in Varient Wavelet Transform, Proceedings of the International Conference on Image Processing, Ek.1 Şekil-8. Elektro-Optik görüntü. Şekil-9. Kızılötesi görüntü. Şekil-10. Laplacian Piramit füzyon görüntüsü. Şekil-11. AGPO füzyon görüntüsü. Şekil-12. Morfolojik Piramit füzyon görüntüsü. Şekil-13. Gradyen Piramit füzyon görüntüsü.

17 Şekil-14. AWD füzyon görüntüsü. Şekil-15. Shift-AWD füzyon görüntüsü. Şekil-16. Kontrast Piramit füzyon görüntüsü. Şekil-17. Kaynak Bileşen füzyon görüntüsü. Şekil-18. BİB füzyon görüntüsü.