HİPERSPEKTRAL GÖRÜNTÜLEME İLE KAMUFLAJ TESPİTİ

Transkript

1 HİPERSPEKTRAL GÖRÜNTÜLEME İLE KAMUFLAJ TESPİTİ Ali Can KARACA (a),(b), Alp ERTÜRK (b), M. Kemal GÜLLÜ (c), Muharrem ELMAS (d), Sarp ERTÜRK (e) (a) Palsis Elektronik Optik Ltd. Şti., 41275, Kocaeli, (b) KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, {alican.karaca1, (c) Yard. Doç. Dr. KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, (d) MS MacroSystem Nederland, Hollanda, (e) Prof. Dr. KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, ÖZET Bu makalede, bitkiler arasında gizlenen nesne veya insanların hiperspektral görüntüleme kullanılarak tespiti amaçlanmaktadır. Problemin benzetimi için yapay yapraklar, kamuflaj malzemesi, doğal yapraklar ve askeri oyuncaklar kullanılmış olup, hiperspektral görüntülerin alımı için Palsis Elektronik Optik Ltd. Şti. de oluşturulmuş ve konumlandırılmış olan Hiperspektral Görüntüleme Sisteminden yararlanılmıştır. Uygun işaret işleme tekniklerinin kullanılması ile doğal bitkiler ile yapay bitkiler ve kamuflaj malzemeleri arasında yüksek seçicilik elde edilmekte ve gizlenen nesneler kolaylıkla ayırt edilebilmektedir. Anahtar Kelimeler: Hiperspektral Görüntüleme, Kamuflaj Tespiti, Bitkilerin Hiperspektral Özellikleri. ABSTRACT In this paper, detection of hidden objects or people among plants, using hyperspectral imaging is aimed. Both natural leafs, camouflage materials, artifical leafs and military toys, are used to simulate the problem; and a Hyperspectral Imaging System which was constructed and placed at Palsis Electronic Optic Ltd. Co. is used to capture hiperspectral images. Through the application of appropriate signal processing techniques, high selectivity is achieved between natural plants, artificial plants and camouflage materials, and the hidden objects can easily be distinguished. Keywords: Hyperspectral Imaging, Camouflage Detection, Hyperspectral Properties of Vegetation.

2 1. GİRİŞ Hiperspektral görüntüleme askeri, savunma, kimyasal inceleme, tarım ve medikal gibi pek çok alanda kullanılmaktadır. Hiperspektral görüntüleme ile kızıl ötesi ve görünür bölgelerden birçok dar dalga boyuna ait imge verileri elde edilmekte ve bunun sonucunda dalga boyuna göre ayrışım sağlanmaktadır. Hiperspektral görüntü üzerinden seçilen herhangi bir pikselin ışıklılık değerlerinin dalgaboylarına göre oluşturduğu imza malzemeye özel bir davranış göstermektedir. Hiperspektral görüntülemenin askeri alandaki genel uygulamalarına [1]'deki çalışmada yer verilmiştir. Bu çalışma HYMEX (HYperspectral image EXploitation) projesi kapsamında Kanada silahlı kuvvetleri için gerçekleştirilmiş ve geniş bir spektral aralıkta ( mikrometre) elde edilen görüntülerle hedef tanıma, arazi analizi ve su kaynaklarının haritalanması uygulamaları üzerinde çalışılmıştır. [2]'de pek çok sensör üzerinden iki farklı zamanda alınan hiperspektral görüntüler değerlendirilerek yüzeydeki ve gömülü mayınlar tespit edilmiştir. [3]'de askeri bir araç üzerine yerleştirilmiş kamera ile uzun dalga boylu kızıl ötesi (LWIR) ( mikrometre) bandında görüntü alınarak kum ve bitki örtüsü arasından askeri araçlar tespit edilmiştir. Bu bildiride, nm spektral aralığında alınan hiperspektral görüntülerdeki kamuflajlı bölgelerin tespiti amaçlanmaktadır. Tespit için hiperspektral veriye önce gürültü giderimi ve normalizasyon ön işlemleri uygulanmakta, sonra da saçılım/soğrulma oranı, bitki indekslerinin bulunması ve bunların birleştirilmesi ile tespit gerçekleştirilmektedir. 2. TEORİ Bu çalışmada, hiperspektral görüntülerde doğal bitkiler arasına konumlandırılmış kamuflajlı bölgelerin tespiti ve tespit edilen bölgelerin kendi içinde ayrıştırılması için bitki özelliklerinin ve belirli bantlardaki saçılım/soğurulma oranı sonuçlarının birleştirilerek kullanılması önerilmektedir. Problemin benzetimi için hiperspektral görüntünün alımı Palsis Elektronik Optik Ltd. şirketindeki Hiperspektral Görüntüleme Sistemi (HGS) ile yapılmıştır. Bu HGS, ışıklandırma, yürüyen bant ve görüntü alma donanımı olmak üzere üç alt sistemden oluşmaktadır. Görüntü alma donanımı, Specim firmasının Imspector V10E spektrometresi ile PCO firmasının Pixelfly markalı geniş bir spektrumda yüksek kuantum verimliliği olan monokromatik kamerasından oluşmaktadır. Monokromatik kamera 1392x1040 piksellik çözünürlükte ve 14 bit derinliğinde görüntü almaktadır. Imspector V10E spektrometresi, nm arasındaki görünür ve yakın kızıl ötesi dalga boylarından 2.8 nm spektral çözünürlükle görüntü elde etmektedir. Spektrometre, giriş yarığı üzerinden gelen ışığı optik sayesinde dalga boylarına ayrıştırarak monokromatik kamera algılayıcısı üzerine izdüşürmektedir.şekil 1.a'da spektrometre bileşenleri gösterilmektedir.

3 (a) Şekil 1. (a): Spektrometre bileşenleri, (b): Hiperspektral imgenin RGB görüntüsü. Bu çalışmada dış ortam aydınlatmasına benzerlik sağlamak üzere geniş bir spektrumda ışık sağlayabilen halojen lamba seçilmiş ve iki adet 1000 wattlık halojen lamba karşılıklı olarak konumlandırılmıştır. Görüntü alma sistemi çizgi tarama esasına göre çalıştığından tarama için hızı ayarlanabilir bir yürüyen bant kullanılmıştır. Yapılan tarama sonucunda 1040 spektral bant içeren bir hiperspektral küp oluşmaktadır. Şekil 1.b'de hiperspektral olarak taranan bitkilerin CIE (Internatinal Commission on Illumination) D65 ışık standardının ağırlıkları kullanılarak oluşturulmuş RGB imgesi verilmiştir. Veri setinde üç farklı türden toplam dört yapay bitki, bir kamuflaj kumaşı ve iki farklı türden dört doğal bitki yaprağı kullanılmıştır. Hiperspektral görüntü donanımı bize dalgaboylarına göre yansıma değerlerini vermektedir. Normalize edilmiş yansıma değerleri ise eşitlik (1) ile elde edilmekte, normalizasyon işlemi ile yansıma spektrumundaki ötelenme ve düzgün dağılmayan ışıklılıktan kaynaklanan hatalar giderilmektedir. Y ( ) ( ) 0 λ S λ Y ( λ) = B( λ) S( λ) Bu eşitlikte λ dalga boyunu, Y 0 yansıma değerlerini, S siyah referans spektrumunu, B beyaz referans spektrumunu ve Y normalize edilmiş yansıma değerlerini göstermektedir. Şekil 1.b'de RGB görüntüsü verilen hiperspektral verideki farklı türlere ait normalize edilmiş spektral imzalar Şekil 2'de verilmiştir. Şekil 2'de yeşil ve eflatun rengine sahip çizimler doğal bitkileri göstermektedir. Doğal bitkiler, klorofil içerdiklerinden dolayı yeşil renkte (550 nm dalga boyu civarında) ışıma yaparlar. Yapay yaprakların da yeşil renkteki ışımalarından dolayı bu bölgede ayırt edilemeyebilirler. Ayrıca doğal bitkiler hücresel özelliklerinden dolayı yakın kızıl ötesi bandında da yüksek ışıma yaparlar. Kızıl ötesindeki bu özel davranış kullanılarak doğal bitkiler yapay bitkiler ve kamuflaj malzemelerinden ayrıştırılabilirler. Ancak "küçük yapay yaprak" etiketli olan yapay yaprak gibi çok az örnekte de doğal bitkileriin bu özelliğini içeren spektrumlar gözlenebilmektedir. (b) (1)

4 Şekil 2. Farklı Malzemelere ait normalize edilmiş spektral imzalar Şekil 3. Ayrıştırılması Zor Örnekler Şekil 3'te ışıklandırma ve diğer koşulların en kötü olduğu durumda elde edilmiş örneklere ait normalize edilmiş yansıma değerleri verilmiş olup, elde edilen imzalar doğal ve yapay yapraklar arası yeterli ayrıştırma sağlamamaktadır. Bu çalışmada aradaki farklılıkları ön plana çıkarmak için sırasıyla Standart Normal Değişim (SNV), Savitzky-Golay süzgeçlemesi ve Kubelka-Munk teorisi uygulanması önerilmektedir. Bu yöntemlerin adli belgelerdeki bulguların analizi için uygulanmasına [4]'te yer verilmiştir. Standart Normal Değişim (Standart Normal Variate) yansıma spektrumundaki saçılımlarda bulunan çarpımsal girişimleri kaldırmaktadır [5]. Temel olarak, ortalama ve standart sapmayı kullanarak normalizasyon yapmaktadır. Kameranın bazı dalga boylarındaki düşük kuantum verimliliği ile ışık kaynağının o dalga boylarındaki zayıf yansıması, alınan spektral veride bu dalga boylarında gürültüye neden olmaktadır. Bu gürültülerin yansıma spektrumunun formunu bozmadan en iyi şekilde süzülmesi için Savitzky-Golay (SG) süzgeçlemesi kullanılır. SG, [6]'da önerilmiş olup, en küçük kareler yöntemine göre polinom uydurma temelli bir yöntemdir. Kubelka-Munk (KM) teorisi ise iletilen ve yansıyan ışınlardan yola çıkarak bir materyal üzerindeki

5 SAVTEK 2012, SAVUNMA TEKNOLOJİLERİ KONGRESİ soğurulma-saçılım oranı bulunmasını sağlar ve (2)'teki eşitlikten hesaplanır [7]. K (1 Y (λ )) = S 2Y (λ ) 2 (2) Bu eşitlikte K soğurulma katsayısı, S ise saçılım katsayısıdır. Bu işlem hiperspektral imgelerde her spektral banda bağımsız olarak uygulanır ve spektral imzalar arasındaki pek çok farkı ön plana çıkarabilir. Şekil 4'te önceki aşamada elde edilen SG ve SNV sonucuna Kubelka-Munk teorisi uygulanınca elde edilen imzalar verilmiştir. Şekil 4. Kubelka-Munk uygulanmış imzalar. Şekil 4'deki nm arasındaki keskin düşüşler bitkilere özel olan ve kırmızı kenar (red edge) olarak adlandırılan bir özelliktir. Şekil 5'te 675 nm dalgaboyunda doğal ve yapay bitkiler arasıdanki fark açık bir şekilde gözükmektedir. Şekil 5'te yöntemlerin ilgili banda uygulanması ile elde edilen sonuçlar sırasıyla verilmiştir. Ayrıca, Şekil 5.c'deki sonuç yapay renklendirme ile Şekil 6.a'da gösterilmiştir. Bu renklendirme ile en düşük değere koyu mavi en yüksek değere koyu kırmızı tonu atanarak aradaki değerler renk tonlarına yayılmış ve imge olarak gösterilmiştir. (a) (b) (c) Şekil nm'deki (a):normalize edilmiş yansıma imgesi, (b):sg ve SNV sonucu, (c):kubelka-munk Sonucu.

6 Farklı bir yaklaşım hiperspektral görüntülerdeki belirli spektral bant imgeleri kullanarak bitki indislerinin hesaplanmasıdır. Bunlardan birisi Normalize Fark Bitki İndeksi (NDVI) (Normalized Difference Vegetation Index) olup tipik olarak yakın kızıl ötesi ve kırmızı dalga boyunda bulunan değerlere dayanmaktadır [8]. NDVI hesabı eşitlik 3'te verilmiştir. NDVI = (NIR - RED) / (NIR + RED) (3) Bu eşitlikte NIR yakın kızıl ötesi bandındaki değerleri, RED kırmızı banttaki değerleri göstermektedir. Şekil 6.b'de hiperspektral verinin NDVI değerlerinden oluşan yapay renklendirilmiş görüntüsü verilmiştir. Önemli bitki indislerinden bir diğeri de yine [8]'de adı geçen PSND (Pigments Specified Normalize Difference) indisidir. PSND eşitlik (4)'teki gibi hesaplanmaktadır. PSND=(R R 675 )/ (R R 675 ) (4) Eşitlikte R alt indisle gösterilen dalga boylarındaki yansıma imgesini göstermektedir. Şekil 6.c'de PSND değerlerinden oluşan yapay renklendirilmiş görüntü verilmiştir. (a) (b) (c) Şekil 6. (a):kubelka-munk, (b):nvdi indeksleri, (c):psnd indeksleri Işıklılık Değerleri Şekil 6'daki yapay renklendirilmiş imgelerdeki matris değerlerinin eleman elemana çarpılması (Hadamard product) ile elde eden sonuçlar Şekil 7.a'da gösterilmiştir. Arkaplan çıkartımı için her piksele ait CIE Lab değerleri hesaplanmış ve fark değerlerinden ( E) arkaplan maskesi hazırlanmıştır. Oluşan maskenin siyah-beyaz gösterimi Şekil 7.b'de verilmiştir. Maske hazırlandıktan sonra sonuç imge ile çarpılarak terslenmiştir. Yapay renklendirilmiş sonuç imgesi Şekil 7.c'de verilmiştir. Bu görüntüde açık mavi tonları yapay bitkileri, sarı ve kırmızı tonları kamuflaj kumaşını ve yeşil tonları ise doğal yaprakları göstermektedir. Önerilen yöntem sonucunda doğal bitkiler, yapay bitkiler ve kamuflaj kumaşının birbirlerinden net olarak ayrıldığı görülmektedir.

7 (a) (b) (c) Şekil 7. (a):çarpım imgesi, (b):arka plan maskesi, (c): Sonuç İmgesi. Veri setini doğal bir araziye benzetmek için iki farklı görüntü daha alınmıştır. Alınan görüntülerde oyuncak tank ve askeri ekipmalar ile farklı ağaçların yaprakları harmanlanmış bu şekilde gerçeğe yakın bir veriseti elde edilmiştir. Şekil 8'de alınan ilk veriseti için RGB görüntü ve önerilen yöntem sonucunda oluşan sonuç imge verilmiştir. (a) (b) Şekil 8. İkinci veri setinin (a): RGB görüntüsü, (b): Sonuç imgesi. Hazırlanan diğer setinde tanklar ve diğer askeri malzemelerin dal ve yaprakların arasında olma koşulu incelenmiştir. Şekil 9'de görüldüğü gibi yüksek ayırt edicilik sayesinde üzerlerinde yaprak parçaları olsa dahi malzemeler tespit edilebilmektedir. (a) (b) Şekil 9. Üçüncü veri setinin (a): RGB görüntüsü, (b): Sonuç imgesi.

8 4. TEŞEKKÜR Bu çalışma 2011K nolu DPT projesi ve Bilim, Sanayi ve Teknoloji Bakanlığı tarafından 0043.TGSD.2011 nolu Teknogirişim Sermayesi Desteği projesi kapsamında desteklenmektedir. 5. SONUÇ Bu çalışmada, kamuflajlı bölgelerin hiperspektral görüntüleme ile tespiti gerçekleştirilmiştir. Kamuflaj benzetimi için farklı spektral imzalara sahip yapay bitkiler, doğal bitkiler, kamuflaj kumaşı ve oyuncak askeri malzemelerden üç ayrı veri seti oluşturulmuş ve hiperspektral sistem tarafından taranmıştır. Taranan görüntü kübü için bitkilerin hücresel ve yapısal özelliklerinden yola çıkılarak yapay bitkiler, kamuflaj malzemeleri ve doğal bitkiler kolayca birbirinden ayırt edilebilmektedir. Önerilen yaklaşım uzaktan görüntüleme ile hedef tespiti kullanımına uygundur. KAYNAKÇA [1] J. P. Ardouin, J. Lévesque, T. A. Rea, (2007), A Demonstration of hyperspectral image exploitation for military applications, 10th International Conference on Information Fusion, July 9-12, Canada. [2] E. M. Winter, (2004), "Detection of surface mines using hyperspectral sensors", In Proceedings of the IEEE: Geoscience and Remote Sensing Symposium, September, Anchorage, AK. [3] R.P. Bongiovi, J.A Hackwell, T.L. Hayburst, (1996), Airborne LWIR hyperspectral measurements of military vehicles, Proceedings Aerospace Applications Conference, February 3-10, Aspen, CO, USA. [4] A.C. Karaca, A. Ertürk, M.K. Güllü, M. Elmas, S. Ertürk, (2012), Hiperspektral Görüntüleme ile Adli Belgelerdeki Bulguların Analizi, 20. IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SIU2012). [5] R.J. Barnes, M.S. Dhanoa, S.J. Lister, (1989), Standard Normal Variate Transformation and De-trending of Near-Infrared Diffuse Reflectance, in Applied Spectroscopy, 43 (5), [6] A. Savitzky, J.E. Golay (1964). Smoothing and differentiation of data by simplified least squares procedures, in Analytical Chemistry, 36 (8), [7] P. Kubelka, F. Munk (1931), Ein Beitrag Zur Optik der Farbanstriche, Zeitschrift fur technische Physik 12, [8] P. S. Thenkabail, J. G. Lyon, A. Huete (2011), Hyperspectral Remote Sensing of Vegetation, CRC Press.