Geliştirilmiş Fisher Ayraç Kriteri Kullanarak Hiperspektral Görüntülerde Sınıflandırma Mustafa TEKE, Dr. Ufuk SAKARYA TÜBİTAK UZAY IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 1
Sunu Akışı Giriş Elektromanyetik ışıma Hedef ile etkileşim Hiperspektral görüntüleme Çok bantlı ve hiperspektral görüntüler Boyut İndirgeme PCA FLDA EFDC Önerilen Yöntem Deneyler Çıkarımlar IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 2
Elektromanyetik Işıma Güneş Işıması Hız = f. λ λ : Dalga boyu f : Frekans Kaynak: http://en.wikipedia.org/wiki/electromagnetic_radiation Kaynak: http://en.wikipedia.org/wiki/sunlight IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 3
Hedef İle Etkileşim Gelen = Yansıyan + Geçirilen + Soğurulan Gelen Yansıyan Soğurulan Geçirilen Kaynak: http://www.nrcan.gc.ca/earth-sciences/geography-boundary/remote-sensing/fundamentals/1350 IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 4
Dünyanın Enerji Bütçesi Kaynak: NASA, http://science-edu.larc.nasa.gov/eddocs/radiation_facts.html IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 5
Hiperspektral Görüntüleme Ön Optik (Odaklama) Spektrometre (Spektral Ayrışma) Sensör IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 7
Çok Bantlı ve Hiperspektral Görüntüler Çok bantlı görüntüler 4 12 bant Bant aralığı 70 100 nm Ayrık bantlar Hiperspektral görüntüler 100 200+ bant Daha dar aralıklı (5-20 nm) Devamlı bantlar Kaynak: NASA http://rst.gsfc.nasa.gov/ IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 8
Boyut İndirgeme Her bir x i elemanı B boyutlu bir uzayda yer alan ve N adet elemandan oluşan bir X = {x 1, x 2,, x i, x n } kümesinin B> K olmak üzere; X kümesinin her bir x i elemanının K boyutlu bir uzayda yer alacak şekilde Y= {y 1, y 2,, y i, y n } kümesine indirgenmesine boyut indirgeme tekniği denmektedir. Örneğin 2 Boyutlu Veriyi, 1 boyut ile de ifade mümkündür IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 9
PCA Temel bileşen analizi (Principal Component Analysis - PCA) [Duda1]:İlintili bir B boyutlu vektör uzayında yer alan bir X kümesinin doğrusal ilintisiz bir B boyutlu bir vektör uzayına dönüşümü yapılır. PCA öğreticisiz bir yöntemdir, değişintinin en yüksek olduğu yöne doğru bir izdüşüm yapar. Ortak değişinti matrisinin özvektörleri ve özdeğerleri bulunur. En büyük ilk K özdeğere ait özvektörlerden BxK boyutlu bir PCA iz düşüm matrisi oluşturulur. y T ( x ) PCA IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 10
FLDA (1/2) Fisher doğrusal ayraç analizi (Fisher Linear Discriminant Analysis- FLDA) [Duda1],[Gao12] ise öğreticili bir yöntem olup sınıfların en çok ayrılabileceği yönde bir izdüşüm yapar. FLDA için iki değişinti matrisi hesaplanır. Bunlardan birisi sınıf içi değişinti matrisi olan S dir: S m N i i 1 j 1 i i i i ( x )( x ) j j T Yukarıdaki denklemde N i i sınıfının örnek sayısı, m sınıf sayısı, µ i i sınıfının ortalaması, x ij i sınıfındaki j. elemanı göstermektedir. IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 11
FLDA (2/2) Sınıflar arası değişinti matrisi S B : m i i S B N i ( )( ) i 1 T FLDA için aşağıdaki denklem çözülmeye çalışılır. Kısaca Denklem (4) ün çözümü Denklem (5) in özvektör çözümü ile bulunur. S FLDA 1 S arg max B T T S S B (4) (5) IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 12
PCA ve FLDA Aly A. Farag,Shireen Y. Elhabian, http://www.di.univr.it/documenti/occorrenzains/matdid/m atdid423940.pdf IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 13
EFDC (1/3) Gao et al. [Gao12] boyut indirgeme için geliştirilmiş Fisher ayraç kriterini (Enhanced Fisher Discriminant Criterion- EFDC) önermişlerdir. Bu kriter FLDA ya ek olarak sınıf içindeki veri değişintisini de olabildiğince korumaya çalışır. Bu yöntemde Denklem (4) yerine Denklem (6) kriter olarak kullanılır. T (6) EFDC arg max asb 1 a S T S D Yukarıdaki denklemde a bir sabittir, S D aynı küme içindeki değişiklik saçılımı matrisidir (variability scatter matrix) ve şu şekilde hesaplanır: (7) S X F D X D T IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 14
EFDC (2/3) F diyagonal bir matristir: F ii j Dij (8) Denklem (7) deki D ağırlık matrisidir ve birbirine yakın noktalar arası değişimi modeller [Gao12]: D ij exp 0, diger. 2 t / d x, x, Eger x N x i j veya x j N k i x i k ve, i j j (9) Denklem (9) daki t bir sabittir. N k (x i ), x i elemanının k en yakın komşusudur. Eleman x i nin sınıfını τ i belirtir. Fonksiyon d(.) iki eleman arası Öklid uzaklık ölçeridir IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 15
EFDC (3/3) EFDC yönteminde Denklem (6) içerisindeki 3 saçılım matrisi, S, S B ve S D direkt olarak kullanılmaz, bir ön işlem yapılır. S matrisinin tekil olması durumuna karşılık öncelikle Fisherface yöntemindeki [Bel97] gibi PCA uygulanır. Burada elde edilen dönüşüm matrisi de en son elde edilen çözüm dönüşümüne çarpılarak eklenir [Gao12]. IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 16
Önerilen Yöntem Hiperspektral Veri Boyut İndirgeme İzdüşüm Matrisi Örnek Veri Üzerinde EFDC ile İzdüşüm Matrisi Hesaplanma Boyut İndirgeme SVM ile Örnek Veri Üzerinde Eğitim Parametreler SVM ile Veri Sınıflandırma Sonuç Maskesi IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 17
Deneyler (1/3) Testlerde Indian Pines veri seti [AVI] seçilmiştir AVIRIS tarafından alınan bu görüntüde 145x145 piksel alanda 224 bant bulunmaktadır Veri setinde 16 sınıf bulunmaktadır Deneylerde su soğurulması olan bantlar çıkarılarak 200 bant ile çalışılmıştır Benzer şekilde örnek sayısı az (<100) olan sınıflar çıkarılarak, örnek sayısı en yüksek 9 sınıf veri ile çalışılmıştır IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 18
Radyans Deneyler (1/3) 400 450 500 550 600 650 700 750 800 850 900 950 1000 1050 1100 1150 1200 1250 1300 1350 1400 1450 1500 1550 1600 1650 1700 1750 1800 1850 1900 1950 2000 2050 2100 2150 2200 2250 2300 2350 2400 2450 2500 2550 14 12 10 8 6 4 2 Alfalfa-Yonca Corn-notillage Corn-min Corn Grass/Pasture Grass/Trees Grass/pasture-mowed Hay-windrowed-Saman Oats-Yulaf Soybeans-notillage Soybeans-min Soybeans-clean heat-buğday oods Bldg-Grass-Tree-Drives Stone-Steel towers 0 IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 19
Deneyler (1/3) IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 20
Deneyler (2/3) (a) (b) (c) (d) Şekil 2 (a) Çok bantlı görüntü, (b) EFDC ilk 3 bant görselleştirme, (c) Yer doğrusu, (d) EFDC sınıflandırma sonuçları Tablo 1 Eğitimdeki Örnek Sayısı ve Sınıflandırma Performansı Karşılaştırılması Örnek Sayısı EFDC FLDA 10 0.5908 0.3450 25 0.6553 0.4619 50 0.7138 0.6605 75 0.7230 0.7078 100 0.7239 0.7238 125 0.7152 0.7301 150 0.7138 0.7519 175 0.7133 0.7615 200 0.7164 0.7641 IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 21
Deneyler (3/3) Performans % 84 82 80 78 76 78.25 81.87 82.91 82.48 81.49 80.28 74 72 70 68 72.39 74.17 66 8 10 15 20 25 30 35 40 45 50 60 70 75 80 100 Öznitelik Sayısı Şekil 3 EFDC Boyut Sayısı ve Performans Değerleri IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 22
Çıkarımlar EFDC yönteminin hiperspektral görüntülerde sınıflandırma amaçlı kullanımını anlatan bir yöntem önerilmektedir Bildiğimiz kadarı ile EFDC yönteminin hiperspektral görüntü işleme konusundaki ilk uygulaması önerdiğimiz çalışmadır İndirgenmiş boyuttaki veriler SVM ile eğitilerek hiperspektral görüntülerde sınıflandırma işlemi yapılmaktadır Boyut indirgeme aşamasında FLDA ve EFDC kullanılarak karşılaştırmalı bir deneysel çalışma yapılmıştır Önerilen yöntem ile yapılan ilk deneysel çalışmalara göre hiperspektral görüntülerde sınıflandırma için umut verici sonuçlar elde edilmiştir Özellikle EFDC yönteminin hiperspektral görüntü işlemede boyut indirgemedeki avantajının araştırılması için daha çok veri üzerinde testler yapılması gerekmektedir. IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 23
Kaynakça [Duda1] R. Duda, P. Hart, and D. Stork, Pattern Classification, Second Edition, iley-interscience, 2001. [Gao12] Q. Gao, J.Liu, H.Zhang, J. Hou and X. Yang, Enhanced fisher discriminant criterion for image recognition, Pattern Recognition, vol. 45, pp. 3717-3724, 2012. [Bel97] P.N. Belhumeur, J.P. Hespanha and D.J. Kriegman, Eigenfaces vs. Fisherfaces: recognition using class specific linear projection, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720, Jul 1997. [AVI] AVIRIS N Indiana s Indian Pines 1992 data set [Online]. Kaynak:ftp://ftp.ecn.purdue.edu/biehl/MultiSpec/92AV3C.tif.zi p (veri), ftp://ftp.ecn.purdue.edu/biehl/multispec/thyfiles.zip (doğruluk verisi), Erişim Tarihi: 07.05.2012. IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 24
Teşekkür İletişim Bilgileri: Mustafa TEKE Email: mustafa.teke@tubitak.gov.tr Dr. Ufuk SAKARYA Email: ufuk.sakarya@tubitak.gov.tr IEEE 21. Sinyal İşleme, İletişim ve Uygulamaları Kurultayı (SİU 2013), Girne, KKTC, 24-26 Nisan 2013 25