Hiperspektral Görüntünlülerde Tek Sınıf Destek Vektör Makinası ve Destek Vektör Veri Tanımlaması Yöntemlerinin Performans Karşılaştırması The Performance Evaluation of One Class Support Vector Machine and Support Vector Data Description Methods on Hyperspectral Images Faruk Sukru USLU 1, Abdullah BAL 2 ABSTRACT: Hyperspectral image (HSI) technology has the advantage of using very narrow and contiguous bands which is ranging from the visible to the infrared region in remote sensing area. Because it has both spatial and detailed spectral information, HSI is used efficiently for target, anomaly detection and classification problems in machine learning. Because the data size is so big size in HSI, the fast, effective and accurate computational methods have become interest area. For the classification of big data such as in HSI, nonparametric techniques have been most-preferred against the parametric techniques which calculate big size covariance matrix. One of the mostly utilized non-pararametic techniques is the Support Vector Machine (SVM) which is used for binary classification. As an one-class classifier which is inspired from SVM, One class-svm (OCSVM) which is used hyperplane for decision boundary and Support Vector Data Description (SVDD) which is used hypersphere have been developed. In this study, we have evaluated the performance of both methods on HSI. Key Words: Hyperspectral Imaging, Target Detection, One Class Classification ÖZET: Hiperspektral görüntüleme uzaktan algılama alanında birbirine çok yakın görünür banttan kızılötesi banda kadar yüzlerce spektral bandı kullanma avantajına sahip bir teknolojidir. Hem uzamsal hemde detaylı spektral bilgiye sahip olması nedeniyle, makine öğrenmesi alanında hedef tespiti, anomali tespiti ve sınıflandırma problemlerinde etkin olarak kullanılmaktadır. Hiperspektral görüntülemede verinin büyük olması nedeniyle verinin hızlı, doğru ve başarılı işlenebilmesi makina öğrenmesi'nde ilgi alanı olmuştur.hiperspektral görüntülerde olduğu büyük boyutlu verilerin sınıflandırmasında parametrik olmayan yöntemler yüksek boyutlu kovaryans matris hesaplamaları yapan parametrik yöntemlere göre daha çok tercih edilmektedir. Parametrik olmayan yöntemlerden en yaygın olarak kullanılanlardan biriside 2 sınıf ayrımında kullanılan DVM (Destek Vektör Makinası) yöntemidir. DVM yönteminin'den ilham alınarak tek sınıf sınıflayıcılar olarak kara yüzeyi olarak Hiperdüzlem'i kullanan Tek Sınıf DVM (TS-DVM) ile Hiperküre'yi kullanan Destek Vektör Veri Tanımlaması (DVVT) yöntemleri geliştirilmiştir. Bu çalışmada,bu iki yöntemin Hiperspektral veri üzerindeki performanslarının karşılaştırılması yapılmıştır. Anahtar Kelime:Hiperspektral Görüntüleme, Hedef Tespiti, Tek Sınıf Sınıflandırma. 1 Hava Astsubay MYO,İzmir, fuslu@tekok.edu.tr 2 Doç.Dr., YTÜ Elektronik ve Haberleşme Mühendisliği, İstanbul, bal@yildiz.edu.tr 42
1. GİRİŞ: Hiperspektral görüntüleme uzaktan algılama alanında yüzlerce spektral bandı kullanma avantajına sahip yeni bir teknolojidir. Hiperspektral görüntüleme sistemleri elektromanyetik spektrumda görünür bölgeden kızılötesi spektral bant aralığına kadar olan bölgede dar ve bitişik spektral bantları algılamaktadır (Uslu ve diğerleri, 2015). Hiperspektral sistemlerle alınan görüntüde her görüntü elemanı için dalga boyuna bağlı neredeyse sürekli bir spektrum bilgisi elde edilmektedir. Yüksek miktardaki spektral bilgi sayesinde hiperspektral görüntülerdeki görüntü elemanlarının değişimi, benzerlik ve farklılıkları optik veya çoklu spektral (multispektral) görüntülere göre çok daha başarılı olarak hesaplanabilmektedir. Hiperspektral kamera ile elde edilen görüntüler bu özellikleri nedeniyle ilk iki boyut uzamsal, üçüncü boyut spektral bilgi olmak üzere, üç boyutlu hiperspektral imge küpü (Hiperküp) olarak ifade edilirler (Uslu ve diğerleri, 2015). Hiperspektral görüntüleme sivil ve askeri alanda, örneğin uzaktan algılama, yer bilimleri, tıp, kimya, çevresel gözleme, tarım, ormancılık, savunma ve güvenlik, hedef belirleme, şehir planlama ve yönetimi gibi alanlarda birçok uygulama alanı bulmuştur. Hiperspektral görüntülemenin getirmiş olduğu bu avantajlarına karşın, elde edilen görüntünün yüksek bant sayısına sahip olması nedeniyle verinin büyük olmasına, bununda Makine öğrenmesi alanında verinin hızlı, doğru ve başarılı işlenebilmesi önemini artırmıştır. Sınıflandırma problemlerinde arka plan modeli oluşturmak ve karar yüzeyini belirlemek için temel olarak Parametrik ve Paremetrik olmayan 2 temel yaklaşım uygulanmaktadır (Beaven ve diğerleri, 2000; Tax, 2001). Parametrik Yöntemlerde; Olasılık yoğunluk fonksiyonunu (PDF) ve eşik seviyesi belirleyerek destek alanının şekli ve boyutu belirlemektedir. Bu tür yöntemlerin en büyük dejavantajı modelledikleri dağılımların (Gaussian, unimodal vb.) dışında dağılım gösteren verilerde hatalı tespit (False Alarm) fazla olmakta, ayrıca verinin çok büyük boyutta olması nedeniyle PDF'in hesaplanması zorlaşmaktadır (bant sayısı ile exponansiyel artış göstermektedir) Paremetrik Olmayan Yöntemler; Veri dağılımının hesaplanması yerine verinin ayırt edici sınırlarının belirlenmesi (destek vektörleri) ile karar düzlemlerinin belirlenmesine çalışılır. Bu yöntemlerde yüksek boyutlu kovaryans matris hesaplamaları yerine dağılımdan bağımsız olarak işlem yapıldığından daha hızlı ve iyi başarım oranları elde edilebilinmektedir. Son yıllarda, hiperspektral görüntülerde dahil olmak üzere yüksek boyutlu verileri sınıflandırma problemlerinde etkinlikle kullanılan ve parametrik olmayan makine öğrenimi algoritmalarından biriside Destek Vektör Makineleri (DVM) dir. Genelleme performansının yüksek olması, yanlış sınıflandırma olasılığını en aza indirecek bir çözüm sunabilmesi ve işlem hızının yüksek olması DVM in en önemli özellikleri olarak literatürdeki yerini almıştır. DVM de amaç, öznitelik uzayında iki sınıfı en uygun olarak ayırabilecek bir hiperdüzlem oluşturmaktır. Bu çalışmada, DVM yönteminden ilham alınarak geliştirilen ve literatürde yaygın olarak kullanılan tek sınıf sınıflandırcılar olan Tek-Sınıf DVM ile Destek Vektör Veri Tanımlaması (DVVT) nin Hiperspektral Data üzerindeki hedef tespiti performanslarının karşılaştırılması yapılmıştır. 43
2. YÖNTEM: 2.1. Destek Vektör Veri Tanımlaması (DVVT) Parametrik olmayan tek-sınıf'lı bir yöntem olup, Tax ve Duin (Tax and Duin, 2004) tarafından geliştirilmiştir. Destek Vektör Makinası (DVM) yöntemi benzeri tek sınıflı sınıflandırıcıdır. Bu yöntemde hedef sınıfa ait veriyi çevreleyen minimum hiperküre bulunmaya çalışılır. Bulunan bu küre dışında kalan veriler sınıf dışı olarak işlem görür. Bu yaklaşım danışmansız öğrenme yöntemi ile DVTT''yi anomali tespiti için oldukça kullanışlı ve hızlı hale getirirken, aynı zamanda danışmanlı öğrenme yapılarak hedef tespiti ve sınıflandırma amaçlı kullanılabilir. DVVT örnek veri dağılımı etrafında merkezi a ve yarıçapı R olan minimum küreyi oluşturmayı hedefler. Bu işlemi yapabilmek için örnek aldığı veri setleri yardımıyla kürenin sınırlarını belirleyen destek vektörlerini belirler. Belirlenen destek vektörleri lineer kombinasyonu kürenin merkez noktasını ve bu noktanın destek vektörlerine uzaklığı iile yarıçapı belirler.dvvt nin kısaca matematiksel modeli aşağıda verilmiştir; burada hata fonksiyonu minimize edilmeye çalışılırken, Sınırlandırma olarak, hedef sınıfa ait tüm örnek verilerin mümkün olduğunca bu küre içerisinde olması amaçlanır; Burada örnek veri seti, C hiperkürenin çapı ile hata arasındaki ilişikiyi dengeleme, ise hiperküre marjinini rahatlatan parametrelerdir. Bu bir optimizasyon problemi olup lagrange çarpanı yöntemi kullanılarak çözülür. Hiperküre bulunduktan sonra herhangi test verisinin hedef sınıfa ait olup olmadığı aşağıdaki karar fonksiyonu ile verilir. 2.2. Tek Sınıf-DVM (TS-DVM) Tek-sınıf DVM, 2 sınıflı sınıflandırma yapan DVM yönteminin tek sınıflı hali olarak Schölkopf (Schölkopf ve diğerleri, 1999) tarafından önerilmiştir. Burada, algoritmanın eğitim safhasında tek sınıfa ait veriler kullanılarak model oluşturulur. Bu yöntemde DVVT de yapılan hedef sınıfa ait örnek verileri çevreleyecek hiperküre yi oluşturma yerine, hedef sınıfa ait örnek veri ile verinin olmadığı yüzeyi ayırabilecek orijinden en fazla uzakta olacak hiperdüzlemin oluşturulmaya çalışılır. Literatürde bu yöntem -DVM olarak da adlandırılmaktadır.tek-sınıf DVM in kısaca matematiksel modeli aşağıda verilmiştir; burada hata fonksiyonu minimize edilmeye çalışılırken, Sınırlandırma olarak, hedef sınıfa ait tüm örnek verilerin orijinden mümkün olduğunca maximum marjinle ayrılması amaçlanır, Burada örnek veri seti, hiperdüzlem parametreleri, yanlış sınıflandırılan değerlerin izin verilen oranı, N eğitim kümesindeki nesnelerin sayısı ve ise hiperdüzlem marjinini rahatlatan hata parametrelerdir. Optimizasyon problemi, DVVT yönteminde olduğu gibi lagrange çarpanı yöntemi 44
kullanılarak çözülür. Hiperdüzlem bulunduktan sonra herhangi aşağıdaki karar fonksiyonu ile verilir. test verisinin hedef sınıfa ait olup olmadığı Ancak hedef tespiti ve sınıflandırma problemlerinde birçok veri dağılımı doğrusal olmadığından dolayı dağılım etrafında hiperküre veya hiperdüzlem oluşturularak doğru sınıflandırılmanın yapılması zorlaşmaktadır. Daha doğru sonuçların elde edilebilmesi için çekirdek temelli yöntemler kullanılarak veriyi giriş öznitelik uzayından doğrusal olmayan bir dönüşümle yüksek boyutlu bir çekirdek öznitelik uzayına taşınmakta ve bu yeni uzayda doğrusal sınıflandırma problemi çözülebilmektedir. Doğrusal olmayan eşleme, literatürde çekirdek numarası (kernel trick) olarak bilinen yaklaşım sayesinde gerçekleştirilebilmektedir. Çekirdek fonksiyonlarıdan en yaygın kullanılanları (Gönen and Alpaydın, 2011) ; Doğrusal çekirdek fonksiyonu, Polinom çekirdek fonksiyonu, Gauss Radyal Tabanlı çekirdek fonksiyonu, 2.3. Performans Ölçütleri Hedef tespiti ve sınıflandırma sonrası modelin performans değerlendirilmesi önemli bir husus olarak karşımıza çıkmaktadır. Performans ölçümleri için karışıklık matrisinde 4 ayrı durum gözlemlenmektedir. Bunlar, Doğru Pozitifler (DP), Doğru Negatifler (DN), Yanlış Pozitifler (YP) ve Yanlış Negatifler (YN). Bu metrikler kullanılarak farklı sınıflandırma ölçütleri hesaplanmaktadır. Bunlardan en yaygın kullanılanı Doğruluk ölçütü olup, aşağıdaki formülle hesaplanmaktadır; Ancak tek sınıflı sınıflandırma işlemlerinde veri setlerinin sınıf dağılımları dengesiz olmasından dolayı doğruluk ölçütü bu tür problemlerde yeterince uygun değerlendirme sonucu vermemektedir. Bunun yerine daha uygun ölçüt olan Dengeli Sınıflandırma Oranı (DSO) kullanılmaktadır (Binol ve diğerleri, 2015). DSO nun hesaplanmasında, aşağıda formülleri verilen Hassasiyet (Precision) ve Özgünlük (Specificity) kullanılmaktadır. Dengeli olmayan veri setlerinde daha etkin ölçüt olarak kullanılan DSO Hassasiyet ve Özgünlük ortalaması ile bulunmaktadır; Bu çalışmada Doğruluk ve Dengeli Sınıflandırma Oranı sonuçları hesaplanarak sınıflandırıcıların performansları kıyaslanacaktır. 3. UYGULAMA: Her iki sınıflandırıcının performanslarını karşılaştırmak için YTÜ-Yapay Zeka ve Görüntü İşleme Laboratuvarı (YAZGI) ndan elde edilen hiperspektral veri seti kullanılmıştır. Hiperspektral görüntü çatalca/istanbul da alınmış olup her piksel için 196 bant mevcuttur. Ancak bu bantların bir kısmı farklı nedenlerden dolayı oluşan gürültüye maruz kalmıştır. Gürültüye maruz kalan bu bantlar elenerek geriye anlamlı 165 bant kullanılmış olup verinin boyutu 116X251X165 dır. Görüntü de 4 sınıf belirlenerek doğrulama görüntüsü 45
oluşturulmuştur. Şekil 1.a da gerçek görüntü, Şekil 1.b de ise doğrulama görüntüsü verilmiştir. Tablo 1 de sınıf isimleri, herbir sınıfa ait piksel sayısı ve hedef tespiti için seçilen eğitim piksel sayısı verilmiştir. Tüm uygulamalar LibSVM yazılımı kullanılarak yapılmıştır (Chang and Lin, 2011). Şekil 1: YTÜ-YAZGI Hiperspektral verisi, a) Gerçek görüntü b) Doğrulama görüntüsü Tablo 1: YTÜ-YAZGI Hiperspektral verisi bilgileri Sınıf No. Sınıf İsmi Sınıf Sayısı Eğitim Örneği sayısı 1 Traktör 351 35 2 Tarla 1745 175 3 Balyalar 1101 110 4 Ayçiçek Tarla 101 10 Her bir dört sınıf için DVVT ve TS-DVM sınıflandırıcıları ile hedef tespit işlemi gerçekleştirilmiştir. Kullanılan sınıflandırıclarda doğrusal, polinom, RTF çekirdek fonksiyonları kullanılarak Doğruluk ve DSO performans ölçütleri hesaplanmıştır. Her bir sınıf için performans değerleri, ortalamaları ve çekirdek fonksiyon ları için kullanılan parametreler Tablo 2 de verilmiştir. En iyi sonuçlar koyu olarak işaretlenmiştir. Tablo 2: YTÜ-YAZGI Hiperspektral verisi için performans değerleri (%) Sınıf 1 Sınıf 2 Sınıf 3 Sınıf 4 Ortalama Doğrusal Çekirdek Polinom Çekirdek (d=3) RTF Çekirdek ( =0.1) DVVT TS-DVM DVVT TS-DVM DVVT TS-DVM Doğruluk 98.68 0.84 90.42 0.82 98.77 98.77 DSO 73.02 25.43 70.66 24.91 74.14 74.09 Doğruluk 95.00 63.52 88.53 64.46 93.36 95.34 DSO 74.91 57.56 70.71 57.63 74.41 74.42 Doğruluk 84.46 58.37 79.73 6.21 83.08 83.12 DSO 68.12 27.32 65.25 26.26 67.30 67.25 Doğruluk 98.08 81.63 95.61 78.67 97.77 97.76 DSO 71.94 63.36 70.33 62.35 72.83 72.84 Doğruluk 94.06 51.54 88.65 37.54 93.25 93.75 DSO 71.99 43.42 69.24 42.79 72.83 72.15 Tablo 2 de görüldüğü üzere, doğrusal ve polinom çekirdek fonksiyonları kullanılanarak elde edilen başarım oranları incelendiğinde DVVT'nin her bir dört sınıf içinde TS-DVM'e göre oldukça iyi sonuçlar verdiği 46
gözlemlenmiştir. Ayrıca, TS-DVM başarım oranlarının bu iki çekirdek fonksiyonu kullanıldığında çok iyi olmadığı gözlemlenmiştir. Tüm bu dört sınıf için ortalama başarım oranları incelendiğinde; doğrusal çekirdek fonksiyonu için doğruluk oranının 51.54%, DSO'nun ise 43.42%'lerde kalarak oldukça düşük olduğu, buna karşın DVVT'nin doğruluk oranının 94.06%, DSO'nun ise 71.99% ile oldukça iyi sonuçlar verdiği görülmüştür. Polinom çekirdek fonksiyonu kullanılarak yapılan işlemlerde de benzer sonuçlar elde edildiği, TS-DVM'in doğruluk oranının 37.54%, DSO'nun ise 42.79%'lerde kalarak yine düşük seviyede olduğu, belli bir miktar performans düşüklüğüne karşın DVVT'nin doğruluk oranının 88.65%, DSO'nun 69.24% ile hala iyi seviyelerde olduğu tespit edilmiştir. Buna karşılık RTF çekirdek fonksiyonu kullanıldığında TS-DVM'in performansınında iyileştiği ve her iki sınıflandırıcının tüm sınıflar için performanslarının birbirlerine çok yakın olduğu görülmektedir.tüm sınıfların ortalama başarım oranlarına bakıldığında; TS-DVM'in doğruluk oranının 93.75%, DSO'nun 72.15%, DVVT'nin doğruluk oranının 93.25%, DSO'nun 72.83% olarak bulunduğu ve sonuçların oldukça iyi seviyelerde olduğu tespit edilmiştir. 4. SONUÇ: Bu çalışmada, hedef tespit, sınıflandırma ve anomali tespitinde sıklıkla kullanılan ve algoritma olarak birbirine çok benzeyen TS-DVM ve DVVT yöntemlerinin performanslarının karşılaştırılması yapılmıştır. Her iki metod da parametrik olmayan yöntem olup, farklılık olarak karar yüzeyi bulunurken TS-DVM de orjinden mümkün olduğunca en uzak hiperdüzlem belirlenmeye çalışılırken, DVVT de minumum hiperküre bulunur. YTÜ-YAZGI Laboratuvarından temin edilen hiperspektral veri üzerinde yaptığımız uygulama sonucunda, doğrusal ve polinom çekirdek fonksiyonları kullanılarak yapılan işlemlerde DVVT nin TS-DVM'e göre çok daha iyi sonuçlar verdiği, TS-DVM'de bu iki çekirdek fonksiyonunda verdiği sonuçların iyi olmadığı buna karşın DVVT'deki sonuçların oldukça iyi olduğu görülmüştür. Ayrıca RTF çekirdek fonksiyonu kullanıldığında TS- DVM'in performansının iyileştiği ve her iki sınıflandırıcının tüm sınıflar için performanslarının birbirlerine çok yakın ve oldukça iyi olduğu görülmüştür. Bu sonuçlardan, RTF çekirdek fonksiyonun bu iki sınıflandırıcı için en uygun çekirdek fonksiyonunu olduğu değerlendirilmiştir. TEŞEKKÜR Bu çalışma, 112E207 nolu Hiperspektral Görüntülerde Uzamsal ve Spektral Öznitelikler Kullanarak Yüksek Hızda Hedef Tespiti ve Sınıflama Yapan Algoritmaların Geliştirilmesi isimli TÜBİTAK projesi kapsamında desteklenmiştir. KAYNAKÇA: Beaven, Scott G., Stein, David, and Hoff, L.E. (2000), Comparison of Gaussian mixture and linear mixture models for classification of hyperspectral data in Proc. IGARSS 2000, Honolulu, HI, pp.1597-1599. Binol, Hamidullah, Uslu, Faruk Sukru, and Bal, Abdullah (2015), Unsupervised Nonlinear Feature Extraction Method and Its Effects on Target Detection in High-dimensional Data, International Conference on Engineering, Technology and Applied Science (ICETA), Germany. Chang, C.C., Lin, C.J., (2011), LIBSVM : A library for support vector machines, ACM Transactions on Intelligent Systems and Technology, 2:27:1--27:27, Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm Gönen, Mehmet, Alpaydın, Ethem (2011), Multiple Kernel Learning Algorithms, Journal of Machine Learning Research 12 pp. 2211-2268. Schölkopf, Bernhard, Williamson, Robert C., Smola, Alex, and Shawe-Taylor, John (1999), SV Estimation of a Distribution s Support, In Advances in Neural Information Processing Systems. 47
Tax, David Martinus Johannes (2001), One-class classification: concept-learning in the absence of counterexamples, ASCI Dissertation Series, Delft University of Technology. Tax, David, M.J., Duin, Robert, P.W. (2004), Support Vector Data Description, Machine Learning, 54(1), 45 66. Uslu, Faruk Sukru, Bal, Abdullah, and Binol, Hamidullah (2015), An Efficient Classifier Design for Remote Sensing Hyperspectral Imagery, 7th International Conference on Recent Advances in Space Technologies RAST2015, Istanbul. Uslu, Faruk Sukru, Binol, Hamidullah, Bal, Abdullah, and Çukur, Hüseyin (2015), SVDD Fusion Based Classification in Hyperspectral Imagery, 2nd International Conference on Engineering and Natural Science (ICENS), Japan. 48