3B Nokta Bulutu Verisinde Değişimsel Metot Kullanılarak Görüntü Örtüştürme Birleşimli Değişiklik Tespiti

Transkript

1 3B Nokta Bulutu Verisinde Değişimsel Metot Kullanılarak Görüntü Örtüştürme Birleşimli Değişiklik Tespiti Gizem AKTAŞ, Fatih NAR, Nigar ŞEN, Murat BAŞARAN SDT A.Ş. Galyum Blok Kat 2 No 2 ODTÜ Teknokent, 06531, Ankara, {gaktas, fnar, nsen, mbasaran}@sdt.com.tr ÖZET Değişiklik tespiti, dünya yüzeyini gözlemlemek amacıyla kullanılan oldukça önemli fakat zorlu bir araştırma konusudur. Araştırmacılar değişiklik tespiti yöntemini gerçekleştirirken görüntülerin örtüştürülmemesi, görüntülerin gürültülü olması ve gözle fark edilmeyen farklılıklardan kaynaklanan bazı sorunları çözmek için algoritmalar uygulamışlardır. Her adımda yapılan hataların birikimi en sonunda tespit edilen değişikliklerin doğruluğunu olumsuz etkiler. Örneğin, görüntüler tamamen örtüştürülürse, değişiklik tespiti doğru sonuçlandırılabilir; değişiklik miktarı bilinirse, örtüştürme parametreleri doğru hesaplanabilir. Bu bildiride, örtüştürme ve değişim tespitini aynı anda çözerken gürültünün etkisini azaltan değişimsel bir değişiklik tespiti yöntemi önerilmiştir. Bu yenilikçi değişimsel maliyet fonksiyonu ilinti tabanlı bir veri sadakat teriminden ve değişiklik tespiti üzerinde bir yumuşaklık sağlayabilmek amacıyla l 1 norm düzenlileştirme teriminden oluşmaktadır. Hızlı ve hassas bir değişiklik tespiti için, önerilen maliyet fonksiyonunun yüksek verimli matematiksel yaklaşım kullanılarak eniyilemesi amaçlanmıştır. Önerilen yöntemin performans sonuçları sentetik olarak üretilen nokta bulutu verisi üzerinde gösterilmiştir. Anahtar Kelimeler: değişiklik tespiti, örtüştürme, ilinti, nokta bulutu ABSTRACT Change detection is important but a challenging topic for observing earth surface. Researchers handled problems caused by unregistered images, imaging noise, and subtle differences using sequential algorithmic steps for change detection. However, accumulation of errors in each step leads to decrease accuracy of the change detection. For example, the registration

2 parameters are known, changes can be found properly and if the changes are known, registration parameters can be calculated. In this article, a variational change detection method is proposed that simultaneously determine the registration parameters and change map while reducing the effects of noise. This cost function is constructed with a novel correlation-based data fidelity term and l 1 normtotal variation (TV) regularization term. Proposed cost function is minimized using an efficient numerical approach which leads to fast and accurate change detection. Performance of the proposed method is shown on synthetically generated 3D point-cloud images. Keywords: change detection, registration, correlation, total variation, pointcloud 1. GİRİŞ Uzaktan algılama, nesne tespiti ve analizi amacıyla dünya yüzeyinin uydulardan veya hava araçlarından sensörler aracılığıyla görüntülenmesi amacıyla kullanılmaktadır. Uzaktan algılama alanında görüntülerden değişiklik tespiti kullanıcılar tarafından oldukça tercih edilen ve sıkça çalışılan konulardan biridir. Değişiklik tespiti tanımı ile dünya üzerinde bir bölgenin farklı zamanlarda çekilmiş görüntülerinin piksellerinde değişim var/yok olarak gruplandırılması yöntemidir. Değişiklik tespitinin amacı bu görüntülerin basitçe farkını almak değil, binaların yapımı/yıkımı, insan yapımı nesne, ormanlaştırma, ormanların yok oluşu, şehirleşme gibi değişikliklerin tespit edilmesidir. Bu değişimler göze alındığında, değişiklik tespiti bilimsel, çevresel ve askeri alanlarda insan sayımı, hareketlerin tanınması, harita güncellemeleri, şehir planlaması, ulusal güvenlik ve gizlilik uygulamaları, sel ve felaket gözetleme, deniz/buz hareketleri gözlemleri gibi birçok uygulama amacıyla kullanılabilir [1]. Uzaktan algılama sensörlerine örnek olarak kızılötesi kameralar (İng. Infrared IR), elektro optik (EO) fotogrametri, sentetik açıklıklı radar (İng. Synthetic Aperture Radar - SAR), ve LIDAR (İng. Laser Imaging Detectionand Ranging) verilebilir. Hava araçlarından alınan görüntülerde gökdelen gibi çok yüksek binaların gölgelerinin görüntüyü bozması veya sensörün görüş açısından kaynaklı görüntü içindeki binaların eğimli görünmesi gibi problemlerle karşılaşılabildiği için LIDAR verisi tercih edilmektedir [2]. Değişiklik tespiti algoritmasının geliştirilmesi aşamasında yan hüzme, hareket halindeki yansıtıcı, sensörden kaynaklı gürültü, radar aydınlanması, sensörün geliş ve görüş açısı, sensör ayarları, görüntülerin örtüştürülmesi gibi birçok sebepten kaynaklı problemle karşılaşılmaktadır ve bu problemler yanlış tespitlere sebep olmaktadır [3]. Algoritmanın gürbüzlüğünü ve performansını artırmak için öncelikli olarak bu problemlerin üstesinden gelinmesi gerekmektedir.

3 Literatürde önerilen çeşitli değişiklik tespiti metotları bulunmaktadır. Bunların içlerinde en yaygın olarak kullanılanlarına basit görüntü farkı alma, görüntü bağlanımı, görüntü oranlaması, eşik değeri bulunması[4], ana bileşen analizi (İng. Principle Component Analysis PCA), değişim vektör analizi, beklenti enbüyümesi (İng. ExpectationMaximization EM) tabanlı tespit ve yapay sinir ağı tabanlı değişim tespiti örnek olarak verilebilir [5]. Bu algoritmalar yaygın olarak kullanılmasına rağmen, görüntü gürültüsüne karşı gürbüz değillerdir ve görüntülerin çakıştırılması konusunda doğrudan çözüm üretememektedir. Değişiklik tespiti için görüntülerin birbirleri üzerine çakıştırılması gerekmektedir. Görüntülerin hatalı çakıştırılması ve onun değişiklik tespiti üzerindeki etkisi ve çözümleri oldukça çalışılmıştır [6, 7, 8, 9]. Görüntülerin birbiri üzerine örtüştürülmesi için değişinti benzerliği [6],düzgelenmiş ilinti (İng. Normalized Cross Correlation NCC) [8], özyineli en yakın nokta (İng. Iterative Closest Point ICP) [7], karşılıklı bilgi (İng. Mutual Information MI)[9] gibi birçok benzerlik metriği kullanılmıştır. ICP algoritmasında, özyineli çözüm için verilecek ilk değer çok kritiktir çünkü algoritma, sonuç için en küçük değeri vermeyi garantilememektedir. MI algoritması ise görüntüler içerisindeki değişim miktarı çok fazla ise çakıştırma değerlerini doğru bulamayabilmektedir. NCC algoritması örtüştürme işlemi için oldukça başarılı sonuçlar üretmesine rağmen, EO görüntülerde parlaklıktan kaynaklı değişimleri veya nokta bulutu verisindeki yükseklikten kaynaklı değişimleri yakalayamayabilmektedir. Bu algoritmaların çoğu örtüştürmeyi ön işlem olarak uygulamaktadır. Örtüştürme ve değişiklik tespiti birbiri içine geçmiş iki problem olup eş zamanlı çözülmesi gerekmektedir ve bu iki problemi tek seferde bir eniyileme yaklaşımı ile çözen yöntem Vakalopoulou et al. [9] tarafından önerilmiştir. Bu yöntem sadece bir piksel örtüştürme hatalarını çözebilmektedir. Ayrıca eniyileme yönteminin çözümünde kullanılan çizge kesitleri (İng. GraphCut - GC) yöntemi kullanılmıştır ve bu yöntem de çoklu etiket kullanıldığı zaman en iyi sonuca ulaşmayı garantilememektedir. Bu yöntemin aksine, bizim metodumuzda maliyet fonksiyonu dış bükey olduğu için en iyi sonucu üretmekte ve ayrıca bu yöntemle daha geniş aralıktaki örtüştürme miktarı tespit edilebilmektedir. İlinti benzerlik metriği, literatürde daha çok örtüştürme amaçlı kullanılsa da değişiklik tespiti için de kullanılmaktadır [10, 11]. Değişiklik tespiti algoritmalarında bölgesel değişiklikleri tespit etmek için sadece bir pikselin renk, yükseklik ya da yeğinlik bilgisi yeterli olmayabilir, bu yüzden bir pikselin komşularıyla olan ilişkisinden çıkartılan bilgi olan ilinti metriği ve onun derecesi kullanılarak değişim olup olmadığı ayırt edilebilir. Burada sunulan çalışmanın aksine bu yöntemlerde görüntülerin çakıştırılmış olduğu varsayılmaktadır ve bu yöntemlerin hiçbiri değişimsel bir yaklaşımla çözmemektedir. Bu bildiride, Rudin et al. [12] ve arkadaşlarının önermiş olduğu gürültü azaltma için değişimsel modelden etkilenerek denetimsiz bir değişiklik tespiti

4 algoritması önerilmiştir. Bu yöntemde nokta bulutu verisi üzerinde değişimsel bir maliyet fonksiyonu kullanılmıştır [13,14]. Bu değişimsel maliyet fonksiyonu ilinti tabanlı sadakat terimi ile l 1 norm düzenlileştirme teriminden oluşmaktadır ve sadakat terimi doğru örtüştürme miktarını sağlarken, düzenlileştirme terimi değişim imgesinin yumuşamasını sağlamaktadır. l 1 norm TV düzenlileştirme terimi seçilmesinin sebebi ise nokta denilebilecek değişimleri tespit ederken, genel olarak tüm değişimlerin özniteliklerini korumaktır. Bu maliyet fonksiyonu, etkili bir matematiksel yaklaşımla çözülerek hızlı bir algoritma elde edilmesi sağlanmıştır. Bildirinin devamında, 2. bölüm kapsamında önerilen yöntem detaylı olarak ele alınmaktadır, 3. bölümde değişimsel model kullanılarak sentetik olarak üretilen nokta bulutu verisi üzerinde değişiklik tespiti ile ilgili performans sonuçları sunulmuş ve ilgili görsel sonuçlara yer verilmiştir. Son olarak da önerilen algoritmaya ait çıkarımlara 4. bölümde yer verilmiştir. 2. Önerilen Yöntem Bu bildiride, örtüştürme parametrelerini en doğru şekilde bulurken değişiklikleri de aynı anda tespit eden tek bir ilinti tabanlı maliyet fonksiyonunu enküçültme yaklaşımı ile çözen bir değişimsel model önerilmiştir. Önerilen maliyet fonksiyonu J(C, T), Denklem 1. deki gibi tanımlanmıştır: J(C, T) = NCC(H 1 + C, T(H 2, T) + d z C) (1) + λ z (H 1 + C) (T(H 2, T) + d z C) λ s C 1 1 burada, H 1 ve H 2 aynı bölgenin t 1 ve t 2 gibi farklı zamanlarında çekilmiş yükseklik haritalarıdır, C bulunması amaçlanan değişiklik imgesinin yarısı, dönüşüm fonksiyonu T(. ) ile gösterilmekte, T, {d x, d y } olarak x ve y eksenindeki yer değiştirme vektörünü ifade etmektedir, d z ise z eksenindeki yer değiştirme miktarını göstermektedir. λ s, elde edilecek değişiklik imgesi için yumuşatma seviyesi parametresi olmakla beraber, λ z iki yükseklik haritasının birbirine yakınlığını belirlemek için kullanılan katsayıdır., türev sembolüdür. NCC(. ) iki görüntü arasındaki ilintiyi bulmak için kullanılan fonksiyondur ve A, B gibi iki imge için Denklem 2. deki gibi tanımlanmıştır: NCC(A, B) = 1 n (A A )(B B ) (2) σ A σ B burada, n görüntülerdeki toplam piksel sayısıdır. A, B sırasıyla A, B görüntülerinin ortalama piksel değerleridir, σ A, σ B ise standart sapmalarıdır. Denklem 1. de ilk terim sadakat terimidir ve ilinti metriği tabanlı bir şekilde tanımlanmıştır çünkü ilinti benzerlik metriği kullanılan iki verinin birbiri ile ne kadar örtüştüğünün derecesini vermektedir [8]. Buna rağmen, maliyet fonksiyonundaki ilk terim z yönündeki yer değiştirme miktarını hesaba katmaz çünkü NCC(A, A + d z ) fonksiyonunun sonucu 1 e eşittir ve bu da bu metriğe göre iki görüntünün aynı olduğu anlamına gelir. Bu yüzden z deki yer

5 değiştirme miktarını yakalayabilmek için λ z katsayısını içeren ikinci terim eklenmiştir. Küçük λ z eniyileme yöntemindeki d z miktarını yakalamak için yeterlidir. Üçüncü terim ise düzenlileştirme terimi olarak adlandırılır ve değişim imgesi üzerindeki değişimleri λ s parametresine bağlı olarak cezalandırır. Bu yöntemdeki temel amaç, maliyet fonksiyonunun C ve T ye göre ayrı ayrı türevini almaktır ve bunun sonucunda elde edilen değişim imgesi amaçlanan değişiklik tespitinin yarısıdır. Bu problem, örtüştürme ve değişim kararı olarak iki adımda enküçültme yöntemi ile çözülebilir. İlk adımda değişim haritası sabit olarak sayılır ve maliyet fonksiyonu öteleme parametresine göre enküçültülür. Bunun aksine ikinci adımda, bulunan öteleme miktarları fonksiyonda yerine yerleştirilerek fonksiyon enküçültülerek değişiklik haritası hesaplanır. En iyi sonucu bulabilmek için bu iki adım özyinelemeli olarak tekrarlanır. Bu algoritmanın sözde kodu Algoritma 1 deki gibidir: Algoritma 1: Eşgüdümlü İniş Algoritması 1. yöntem: Değişim Tespiti 2. for i = 1:maksimumDöngü do 3. adım1: Örtüştürme 4. adım2: Değişim Kararı 5. forsonu 6. yöntemsonu Adım1: Örtüştürme Bu adımda, ilk olarak değişimin olmadığı ve adım bu adım boyunca sabit olduğu varsayılır. Öteleme parametresine göre türev alınarak değerler hesaplanır. Denklem 1. de H 1 = H 1 + C ve H 2 = T(H 2, T) + d z C şeklinde yalınlaştırmalar yapılırsa ve fonksiyondaki son terim sadece C ye bağlı olduğundan türeve etkisi olmadığından yok sayılırsa, denklem yeniden Denklem 3. teki gibi yazılabilir: J(T) = NCC(H 1, H 2) + λ z H 1 H (3) Denklem 3. T parametresine göre enküçültülerek yer değiştirme miktarları hesaplanır. Matlab ın corr2 fonksiyonu kullanılarak ilinti metriği hesaplanır ve Powell yöntemi kullanılarak denklem eniyilenerek yer değiştirme bulunur. Adım2: Değişim Kararı Bu adımda, bir önceki adımda bulunan yer değiştirme parametreleri fonksiyonda yerine yerleştirilerek değişim haritası bulunur. İkinci yükseklik haritasına öteleme parametreleri uygulandıktan sonra H T = T(H 2, T) + d z olarak yeniden yazılabilir ve NCC(. ) fonksiyonunun da açılımı ile Denklem 1. tekrar şu şekilde ifade edilebilir:

6 J(C) = 1 n (H 1p + C p μ 1 )(H T p C p μ 2 ) σ 1 σ 2 p + λ z (H 1 p + 2C p H T p )2 + λ s C p p burada, piksel indeksi p ile ifade edilir, μ 1 ve σ 1 sırasıyla H 1 + Charitasının ortalama ve standart sapma değerleri iken, μ 2 ve σ 2 ise H T C haritasının ortalama ve standart sapma değerleridir. Bu C ye bağlı maliyet fonksiyonunda ilinti metriği -1 ile 1 arasına düzgünleştirilmektedir, fakat yöntemin amacı sadece eniyileyen değeri bulmak olduğu için sonucu etkilememektedir bu yüzden birinci terimdeki piksel sayısına bölme işlemi yok sayılarak, λ değerleri buna göre ayarlanır. Bu denklemi sadeleştirmek amacıyla, bazı terimler H 1 = H 1 + μ 1, H 2 = H T μ 2 ve H = H T H 1 şeklinde yeniden yazılır ve matematiksel işlemlerin kolay gerçekleştirilmesini sağlamak amacıyla tüm denklem σ 1 σ 2 ile çarpılırλ z = λ z σ 1 σ 2 veλ s = λ s σ 1 σ 2 şeklindeλ değerleri de güncellenir. Bu enküçültme probleminin direkt türevi alınamaz mutlak değer olanl 1 norm terimi devamlı bir fonksiyon olmadığı için bu yüzden bir yaklaşım önerilir ve bu yaklaşımla birlikte türevi alınabilecek şekilde matrisvektör formu şeklinde Denklem 5. deki gibi yazılır: J(V c ) = (V T c V c V H 1V c V H 2V c + V H 1V H 2) + λ z(2v c V H ) T (2V c V (5) H ) + λ s V T c C T x W x C x V c + V T c C T y W y C y V c Maliyet fonksiyonunun son hali V c ye göre alınarak sıfıra eşitlenir ve sonunda x = V c, A = I + 4λ zi + λ s(c T x W x C x + C T y W y C y ) ve b = (V H 1 + V H 2 + 4λ zv H )/2 olacak şekilde Ax = b gibi doğrusal bir model elde edilir. Bu problemin çözümünde A nın boyutu çok büyük olduğu için x = A 1 b gibi bir yol izlenemediği için yerine matematiksel bir yöntem (İng. Preconditioned conjugate gradient) kullanılır, böylece matrisin tersini almak yerine hızlı bir şekilde matris direkt olarak bulunabilir. Tüm yöntemin sonunda, matris-vektör formunda bulunan değişim haritası tekrar imge formuna dönüştürülerek, gerçek değişim için iki ile çarpılır. 3. Deneysel Çalışmalar Bu bölümde, değişimsel model kullanılarak nokta bulutu verisi üzerinde değişiklik tespiti ile ilgili performans sonuçları sunulmuştur. Bu çalışmada, sentetik olarak üretilen ilk veri seti Matlab da 200x200 boyutunda bir matrise yükseklik değerleri atanarak oluşturulmuş ve oluşturulan yükseklik haritasına gürültü eklenmiştir. İki yükseklik haritası arasında değişim amacıyla da her haritaya rastgele yükseltiler eklenmiştir. Yapılan değişiklikler bu veri seti için yer gerçekliği olarak tanımlanmıştır. İkinci veri seti ise bir bölgede bulunan bina, ağaç, köprü gibi nesnelerin nokta bulutlarının bir simülasyon aracı ile oluşturulmasıyla elde edilmiştir ayrıca nesnelere yer yüzeyi amacıyla rastgele bir yükseklik haritası eklenmiştir. Bu veri setinde değişim amacıyla ikinci veriye p (4)

7 ağaçlar eklenmiştir. Algoritma ile ilgili görüntüler Şekil 1. ve Şekil 2. de verilmektedir. (a) (b) (c) (d) Şekil 1.Sentetik olarak üretilen veri seti üzerinde değişiklik tespiti metodu (a) Yükseklik haritası zaman t 1 anında(b) Yükseklik haritası zaman t 2 anında(c) Yer gerçekliği(d) Değişiklik tespiti sonucu oluşan değişim haritası (a) (b) (c) Şekil2.Sentetikolaraküretilenikinciverisetiüzerindedeğişikliktespitimetodu(a) Yükseklik haritası zaman t 1 anında(b) Yükseklik haritası zaman t 2 anında(c)değişiklik tespiti sonucu oluşan değişim haritası 4. Vargılar Bu bildiride, nokta bulutu verisinde değişiklikleri tespit etmek amacıyla örtüştürmeyi de aynı anda yapan tek bir yenilikçi maliyet fonksiyonunu eniyileme yöntemi ile çözen bir yöntem geliştirilmiştir. Literatürdeki diğer yaklaşımlardan farklı olarak, çakıştırmayı hataların sonucu etkilemesini önlemek amacıyla ön işleme olarak gerçekleştirmek yerine eş zamanlı bir çözüm sunulmuştur. Bu matematiksel yaklaşımla birlikte adım adım gerçekleştirilen algoritmaların aksine verimi yüksek bir numerik model tasarlanmıştır. İlinti tabanlı maliyet fonksiyonu sayesinde gürültünün değişiklik haritası üzerindeki etkisi azaltılırken, nokta boyutlu değişiklikler de bulunmuş ve genel olarak tüm değişikliklerin kenar gibi özniteliklerinin korunması sağlanmıştır. Sentetik olarak oluşturulan veri üzerinde oldukça başarılı olan yaklaşımın, gerçek veriler ile çalıştırılması bundan sonraki aşama olacaktır. KAYNAKÇA [1] Li, Yu, et al. "Change-Detection Map Learning Using Matching Pursuit."Geoscience and Remote Sensing, IEEE Transactions on 53.8 (2015):

8 [2] Vu, TuongThuy, Masashi Matsuoka, and Fumio Yamazaki. "LIDAR-based change detection of buildings in dense urban areas." Geoscience and Remote Sensing Symposium, 2004.IGARSS'04.Proceedings.2004 IEEE International.Vol. 5.IEEE, [3] Sevilmis, Berk, et al. "A robust nonlinear scale space change detection approach for SAR images." SPIE Remote Sensing.International Society for Optics and Photonics, [4] Moser, Gabriele, and Sebastiano B. Serpico. "Generalized minimum-error thresholding for unsupervised change detection from SAR amplitude imagery."ieee Transactions on Geoscience and Remote Sensing (2006): [5] Singh, Ashbindu. "Review article digital change detection techniques using remotely-sensed data." International journal of remote sensing 10.6 (1989): [6] Townshend, John RG, et al. "The impact of misregistration on change detection." Geoscience and Remote Sensing, IEEE Transactions on 30.5 (1992): [7] Zhang, Xiao, Craig Glennie, and ArpanKusari. "Change detection from differential airborne LiDAR using a weighted anisotropic iterative closest point algorithm." Selected Topics in Applied Earth Observations and Remote Sensing, IEEE Journal of 8.7 (2015): [8] Sarvaiya, Jignesh N.,SupravaPatnaik, and Salman Bombaywala. "Image registration by template matching using normalized cross-correlation."advances in Computing, Control, & Telecommunication Technologies, ACT'09.International Conference on.ieee, [9] Vakalopoulou, Maria, et al. "Simultaneous registration and change detection in multitemporal, very high resolution remote sensing data." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops [10] Im, Jungho, and John R. Jensen. "A change detection model based on neighborhood correlation image analysis and decision tree classification."remote Sensing of Environment 99.3 (2005): [11] Im, Jungho, J. R. Jensen, and J. A. Tullis. "Object based change detection using correlation image analysis and image segmentation." International Journal of Remote Sensing 29.2 (2008): [12] Rudin, Leonid I., Stanley Osher, and EmadFatemi. "Nonlinear total variation based noise removal algorithms." Physica D: Nonlinear Phenomena 60.1 (1992): [13] Ozcan, Caner, Baha Sen, and Fatih Nar. "Sparsity-Driven Despeckling for SAR Images." (2016). [14] SARAN, AYŞE NURDAN, Fatih Nar, and Murat Saran. "Vessel segmentation in MRI using a variational image subtraction approach." Turkish Journal of Electrical Engineering & Computer Sciences 22.2 (2014):