RGB-D Sensörler ile İç Mekan Haritalaması M. Akif GÜNEN Erciyes Üniversitesi, Harita Mühendisliği Bölümü Kayseri akif@erciyes.edu.tr Abdüsselam KESİKOĞLU Erciyes Üniversitesi, Tomarza Meslek Yüksekokulu Kayseri akesikoglu@erciyes.edu.tr A.Emin KARKINLI Ömer HalisDemir Üniversitesi, Harita Mühendisliği Bölümü Niğde akarkinli@ohu.edu.tr Özet Kinect sensörler yakın geçmişte oyun konsolları ile birlikte kendini göstersede nesne takip, patern tanıma, nesne ebat kontrolü, engel tanıma ve iç mekan haritalama gibi bir çok mühendislik alanıda kullanılmaktadır. Kinect sensörü içerdiği RBG kamera ve IR kamera ile aynı anda iki farklı kameradan veri alarak nesneye ait farklı özelliklerin kayıt edilmesini sağlamaktadır. Bu bildiride RGB-D sensörlerin iç mekan haritalamada sağladığı doğruluk hem görsel hem de istatistiksel olarak sunulmuştur. RGB-D sensörler ile elde edilen nokta bulutu gaussian, median, ortalama ve Diferansiyel Arama Algoritması(DSA) tabanlı yüzey uydurma filtresi filtrelenmiştir. Filtrelenen verilen yersel lazer tarayıcı ile elde edilen nokta bulutu ile çakışıtırılmış,çakıştırma sonucundaki standart sapmalar belirlenmiş ve çakıştırmada meydana gelen hata yüzeyleri ise görsel olarak karşılaştırılmıştır. Sonuçlara göre RGB-D sensörlerle elde edilen ortam haritası her ne kadar zaman maliyeti yüksek olsada çok hassasiyet gerektirmeyen işlerde kullanılabilir olduğunu anlaşılmıştır. Anahtar Sözcükler: RGB-D Sensör, Yersel Lazer Tarayıcı, 3D filtreleme I. GİRİŞ İç mekan haritalama son yıllardaki teknolojik gelişmelerle farklı bir boyut almıştır. Film, oyun ve animasyon şirketlerinin sanal gerçeklik uygulamalarına verdiği önem ve gündelik hayatı sanal ortama taşıma isteği çevresel haritalamanın hızlı, ekonomik ve hassas bir şekilde yapılmasına olanak sağlamıştır. Çevresel haritalama; iç mekan haritalama, sayısal arazi-yükseklik modeli elde edilmesi, tarihi yapıların kayıt altına alınması, arkeolojik sit alanlarının kayıt altına alınmasında, olay yeri inceleme, röleve-restorasyon işleri ve kazı-dolgu hesaplamaları gibi bir çok alanda kullanılmaktadır [1,2]. Geomatik uygulamaları açısından çeşitli yöntemlerle çevresel haritalama yapılabilir. Yersel lazer tarayıcı ile çevresel haritalamada son zamanlarda en sık kullanılan yöntemdir. Yersel lazer tarayıcılar klasik yöntemlere göre daha hızlıdır ve daha yüksek doğrulukta veri üretmektedir. Lazer tarayıcılar lazer ışını ile nesne ve lazer kaynağı merkezi arasındaki mesafeyi time of flight veya faz farkı yöntemiyle ölçen, pan-tilt motordan oluşan kompakt bir sistemdir. RGB-D ise lazer tarayıcılara göre çok daha ucuz, daha az doğruluklu ve daha farklı bir sistemden oluşan bir sistemdir. RGB-D sensörlerde derinlik görüntüsü üretilerek, üretilen görüntü Erkan BEŞDOK Erciyes Üniversitesi, Harita Mühendisliği Bölümü Kayseri ebesdok@erciyes.edu.tr üzerinden çeşitli hesaplamalar yapılarak 3 boyutlu nokta bilgisi elde edilir. Lazer tarayıcılarla ölçülen mesafe menzili RGB-D sensörlere göre oldukça uzundur ve her iki sistemde gece gündüz çalışabilmektedir. RGB-D sensörler derinlik haritasını oluşturabilmek için nesneye kızılötesi dalga boyunda ışık gönderen kızılötesi (IR) sensörü, bu ışığın algılanmasını sağlayan derinlik sensörü ve renk bilgisinin elde edildiği RGB kameradan oluşmaktadır. RGB-D sensörler lazer tarayıcılara göre daha ekonomik olması, hassasiyet istemeyen işlerde kullanılıyor olması, tersine mühendislik uygulamalarında istenilen sonuçlar üretmesi ve mühendislik uygulamalarının yanı sıra diğer bilim dallarında kullanılıyor olması popülerliğini arttırmıştır [3,4]. RGB-D gibi ToF kameralar derinlik haritası üretirken her pixel mesafe olarak kayıt altına alınır. Alınan bu kayıt sayesinde herhangi ek bir algoritma ihtiyacı duymadan 3 boyutlu sahneler yakalanmış olur. RGB-D sensörler kırmızı, yeşil ve mavi olmak üzere 3 adet CMOS sensör bulunmaktadır. Her bir sensörde 8 bitlik veri aktarımı olur ve elde edilen görüntüde toplam 24 bitlik bir görüntü oluşmuş olur. Elde edilen RGB normalize edilmiş RGB, HI, HSV, TSL, YCbCr gibi birçok renk uzayına dönüştürülebilmektedir [5]. RGB-D sensörü ilk önce Microsoft firması tarafından üretilen oyun konsolu Xbox-360 ile piyasaya çıktı. Microsoft un yanı sıra Asus Xtion Pro, Structure İO, PrimeSense Carmine, Minolta Vivid 910, SwissRanger 4000, CamCube gibi birçok marka da bu sensörü üretmektedir. Bu sensörlerin bilgisayarda işlenebilmesi için SDKlara ihtiyaç vardır. Microsoft un lisanslı firması PrimeSense tarafından üretilen SDK ile sensör bilgisayar ile iletişime geçmektedir. RGB-D verisi ücretli veya open source yazılımlar tarafından işlenerek kullanılabilir hale gelmektedir. Piyasada yaygın olarak kullanılan yazılımlar genel olarak Skanect, Kscan 3d, Faro Scenect, ReconstructMe dir. Çevresel haritalama uygulaması için kullanılan lazer tarayıcı Faro x130, RGB-D sensor ise Kinect II dir. RGB-D sensöre ait görsel şekil 1 de, teknik özelliği çizelge 1 de,yersel Lazer Tarayıcıya ait görsel şekil 2 de, teknik özelliği ise çizelge 2 de verilmiştir.
Şekil 1.Microsoft Kinect 2. ÇIZELGE 1. MICROSOFT KINECT 2 TEKNIK ÖZELLIKLER Çözünürlük 1920*1080/30frame Mesafe ~0.5-4.5 m Bakış Açısı Yatay 70 /Dikey 60 Derinlik Kamerası 514*424 Joint Noktası 26 bağlantı noktası Hareket Motoru Yok USB standardı USB 3.0 Desteklenen İşletim Sistemi Win 8 Şekil 2. Faro Yersel Lazer Tarayıcı ÇIZELGE 2. FARO X130 YERSEL LAZER TARYICI TEKNIK ÖZELLIKLER Düşey/Yatay Ölçüm Açısı 300 /360 Lazer Sınıfı Laser Sınıfı 1 Dalga Boyu 1550 nm Işın Demeti Sapması 0.19 mrad Ölçüm mesafesi 0.6m-130m Ölçme hızı (nokta sayısı/saniye) 122000 / 244000 / 488000 / 976000 Ölçüm hatası ±2mm Çözünürlük 70 megapixel üstü renk Dijital ve analog sinyaller işlenirken bu sinyallere eklenerek elde edilmek istenen sinyalin kalitesini bozup onların anlamlı bir veri olmasının önüne geçen parazitlere -ek bilgileregürültü denmektedir. Gürültüler verinin yorumlandırılmasını zorlaştırarak anlamlı bir sonuç üretilmesini engellerler. Gürültüler çevresel, sistematik veya kaba hatalar sonucu oluşmaktadır. RGB-D sensörlerin gürültülü veri üretmesine sebep olan birçok etken vardır. Nesne çekimi yapılırken kameranın hareket ettirilmesi veya kamera sabitken nesnenin hareket ettirilmesi cisimlerin bulanık halde elde edilmesine neden olur. RGB kameralar ve IR kameraların yapısı birbirinden farklı olduğundan yansıyan ve dönen IR ışınlarının faz gecikmesine uğrar ve derinlik görüntülerinde gürültüye sebep olur. IR genliğindeki belirsizlikler, nesnenin sahip olduğu renk, ortam sıcaklığı ve nemi, entegre zaman hatası gibi bazı hatalar sistematik hataya sebep olmaktadır. Sensörlerin hassasiyeti çok yüksek olmadığı için kendisine yakın olan nesneler ile daha uzaktaki nesneler arasındaki derinlik hesabını istenilen doğrulukta sağlayamazlar. Çoğu zaman multipath hatasına uğrarlar ve dik olması gerek köşeler iç bükey-dış bükey yapıda olurlar [6,7]. Çeşitli filtreleme yöntemleri kullanılarak bu gürültüler yok edilmeye veya azaltılmaya çalışılır. Görüntü işlemede olduğu gibi nokta bulutunada uzamsal filtreler tasarlanabilir. Tasarlanan uzamsal filtrelerde, filtrelenecek noktanın belirli sayıdaki en yakın komşuları veya belirlenen kriterlere göre nokta çevresindeki komşu noktalar filtrelenecek veri setini oluşturur [8]. Bildiride kullanılan yersel lazer tarayıcı ile kısa menzillerde ölçüm yapıldığı için hatasız-gürültüsüz ölçüm yapıldığı kabul edilmiştir. Gürültü sebebi olarak RGB-D sensörünün hatalargürültüler barındırdığı kabul edilmiştir. Filtreler RGB-D nokta bulutuna uygulandıktan sonra mesh geçirilmiş ve lazer tarayıcı ile üretilen nokta bulutundan elde edilen mesh (Delaunay üçgenleme) ile hem görsel gem de istatistiksel karşılaştırılması yapılmıştır. II. UYGULAMA Uygulamada RGB-D sensörlerle elde edilen verilerin gürültüsünü minimize etmek için Gaussian, Median, Mean ve DSA Tabanlı Yüzey Uydurma Filtresi uygulanmıştır. Lazer tarama sonucu elde edilen nokta bulutu ve RGB-D sensör ile elde edilen nokta bulutuna mesh geçirilmiştir. Yüzeyler arasındaki farkı analiz edebilmek için mesh yüzeyleri arası mesafe minimum olacak şekilde çakıştırılmıştır. Çakıştırma işlemi sonucunda meshler arasındaki σ= 9.2 mm olarak hesaplanmıştır. Filtrenin başarısını göstermek için ilk önce bunny test datası üzerinde etkisi denenmiş daha sonra RGB-D sensöründen elde edilen nokta bulutuna belirlenen filtreler uygulanmış ve her filtrenin değişen parametre ve en yakın komşu sayısına göre mesh yüzey geçirilmiştir daha sonra lazer tarayıcıdan elde edilen ve mesh yüzey geçirilen modele göre farkı istatistiksel olarak incelenmiştir. Şekil 2a ve 2b de bunny test verisinin gürültülü halinin nokta bulutunu ve gürültülü nokta bulutuna mesh yüzey geçirilmiş hali görülmektedir. Şekil 3.a ve 3.b sırasıyla RGB-D sensör ve yersel lazer tarayıcı ile elde edilen nokta bulutuna mesh yüzey geçirilmiş Erciyes Üniversitesi Mühendislik Fakültesindeki Fotogrametri Laboratuvarını gösterirken Şekil 3.c bu verilerin çakıştırılmış halini göstermektedir. Şekil 2. a) Bunny Nokta bulutu b) Bunny Mesh.
normalizasyon değeridir [9,10]. Şekil 4 de Gaussian filtrenin Bunny test verisine etkisi, Şekil 5 de değişen standart sapma değerinin etkisi şekil 6 da ise çakıştırılma sonrası lazer datası ile arasındaki fark görülmektedir görülebilir. Şekil 3.a) Lazer datası b) RGB-D datası. Şekil4. Gaussian Test Filtreme. Şekil 3.c) Çakıştırma sonrası oluşan hata yüzeyi. A. Gaussian Filtreleme Gauss un normal dağılımına göre sonuç üreten Gaussian filtreleme tekniği, mesh yüzeylerinde kenarların yumuşama eğilimi göstermesine ve daralan yüzeylerin düzleşmesinde etkilidir. Gaussian filtre resimlere uygulandığı zaman resimlerde bulanıklığa neden olmaktadır. Nokta bulutu içerisinden f noktasının kendine en yakın nokta kümesi p Şekil 5. a) σ=0.5 b) σ =1.5. olmak üzere; bu nokta ile en yakın noktaları arasındaki Öklid mesafesi eşitlik (1) de verilmiştir. d = dist ( f, p ) (1) 3 boyulu uzayda noktanın kendisine uzaklıklar belirlendikten sonra, bu noktaya olan etkilerini belirlemek ağırlıklandırılır. Ağırlıklandırma verilmiştir. en yakın noktalara göre noktaların filtrelenecek üzere Gaussian olarak işlemi eşitlik (2) de d2 Gσ ( p ) = exp( ) 2πσ 2 2σ 2 1 (2) Gaussian ağırlıklandırılmış nokta olmak ağırlıklandırılmış nokta eşitlik (3) de verilmiştir. W ( f ) = Gσ ( p ) * p üzere (3) Ağırlık seçilen nokta grubuna ve seçilen standart sapma değerine göre değişmektedir. Standart sapma seçimi uzmanlık gerektiren ve nokta bulutu filtrelenmesini doğrudan etkileyen değerdir. Formüldeki 1 2πσ değeri düzeltme yani Şekil 6. Filtreme sonrası aradaki fark. B. Ortalama Filtreme Nokta bulutundaki her bir noktanın seçilen kritere göre çevresindeki komşu noktaların ortalama değerleri alınarak nokta konumunun yeniden hesaplanmasıdır. Ortalama filtre genellikle konvolusyon filtre olarak bilinir. Resimlerde kullanılan bu filtrede genellikle 3*3 lük kare kernel şeklinde uygulanır daha büyük kare kernel kullanıldığı zaman daha yumuşak sonuç elde edilir. Ortalama filtrede komşuluk sayısı arttığı zaman noktalar arasındaki keskin geçişler daha yumuşak hale gelir [9,11]. Şekil 7 de Ortalama filtrenin Bunny test verisine etkisi, Şekil 8 de değişen komşuluk sayısının etkisi şekil 9 da ise çakıştırılma sonrası lazer datası ile arasındaki fark görülmektedir görülebilir.
Şekil 7. Ortalama Test Filtreme. Şekil 11. a) Komşu sayısı:10 b) Komşu sayısı:20. Şekil 8. a) Komşu sayısı:10 b) Komşu sayısı:20. Şekil 12. Filtreme sonrası aradaki fark. D. DSA Tabanlı Yüzey Uydurma Filtresi Şekil 9. Filtreme sonrası aradaki fark. C. Median Filtreme Filtreleme yöntemlerinde en sık kullanılan non-lineer yöntemlerden birisi de median filtrelemedir. Artan veya azalan sıralamaya göre sıralanan sayıların ortanca elemanına median yani ortanca denmektedir. Nokta bulutunda, görüntüde olduğu gibi filtre uygulanacak görüntü pixeli (en yakın noktalar) etrafındaki komşu pixel değerleri sıralanarak ortanca değeri alınır ve ilgili pixel (nokta) değeri yerine ortanca değer atanır. [9,12]. Şekil 10 da Median filtrenin Bunny test verisine etkisi, Şekil 11 de değişen komşuluk sayısının etkisi şekil 12 da ise çakıştırılma sonrası lazer datası ile arasındaki fark görülmektedir görülebilir. Differansiyel Arama Algoritması (DSA) 2012 yılında Civicioğlu, P. Tarafından geliştirilmiş olup temellinde sürü tabanlı çözüme ulaşan bir algoritma bulunmaktadır. DSA meta-sezgisel yapısı gereği çözülecek olan problemin karmaşıklığından etkilenmeyerek en iyi sonuca kısa zamanda ulaşmaktadır. DSA nın iki kontrol parametresine sahip olması ve bu başlangıç değerlerinin değişiminden aşırı etkilenmemesi sebebi ile farklı kullanıcıların farklı stratejilerinden kaynaklı sonuca ulaşmada keskin değişimler yaşanmamaktadır. Bu da DSA nın problem çözme başarısı noktasında JADE, SADE, GSA, ABC, PSO2011 gibi literatürde yaygın olarak kullanılan diğer algoritmalardan daha iyi sonuçlar elde etmesine olanak sağlamaktadır. Küçük popülasyon sayıları ile çözüme ulaşabilen DSA için popülasyon sayısı 5-50 arasında seçilmesi en etkin ve verimli sonuca ulaşmada yardımcı olacaktır [13]. Bildiri kapsamında nokta bulutu filtrelemen için DSA algoritması kullanılmıştır.dsa ile nokta bulutu filtrelemenin işlem adımları aşağıdaki gibidir. ax+by+cz+d=0 düzlemi temsil etmek üzere; 1. Noktanın kendisine en yakın noktları tespit et, 2. Her nokta için aşağıdaki işlemleri tekrar et; -Noktanın kendine en yakın komşularını belirle, -Düzlem parametrelerini bu noktalar için DSA ile düzlem katsayılarını tespit et, -Noktanın belirlenen düzleme iz düşümünü hesapla, -Noktanın yeni konumunu hafızaya al ve başa Şekil 10. Median Test Filtreme dön.
3. İşlemi sonlandır [8]. Şekil 13 da DSA Tabanlı Yüzey Uydurma Filtresinin Bunny test verisine etkisi, Şekil 14 de değişen komşuluk sayısının etkisi şekil 15 da ise çakıştırılma sonrası lazer datası ile arasındaki fark görülmektedir görülebilir. değiştirmektedir. Bu parametreler tecrübe veya deneme yanılma yöntemiyle kullanıcılar tarafından değiştirilmelidir. RGB-D veri setinin filtreleme öncesi ve filtreleme sonrası mesh yüzeyler arasındaki mesafelerin standart sapma değeri çizelge 3 de verilmiştir. Elde edilen sonuçlarda en iyi sonucu DSA Tabanlı Yüzey Uydurma Filtresi (EYK=20) verirken, Gaussian filtresi (σ =1.5) en kötü sonucu verdiği hesaplanmıştır. ÇIZELGE 3. RGB-D SENSORDEN ELDE EDILEN MESH YUZEYIN DIĞER MESH YUZEYLERE GÖRE ISTATISTIKSEL OLARAK KARŞILAŞTIRILMASI. Şekil 13. DSA Tabanlı Yüzey Uydurma Filtresi. Lazer Tarama Gaussian (σ =0.5) Gaussian (σ =1.5) Ortalama (EYK=10) Ortalama (EYK=20) Median (EYK=10) Median (EYK=20) DSA(EYK=10) DSA(EYK=20) σ = 9.2 mm σ = 8.7 mm σ = 9.0 mm σ = 8.8 mm σ = 8.1 mm σ = 8.6 mm σ = 8.2 mm σ = 8.3 mm σ = 7.7 mm TEŞEKKÜR Bu bildiri 115Y235 kodlu TÜBİTAK projesi tarafından desteklenmiştir. Şekil 11 a) Komşu sayısı:10 b) Komşu sayısı:20. Şekil 12. Filtreme sonrası aradaki fark. III. SONUÇ İç mekan haritalamasında RGB-D sensörler her ne kadar zaman olarak maliyetli olsa da ekonomik olarak oldukça kazançlı bir yöntemdir. RGB-D sensörler ile elde edilen nokta bulutu çeşitli filtreleme yöntemleriyle filtrelenerek gürültü seviyeleri minimize edilebildiği görülmektedir. Nokta bulutu filtrelemesi yapılırken istatistiksel karşılaştırma ve görsel karşılaştırma birlikte göz önünde bulundurulmalıdır. RGB-D sensörle elde edilen nokta bulutunun filtrelenmesi sonucu elde edilen elde edilen nokta bulutu bazı nesnelerde nerdeyse yersel lazer tarayıcılarla yarışır hale gelse de gelişen teknoloji ile birlikte aradaki farkın kapanacağı kuşkusuzdur [4]. RGB-D ile elde edilen nokta bulutuna uygulanacak filtre seçimi ve her bir filtrenin kendi içerisindeki değiştirilen parametreler sonucu KAYNAKLAR [1] Gümüş, K., & Erkaya, H., 2007, Mühendislik Uygulamalarında Kullanılan Yersel Lazer Tarayıcı Sistemler,Ytü Jeodezi ve Fotogrametri Müh. Bölümü, Ölçme Tekniği Anabilim Dalı, İstanbul. [2] Jesus M.G., Ismael G.-V., Miguel C., Vicente M., Vidrilo, 2015, The visual and depth robot indoor localization with objects information dataset, Int. J. Robot. Res. [3] Grivon, D.; Vezzetti, E.; Violante, M., 2014, Study and development of a low cost "OptInertial 3D scanner, Precision Engineering-Journal Of The International Societies For Precision Engineering And Nanotechnology, 38(2),261-269. [4] Henry, P., Krainin, M., Herbst, E., Ren, X., & Fox, D,. 2010, RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments, In In the 12th International Symposium on Experimental Robotics (ISER). [5] Akkuş T., 2015, Havalimanlarında Yolcu Bagaj Ve Kargolarının Boyut Hacim Ve Ağırlık Ölçümlerinin Rgb-D Kamera Ve Yük Hücresi (Loadcell) Kullanılarak Tespiti, Gediz Üniversitesi Fen Bilimleri Enstitüsü. [6] Zhang Z., 2012, Microsoft kinect sensor and its effect, IEEE Multimed. 19 (2) 4 10. [7] Hansard, M., Lee, S., Choi, O., & Horaud, R. P., 2012, Time-of-flight cameras: principles, methods and applications. Springer Science & Business Media, 2-10. [8] Çivicioğlu P., Karkınlı A.E., Kesikoğlu A., Atasever Ü.H., Kurban T., Beşdok E., Özkan C., 2014, Nokta Bulutu Filtrelenmesinde Koloni-Arama Algoritmasının Kullanımı, 5. Uzaktan Algılama-Cbs Sempozyumu (Uzal-Cbs 2014), İstanbul.
[9] Gonzalez, R. S., and Paul Wintz. "Digital image processing." (1977). [10] Tomasi C., Manduchi R., 1998, Bilateral Filtering for Gray and Color Image, Proceedings of the IEEE International Conference on Computer Vision, Bombay, India. [11] Domínguez, G. F., Bischof, H., & Beichel, R. 2003, Fast 3D mean shift filter for CT images, In Scandinavian Conference on Image Analysis (pp. 438-445), Springer Berlin Heidelberg. [12] Hwang, Y. S., Kim, H. W., & Lee, J. M., 2012, Noise removal of LRF for 3D map building using the superposition median filter, In 2012 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM) (pp. 770-775), IEEE. [13] Civicioglu, P., 2012, Transforming geocentric cartesian coordinates to geodetic coordinates by using differential search algorithm, Computers&Geosciences, 46, 229-247.