Çok Modelli Görsel Lokalizasyon Multi-Model Visual Localization

Transkript

1 Çok Modelli Görsel Lokalizasyon Multi-Model Visual Localization Kemal Egemen Özden Bilgisayar Mühendisliği Bölümü Bahçeşehir Üniversitesi Mehmet ozlu, Salih Ergüt Avea Araştırma Merkezi Avea Đletişim Hizmetleri Özetçe Bu bildiride iç ve dış mekanlarda kullanmaya yönelik, ekonomik, doğruluk payı yüksek ve tamamen görsel veri işlemeye dayanan yenilikçi bir lokalizasyon altyapısından bahsetmekteyiz. Çevrimdışı aşamada bir mekana ait fotoğraflardan, hareketli resimlerden 3D (SFM, structure from motion) teknikleriyle otomatik mekansal bölütleme ve 3D geriçatma yapılır. Oluşan 3D modeller bizim eşleştirme veritabanımızı oluşturur. Çevrimiçi aşamada gelen imgeler bu veritabanındaki modellerle eşleştirilir ve kamera lokalizasyonu yapılır. Bu çalışmadaki temel özgün niteliklerden birisi bulunan 3D kamera konumunun ilgili mekanın yerı (floor ) üzerindeki iz düşümü için uygulanması gereken geometrik dönüşümlerin 3D model ile, yerı arasındaki nokta-nokta ve -doğru eşleşmeleri şeklinde analizi ve çözümüdür. Bir diğeri de SfM tabanlı çoklu 3D model veritabanı ile eşleştirme kavramıdır. Yaklaşımın yeterliliği deneylerle gösterilmiştir. Kavram ispatı şeklinde olan bu çalışmanın, Eklendirilmiş Gerçeklik, lokasyon tabanlı hizmetler gibi mobil cihaz uygulamalarında bir çok yeni uygulamanın önünü açacağını düşünmekteyiz. Anahtar Kelimeler mobil ve görsel lokalizasyon, 3D bilgisayarla görü, hareketli resimlerden 3D geriçatma, eklendirilmiş gerçeklik. Abstract We are describing a visual localization system which is economical, highly accurate, can be applied both indoors and outdoors. In the offline stage, 3D reconstruction and location segmentation is achieved through the use of structure-frommotion techniques on a set of input images. he extracted 3D models constitute our database. In the online stage, user input images are matched against this database and user s camera s location is found. One novelty in this works is the development of new methods to compute the transformation between the 3D model and the target floor of the physical neighborhood. hese techniques use point-to-point and e-to line matches. Other novelty is the usage of a multi-part SfM generated model rather than a single one. he approach is justified through experiments. We expect such approach will pave the way for new mobile applications in the field of Augmented reality and Location based services. Keywords mobile and visual localization, 3D computer vision, structure from motion, augmented reality. GİİŞ Mobil cihazların lokalizasyonu eski bir konu olmakla beraber daha çok radyo tabanlı teknikler günümüzde uygulanmaktadır. Lokasyon tabanlı servisler, otomatik navigasyon, eklendirilmiş gerçeklik (Augmented eality) ve yaygın bilişim (Ubiqutious Computing) kavramlarının popülerleşmesiyle beraber konum ölçümde doğruluk oranını arttırmak için ciddi bir gayret vardır. Görsel lokalizayon (mobil cihazın kamerasını kullanarak) radyo tabanlı konum ölçümü tamamlayıcı bir niteliktedir. GPS ve GSM lokalizasyona göre doğruluk payı oldukça yüksektir, ve GPS ile kıyaslandığında kapalı alanlarda da çalışır. Son 0 yılda oldukça gelişen resimlerden 3D model üretme ve yerel öznitelikler gibi bazı bilgisayarla görü tekniklerinin, lokalizasyon için kullanımı yeni bir ivme kazanmaktadır. Bizim çalışmamızda bu kategoridedir ve temelinde çekilen bir fotoğrafın önceden üretilmiş 3D modeller ile eşleştirilmesi yatar. Görsel lokalizasyonun konum belirleme probleminde oldukça yenilikçi bir yaklaşım olması ile beraber, bizim çalışmamıza özgün nitelikler şöyle sıralanabilir: Veritabanımız SFM teknikleriyle üretilmiş 3D nokta kümesi modellerden oluşan bir veritabanıdır. Çok parçacıklı tasarlamamızın nedeni, ileride de anlatılacağı gibi, bir mekandaki eşleştirme kopukluklarını modelleyebilmektir. Bu iş için kullanıcı seviyesindeki point-and-shoot denilen basit kameralar yeterlidir. Üretilen lokasyonun faydalı bir şekilde görselleştirilmesi için üretilen modellerin, önceden bilinen yerı üzerine affin iz düşümünü sağlayan dönüşümlerin nokta-nokta, doğru eşleşmelerini kullanarak analizi ve hesaplama teknikleri geliştirilmiştir. Geliştirilen tekniklerin üzerine kurulduğu literatür oldukça geniş olmakla beraber şu şekilde özetlenebilir. SFM dahilinde statik yapılar ilgili geometrik algoritmalar oldukça olgunlaşmıştır[,]. Bu algoritmalar, imgeler üzerindeki eşleşmiş noktaları girdi olarak alır ve bu amaçla Lowe nin SIF[3] tekniği gibi bir çok yerel öznitelik geliştirilmiştir[4]. Đmge erişimi problemi dahilinde de bu tür özniteliklerin etkinliği bilinmektedir[9]. SFM ve yerel öznitelikler gelişmelere paralel Internet ten ayıklanmadan alınmış 00 binlerce imgeden şehirlerin 3D modellerini üreten teknikler bilinmektedir[5,6]. Direk lokalizasyon ile ilgili teknikler robot biliminde daha çok SLAM teknikleri altında incelenmiştir. 3D modeller üretimindeki başarıya dayanarak önceden üretilmiş modeller ile imge eşleştirilmesi ilgi çekici bir alan olmuştur ve yakın tarihli önemli konferanslardaki yayınlar /3/$ IEEE

2 artmaktadır[7,8]. Bizim yaklaşımımızı farklı kılan nokta tek bir modelden ziyade birden çok örtüşmeyen modelin tek bir girdi kümesinden çıkarılması ve hesaan konumun yerı üzerine dönüşümünün hesamasıdır. SİSEM ÖZEİ Sistemimiz girdi imgelerden 3D model veritabanının üretildiği çevrimdışı aşama ve yeni kullanıcı girdisinin veritabanıyla eşleştirildiği çevrimiçi aşama olarak ikiye ayrılmıştır. Projede ilerideki hedefimiz mobil cihazlarda çalışan bir sistem olmakla beraber şu an için sunduğumuz masaüstünde kavram ispatı bir çalışmadır. Geliştirmelerimizi Bundler[0] isimli açık kaynak kodlu yazılım üzerine kurduk. Çevrimdışı aşama: Girdi imge kümesi bir mekanın (Örn. AVM gibi) değişik açı ve yerlerinden çekilmiş fotoğraflardır. Bir mekandan çekilen fotoğraflarda tek bir 3D model oluşamayabilir. Bunun nedeni imgeler arası eşleştirmenin her zaman mümkün olmamasıdır. Örneğin ofisler arasındaki tek renkli duvarlar, görüş alanını kısıtlayan dar geçişler ve sütunlar gibi. Bu temelde bir istatistiksel model seçme problemidir. Biz model seçimimizi En az imgeyi açıkta bırakacak, en az sayıda, en büyük (ve sağlıklı) 3D modelleri üretecek şekilde tasarladık. Algoritma şu şekilde özetlenebilir:. Verilen girdi kümesi içinde bütün imgeleri birbirleriyle eşleştir.. Girdi kümesi içinde en iyi eşleşen iki imgeyi seç 3. Bu iki imge üzerinde bir ilk 3D model oluştur, ve bu modeli onunla eşleşen en iyi imgelerle büyüt. 4. Modele artık yeni imge eşleşmiyorsa bu modeli 3D veritabanına koy, bu modelde kullanılmış imgeleri girdi kümesinden çıkar,. adıma geri dön. [Döngü 3d model üretemeyene kadar devam eder] Çevrimiçi aşama: Verilen imgenin önce yerel öznitelikleri bulunur ve öznitelik geometrik kısıtlar kullanmadan Lowe[3] nin yaptığı gibi en yakın iki komşuluğun farkı ölçütü üzerinden belirlenir. Daha sonra ANSAC[] temelli bir kamera dış dönüşüm hesabı (döndürme ve öteleme) ile kötü eşleştirmeler atılır. Doğru 3D model parçası ile eşleştirme ve takip eden doğrusal olmayan iyileştirme (Levenberg- Marquardt) sonucu ilgili kamera konum/yönelim bilgileri ortaya çıkar. YEPLANI DÖNÜŞÜMÜ Bulunan konum bilgisini kullanmanın en klasik yollarından biri, konum koordinatlarını bir yerı üzerinde göstermektir. Bu çalışmanın özgün yanlarından biri bu sorunun analizi ve çözümüdür. SFM ile üretilmiş 3D modellerde ölçek bilgisi kaybolmaktadır. Yerı ise 3D bir dünyanın ölçekli ortografik iz düşümüdür. 3D dünya ile bu ortografik imge arasındaki döndürme, öteleme ve ölçek bilgisi bilinmemektedir. Bu 3D modelin koordinat sistemin de verilen herhangi bir noktanın yerına iz düşümü şu döndürme işlemi ile bulunabilir. Burada p p + t = 3d s () p yerı üzerindeki D noktayı, s ölçek değişimini belirten skalar, x3 lük matris ile bir döndürme işlemini, t ortografik projeksiyon üzerindeki D öteleme hareketini gösterir. Döndürme matrisindeki son sıra, ortografik projeksiyonda işlevsiz olduğu için atılmıştır. s için serbestlik derecesi (DOF), için 3 (temelde 3D rotasyon olduğu için ya da iki birbirine dik 3D birim vektör) ve t için sayarsak toplam 6 DOF vardır. Klasik Çözüm: 3D model ve yer-ı arasında yeterince eşlenik nokta varsa bunlardan dönüşüm hesaabilir. Her bir 3D-D eşleştirme () kullanırsak denklem verir. 6 DOF luk bilinmeyenleri çözebilmek için 6/=3 eşleşmiş nokta gerekir. Bunun için çözümler literatürde bilinmektedir. Buradaki asıl sorun bu tür eşlenik noktaların bulunmasının zor olduğudur. Bunun en temel nedeni, yer-larının genelde çok sade olması ve üzerindeki önemli köşelerin çoğu zaman SFM tarafından belirlenmemesidir. Aşağıda daha az eşlenik nokta ile istenen dönüşümün hesaması ile ilgili özgün yaklaşımımızı açıklayacağız. Bu iki teknikte matrisinin bulunması ile başlar. Döndürme matrisinin hesaması: döndürme bilgisini nokta eşleştirmelerini kullanmadan çözmekteyiz. Yerlarının bir faydalı özelliği gerçek ve dik olan dünya duvarlarının bir çizgi halinde yerına izdüşümüdür. Bu nedenle önce 3D modelde belirgin olan ve yerında görünen bir duvar seçilir. Bu duvarın 3D parametrik denklemi yarı otomatik (PCA gibi yöntemlerle) bir şekilde bulunur. Bu aşamada matrisini şu şekilde ikiye ayırmaktayız: = v v = burada projeksiyondan sonra x lik bir yerı üzerinde döndürme matrisidir. x3 lük ise 3D dünyada bulduğumuz belirgin üzerindeki koordinat sistemine göre döndürmeyi temsil eder. v in birim idir. v bu e diktir ve bizim duvara bakışımıza göre yönü eder. Biraz incelendiğinde anlaşılacaktır ki bu matris 3D dünyayı, seçilen duvar Y ekseni üzerine hizalanmış şekilde ortografik izdüşümünü almaktadır. abi gerçekte seçilen duvar, yerı üzerinde bu şekilde hizalanmış olmak zorunda değildir bu yüzden ikinci bir D döndürme matrisi olan hesamalıdır (ilgili D doğru parçasının denkleminden kolayca bulunabilir). un hesaması biraz daha karmaşıktır. Bizim burada denediğimiz ve olumlu sonuç aldığımız iki önerimiz vardır. Eğer girdi imgelerinde, belirlenen duvar üzerinde yere paralel düz çizgiler varsa bu yönü bulmak çok kolay bir iştir. Bir girdi imgesinde bu düz çizgi üzerinde iki nokta seçilir ve 3D ışın üçgenlemesi ile ilgili 3D noktalar bulunur ve v hesaır. v

3 Bazen bu tarz (duvara göre) yönü veren ipuçları ortamda olmayabilir. Bu durumda girdi resimlerine ait hesaan kamera döndürme bilgisi ile ilgili kısıtlar kullanılabilir (bu bilgiler SFM in standart çıktılarıdır.). Kameranın bakış ekseni çevresinde a ya da sağa çok döndürme yapmadığımızı, yapmış olsak bile sağa ve a özel bir kayış olmadığını varsayabiliriz. Bu durumda v u hesaplama için v yukarı olarak kameranın yukarı vektörünü tahmin olarak kullanabiliriz. v ile kameranın yukarı vektörünün vektörel çarpımı v u vermelidir. Kameranın bakış ekseni çevresinde sağa ve dönmeler olmasına karşı en sağlıklı çözüm bütün kameralara göre v u hesaplatıp medyan değerini almak istatistiksel olarak uygun olacaktır. Bir diğer seçenekte sağa ya da a bakış ekseni çevresinde dönmemiş bir imgenin el ile seçilip bu işlemin uygulanmasıdır. Nokta-Nokta Eşlenikli Çözüm: döndürme bilgisi yukarıdaki gibi çözüldükten sonra s ve t parametreleri çözülmelidir. Bu çözüm tane 3D-D kullanır. Kolaylık p (eşlenik 3D nokta) değerleri açısından ve 3d bilindiğinden, () deki bu çarpımı şöyle gösterelim: p = p + t s Burada p = p3d dir. Her bir eşlenik nokta yukarıdaki eşitlik ile lineer iki denkleme dönüşür. 3 bilinmeyenimiz olduğu için ( t ve s ) iki eşlenik nokta bu denklemi lineer bir biçimde çözmeye yeter. Nokta-Nokta ve -doğru Eşlenikli Çözüm Daha önce belirtilen nedenlerden iki 3D-D eşlenik bulmak bile güç olabilir. Bu durumda bir önceki teknikte olduğu gibi döndürme hesaır. Elimizdeki bir 3D noktanın projeksiyonu () deki gibi yazılır. Yalnız 3 bilinmeyen olduğu ve bu eşitlik iki denklem vereceği için denkleme daha ihtiyaç vardır. Biz biliyoruz ki imizin yerındaki izdüşümü düz çizgi olacaktır. Duvar i 3D uzayda şu şekilde parameterize edilebilir: p = p0+ av + bv 3d yukarı Buradaki ifadeler sırasıyla üzerindeki herhangi bir noktayı ve iki ana yönün a ve b cinsinden parameterize edilmesidir. Bu noktaları ile D projeksiyonu alırsak, birim dik vektörler özelliği ile şu şekilde sadeleşir: p v = + a v 0 norma lp0 p0 Bu beklendiği üzere D uzayda yönü [0,] olan a ile parameterize edilmiş bir doğrudur. Bu doğrununda s, ve t ile değişimi ile elimizde önceden hesaplatmış l = l l doğrusu olduğumuz yerı üzerindeki [ ] l3 üzerinde olması beklenir. Bu üç denklemi birleştirirsek karşımıza: s l sa l denklemi çıkar. v v 0 + p0 + p0 l t+ l 3 = 0 daha önceden l kullanılarak üretildiği için ilk terim 0 olur. Diğer terimler de s ve t cinsinden tek bir denklem verir, böylece elimizde üç bilinmeyenli üç lineer denklem olur. DENEYLE Geliştirdiğimiz sistemi test etmek için iki ayrı imge kümesi kullandık. Birinci veri kümesi şehir sokaklarında basit bir dijital kamerayla rastgele hareketlerle çekilmiş, her biri 7x704 çözünürlüğünde yaklaşık 80 resimden oluşmaktadır. Ekstra gürültü yaratmak için yine aynı şehirden ama farklı bölgelerde çekilmiş rastgele 0 fotoğraf konmuştur. Fig.. her bir alt mekana ait örnek imge göstermektedir. Fig.. Şehir kümesi: sokak, orta sokak, sağ iskele alt mekanlarına ait örnekler. Önceden bahsedilen alt mekanlara ayrıma ve 3D modelleme algoritmasının 80 resmi 3 ayrı alt-kümeye doğru bölütlediği gözlemlenmiştir. Gürültü olarak eklenmiş 0 imge hiç bir alt-kümeye beklendiği gibi girmemiştir. Yaklaşık 5 imge ise, gürültü olmamalarına rağmen her hangi bir modelde kullanılamamıştır. Fig.. de iskele alt-mekanına ait üretilmiş 3D modelin önden ve yukarıdan görüntüsü gösterilmiştir. 3D metrik bilgilerin (açılar, uzunluk oranları) düzgün geri çatıldığı görülmektedir. Fig.. Đskele alt mekanına ait 3D modelin iki değişik açıdan görüntülenmesi. Sol: ön projeksiyon, Sağ: Yukarıdan projeksiyon. Çevrimiçi aşamada belirlenen kamera pozisyonlarının doğruluğunu test etmek için ekstra test kümesi kullandık. Đskele imge kümesindeki binanın yaklaşık 0 metre uzağında, 40 cm kenarları olan kare şeklindeki yer taşlarını referans konum ölçümü olarak kullandık. Bu taşları tam ortalayacak şekilde üzerilerine çıkıp, iskele binasının fotoğraflarını çektik. Bu karelerin üzerinden tek tek komşularına gidip 4x4 lük bir ızgara şeklini takip ederek 6 resim aldık. Bu ızgara şeklinde, binaya yatay ilerlerken tek kare, binaya doğru giderken iki

4 karelik uzaklık bıraktık. Oluşan diktörgenin 4 kenarı Fig. 3. te yukarıdan bir bakışla gösterilmiştir. Fig. 3. Đskele modeli için çekilen test imgelerine ait kamera pozisyonlarının taradığı ızgara şeklinin 4 uç noktasının yukarıdan projeksiyonu. Burada analiz ettiğimiz bir kavram, test imgelerinin çözünürlüğünün çıkan sonuçların doğruluğunu nasıl etkileyeceği olmuştur. Fig. 4. te görüldüğü üzere 7x704 çözünürlüğünde ızgara yapısı oldukça iyi çıkmaktadır. Hatırlatmalıyız ki yatay eksende noktalar arası uzaklık yaklaşık 40 cmdir ve iskele binasına olan uzaklık yaklaşık 0 metredir. Ortadaki resim, yüksek çözünürlüklü girdi imgelerinin bir kenarlarının %60 küçültülmesiyle bulunmuştur. Hatanın arttığı gözlenmektedir ama yine de ızgara yapısı seçilebilmektedir. Sağdaki imge ise %30 küçültülen imgelerden hesamıştır. Izgara yapısı kaybolmuştur. Fig. 4. Izgara test kümesi sonucu ortaya çıkan konumların yukarıdan görünümü. Soldan sağa test imgesinin çözünürlüğü azalmaktadır, sırasıyla: 7x704, 363x0, 68x5 Elimizde tam doğrulukta lokasyon ölçümü için yeterli cihaz olmadığı için, sistemimizden gelen çıktıları elimizdeki ızgara modeline hizalayıp, bağıl hatayı ölçtük. En yüksek çözünürlükte <0cm, %60 çözünürlükte <5cm ve %30 çözünürlükte < m hatalar gözlemledik. Sistemimizi denediğimiz ikinci imge kümesi ise 7 tane alt bölümü olan bir yeni teknoloji demo alanı dır. Modellemede 0 imge kullanılmıstır. Fig. 5. da akıllı sağlık temalı alt mekana ait 3 resim görülmektedir. Bu alt-mekanın modelleme aşamasında girdisi 5 resimden oluşmaktadır. Sadece tanesi başarılı bir biçimde işlenebilmiştir. Bunun haricinde 3 tane de test imgesi kullanılmıştır. Fig. 5. Yeni teknoloji demo alanı mekanından Akıllı sağlık alt mekanına ait 3 resim. Sistemimizin kullanılmasına en uygun alanlardan biri Eklendirilmiş Gerçekliktir. Bir başka değişle, ortama sanal olarak eklediğimiz bilgiler, eğer kullanıcının cihaz lokasyonunu düzgün hesapladıysak, doğru yerde imge üzerinde gösterilmelidir. Bu bağlamda akıllı sağlık ile ilgili imgelerde arkadaki tablet cihaz tanıtım modelinin iki köşesi sanal olarak işaretlenmiştir. Fig. 6. da, üst sırada, görüldüğü üzere bu sanal işaretleyiciler çok farklı açılardan çekilmiş test imgelerinin üzerine olmaları gerektiği yerde konumlandırılmıştır. Fig. 5. teki resimlerle kat-ı arasında sadece tane eşlenik nokta bulunmaktadır. Fig. 6. da alt sırada modelleme ve test aşamalarından bulunan kameraya ait konumlar ilgili çözümle kat ı üzerinde gösterilmiştir. Görsel değerlendirme yoluyla bulunan hatanın <50cm olduğu bulunmuştur. Fig. 6. Üst: eklendirilmiş gerçeklik için tablet cihaz modelenin köşeleri başarıyla işaretlenmiştir. Alt: Çevrimdışı (siyah) ve test (kırmızı) aşamalarından gelen kamera pozisyonları, yerında gösterilmiştir. SONUÇ amamen görsel veri işlemeye dayalı bir lokalizasyon sistemi sunduk. GPS gibi radyo tabanlı sistemleri tamamlayıcı olan sistemimizi, bir mekandaki görsel engelleyici nesneleri düşünerek çok modelli/parçalı tasarladık. Ayrıca bu tarz modellerden bulunacak konum bilgisinin yerında görülmesini gerçekleştirecek dönüşümleri inceledik ve ilgili çözümlerimizi deneylerle beraber sunduk. KAYNAKÇA [] Hartley,. and Zisserman, A. Multiple View Geometry in Computer Vision, Cambridge Uni. Press. [] Pollefeys, M. utorial : Visual 3D Modelling from Images [3] Lowe, D.G., Object recognition from local scale-invariant features, ICCV 999 [4] uytelaars,. Local invariant feature detectors: a survey, Foundations and rends in Computer Graphics and Vision, 3(3):77-80, 008 [5] Frahm et.al., Building ome on a Cloudless Day, ECCV 00 [6] Agarwal, S., Snavely, N., Simon, I., Seitz, S.M., Szeliski,. Building ome in a day, ICCV 009 [7] ] Sattler,., Leibe,B., Kobbelt,L. Fast image-based localization using direct D-to-3D matching, ICCV 0 [8] Li,Y., Snavely,N., Huttenlocher,D.P. Location ecognition Using Prioritized Feature Matching, ECCV 00 [9] Sivic, J., Zisserman, A. Video Google: A ext etrieval Approach to Object Matching in Videos, ICCV 003 [0] Bundler,