Bilgisayarla Görüye Giriş

Bilgisayarla Görüye Giriş Ders 9 Stereo Görüntüleme Alp Ertürk alp.erturk@kocaeli.edu.tr

Tek Kamera Geometrisi??? x

Tek Kamera Geometrisi

İğne Deliği Kamera Modeli ) /, / ( ),, ( Z Y f Z f Z Y 1 0 1 0 0 1 Z Y f f Z Y f f Z Y P x

İğne Deliği Kamera Modeli Principal point (P) (temel nokta): Principal axis (temel eksen) ile görüntü düzleminin kesiştiği noktadır Normalize koordinat sisteminde orijin temel noktadır. Görüntü koordinat sisteminde ise orijin köşededir. Aradaki dönüşüm?

İğne Deliği Kamera Modeli ) /, / ( ),, ( y x p Z Y f p Z f Z Y 1 0 1 0 0 1 Z Y p f p f Z Z p Y f Z p f Z Y y x y x principal point: ), ( y p x p

İğne Deliği Kamera Modeli 1 y x p f p f K Kalibrasyon matrisi 1 0 1 0 0 1 Z Y p f p f Z Z p Y f Z p f Z Y y x y x

Piksel Koordinatları 1 1 1 y y x x y x y x p f p f m m K Yatay yönde metre başına piksel sayısı: m x, dikey yönde metre başına piksel sayısı: m y Piksel boyutu: m x m y 1 1 Piksel / metre metre Pikseller

Kamera dönmesi ve ötelemesi ~ cam R ~ - C ~ Kamera çerçevesinde nokta koordinatları Bir noktanın dünya çerçevesinde koordinatları Kamera merkezinin dünya çerçevesinde koordinatları

Kamera dönmesi ve ötelemesi cam R RC ~ ~ 0 1 1 0 KR R RC ~ 0 1 x K I RC ~ cam P KR t, t RC ~ Not: C kamera izdüşüm matrisinin boş uzayıdır (null space) (PC=0)

Kamera kalibrasyonu 3B koordinatları i koordinatları and görüntü izdüşümleri x i bilinen n adet noktadan kamera parametrelerinin kestirilmesi i x i P?

Kamera kalibrasyonu 3B koordinatları i koordinatları and görüntü izdüşümleri x i bilinen n adet noktadan kamera parametrelerinin kestirilmesi i P i x 0 P x i i 0 P P P 1 3 2 1 i T i T i T i i y x 0 P P P 0 0 0 3 2 1 T i i T i i T i i T i T i i T i x y x y

Kamera kalibrasyonu 0 p A 0 P P P 0 0 0 0 3 2 1 1 1 1 1 1 1 T n n T T n T n n T n T T T T T T T x y x y P, 11 derece serbestliğe sahiptir Bir 2B/3B bağlantısı bize 2 doğrusal olarak bağımsız denklem verir Minimal çözüm için 6 ilişkili nokta gereklidir

Kamera kalibrasyonu P, 11 derece serbestliğe sahiptir Bir 2B/3B bağlantısı bize 2 doğrusal olarak bağımsız denklem verir Minimal çözüm için 6 ilişkili nokta gereklidir Kamera matrisinin numerik formu tespit edildikten sonra içkin ve dışkın parametreleri tespit edilmelidir. Bu parametrelerin tespiti bir kestirim değil, matris ayrıştırması problemidir.

Stereo Görüntüleme

Stereo Görüntüleme İki kameradan oluşan sistemle aynı anda elde edilebilir Tek kameranın hareket ettirilmesi ile sıralı olarak elde edilebilir

Stereo Görüntüleme Bir sahnenin iki görüntüsü kullanılarak sahnenin 3B konumlarını hesaplamak Temel prensip, bağlantılı görüntü noktalarından üçgenleme (triangulation) yapmaktır İki sahneden aynı (ilişkili) nokta seçilir, üçgenleme ve geri izdüşüm ile 3B sahne konumu bulunur

Stereo Görüntüleme C C /

Stereo Görüntüleme 1) İlk görüntüdeki her nokta (veya öznitelik) için, ikinci görüntüdeki ilgili noktayı tespit et => Arama problemi 2) Eşleşen her nokta çifti için, üçgenleme ile 3B konumu tespit et => Kestirim problemi İlgili noktaları tespit etme problemi, epipolar geometri sayesinde 2B aramadan 1B aramaya sadeleşir

Epipolar Geometri Bir görüntüdeki bir nokta için diğer görüntüdeki ilgili noktayı bulmak Nokta, diğer görüntüde bir epipolar çizgi yaratır. Diğer görüntüdeki ilgili nokta bu çizgi üzerinde yer almaktadır? epipolar çizgi C epipol C / Temel çizgi

Epipolar Geometri Nokta, diğer görüntüde bir epipolar çizgi yaratır. Diğer görüntüdeki ilgili nokta bu çizgi üzerinde yer almaktadır

Epipolar Geometri Kamera merkezleri, görüntülerdeki eşleşen noktalar ve sahne noktası aynı düzlem (epipolar düzlem) üzerindedir x x / C C /

Epipolar Geometri Sol epipolar çizgi Sağ epipolar çizgi e e / baseline

Epipolar Geometri e e / baseline

Epipolar Geometri: Paralel Kameralar Epipolar geometri kameraların duruşuna (pozisyonuna ve yönelimine) ve iç parametrelerine (merkez konumları ve düzlemleri) bağlıdır, sahneye bağlı değildir

Epipolar Geometri: Yakınsayan Kameralar e e /

Epipolar Geometri Epipolar geometri bir eşleme tanımlamaktadır Sahneden bağımsız olan bu eşleme, doğrusaldır ve I = Fx şeklinde ifade edilebilir. F, 3 x 3 boyutunda, fundamental matrix adı verilen bir matristir.

Epipolar Geometri Akış şeması: P İlk görüntüdeki bir x noktası için P kamera denklemi ile bir ışını geriye izdüşür P / Işından iki nokta seç ve P kamerası denklemi ile ikinci görüntüye izdüşür İki görüntü noktası arasındaki doğruyu çapraz çarpım ile tespit et l / = p x q

Epipolar Geometri Kamera matrislerinin formu: kalibrasyon dönme öteleme Birinci kamera: İkinci kamera:

Epipolar Geometri Adım 1: İlk görüntüdeki bir x noktası için P kamerası ile bir ışını geriye izdüşür Z, x noktasının derinliği olmak üzere: P

Epipolar Geometri Adım 2: Işından iki nokta seç ve P kamerası ile ikinci görüntüye izdüşür, üzerinde iki nokta: P / Z = 0 (kamera merkezinde) : Z = (sonsuzda) : İkinci kamera düzlemine izdüşümleri:

Epipolar Geometri Adım 3: İki görüntü noktası arasındaki doğruyu tespit et x ve x ilişkili olduğundan dolayı:

Epipolar Geometri: Paralel Kameralar Y Z f f y = y ifadesine sadeleşir (yatay tarama çizgileri)

Epipolar Geometri: Ötelenen Kamera f Y f Z

Epipolar Geometri: Ötelenen Kamera F = 0 1 0 1 0 0 0 0 0 f x Fx = x y 1 0 1 0 1 0 0 0 0 0 x y 1 Y f Z x y + y x = 0

Paralel Kameralar

Paralel Kameralar epipolar doğru

Paralel Kameralar epipolar doğru Çapraz korelasyon benzeri benzerlik veya uzaklık yöntemleri ile en iyi eşleşen konum bulunur

Eşleme Algoritması Sol görüntüdeki her piksel (veya öznitelik) için, Sağ görüntüde epipolar doğru üzerinde komşuluk tabanlı çapraz korelasyon hesapla En yüksek korelasyon değerini doğru eş olarak ata Parameterler Komşuluk pencere boyutu Arama ayrılığı (uzaklığı)

Sol görüntüden 1 0.5 0 Sağ görüntüden Çapraz korelasyon değerleri x

Sol görüntüden 1 0.5 0 Sağ görüntüden Çapraz korelasyon değerleri

Eşleme Algoritması Yeterince betimleyici bir alan / nokta değilse çapraz korelasyon benzeri benzerlik veya uzaklık metriklerinin başarımı azalır Kameradan uzaklaşan zeminlerde ayrıca perspektif etki sonucu tespit zorlaşır

Olması gerekenler derinlikler Görüntü Pencere tabanlı eşleme ile bulunan derinlikler

Enerji En Küçükleme ile Stereo Eşleme Ayrıklık görüntüsü D için MAD: ) ( ), ( ), ( 2 1 2 1 D P D I I P I I D P I 1 I 2 D W 1 (i) W 2 (i+d(i)) D(i) ) ( ),, ( smooth 2 1 data D E D I I E E ) ( log ), ( log ), ( log 2 1 2 1 D P D I I P I I D P j i j D D i E, neighbors smooth ) ( ) ( 2 2 1 data )) ( ( ) ( i D i i W i W E

Olması gerekenler derinlikler Görüntü Enerji fonksiyonları graph cut ile en küçüklenince elde edilen derinlikler

Yakınsayan Kameralar e e /

Yakınsayan Kameralar: Doğrultma Yakınsayan kameralar görüntü eşleme ile paralel kameralara dönüştürülebilir

Yakınsayan Kameralar: Doğrultma

Stereo Görüntüleme: Örnek Sol görüntü Sağ görüntü Derinlik haritası

Stereo Görüntüleme: Örnek

Üç Boyutlu Yapıyı Elde Etmek için Farklı Yaklaşımlar

Yapısal Işık ile Derinlik Çıkarımı Kamera Projektör

Kinect

Lazer Tarama