Bilgisayarla Görüye Giriş Ders 12 Video, Optik Akış ve Takip Alp Ertürk alp.erturk@kocaeli.edu.tr
Video Video, farklı zamanlarda alınan çerçeveler dizisidir Videolar, iki boyut uzamsal, üçüncü boyut zaman ekseni olmak üzere bir görüntü kübü ile temsil edilebilir
Video için Kümeleme Videolarda kümelemenin en sık kullanımı arkaplan çıkarımıdır Statik arkaplan, hareketli önplandan ayrılarak devam eden uygulamalar için hız ve başarım artışı sağlanır
Video için Kümeleme
Video için Kümeleme
Video için Kümeleme
Video için Kümeleme Arkaplan çıkarımının aşamaları şunlardır: İlk arkaplan kestirimi yapılır Her çerçeve için, Hareketli ortalama (önceki çerçeveleri kullanan) ile kestirim güncellenir Çerçeveden arkaplan kestirimi çıkarılır Farkın genliğinin bir eşikten büyük olduğu piksel, önplan olarak etiketlenir
Video için Kümeleme Arkaplan çıkarımının zorlukları: Gölgelerin değişimi Işıklılık değişimleri Hareketli nesneler Hareketli olan nesnenin hareketsiz hale gelmesi
Hareket Kestirimi ve Takip
Hareket Kestirimi ve Takip 3B yapı kestiriminde kullanılabilir Nesnelerin kümelenmesi için ek bilgi sağlar Dinamik modeller oluşturmayı ve öğrenmeyi olanaklı kılar Olay ve aktiviteleri tanımak için gereklidir Video kalitesini artırmak için kullanılabilir (örn. Hareket stabilizasyonu)
Hareket Kestirimi ve Takip: Aktivite Tespiti
Hareket Kestirimi ve Takip: Stabilizasyon
Hareket Kestirimi ve Takip: Stabilizasyon
Hareket Kestirimi ve Takip: Hareket Alanı 3B sahne hareketinin görüntüye yansıtılmasıdır
Hareket Kestirimi ve Takip: Optik Akış Işıklılık örüntüsünün gözlenen hareketi Hareket alanı (motion field) Optik akış Sıfır olmayan hareket alanı, sıfır optik akış Sıfır hareket alanı, sıfır olmayan optik akış
Hareket Kestirimi ve Takip: Optik Akış H deki bir piksel için I da ilgili pikselin tespiti Varsayımlar: İlgili noktalar aynı görünür (aynı renk / aynı ışıklılık) Hareket kısıtlıdır; noktalar çok uzağa hareket etmez
Hareket Kestirimi ve Takip: Optik Akış Eşit ışıklılık varsayımı ile: H(x,y)=I(x+u, y+v) u ve v bir pikselden az dersek, Taylor açılımı ile:
Hareket Kestirimi ve Takip: Optik Akış İki denklemi birleştirince: İki bilinmeyenli tek denklem Gradyan yönünde optik akış bileşeni belirlenir, kenara paralel olan optik akış bileşeni belirlenemez
Hareket Kestirimi ve Takip: Optik Akış
Hareket Kestirimi ve Takip: Kanade - Lucas Hareket vektörünün bir blok dahilinde aynı kaldığı varsayımını yapar Denklem sayısı bilinmeyen sayısından çok: En Küçük Kareler
Hareket Kestirimi ve Takip: Kanade - Lucas Çözümü için: A T A tersi alınabilir olmalıdır A T A çok küçük olmamalıdır (özdeğerleri çok küçük olmamalıdır) A T A iyi koşullanmış olmalıdır (özdeğerlerin oranı çok büyük olmamalıdır)
Hareket Kestirimi ve Takip: Kanade - Lucas A T A nın özvektör ve özdeğerleri kenar yönü ve genliği ile bağlantılıdır Daha büyük özdeğer ile ilişkili özvektör en yüksek ışıklılık değişiminin yönüdür, diğer özvektör bu yöne diktir.
Hareket Kestirimi ve Takip: Kanade - Lucas Büyük ve yakın gradyan değerleri Büyük l 1, küçük l 2
Hareket Kestirimi ve Takip: Kanade - Lucas Gradyan değerleri küçük Küçük l 1, küçük l 2
Hareket Kestirimi ve Takip: Kanade - Lucas Büyük genliklerde farklı gradyanlar Büyük l 1, büyük l 2
Hareket Modelleri Translation 3D rotation Affine Perspective 2 bilinmeyen 3 bilinmeyen 6 bilinmeyen 8 bilinmeyen
Hareket Kestirimi ve Takip: Kanade - Lucas Olası hata / düşük başarı sebepleri: Işıklılık sabitliği sağlanmıyorsa Hareket küçük değilse Bir nokta, komşularına benzer şekilde hareket etmiyorsa Pencere boyutu?
Hareket Kestirimi ve Takip: Kanade - Lucas Yinelemeli İyileştirilmiş Versiyon: Kanade- Lucas denklemlerini çözerek her piksel için hız (optik akış vektörü) kestirimi Önceki görüntüyü sonraki görüntüye hız vektörlerini kullanarak eğmek (warping) Çözüme yakınsayana kadar yinelemeli olarak tekrarlamak
Hareket Kestirimi ve Takip: Kanade - Lucas Kestirim Güncellemesi İlk tahmin : Kestirim : x 0 x
Hareket Kestirimi ve Takip: Kanade - Lucas Kestirim Güncellemesi İlk tahmin : Kestirim : x 0 x
Hareket Kestirimi ve Takip: Kanade - Lucas Kestirim Güncellemesi İlk tahmin : Kestirim : x 0 x
Hareket Kestirimi ve Takip: Kanade - Lucas x 0 x
Hareket Kestirimi ve Takip: Kanade - Lucas Gerçekleme zorlukları ve tavsiyeler: Warping işlemi zorlayıcıdır, warp sonucu hataların kestirim hatasından düşük olması gerekmektedir. Bir görüntü warp edildikten sonra, diğerinin türevleri alınarak her yinelemede türev hesabını tekrarlamaktan kaçınılabilir Kestirim öncesi alçak geçiren süzgeç kullanılarak başarım artırılabilir
Hareket Küçük Miktarda Değilse
Hareket Küçük Miktarda Değilse Zamansal örtüşme, optik akışta belirsizliklere yol açar Çünkü aynı ışıklılığa sahip birçok piksel olabilir ve hangi eşlemenin doğru olduğunu belirlemek zorlaşır Gerçek kayma Kestirilen kayma En yakın eşleme doğru En yakın eşleme hatalı
Kabadan hassasa optik akış kestirimi
Kabadan hassasa optik akış kestirimi u=1.25 piksel u=2.5 piksel u=5 piksel image H görüntüsü H u=10 piksel image I görüntüsü I H görüntüsünün Gauss piramidi I görüntüsünün Gauss piramidi
Kabadan hassasa optik akış kestirimi Yinelemeli L-K Yinelemeli L-K warp ve üst-örnekle... image H görüntüsü H image I görüntüsü I H görüntüsünün Gauss piramidi I görüntüsünün Gauss piramidi