Blgsayarla Görüye Grş Ders 8 Görüntü Eşleme Alp Ertürk alp.erturk@kocael.edu.tr
Panorama Oluşturma Görüntüler eşlememz / çakıştırmamız gerekmektedr
Panorama Oluşturma İk görüntüden özntelkler çıkar
Panorama Oluşturma İk görüntüden özntelkler çıkar Eşleşen çftler bul
Panorama Oluşturma İk görüntüden özntelkler çıkar Eşleşen çftler bul Bu çftler kullanarak görüntüler hzala / çakıştır Öncek dersler
Görüntü Eşleme En Küçük Kareler RANSAC Hough Dönüşümü
Görüntü Eşleme Özntelk kümesn fade etmek çn parametrk model seçm Bast model: Çzgler Bast model: Dareler Daha karmaşık model: Araba
Nesnelern Sınırları Kullanıcı tarafından belrlenmş sınırlar
Nesnelern Sınırları Işıklılık gradyanı / kenar tespt Kenar devamlılığı sorunları ve fazla kenarlar
Nesnelern Sınırları Çok ölçekl ışıklılık gradyanı Düşük güçtek kenarlar kaybedlr
Nesnelern Sınırları Otomatk tespt edlen sınırlar Görüntü Kullanıcı tarafından belrlenen sınırlar
Nesnelern Sınırları
Nesnelern Sınırları
Görüntü Eşleme: Çzgler Hang noktaların çzgye at olduğunu blyorsak, en y çzg parametrelern nasıl buluruz? En küçük kareler Aykırı noktalar (outlers) varsa? Gürbüz eşleme, RANSAC Çok çzg varsa? Oylama yöntemler: RANSAC, Hough dönüşümü Çzg olduğundan emn değlsek? Model seçm
En Küçük Kareler le Eşleme Ver: (x 1, y 1 ),, (x n, y n ) Doğru denklem: y = m x + b En küçükleyecek (m, b) y bul E n 1 ( y mx b) 2 (x, y ) y=mx+b
Ver: (x 1, y 1 ),, (x n, y n ) Doğru denklem: y = m x + b En küçükleyecek (m, b) y bul En Küçük Kareler le Eşleme n b mx y E 1 2 ) ( (x, y ) y=mx+b 0 & 0 b E m E x m y b x x y y x x m 2 ) ( ) )( ( N y y N x x
En Küçük Kareler le Eşleme Dönme değşmezlkl değldr Dk çzglerde başarısızdır y x Hatanın en küçük olduğu doğru
Tam En Küçük Kareler le Eşleme (x, y ) noktası le ax+by=d (a 2 +b 2 =1) doğrusu arasındak mesafe: ax + by d Dk uzaklıkların karelernn toplamını en küçükleyen (a, b, d) y bulun E n 1 ( ax by d 2 ) E n 1 2 ( ax(x by, y d ) ax+by=d Ünte normal: N=(a, b)
Tam En Küçük Kareler le Eşleme n d by ax E 1 2 ) ( 0 ) 2( 1 n d by ax d E b y ax y n b x n a d n n 1 1 ) ( ) ( )) ( ) ( ( 2 1 1 1 2 UN UN b a y y x x y y x x y y b x x a E T n n n 0 ) ( 2 N U U dn de T Çözüm: U T U n en küçük özdeğer le bağlantılı özvektörü
Tam En Küçük Kareler le Eşleme y y x x y y x x U n n 1 1 n n n n T y y y y x x y y x x x x U U 1 2 1 1 1 2 ) ( ) )( ( ) )( ( ) ( ), ( y x N = (a, b) İknc moment matrs ), ( y y x x
En Küçük Kareler le Eşleme
En Küçük Kareler le Eşleme
Gürbüz Eşleme Genel yaklaşım: En küçükleyn r x, ; r (x, θ): Model parametres θ ya göre noktasının artık değer Gürbüz şlev ρ artık değer u nun küçük değerler çn karesel uzaklık gb davranır, büyük değerler çn se doyuma ulaşır.
Gürbüz Eşleme: En uygun ölçek
Gürbüz Eşleme: Çok küçük ölçek
Gürbüz Eşleme: Çok büyük ölçek
Aykırı noktaların modele etks Aykırı nokta Aykırı olmayan noktalar Aykırı nokta
Aykırı noktaların modele etks
RANSAC Gürbüz eşleme, sınırlı sayıda aykırı değer çn çözüm sağlar, ancak aykırı değerler daha çok sayıdaysa: Random sample consensus (RANSAC) Ana hatları: N kere tekrarla: Rastgele olarak, küçük br nokta alt kümes seç Bu alt kümeye br model oturt Kalan noktalar arasında modele yakın olanları bul, gersn aykırı nokta olarak reddet Tekrarlar bttkten sonra en y model al?
RANSAC le Çzg Eşleme Ana hatları: N kere tekrarla: Rastgele olarak, küçük br nokta alt kümes seç (s) Bu s adet noktaya br çzg oturt Kalan noktalar arasında bu doğruya mesafes t den küçük olan noktaları bul d ya da daha çok böyle nokta varsa, doğruyu bu noktalar le brlkte tekrar oluştur ve şlem btr, aks halde br sonrak tekrara geç
RANSAC Parametre Seçm Seçlen lk nokta sayısı s Model oturtmak çn gereken mnmum sayı (çzg çn k) Uzaklık eşğ t Noktaların aykırı olmama olasılığı p olacak şeklde seç (örn. 0.95) Standart sapması σ olan sıfır ortalamalı Gauss gürültüsü: t 2 = 3.84σ 2 Örnek sayısı N p olasılıkla, en az br rastgele örnek, aykırı değerlerden arınmış şeklde N seçlmel s N 1 1 e 1 p p/ log1 e log 1 1 s Aykırı değer oranı (e) s 5% 10% 20% 25% 30% 40% 50% 2 2 3 5 6 7 11 17 3 3 4 7 9 11 19 35 4 3 5 9 13 17 34 72 5 4 6 12 17 26 57 146 6 4 7 16 24 37 97 293 7 4 8 20 33 54 163 588 8 5 9 26 44 78 272 1177
RANSAC Parametre Seçm Seçlen lk nokta sayısı s Model oturtmak çn gereken mnmum sayı (çzg çn k) Uzaklık eşğ t Noktaların aykırı olmama olasılığı p olacak şeklde seç (örn. 0.95) Standart sapması σ olan sıfır ortalamalı Gauss gürültüsü: t 2 =3.84σ 2 Örnek sayısı N p olasılıkla, en az br rastgele örnek, aykırı değerlerden arınmış şeklde seçlmel Konsensüs kümes boyutu d Beklenen aykırı olmayan nokta oranına bağlıdır. Beklenen aykırı olmayan oranı?
RANSAC Parametre Seçm Örnek sayısının adaptf olarak belrlenmes Aykırı olmayan oranı (1 - e) önceden blnmedğ çn, en kötü durum seçlr, örneğn %50. Daha çok aykırı olmayan nokta bulundukça bu oran artırılır, örneğn %80 => e = 0.2 Süreç: N =, örnek sayısı = 0 N > örnek sayısı olduğu sürece Br örnek seç ve aykırı olmayanların sayısını belrle e = 1 - (aykırı olmayan sayısı) / (toplam sayı) N y e den tekrar hesapla N Örnek sayısını 1 arttır p/ log1 e log 1 1 s
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC
RANSAC: Öteleme Varsayılan eşleme
RANSAC: Öteleme Br eşleme çn, aykırı olmayan noktaları say
RANSAC: Öteleme En çok aykırı olmayan nokta çeren seç Source: A. Efros
RANSAC Artılar: Bast ve genel Brçok farklı probleme uygulanablr Pratkte y çalışır Eksler: Ayarlanması gereken çok sayıda parametre En düşük örnek sayısına bağlı olarak modeln lk oluşturulması y olmayablr Çok fazla terasyon gerekeblr Yüksek aykırı nokta oranlarında başarısız olablr Örnekleme çn kullanılan yaklaşım fazla bast
Hough Dönüşümü Nesne / sınır tespt çn kullanılablr Kenarları brleştrme tabanlı çalışmaktadır Kenar kümelernden obje adayları oluşturur Bu adaylar arasında parametre uzayında oylama yapar Son aşamada yumuşatma le hataları azaltmayı amaçlar
Hough Dönüşümü Genel akışı: Parametre uzayı oluştur Parametre uzayını kutulara ayrıklaştır Görüntüdek her özntelk noktası çn, parametre uzayında, bu noktayı yaratmış olablecek her kutuya br oy koy En fazla oyu olan kutuyu bul
Hough Dönüşümü Parametre Uzayı Görüntüdek br çzg, parametre uzayında br nokta olarak gösterlr. Görüntü uzayı Hough parametre uzayı
Hough Dönüşümü Parametre Uzayı Görüntüdek br nokta, parametre uzayında br çzg le fade edlr. Görüntü uzayı Hough parametre uzayı
Hough Dönüşümü Parametre Uzayı Görüntüdek br k noktayı brleştren doğru, parametre uzayında: Görüntü uzayı Hough parametre uzayı
Hough Dönüşümü Parametre Uzayı Doğru denklem: y mx c y y mx c ( x, y ) kullanarak, Bulun: ( m, c) ( x, y ) y mx c veya c x m y m Görüntü Uzayı x ( m, c) Parametre Uzayı c
Hough Dönüşümü Doğru Tespt Algortma: y Parametre uzayını ncemle Akkümülator dzs yarat Her görüntü kenarı Eğer A( m, c) ( m, c) A( m, c) A ( m, c) 0 m, c ( x, y A( m, c) A( m, c) 1 ( m, c) çn, doğru üstündeyse: c x m y de yerel maksmumu bul ) Parametre Uzayı A( m, c) 1 1 1 1 1 1 2 1 1 1 1 1 1 ( m, c) x
Hough Dönüşümü Parametre Uzayı Kartezyen parametre uzayının ekskler: Sınırlı olmayan parametre uzayı Dkey çzgler sonsuz m gerektrr Çözüm: Polar uzay x cos y sn Görüntüdek her nokta, (,) parametre uzayında br snüsodal
Hough Dönüşümü - Algortma Algortma: Parametre uzayını ncemle H (, ) H (, ) 0, Akkümülator dzs yarat Her görüntü kenar noktası θ = 0 dan 180 ye x cos y sn x cos y sn ( x, y çn, H (, ) Maksmum yı veren ve bul ve görüntüdek mge: x cos y sn ) ρ 1 1 1 1 1 1 2 1 1 1 1 1 1 θ
Hough Dönüşümü Özntelkler Oylar
Hough Dönüşümü Kare sonucu: Çember sonucu:
Hough Dönüşümü
Hough Dönüşümü
Hough Dönüşümü: Gürültü Etks Özntelkler Oylar
Maksmum oy sayısı Hough Dönüşümü: Gürültü Etks Gürültü arttıkça 20 noktalık br çzg çn elde edlen oy sayıları şu şeklde değşr: Gürültü sevyes
Hough Dönüşümü: Gürültü Etksn Azaltmak Parametre uzayında y br ızgara yapısı / ayrıştırma seç Çok kaba: Çok sayıda farklı doğru tek br kareye denk gelr, yüksek oylar elde edlr Çok hassas: Çzgye at noktalar farklı kareye denk gelerek çzgnn kaçırılmasına neden olablr Komşu kutular arttırılır (dzde yumuşatma yapılmış olur) Alakasız özntelklerden kurtarılmaya çalışılır Sadece yüksek gradyan genlğne sahp kenar noktaları alınır
Hough Dönüşümü: Dareler y Görüntü uzayı Hough parametre uzayı r ( x, y) ri( x, y) (x,y) ( x, y) ri( x, y) x x y
Hough Dönüşümü: Dareler 2 2 2 ( x a) ( y b) r Yarıçap blnyorsa:
Hough Dönüşümü: Dareler
Hough Dönüşümü: Dareler
Hough Dönüşümü: Dareler Penny yarıçapı çn: Çeyreklk yarıçapı çn:
Genelleştrlmş Hough Dönüşümü Sınır noktaları ve br referans nokta le tanımlanan şekl bulmak a
Genelleştrlmş Hough Dönüşümü Her sınır noktası p çn, gradyan yönelmnn br fonksyonu olan r = a p yer değştrme vektörü hesaplanablr a p θ r(θ)
Genelleştrlmş Hough Dönüşümü Her sınır noktası p çn, gradyan yönelmnn br fonksyonu olan r = a p yer değştrme vektörü hesaplanablr Model şekl çn: gradyan yönüne göre yer değştrme vektörler θ ndeksl br tablo le tutulablr Gradyan yönelm θ olan her kenar noktası p çn: θ ndeksl tüm r ler al Her r(θ) çn, Hough uzayında p+r(θ) ye br oy ver Hough uzayında tepe noktası, en fazla kenar desteğ olan referans noktasıdır Not: Burada dönme ve ölçeklemenn olmadığı, sadece öteleme olduğu varsayılmıştır