Bilgisayarla Görüye Giriş

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Bilgisayarla Görüye Giriş"

Iskander Ekinci
7 yıl önce
İzleme sayısı:

1 Blgsayarla Görüye Grş Ders 8 Görüntü Eşleme Alp Ertürk alp.erturk@kocael.edu.tr

2 Panorama Oluşturma Görüntüler eşlememz / çakıştırmamız gerekmektedr

3 Panorama Oluşturma İk görüntüden özntelkler çıkar

4 Panorama Oluşturma İk görüntüden özntelkler çıkar Eşleşen çftler bul

5 Panorama Oluşturma İk görüntüden özntelkler çıkar Eşleşen çftler bul Bu çftler kullanarak görüntüler hzala / çakıştır Öncek dersler

6 Görüntü Eşleme En Küçük Kareler RANSAC Hough Dönüşümü

7 Görüntü Eşleme Özntelk kümesn fade etmek çn parametrk model seçm Bast model: Çzgler Bast model: Dareler Daha karmaşık model: Araba

8 Nesnelern Sınırları Kullanıcı tarafından belrlenmş sınırlar

9 Nesnelern Sınırları Işıklılık gradyanı / kenar tespt Kenar devamlılığı sorunları ve fazla kenarlar

10 Nesnelern Sınırları Çok ölçekl ışıklılık gradyanı Düşük güçtek kenarlar kaybedlr

11 Nesnelern Sınırları Otomatk tespt edlen sınırlar Görüntü Kullanıcı tarafından belrlenen sınırlar

12 Nesnelern Sınırları

13 Nesnelern Sınırları

14 Görüntü Eşleme: Çzgler Hang noktaların çzgye at olduğunu blyorsak, en y çzg parametrelern nasıl buluruz? En küçük kareler Aykırı noktalar (outlers) varsa? Gürbüz eşleme, RANSAC Çok çzg varsa? Oylama yöntemler: RANSAC, Hough dönüşümü Çzg olduğundan emn değlsek? Model seçm

15 En Küçük Kareler le Eşleme Ver: (x 1, y 1 ),, (x n, y n ) Doğru denklem: y = m x + b En küçükleyecek (m, b) y bul E n 1 ( y mx b) 2 (x, y ) y=mx+b

16 Ver: (x 1, y 1 ),, (x n, y n ) Doğru denklem: y = m x + b En küçükleyecek (m, b) y bul En Küçük Kareler le Eşleme n b mx y E 1 2 ) ( (x, y ) y=mx+b 0 & 0 b E m E x m y b x x y y x x m 2 ) ( ) )( ( N y y N x x

17 En Küçük Kareler le Eşleme Dönme değşmezlkl değldr Dk çzglerde başarısızdır y x Hatanın en küçük olduğu doğru

18 Tam En Küçük Kareler le Eşleme (x, y ) noktası le ax+by=d (a 2 +b 2 =1) doğrusu arasındak mesafe: ax + by d Dk uzaklıkların karelernn toplamını en küçükleyen (a, b, d) y bulun E n 1 ( ax by d 2 ) E n 1 2 ( ax(x by, y d ) ax+by=d Ünte normal: N=(a, b)

19 Tam En Küçük Kareler le Eşleme n d by ax E 1 2 ) ( 0 ) 2( 1 n d by ax d E b y ax y n b x n a d n n 1 1 ) ( ) ( )) ( ) ( ( UN UN b a y y x x y y x x y y b x x a E T n n n 0 ) ( 2 N U U dn de T Çözüm: U T U n en küçük özdeğer le bağlantılı özvektörü

20 Tam En Küçük Kareler le Eşleme y y x x y y x x U n n 1 1 n n n n T y y y y x x y y x x x x U U ) ( ) )( ( ) )( ( ) ( ), ( y x N = (a, b) İknc moment matrs ), ( y y x x

21 En Küçük Kareler le Eşleme

22 En Küçük Kareler le Eşleme

23 Gürbüz Eşleme Genel yaklaşım: En küçükleyn r x, ; r (x, θ): Model parametres θ ya göre noktasının artık değer Gürbüz şlev ρ artık değer u nun küçük değerler çn karesel uzaklık gb davranır, büyük değerler çn se doyuma ulaşır.

24 Gürbüz Eşleme: En uygun ölçek

25 Gürbüz Eşleme: Çok küçük ölçek

26 Gürbüz Eşleme: Çok büyük ölçek

27 Aykırı noktaların modele etks Aykırı nokta Aykırı olmayan noktalar Aykırı nokta

28 Aykırı noktaların modele etks

29 RANSAC Gürbüz eşleme, sınırlı sayıda aykırı değer çn çözüm sağlar, ancak aykırı değerler daha çok sayıdaysa: Random sample consensus (RANSAC) Ana hatları: N kere tekrarla: Rastgele olarak, küçük br nokta alt kümes seç Bu alt kümeye br model oturt Kalan noktalar arasında modele yakın olanları bul, gersn aykırı nokta olarak reddet Tekrarlar bttkten sonra en y model al?

30 RANSAC le Çzg Eşleme Ana hatları: N kere tekrarla: Rastgele olarak, küçük br nokta alt kümes seç (s) Bu s adet noktaya br çzg oturt Kalan noktalar arasında bu doğruya mesafes t den küçük olan noktaları bul d ya da daha çok böyle nokta varsa, doğruyu bu noktalar le brlkte tekrar oluştur ve şlem btr, aks halde br sonrak tekrara geç

31 RANSAC Parametre Seçm Seçlen lk nokta sayısı s Model oturtmak çn gereken mnmum sayı (çzg çn k) Uzaklık eşğ t Noktaların aykırı olmama olasılığı p olacak şeklde seç (örn. 0.95) Standart sapması σ olan sıfır ortalamalı Gauss gürültüsü: t 2 = 3.84σ 2 Örnek sayısı N p olasılıkla, en az br rastgele örnek, aykırı değerlerden arınmış şeklde N seçlmel s N 1 1 e 1 p p/ log1 e log 1 1 s Aykırı değer oranı (e) s 5% 10% 20% 25% 30% 40% 50%

32 RANSAC Parametre Seçm Seçlen lk nokta sayısı s Model oturtmak çn gereken mnmum sayı (çzg çn k) Uzaklık eşğ t Noktaların aykırı olmama olasılığı p olacak şeklde seç (örn. 0.95) Standart sapması σ olan sıfır ortalamalı Gauss gürültüsü: t 2 =3.84σ 2 Örnek sayısı N p olasılıkla, en az br rastgele örnek, aykırı değerlerden arınmış şeklde seçlmel Konsensüs kümes boyutu d Beklenen aykırı olmayan nokta oranına bağlıdır. Beklenen aykırı olmayan oranı?

33 RANSAC Parametre Seçm Örnek sayısının adaptf olarak belrlenmes Aykırı olmayan oranı (1 - e) önceden blnmedğ çn, en kötü durum seçlr, örneğn %50. Daha çok aykırı olmayan nokta bulundukça bu oran artırılır, örneğn %80 => e = 0.2 Süreç: N =, örnek sayısı = 0 N > örnek sayısı olduğu sürece Br örnek seç ve aykırı olmayanların sayısını belrle e = 1 - (aykırı olmayan sayısı) / (toplam sayı) N y e den tekrar hesapla N Örnek sayısını 1 arttır p/ log1 e log 1 1 s

34 RANSAC

35 RANSAC

36 RANSAC

37 RANSAC

38 RANSAC

39 RANSAC

40 RANSAC

41 RANSAC

42 RANSAC

43 RANSAC: Öteleme Varsayılan eşleme

44 RANSAC: Öteleme Br eşleme çn, aykırı olmayan noktaları say

45 RANSAC: Öteleme En çok aykırı olmayan nokta çeren seç Source: A. Efros

46 RANSAC Artılar: Bast ve genel Brçok farklı probleme uygulanablr Pratkte y çalışır Eksler: Ayarlanması gereken çok sayıda parametre En düşük örnek sayısına bağlı olarak modeln lk oluşturulması y olmayablr Çok fazla terasyon gerekeblr Yüksek aykırı nokta oranlarında başarısız olablr Örnekleme çn kullanılan yaklaşım fazla bast

47 Hough Dönüşümü Nesne / sınır tespt çn kullanılablr Kenarları brleştrme tabanlı çalışmaktadır Kenar kümelernden obje adayları oluşturur Bu adaylar arasında parametre uzayında oylama yapar Son aşamada yumuşatma le hataları azaltmayı amaçlar

48 Hough Dönüşümü Genel akışı: Parametre uzayı oluştur Parametre uzayını kutulara ayrıklaştır Görüntüdek her özntelk noktası çn, parametre uzayında, bu noktayı yaratmış olablecek her kutuya br oy koy En fazla oyu olan kutuyu bul

49 Hough Dönüşümü Parametre Uzayı Görüntüdek br çzg, parametre uzayında br nokta olarak gösterlr. Görüntü uzayı Hough parametre uzayı

50 Hough Dönüşümü Parametre Uzayı Görüntüdek br nokta, parametre uzayında br çzg le fade edlr. Görüntü uzayı Hough parametre uzayı

51 Hough Dönüşümü Parametre Uzayı Görüntüdek br k noktayı brleştren doğru, parametre uzayında: Görüntü uzayı Hough parametre uzayı

52 Hough Dönüşümü Parametre Uzayı Doğru denklem: y mx c y y mx c ( x, y ) kullanarak, Bulun: ( m, c) ( x, y ) y mx c veya c x m y m Görüntü Uzayı x ( m, c) Parametre Uzayı c

53 Hough Dönüşümü Doğru Tespt Algortma: y Parametre uzayını ncemle Akkümülator dzs yarat Her görüntü kenarı Eğer A( m, c) ( m, c) A( m, c) A ( m, c) 0 m, c ( x, y A( m, c) A( m, c) 1 ( m, c) çn, doğru üstündeyse: c x m y de yerel maksmumu bul ) Parametre Uzayı A( m, c) ( m, c) x

54 Hough Dönüşümü Parametre Uzayı Kartezyen parametre uzayının ekskler: Sınırlı olmayan parametre uzayı Dkey çzgler sonsuz m gerektrr Çözüm: Polar uzay x cos y sn Görüntüdek her nokta, (,) parametre uzayında br snüsodal

55 Hough Dönüşümü - Algortma Algortma: Parametre uzayını ncemle H (, ) H (, ) 0, Akkümülator dzs yarat Her görüntü kenar noktası θ = 0 dan 180 ye x cos y sn x cos y sn ( x, y çn, H (, ) Maksmum yı veren ve bul ve görüntüdek mge: x cos y sn ) ρ θ

56 Hough Dönüşümü Özntelkler Oylar

57 Hough Dönüşümü Kare sonucu: Çember sonucu:

58 Hough Dönüşümü

59 Hough Dönüşümü

60 Hough Dönüşümü: Gürültü Etks Özntelkler Oylar

61 Maksmum oy sayısı Hough Dönüşümü: Gürültü Etks Gürültü arttıkça 20 noktalık br çzg çn elde edlen oy sayıları şu şeklde değşr: Gürültü sevyes

62 Hough Dönüşümü: Gürültü Etksn Azaltmak Parametre uzayında y br ızgara yapısı / ayrıştırma seç Çok kaba: Çok sayıda farklı doğru tek br kareye denk gelr, yüksek oylar elde edlr Çok hassas: Çzgye at noktalar farklı kareye denk gelerek çzgnn kaçırılmasına neden olablr Komşu kutular arttırılır (dzde yumuşatma yapılmış olur) Alakasız özntelklerden kurtarılmaya çalışılır Sadece yüksek gradyan genlğne sahp kenar noktaları alınır

63 Hough Dönüşümü: Dareler y Görüntü uzayı Hough parametre uzayı r ( x, y) ri( x, y) (x,y) ( x, y) ri( x, y) x x y

64 Hough Dönüşümü: Dareler ( x a) ( y b) r Yarıçap blnyorsa:

65 Hough Dönüşümü: Dareler

66 Hough Dönüşümü: Dareler

67 Hough Dönüşümü: Dareler Penny yarıçapı çn: Çeyreklk yarıçapı çn:

68 Genelleştrlmş Hough Dönüşümü Sınır noktaları ve br referans nokta le tanımlanan şekl bulmak a

69 Genelleştrlmş Hough Dönüşümü Her sınır noktası p çn, gradyan yönelmnn br fonksyonu olan r = a p yer değştrme vektörü hesaplanablr a p θ r(θ)

70 Genelleştrlmş Hough Dönüşümü Her sınır noktası p çn, gradyan yönelmnn br fonksyonu olan r = a p yer değştrme vektörü hesaplanablr Model şekl çn: gradyan yönüne göre yer değştrme vektörler θ ndeksl br tablo le tutulablr Gradyan yönelm θ olan her kenar noktası p çn: θ ndeksl tüm r ler al Her r(θ) çn, Hough uzayında p+r(θ) ye br oy ver Hough uzayında tepe noktası, en fazla kenar desteğ olan referans noktasıdır Not: Burada dönme ve ölçeklemenn olmadığı, sadece öteleme olduğu varsayılmıştır

Benzer belgeler

Bilgisayarla Görüye Giriş

Bilgisayarla Görüye Giriş Ders 7 SIFT ve Öznitelik Eşleme Alp Ertürk alp.erturk@kocaeli.edu.tr Panorama Oluşturma Görüntü mozaikleme, panorama oluşturma gibi tüm uygulamalar için öncelikle ilgili görüntülerin