Bilgisayarlı Görü Alanında Bazı Örnek Çalışmalar

Transkript

1 Bilgisayarlı Görü Alanında Bazı Örnek Çalışmalar Ahmet Burak Can Hacettepe Universitesi

2 Bilgisayarlı Görüde Bazı Örnek Çalışmalar Beyindeki Lezyonların Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi İnsan Hareketlerinin Derinlik Algılayıcılar ile Tanınması Eş Zamanlı Konum Belirleme ve Haritalama 2

3 Beyindeki Lezyonların Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi 3

4 Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Kafatası MR görüntüleri, beyinde oluşan beyaz lezyonların tespitinde yaygın olarak kullanılmaktadır. Beyinde oluşan bu lezyonlar yüksek tansiyon, depresyon, kardiyovasküler bozukluklar gibi çeşitli sağlık sorunları sonucunda ve yaşlanmaya bağlı olarak ortaya çıkabilmektedir. Oluşan bu lezyonlar, uzman radyologlar tarafından elle (manuel) tespit edilebilmektedir. Bu işlem hem zaman alıcı, hem de lezyonların hacim veya alanlarının hesaplanmasında yanıltıcı sonuçlara neden olabilmektedir. Bu nedenle, lezyonların tespitinde uzman doktora yardımcı olacak yazılım sistemlerine ihtiyaç duyulmaktadır. 4

5 Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Beyindeki lezyonların otomatik tespiti Lezyon alan ve hacminin hesaplanması Lezyonun zaman içindeki gelişiminin izlenebilmesi 5

6 Kafatasının Beyin Dokusundan Ayrıştırılması 6

7 Lezyonun Tespiti 7

8 Lezyonun 3 Boyutlu Modellenmesi ve Hacminin Hesaplanması 8

9 Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi 9

10 Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi Lazer göz cerrahisi, yoğunlaştırılmış lazer ışığı ile kornea tabakasını yeniden şekillendirme ilkesine dayanmaktadır. Bu işlem yapılırken, kornea tabakasının ayrıntılı bir topolojisi çıkarılır ve cerrahi işlem sırasında bu topolojiye uyulmasını sağlamak için bir göz takip yöntemi kullanılır. Çalışma ilkesi: Wavefront cihazından elde edilen görüntü üzerinde ameliyat örüntüsüne karar verilir. Örüntü çakıştırma yöntemleri ya da el ile- hastanın ameliyat esnasında ilk yatışı esnasında oluşan hata giderilir. Örüntünün doğru uygulanması için, ameliyat süresince göz takip edilir. 10

11 Çalışılan Görüntü Örnekleri 11

12 İlgi Alanı Çıkarımı - Morfolojik İşlemler a b c d e f (a) Mavi kanal görüntüsü. (b) a nın siyah-beyaz görüntüsü. (c) b nin tamlayanı olan görüntü. (d) c ye genişletme uygulandı. (e) d ye kapanma uygulandı. (f) e ye aşındırma uygulandı.12

13 İlgi Alanı Çıkarımı - Morfolojik İşlemler (devam) a b c d e (a) Kenarlar ile birleşik olan bileşenler silindi. (b) a ya genişletme uygulandı. (c) b deki en büyük bileşen seçildi. (d) c ye genişletme işlemi uygulandı. (e) d ye aşındırma işlemi uygulandı. 13

14 İlgi Alanı Çıkarımı 14

15 Nitelik Çıkarımı a b (a) Tüm görüntüye SIFT uygulandı. (b) SIFT uygulamasından sonra maske uygulandı. 15

16 Nitelik Eşleme 16

17 Eşleme Sonuçları 17

18 Açısal ve Düzlemsel Sapmaların Hesaplanması 18

19 Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi 19

20 Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi Bu çalışma kapsamında trafik işaretlerinin otomatik tanınması ve eşleştirilmesi için bir yöntem geliştirilmiştir. Türkiye karayollarında en çok kullanılan 46 trafik işareti tanınacaktır. Taşıttan kaydedilmiş video görüntüleri kullanılarak, işaretlerin boyutlarından ve dönüşüm açılarından etkilenmeden, hızlı ve doğru bir şekilde tanınması amaçlanmaktadır. Trafik işaretlerinin tanınması iki temel adımdan oluşmaktadır: Trafik işaretinin sahne içinde tespit edilmesi, Sahne içinden çıkartılan trafik işaretlerinin, tanınacak işaretler arasından eşleştirilmesi 20

21 Tanınabilen Trafik İşaretleri * 21

22 Örnek Bir Sahne 22

23 Trafik İşaretlerinin Tespit Edilmesi Kırmızı renk eşikleme sonrası görüntü 23

24 Trafik İşaretlerinin Tespit Edilmesi Mavi renk eşikleme sonrası görüntü 24

25 Trafik İşaretlerinin Tespit Edilmesi 25

26 Trafik İşaretlerinin Tespit Edilmesi İki görüntü VEYA işleci kullanılarak birleştirilir 26

27 Trafik İşaretlerinin Tespit Edilmesinde Sorunlar Genişletme işlemi Bazı işaretler birden fazla bağlantısı olmayan parçadan oluşabilir Morfolojik genişletme işlemi 27

28 İşaretlerin dış yüzeyinin temizlenmesi Kutu içindeki görüntü Renk eşikleme işleminden sonra elde edilen görüntü Boşluk doldurma işleminden sonra elde edilen görüntü Maske uygulandıktan sonraki hali 28

29 Kırmızı Trafik İşaretlerinin Eşleştirilmesi 29

30 Kırmızı Trafik İşaretlerinin Eşleştirilmesi 30

31 Mavi Trafik İşaretlerinin Eşleştirilmesi Normalleştirilmiş korelasyon kullanarak eşleştirme İşaretin yeniden boyutlandırılması 31

32 Başarım Gerçekleştiren Tanınabilen işaretler İşleme hızı (sn) Tanıma başarımı % Miura Hız işaretleri 0, Torrensen Hız işaretleri 0, Broggi İtalya daki işaretler 0,100? Fang Tayvan daki işaretler 0,300? Escalera 14? 85 Gao İngiltere deki işaretler 0,350 0, Bahlmann 23 0, Alefs 10 0, Bizim Çalışmamız 46 0,040 0,

33 Örnek Bazı Sahneler 33

34 Tanımakta Sorunla Karşılaşılan Bazı İşaretler 34

35 İnsan Hareketlerinin Derinlik Algılayıcılar ile Tanınması 35

36 X-Box Kinect Algılayıcı Kinect Kızıl ötesi ışınlar yardımıyla gerçek zamanlı olarak derinlik haritasının çıkarılması olanak vermektedir Faydaları Gerçek zamanlı olarak derinlik haritası oluşturulması Ortamdaki ışık ve aydınlatmadan etkilenmeme Düşük maliyet

37 Kinect SDK

38 Derinlik Haritasından İskelet Modeli Çıkarılması RGBD algılayıcı kullanılarak, eklem iskeleti çıkarılmıştır. Gövde duruşu öznitelikleri, el konumu öznitelikleri ve hareket bilgisi çıkarılmıştır.

39 Real-Time Human Pose Recognition in Parts from Single Depth Images Derinlik haritasından eklem iskeleti gerçek zamanlı olarak çıkarılmıştır. Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A Real-Time Human Pose Recognition in Parts from Single Depth Images. IEEE Computer Vision and Patern Recognition Conference

40 Kullanılan Veri Kümeleri: HUN-3D 1. Saate bakma 2. Elleri çapraz yapma 3. Tekme atma 4. Yerden birşey alma 5. Yumruk atma 6. Çömelme 7. Kendi ekseninde dönme 8. Kafa kaşıma 9. Yürüme 10. El sallama Saate Bakma Kolları Çapraz Yapma Tekme Yumruk Yerden Bişey Alma Oturma Kafayı Kaşıma Dönme Yürüme El Sallama

41 Microsoft Research Cambridge-12 MSRC Eğil, saklan 2. Silah ateşle 3. Bir nesne fırlat 4. Silah değiştir 5. Tekme 6. Gözlük giy 7. Müziğin sesini aç 8. Menüler arasında dolaş 9. Müziği aç 10. Alkışlamak 11. Müziğe İtiraz 12. Tempoyu yükselt.

42 MSR Action3D 1. Yüksek El sallama 2. Yatay el sallama 3. Çekiç hareketi 4. El ile yakalama 5. İleri yumruk 6. Fırlatma 7. X çizme 8. Tik atma 9. Çember çizme 10. Alkış 11. İkili el sallama 12. Eğilme 13. Boks 14. Tekme 15. Yan tekme 16. Jogging 17. Tenis servis 18. Tenis atışı 19. Tutup fırlatma 20. Golf atışı

43 Elde edilen İskelet - Nitelikler Kinect kullanılarak elde edilmiş veri setleri üzerinde önceki adımlardaki nitelikler çıkarılmıştır. Nitelik çıkarma işlemleri Matlab ortamında gerçekleştirilmiştir. Sınıflama işlemleri içinde Orange ve Matlab kullanılmıştır.

44 Eklem Açıları Eklemler ait açı bilgileri çıkarılmıştır. Elde edilen açılara ait histogramlar oluşturulup nitelik olarak kullanılmıştır

45 Kolları çarpraz tutma Tekme

46 Nitelik Çıkarma Eklem noktalarına ait yer değiştirme bilgisi de nitelik olarak kullanılmıştır.

47 Eş Zamanlı Konum Belirleme ve Haritalama (SLAM- Simultaneous Localization and Mapping) 47

48 SLAM Nedir? Robotik alanındaki iki kilit problem Konum belirleme (Localization) Mevcut harita üzerindeki konumu tespit etme Neredeyim? Haritalama (Mapping) Mevcut konumlar üzerinden haritayı çıkarma Ortam neye benziyor? SLAM: Eş zamanlı olarak robot konumunun belirlenmesi ve ortamın haritasının çıkarılması

49 SLAM Nedir? Robotik alanındaki en zorlu problemlerden birisidir. Haritanın çıkarılabilmesi için konum bilgisine, Konumun tespiti için ortamın haritasına ihtiyaç vardır. Haritalama Konum Belirleme

50 SLAM Uygulamalarından Örnekler

51 Sensör Ölçüm Belirsizliği Temel Problemler

52 Temel Problemler Veri İlişkilendirme (Döngü Kapama) Problemi Daha önce algılanan bir sahnenin yeniden algılanması Döngü Kapama

53 Temel Problemler Ortamın Büyüklüğü ve Getirdiği İşlemsel Yük Gerçek zamanlı işlem Kayma hatasındaki artış Ortamın Dinamik Olması Statik varsayım

54 Mesafe Sensörü Lazer Sonar Kullanılan Sensörler Kamera Stereo Monoküler RGB-D Algılayıcı

55 Örnek Haritalar [22] [27] [31] [34]

56 Örnek Haritalar [38] [39,40,41]

57 Katılımınız için teşekkürler.. Sorular?