Bilgisayarlı Görü Alanında Bazı Örnek Çalışmalar Ahmet Burak Can Hacettepe Universitesi abc@cs.hacettepe.edu.tr
Bilgisayarlı Görüde Bazı Örnek Çalışmalar Beyindeki Lezyonların Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi İnsan Hareketlerinin Derinlik Algılayıcılar ile Tanınması Eş Zamanlı Konum Belirleme ve Haritalama 2
Beyindeki Lezyonların Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi 3
Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Kafatası MR görüntüleri, beyinde oluşan beyaz lezyonların tespitinde yaygın olarak kullanılmaktadır. Beyinde oluşan bu lezyonlar yüksek tansiyon, depresyon, kardiyovasküler bozukluklar gibi çeşitli sağlık sorunları sonucunda ve yaşlanmaya bağlı olarak ortaya çıkabilmektedir. Oluşan bu lezyonlar, uzman radyologlar tarafından elle (manuel) tespit edilebilmektedir. Bu işlem hem zaman alıcı, hem de lezyonların hacim veya alanlarının hesaplanmasında yanıltıcı sonuçlara neden olabilmektedir. Bu nedenle, lezyonların tespitinde uzman doktora yardımcı olacak yazılım sistemlerine ihtiyaç duyulmaktadır. 4
Beyaz Cevher Lezyonlarının Otomatik Tespiti İçin Bir Sistemin Tasarım Ve Gerçekleştirimi Beyindeki lezyonların otomatik tespiti Lezyon alan ve hacminin hesaplanması Lezyonun zaman içindeki gelişiminin izlenebilmesi 5
Kafatasının Beyin Dokusundan Ayrıştırılması 6
Lezyonun Tespiti 7
Lezyonun 3 Boyutlu Modellenmesi ve Hacminin Hesaplanması 8
Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi 9
Lazer Göz Cerrahisi İçin Bir Örüntü Çakıştırma Yöntemi Geliştirilmesi Lazer göz cerrahisi, yoğunlaştırılmış lazer ışığı ile kornea tabakasını yeniden şekillendirme ilkesine dayanmaktadır. Bu işlem yapılırken, kornea tabakasının ayrıntılı bir topolojisi çıkarılır ve cerrahi işlem sırasında bu topolojiye uyulmasını sağlamak için bir göz takip yöntemi kullanılır. Çalışma ilkesi: Wavefront cihazından elde edilen görüntü üzerinde ameliyat örüntüsüne karar verilir. Örüntü çakıştırma yöntemleri ya da el ile- hastanın ameliyat esnasında ilk yatışı esnasında oluşan hata giderilir. Örüntünün doğru uygulanması için, ameliyat süresince göz takip edilir. 10
Çalışılan Görüntü Örnekleri 11
İlgi Alanı Çıkarımı - Morfolojik İşlemler a b c d e f (a) Mavi kanal görüntüsü. (b) a nın siyah-beyaz görüntüsü. (c) b nin tamlayanı olan görüntü. (d) c ye genişletme uygulandı. (e) d ye kapanma uygulandı. (f) e ye aşındırma uygulandı.12
İlgi Alanı Çıkarımı - Morfolojik İşlemler (devam) a b c d e (a) Kenarlar ile birleşik olan bileşenler silindi. (b) a ya genişletme uygulandı. (c) b deki en büyük bileşen seçildi. (d) c ye genişletme işlemi uygulandı. (e) d ye aşındırma işlemi uygulandı. 13
İlgi Alanı Çıkarımı 14
Nitelik Çıkarımı a b (a) Tüm görüntüye SIFT uygulandı. (b) SIFT uygulamasından sonra maske uygulandı. 15
Nitelik Eşleme 16
Eşleme Sonuçları 17
Açısal ve Düzlemsel Sapmaların Hesaplanması 18
Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi 19
Türkiye Karayollarındaki Trafik İşaretlerinin Otomatik Tanınması Ve Eşleştirilmesi Bu çalışma kapsamında trafik işaretlerinin otomatik tanınması ve eşleştirilmesi için bir yöntem geliştirilmiştir. Türkiye karayollarında en çok kullanılan 46 trafik işareti tanınacaktır. Taşıttan kaydedilmiş video görüntüleri kullanılarak, işaretlerin boyutlarından ve dönüşüm açılarından etkilenmeden, hızlı ve doğru bir şekilde tanınması amaçlanmaktadır. Trafik işaretlerinin tanınması iki temel adımdan oluşmaktadır: Trafik işaretinin sahne içinde tespit edilmesi, Sahne içinden çıkartılan trafik işaretlerinin, tanınacak işaretler arasından eşleştirilmesi 20
Tanınabilen Trafik İşaretleri * 21
Örnek Bir Sahne 22
Trafik İşaretlerinin Tespit Edilmesi Kırmızı renk eşikleme sonrası görüntü 23
Trafik İşaretlerinin Tespit Edilmesi Mavi renk eşikleme sonrası görüntü 24
Trafik İşaretlerinin Tespit Edilmesi 25
Trafik İşaretlerinin Tespit Edilmesi İki görüntü VEYA işleci kullanılarak birleştirilir 26
Trafik İşaretlerinin Tespit Edilmesinde Sorunlar Genişletme işlemi Bazı işaretler birden fazla bağlantısı olmayan parçadan oluşabilir Morfolojik genişletme işlemi 27
İşaretlerin dış yüzeyinin temizlenmesi Kutu içindeki görüntü Renk eşikleme işleminden sonra elde edilen görüntü Boşluk doldurma işleminden sonra elde edilen görüntü Maske uygulandıktan sonraki hali 28
Kırmızı Trafik İşaretlerinin Eşleştirilmesi 29
Kırmızı Trafik İşaretlerinin Eşleştirilmesi 30
Mavi Trafik İşaretlerinin Eşleştirilmesi Normalleştirilmiş korelasyon kullanarak eşleştirme İşaretin yeniden boyutlandırılması 31
Başarım Gerçekleştiren Tanınabilen işaretler İşleme hızı (sn) Tanıma başarımı % Miura Hız işaretleri 0,500 47 Torrensen Hız işaretleri 0,125 90 Broggi İtalya daki işaretler 0,100? Fang Tayvan daki işaretler 0,300? Escalera 14? 85 Gao İngiltere deki işaretler 0,350 0,600 89 Bahlmann 23 0,100 85 Alefs 10 0,142 90 Bizim Çalışmamız 46 0,040 0,150 95 32
Örnek Bazı Sahneler 33
Tanımakta Sorunla Karşılaşılan Bazı İşaretler 34
İnsan Hareketlerinin Derinlik Algılayıcılar ile Tanınması 35
X-Box Kinect Algılayıcı Kinect Kızıl ötesi ışınlar yardımıyla gerçek zamanlı olarak derinlik haritasının çıkarılması olanak vermektedir Faydaları Gerçek zamanlı olarak derinlik haritası oluşturulması Ortamdaki ışık ve aydınlatmadan etkilenmeme Düşük maliyet
Kinect SDK
Derinlik Haritasından İskelet Modeli Çıkarılması RGBD algılayıcı kullanılarak, eklem iskeleti çıkarılmıştır. Gövde duruşu öznitelikleri, el konumu öznitelikleri ve hareket bilgisi çıkarılmıştır.
Real-Time Human Pose Recognition in Parts from Single Depth Images Derinlik haritasından eklem iskeleti gerçek zamanlı olarak çıkarılmıştır. Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., Blake, A. 2011. Real-Time Human Pose Recognition in Parts from Single Depth Images. IEEE Computer Vision and Patern Recognition Conference
Kullanılan Veri Kümeleri: HUN-3D 1. Saate bakma 2. Elleri çapraz yapma 3. Tekme atma 4. Yerden birşey alma 5. Yumruk atma 6. Çömelme 7. Kendi ekseninde dönme 8. Kafa kaşıma 9. Yürüme 10. El sallama Saate Bakma Kolları Çapraz Yapma Tekme Yumruk Yerden Bişey Alma Oturma Kafayı Kaşıma Dönme Yürüme El Sallama
Microsoft Research Cambridge-12 MSRC-12 1. Eğil, saklan 2. Silah ateşle 3. Bir nesne fırlat 4. Silah değiştir 5. Tekme 6. Gözlük giy 7. Müziğin sesini aç 8. Menüler arasında dolaş 9. Müziği aç 10. Alkışlamak 11. Müziğe İtiraz 12. Tempoyu yükselt.
MSR Action3D 1. Yüksek El sallama 2. Yatay el sallama 3. Çekiç hareketi 4. El ile yakalama 5. İleri yumruk 6. Fırlatma 7. X çizme 8. Tik atma 9. Çember çizme 10. Alkış 11. İkili el sallama 12. Eğilme 13. Boks 14. Tekme 15. Yan tekme 16. Jogging 17. Tenis servis 18. Tenis atışı 19. Tutup fırlatma 20. Golf atışı
Elde edilen İskelet - Nitelikler Kinect kullanılarak elde edilmiş veri setleri üzerinde önceki adımlardaki nitelikler çıkarılmıştır. Nitelik çıkarma işlemleri Matlab ortamında gerçekleştirilmiştir. Sınıflama işlemleri içinde Orange ve Matlab kullanılmıştır.
Eklem Açıları 5 6 7 8 3 4 2 1 Eklemler ait açı bilgileri çıkarılmıştır. Elde edilen açılara ait histogramlar oluşturulup nitelik olarak kullanılmıştır
Kolları çarpraz tutma 1 2 3 4 5 6 7 8 Tekme 1 2 3 4 5 6 7 8
Nitelik Çıkarma Eklem noktalarına ait yer değiştirme bilgisi de nitelik olarak kullanılmıştır.
Eş Zamanlı Konum Belirleme ve Haritalama (SLAM- Simultaneous Localization and Mapping) 47
SLAM Nedir? Robotik alanındaki iki kilit problem Konum belirleme (Localization) Mevcut harita üzerindeki konumu tespit etme Neredeyim? Haritalama (Mapping) Mevcut konumlar üzerinden haritayı çıkarma Ortam neye benziyor? SLAM: Eş zamanlı olarak robot konumunun belirlenmesi ve ortamın haritasının çıkarılması
SLAM Nedir? Robotik alanındaki en zorlu problemlerden birisidir. Haritanın çıkarılabilmesi için konum bilgisine, Konumun tespiti için ortamın haritasına ihtiyaç vardır. Haritalama Konum Belirleme
SLAM Uygulamalarından Örnekler
Sensör Ölçüm Belirsizliği Temel Problemler
Temel Problemler Veri İlişkilendirme (Döngü Kapama) Problemi Daha önce algılanan bir sahnenin yeniden algılanması Döngü Kapama
Temel Problemler Ortamın Büyüklüğü ve Getirdiği İşlemsel Yük Gerçek zamanlı işlem Kayma hatasındaki artış Ortamın Dinamik Olması Statik varsayım
Mesafe Sensörü Lazer Sonar Kullanılan Sensörler Kamera Stereo Monoküler RGB-D Algılayıcı
Örnek Haritalar [22] [27] [31] [34]
Örnek Haritalar [38] [39,40,41]
Katılımınız için teşekkürler.. Sorular?