Lale AKARUN, Boğaziçi Üniversitesi.

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Lale AKARUN, Boğaziçi Üniversitesi."

Ekin Büyük
5 yıl önce
İzleme sayısı:

1 Lale AKARUN, Boğaziçi Üniversitesi

2 Dr. Lale Akarun Dr. Albert Ali Salah Öğretim üyeleri: Alp Kındıroğlu Yunus Emre Kara Barış Evrim Demiröz Doğa Siyli Ufuk Can Biçici Öğrenciler Dr. Oya Aran Idiap Dr. Berk Gökberk MEF Üniv. Dr. Neşe Alyüz Intel Labs Dr. Cem Keskin Google İsmail Arı Dr. Furkan Kıraç Dr. Heysem Kaya Özyeğin Üniv. Eski öğrenciler 2

3 Araştırma Alanları: İnsan Hareketi Tanıma El hareketi (işmar) tanıma İşaret Dili Tanıma İnsan-bilgisayar etkileşimi 3B Bilgisayarla görme Akıllı ortamlar Yaya bulma / izleme Biyometri El damarlarından kimlik tanıma 2B/3B Yüz Tanıma Sosyal Davranış Modelleme Toplantı Videolarından Karakter özellikleri tanıma Kafa ve yüz işmarları tanıma Yüz ifadesi tanıma 3

4 Face and Gesture: Konferans Serisi Oliver Sacks kitabı Sesleri Görmek

5 3B dünya 2B görüntüler 3B modeller Geometri Lineer Cebir Hesaplamalı Geometri Nümerik Metodlar Optimizasyon Kestirim Kuramı * Multiple View Geometry, Hartley and Zisserman

6 Gerçek dünyadan sensörlerle elde edilen veriden dünya hakkında çıkarımlar yapmak Yapay Zeka - Makina Öğrenmesi İstatistik ve Olasılık Kuramı 6

7 3B Yüz Tanıma

8 2B Renkli İmge ve 3B Şekil verisi

9 Aydınlatmadan etkilenmez Poz değişimlerinden etkilenir; ama döndürülebilir Kapatmalardan etkilenir Yüz ifadelerinden etkilenir 9

ifade FACS skorlama Örneklerin üçte biri profesyonel

10 2007 de toplandı Google Akademik e göre 455 çalışmada kullanıldı 105 kişiden; 4666 yüz Kişi başına 35 değişik ifade FACS skorlama Örneklerin üçte biri profesyonel aktörler (opera sanatçıları) Sistematik kafa pozları Değişik yüz kapatmaları 10

11 Kapatma altında tanıma üç aşamada üç yeni yöntem Neşe Alyüz doktora tezi Adaptive Registration Occlusion Handling Classification Probe Image Adap ve Model M j ID Occlusion Removal Incomplete Data Classifica on Nose Detec on Adap ve Model Selec on Adap ve Model-based ICP Occlusion Detec on ID Surface Restora on Tradi onal Classifica on PhD Thesis: 3D Face Recognition under Occlusion Variance 11

12 PhD Thesis: 3D Face Recognition under Occlusion Variance Procrustes Analizine Dayalı Esnek Olmayan Kayıtlama

13 Kıvrıklık haritalarından yararlanılır PhD Thesis: 3D Face Recognition under Occlusion Variance

14 İstatistiksel yüz komşuluk modeli İstatistiksel Yüz / Kapatma Modeli İmge Bölütleme Yüzey noktaları bir çizgenin düğümleri En küçük kesim (min cut): en düşük kenarlardan yüzü kapatma/yüz olarak kes face occlusion PhD Thesis: 3D Face Recognition under Occlusion Variance 21

15 face s-t cut: occlusion PhD Thesis: 3D Face Recognition under Occlusion Variance 22

16 On Bosphorus-70: Threshold for BL and GMM GC parameters via factorial design Accuracy with different detectors TP FN FP Detecto r Precision Recall F 1 -measure BL GMM GC PhD Thesis: 3D Face Recognition under Occlusion Variance 27

17 Kapatma maskesi çıkarıldıktan sonra masked norm kullanan alt uzay teknikleri ile sınıflandırma yap PhD Thesis: 3D Face Recognition under Occlusion Variance 17

Eski projeler: 2003-2007: FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction 2007-2009: TÜBİTAK İşaret Dili

20 Eski projeler: : FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction : TÜBİTAK İşaret Dili Eğitmeni : TÜBİTAK- RFBR: Information Terminal for the disabled : TÜBİTAK- BMBF: GEMS Perceptual Intelligence Laboratory 20

Eski projeler: 2003-2007: FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction 2007-2009: TÜBİTAK İşaret Dili Eğitmeni

21 Eski projeler: : FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction : TÜBİTAK İşaret Dili Eğitmeni : TÜBİTAK- RFBR: Information Terminal for the disabled : TÜBİTAK- BMBF: GEMS enterface 2010, Amsterdam Perceptual Intelligence Laboratory 21

22 Kinect Derinlik Sensörü Renkli görüntü + derinlik görüntüsü IR projeksiyona dayalı stereo İnsan vücudu kütüphanesi Perceptual Intelligence Laboratory 22

23 Sentetik el modeli Bölgelere ayrılmış sentetik model Rassal Karar Ağacı Eğit Gerçek veride her pikseli sınıflandır Bölge merkezlerini bul ve iskelet oluştur 23

24 y t-1 y t y t+1 y t : gözlem verisi x t-1 x t x t+1 x t saklı durum vektörü u t-1 u t u t+1 u t : öznitelik vektörü Saklı Markov Modeli benzeri grafik model HMM-NN karma model Ph.D. Thesis Presentation - Cem Keskin 24

Eski Projeler 2003-2007: FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction 2007-2009: TÜBİTAK Sign Language

25 Eski Projeler : FP6 NoE: SIMILAR (Multimodal interfaces similar to Human-human interaction : TÜBİTAK Sign Language Tutor : TÜBİTAK- RFBR: Information Terminal for the disabled : TÜBİTAK-KIT: GEMS Perceptual Intelligence Laboratory 25

26 Gesture Recognition Workshop - CVPR

27 Hastanelerde sağır dilsizlerin bilgi alması için bir bilgi terminali Ziyaret nedenini saptar Yönlendirme Yapar Kinect v2

28 Türk İşaret Dili Veritabanı Kinect v2 ile kaydedilmiş 859 işaret 487 sağlık, 177 bankacılık, 195 gündelik hayat 33 sürekli işaret 6 işaretçi TİD i anadili olan kişilerden ~Toplam işmar

29 Öznitelikler İskelet öznitelikleri Görüntüye Dayalı Öznitelikler Sınıflandırıcılar Dinamik Zaman Bükmesi (DTW) RDF Details: NC Camgöz, AA Kındıroğlu, L Akarun. Sign Language Recognition for Assisting the Deaf in Hospitals. International Workshop on Human Behavior Understanding, F 1 F 2 F 3 F 4 F 5 Sign: Dad Dad Dad Dad Dad Dad Dad Dad Dad Dad Dad Dad Dad F t F 1 F 3 F 5 F 7 F 9 Dad

30 İşaret dili videosu ile uzun videolarda sorgu yapma Mevcut işaret dili kaynaklarını kullanarak Hizalama ve tanıma problemleri Derin Sinir Ağları LSTM RNN Hizalama için DTW-CTW Sign 1 Sign 2 İsmail Arı - Vision-based Facial Gesture Recognition 30

31 Sign 1 Sign 2 DTW CTW 31

32 32

33 Contact Info: Lale Akarun Perceptual Intelligence Laboratory 33

Benzer belgeler

ÖZGEÇMİŞ. Derece Alan Üniversite Yıl

ÖZGEÇMİŞ. Derece Alan Üniversite Yıl ÖZGEÇMİŞ 1. Adı Soyadı : Berk GÖKBERK 2. Doğum Tarihi : 08.03.1977 3. Unvanı : Bilgisayar Mühendisi 4. Öğrenim Durumu : Doktora Derece Alan Üniversite Yıl Lisans Bilgisayar Müh. Boğaziçi Üniversitesi 1999