N. Murat Arar, N. Kaan Bekmezci, Fatma Güney, Hazım K. Ekenel. Antalya, 22/04/2011

Transkript

1 N. Murat Arar, N. Kaan Bekmezci, Fatma Güney, Hazım K. Ekenel Antalya, 22/04/2011 IEEE 19. Sinyal İşleme ve İletişim Uygulamaları Kurultayı

2 Giriş İlgili Çalışmalar Yöntem Yüz Algılama Etkin Görünüm Modeli (AAM) Hizalama Yüz Değiştirme Son İşleme Bulgular Vargılar 2

3 Dizi ve filmlerde istenilen kişilerin seçilen oyuncularla değiştirilmesi Eğlence Mobil uygulamalar Görüntülü sohbet eklentisi Gizlilik Kimlik gizleme 3

4 Sistem girdileri Sistem çıktısı 4

5 Çevrimdışı Süreç IMM Veritabanı AAM Oluşturma Çevrimiçi Süreç Model Girdi İmge Yüz Değiştirme Çıktı İmge 5

6 Offline Process IMM Face Database AAM Building Online Process Model Input image Face Swapping Output image 6

7 2B Yüz Değiştirme İmgelerde otomatik yüz değiştirme [2] Yüz seçme ve hizalama Yüz harmanlama Derecelendirme iswap: mobil yüz değiştirme uygulaması El ile başlatma 3B Yüz Değiştirme Saç stili deneme amaçlı yüz değiştirme [3] Girdi ve hedef yüze 3B model oturtma Doğru hizalama için el ile başlatma 7

8 Haar Yüz Algılayıcısı [5, 6] Göz Algılayıcı Ağız Algılayıcı Çıktılar Yüz dikdörtgeni Göz konumları Ağız konumu 8

9 Yöntem-Etkin Görünüm Modeli (AAM) AAM Oluşturma IMM yüz veritabanı [1] 40 farklı insan 240 işaretlenmiş imge Ortalama şekil Ortalama gri-seviye modeli Çıktı Görünüm modeli 9

10 Yöntem-Etkin Görünüm Modeli (AAM) AAM Oturtma Girdiler Yinelemeli yakınsama problemi Yüz, göz ve ağız konumları AAM modeli Gri-seviye değerlerine dayalı Model parametreleri ayarlama Çıktı AAM oturtma şekilleri dizisi 10

11 Yöntem-Etkin Görünüm Modeli (AAM) AAM Kullanarak Yüz İzleme Varsayım «Bulunan yüz, sonraki karede şimdikinden çok uzakta olamaz.» AAM fitted shape in previous frame Initial shape AAM AAM fitting AAM fitted shape in current frame Süreçte yüz bulunamazsa, tüm karede yüz algılama uygulanır. 11

12 Yöntem-Hizalama Farklı ölçü ve açılarda girdi yüzler Ortak koordinat sistemi Hedef yüz, hizalanmış girdi yüze bükülür. Hedef yüz Girdi yüz Hizalanmış Hedef yüz 12

13 Yöntem-Yüz Değiştirme Girdi yüz piksellerine karşılık gelen hizalanmış hedef yüz piksellerinin değerlerinin değiştirilmesi Hizalanmış hedef yüz imgesi ile girdi yüz imgesi arasında göreli konumların dönüşümü Girdi imge Hedef imge Çıktı imge 13

14 Yöntem-Son İşleme Yüz harmanlama Hedef yüz pikselleri ile girdi yüz piksellerinin ağırlıklı toplamı Yüz konturunda girdi yüz piksel ağırlıkları, iç bölgelerde ise hedef yüz piksellerinin ağırlıkları fazladır. İşlenmemiş imge İşlenmiş imge 14

15 Bulgular - İmge 15

16 Bulgular - Video 16

17 Vargılar AAM ve Yüz Algılama yöntemlerini kullanarak video dizilerinde gerçek-zamanlı yüz değiştirme uygulaması geliştirdik. Yüz izleme için bir önceki karedeki yüz bilgisini kullanarak güncel karede yüz oturtma sürecini hızlandırdık. Yüz değiştirmeye uyguladığımız son işlemelerle daha gerçekçi sonuçlar almayı başardık. 17

18 Gelecek Çalışmalar İzleme yörüngesi iyileştirme Değişik açılarda yüz algılama ve model oluşturma Yüz ifadelerini algılama ve taklit etme Yüz değiştirmede aydınlanma ile ilgili ek çalışmalar 18

19 Kaynakça [1] M. M. Nordstrm, M. Larsen, J. Sierakowski, and M. B. Stegmann, The IMM Face Database - An Annotated Dataset of 240 Face Images. Technical Report, Technical University of Denmark, [2] D. Bitouk, N. Kumar, S. Dhillon, P. N. Belhumeur, S. K. Nayar, Face Swapping: Automatically Replacing Faces in Photographs, ACM Trans. on Graphics (also Proc. of ACM SIGGRAPH), Aug [3] V. Blanz, K. Scherbaum, T. Vetter, H. Seidel, Exchanging Faces in Images, Computer Graphics Forum 23, , 2004 [4] OpenCVWiki documentation: Face Detection Haar like features, [5] T.F. Cootes, G.J. Edwards, C.J. Taylor, Active Appearance Models, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.6, June 2001 [6] C.Kublbeck, A.Ernst, Face detection and tracking in video sequences using the modified census transformation, Image Vision Comput., Volume 24,

20 Teşekkür ederiz. 20

21 Soru-Cevap 21