Çekişmeli Üretici Ağlar Kullanarak Dış Mekan Görüntülerinin Geçici Niteliklerini Düzenleme

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "Çekişmeli Üretici Ağlar Kullanarak Dış Mekan Görüntülerinin Geçici Niteliklerini Düzenleme"

Aysu Balcan
6 yıl önce
İzleme sayısı:

1 Çekişmeli Üretici Ağlar Kullanarak Dış Mekan Görüntülerinin Geçici Niteliklerini Düzenleme Adjusting Transient Attributes of Outdoor Images using Generative Adversarial Networks Levent Karacan, Aykut Erdem, Erkut Erdem Hacettepe Üniversitesi Bilgisayarlı Görü Laboratuvarı

2 Giriş Verilen bir girdi görüntüsünün geçici görsel niteliğini Çekişmeli Üretici Ağ(Generative Adversarial Network) eğiterek düzenleyebilir miyiz? Geçici Görsel Nitelik: gece, gün batımı, bulut, kar, yağmur, ilkbahar, sonbahar, sis, Girdi Görüntüsü Sonucumuz Kar, Soğuk

3 İlgili Çalışmalar Veriye dayalı günün farklı zamanlarını düzenleme. (Shih vd. 2013) Önceden tanımlı özniteliklere bağlı görüntü arama. Görüntü eşleştirme. Görünüş aktarımı. Veri kümesine bağımlılık. Gün içerisindeki ışık değişikliklerini dikkate alır.

4 İlgili Çalışmalar Geçici Görsel Niteliklere Dayalı Görüntü Düzenleme. (Laffont vd. 2014) Geçici görsel nitelik modeli. Önceden tanımlı özniteliklere ve geçici görsel niteliklere dayalı görüntü arama. Görüntü eşleştirme. Dönüşüm kütüphanesi öğrenme.

5 Çekişmeli Üretici Ağ(Generative Adversarial Network) Goodfellow vd. 2014(GAN); Radford vd. 2015(DCGAN) Bugün, Eğitim Semineri, , C3 Üretici ağ, Ayırt Edici Ağ ı aldatabilen yapay görüntüler üretmeye çalışır. Ayırt Edici Ağ yapay görüntüleri gerçek görüntülerden ayırmaya çalışır. L "#$ G, D = E *~,-./. (*) log D x + E *~,-./. *,7~, 8 7 [log(1 D(x, G(z)))] G G = min " max D L "#$ G, D D

Önerilen Yaklaşım Rassal z nin yanında farklı bir bilgiyi de koşul olarak kullanan koşullu Çekişmeli Üretici Ağ eğitimi gerçekleştirilmiştir.

6 Önerilen Yaklaşım Rassal z nin yanında farklı bir bilgiyi de koşul olarak kullanan koşullu Çekişmeli Üretici Ağ eğitimi gerçekleştirilmiştir. Koşul bilgisi olarak geçici görsel nitelikler kullanılmıştır. Girdi görüntüsünü üretecek rassal z ve geçici görsel nitelik bilgisi c nin tahmin edilmesi. İstenen nitelikte görüntü üretimi. Görünüş aktarımı.

7 Veri Kümesi Laffont vd Geçici Görsel Nitelik Veri Kümesi 101 web kamerasından 8571 dış mekan görüntüsü. Her görüntü için 40 boyutlu geçici görsel nitelik. D

8 Kullanılan Koşullu Çekişmeli Ağ Yapısı L "#$ G, D = E *,G~,-./. (*,G) log D x, c + E *,G~,-./. *,G,7~, 8 7 [log(1 D(G z, c, c))] G = min max L G"#$ G, D " D G D

9 Artan gece niteliği.

10 Artan gece niteliği.

11 Artan gece niteliği.

12 Artan gece niteliği.

13 Artan gece niteliği.

14 Artan gece niteliği.

15 Artan gece niteliği.

16 Artan gece niteliği.

17 Artan gece niteliği.

18 Artan gece niteliği.

19 Artan gün batımı niteliği.

20 Artan gün batımı niteliği.

21 Artan gün batımı niteliği.

22 Artan gün batımı niteliği.

23 Artan gün batımı niteliği.

24 Artan gün batımı niteliği.

25 Artan gün batımı niteliği.

26 Artan gün batımı niteliği.

27 Artan gün batımı niteliği.

28 Artan gün batımı niteliği.

29 Azalan kar niteliği.

30 Azalan kar niteliği.

31 Azalan kar niteliği.

32 Azalan kar niteliği.

33 Azalan kar niteliği.

34 Azalan kar niteliği.

35 Azalan kar niteliği.

36 Azalan kar niteliği.

37 Azalan kar niteliği.

38 Azalan kar niteliği.

39 Öğrenilen Altuzaydan Üretilen Görüntüler

40 Niteliğe Bağlı Görüntü Düzenleme igan, Zhu vd Eniyileme ile izdüşüm. Eğitim Semineri, , C3 L x Q, x R = C x Q C x R R (z, c ) = arg min G C,7 ZO L(G(z, c), xp )

41 Görünüm Aktarımı Shih vd. tarafından önerilen yöntem kullanılmıştır. Üretien görüntüden girdi görüntüsüne görüntü aktarımı. Örnek tabanlı yerel olarak afin renk aktarımı. En küc ük kareler eniyileme ile bulunan afin modeller renk aktarımı için kullanılmaktadır.

42 Mevcut Yöntemlerle Karşılaştırma

43 Mevcut Yöntemlerle Karşılaştırma

44 Sonuç Yeni bir görüntü düzenleme yöntemi önerilmiştir. Temel alınan çalışmalara göre daha başarılı sonuçlar üretilebilmektedir. Koşullu olarak eğitilen Çekişmeli Üretici Ağ üzerinde hem gürültü alt uzayına hem de nitelik alt uzayına izdüşüm yapılmıştır. Nitelik alt uzayı yardımı ile kolaylıkla görüntü düzenlemesi gerçekleştirilebilmektedir. Önerilen çalışmanın geliştirilmeye açık birçok noktası bulunmaktadır.

45 Teşekkürler.

Benzer belgeler

İstanbul Şehir Üniversitesi Bahar

İstanbul Şehir Üniversitesi Bahar BGM 565 - Siber Güvenlik için Makine Öğrenme Yöntemleri Bilgi Güvenliği Mühendisliği Yüksek Lisans Programı Dr. Ferhat Özgür Çatak ozgur.catak@tubitak.gov.tr İstanbul Şehir Üniversitesi 2018 - Bahar İçindekiler