IoT ve Derin Öğrenme. Ferhat Kurt/Open Zeka Kurucu

Transkript

1 IoT ve Derin Öğrenme Ferhat Kurt/Open Zeka Kurucu

2 IoT Resim Kaynak:

3 IoT

4 IoT yılında 34 milyar cihaz bağlı olacak (10 milyarı akıllı telefon, tablet, akıllı saat vb.), 2. Önümüzdeki 5 yıl içinde 6 trilyon Dolar harcanacak, yılında araçların %90 ını online olacak (2012 de %2 oranında), 4. Barcelona da akıllı sokak ışıklarından yılda 37 milyon Dolar, bağlı su yönetimi ile 58 milyon Dolar tasarruf sağlamakta, 5. Giyebilir cihaz gönderim miktarı 2015 yılında 76,1 milyon iken 2019 yılında 173,9 milyon adet olması, 6. Birbirine bağlı sağlık pazarı 2020 de 117 milyar Dolar olması ön görülmekte. Rapor:

5 IoT Tam liste için:

6 Industrial Internet Of Things Endüstri için IoT IIoT IoT + Deep Learning = Internet Of Intelligent Things IoIT Akıllı IoT

7 IoT: Google, Samsung, Microsoft un ve yeni savaş alanı Makine öğrenmesi, doğal dil işleme ve sinir ağlarındaki gelişmeler kişisel bilgisayar işlemlerinde Yapay Zekayı ön planına çıkarmıştır. * «Her şeyde, her yerde ve herkese zekâyı sunmak istiyoruz.» Microsoft CEO Satya Nadella *

8 2016 Google, Google Assistant'ını IoT cihazları için kullanılabilir hale getirmek istiyor.

9 NEDEN ŞİMDİ?

10 YAPAY ZEKA GELİŞİMİ

11 Derin Öğrenme & Yapay Zekâ Derin öğrenme, makinelerin dünyayı algılama ve anlamasına yönelik yapay zekâ geliştirmede en popüler yaklaşımdır. Şu anda ağırlıklı olarak belirli anlamayla ilgili görevlere odaklanılmış ve bu alanlarda birçok başarı elde edilmiştir. Bugün, en önemli araştırma kuruluşlarının yanısıra dünyanın en büyük internet şirketlerinin bazıları araştırma ve ürünlerinde derin öğrenme kullanmak için GPU ları kullanmaktadır. 11

12 Geniş-kapsamlı Tanıma Flüt Raket Veri Veri Çeşitliliği Veri, gerçek dünyayı yansıtacak yeterlilikte çeşitliliğe sahip olmalıdır. Algoritma Sırt Çantası Algoritma Kompleksliği Algoritmalar veriden öğrenecek kadar yeterli güce sahip olmalıdır. Kibrit Keçi Veri Açıklaması Veri, algoritmanın öğrenebilmesi için yeterli bilgiye sahip olmalıdır. Algoritma Hızı Algoritmalar, geniş veriyi işleyecek kadar yeterli hıza sahip olmalıdır. 12

13 Sınıflandırma: kişi, motosiklet PASCAL VOC Nesne Sınıfı 22,951 resim Bulma Parçalara ayırma -Segmentasyon Kişi Motorsiklet Davranış: Motosiklet sürme Everingham, Van Gool, Williams, Winn and Zisserman. The PASCAL Visual Object Classes (VOC) Challenge. IJCV

14 BÜYÜK KAPSAMLI GÖRSEL TANIMA YARIŞMASI (ILSVRC) Nesne Sınıfında 1000 Nesne Sınıfında 517,840 resim 1,431,167 resim Yarışma Kategorileri İki Ana Yarışma Kategorisi 1. Nesne tespiti (200 farklı etiketlenmiş kategoride), 2. Nesne Yeri Bulma (1000 farklı kategoride) resim, synset indekslenmiştir. net.org/challenges/lsvrc/ İki Yeni Yarışma Kategorisi (2015) 1. Videoda nesne tespiti (30 farklı etiketlenmiş kategoride), 2. Sahne sınıflandırma (365 sahne kategorisi Places2) Yeni Yarışma Kategorisi (2016) 1. Sahne ayrıştırma (150 malzeme ve ayrık nesne kategorisi)

15 ILSVRC YENİ EKLENEN VİDEO KATEGORİSİ 15

16 KATILIMCI SAYISI 250 YILLARA GÖRE ILSVRC YE KATILIM DURUMU ILSVRC 2012 ILSVRC 2011 ILSVRC yıl ILSVRC katılımcı ILSVRC katılımcı ILSVRC YIL 16

17 YARIŞMA YILI Başarı ImageNet Yarışması Doğruluk Imagenet 2011 kazananı %74,3 Imagenet 2012 kazananı (Krizhesvky) %83,6 93% 96% 97% GPU is 1 of 3 Breakthroughs Revolutionizing Deep Learning Imagenet 2013 kazananı (Zeiler/Clarifai) %88,3 Imagenet 2014 kazananı (GoogLeNet) %93,3 88% Andrej Karpathy (İnsan denek kullanılmıştır) %94,9 Buidu ArXiv Yayını 3 Oca 15 %94 84% NVIDIA CUDA GPU MS Research ArXiv yayını 6 Şub 15 %95,1 Google ArXiv yayını 2 Mar 15 %95,2 Imagenet 2015 kazananı (Microsoft) %96,43 Imagenet 2016 kazananı (Trimps-Soushen) %97,01 72% 74%

18 Derinlik Devrimi 152 layers layers 19 layers layers 8 layers shallow ILSVRC'15 ILSVRC'14 ILSVRC'14 ILSVRC'13 ILSVRC'12 ILSVRC'11 ILSVRC'10 ResNet GoogleNet VGG AlexNet ImageNet Classification top-5 error (%) Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv 2015.

19 LeNet (LeCun et al. 1998) 19

20 20

21 21

22 *the original image is from the COCO dataset Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv Shaoqing Ren, Kaiming He, Ross Girshick, & Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NIPS

23 Örnek Bölütleme(özet) CONVs box instances (RoIs) Solely CNN-based ( features matter ) Differentiable RoI warping layer (w.r.t box coord.) Multi-task cascades, exact end-to-end training CONVs FCs mask instances RoI warping, pooling categorized instances for eachroi FCs conv feature map masking person person horse person for eachroi Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv Jifeng Dai, Kaiming He, & Jian Sun. Instance-aware Semantic Segmentation via Multi-task Network Cascades. arxiv 2015.

24 girdi *the original image is from the COCO dataset Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv Jifeng Dai, Kaiming He, & Jian Sun. Instance-aware Semantic Segmentation via Multi-task Network Cascades. arxiv 2015.

25 MULTİMODAL RECURRENT NEURAL NETWORK «siyah beyaz köpek bar üzerinden atlıyor.» «iki genç kız lego oyuncağı ile oynuyor.» «pembe kıyafetli kız havada zıplıyor.» «turuncu güvenlik yeleği giyen yapı işçisi yolda çalışıyor» «mavi dalış kıyafetli adam dalga üstünde sörf yapıyor.» «siyah tişört giyen adam gitar çalıyor.» 25

26 Ham veri GELENEKSEL MAKİNE ALGISI Hand Crafted Özellikler Özellik çıkarıcı Lineer Sınıflandırıcı Sonuç 26

27 Büyük Veriye Erişim Günlük 350 milyon resim yükleme Her bir dakikada 100 saatlik video Saatte 2,5 Petabyte Müşteri verisi Yeni Derin Öğrenme Teknikleri GPU Hızlandırıcılar 27

28 Yann LeCun Facebook Yapay Zekâ Lab. Yöneticisi (Prof.) Geoffrey Hinton Google Toronto Üniversitesi (Prof.) Yoshua Bengio Montreal Üniversitesi (Prof.) Andrew Ng Baidu Baş Bilimadamı (Prof.)

29 KARŞILAŞTIRMA Google Brain e eşdeğer görüntü analizi yapan NVIDIA sistemi 29

30 30

31 31

32 32

33 Günümüzde Kullanılan Ses Tanıma Sistemleri 33

34 34

35 35

36 Çoğu insan %95 doğruluk ve %99 doğruluk arasındaki farkı anlamamaktadır. %99 oyun değiştiren bir orandır. %99 doğruluk ile akıllı telefonlar sesle kullanılacak hale getirilebilir. 36

37

38

39 25 Eylül DARPA Deep Learning Workshop DARPA insansız hava araçlarının düşman toprakları üzerinde elde ettiği görüntü ve videoların karargâha aktarımıyla oluşturulan büyük veri (BigData) yığınıyla baş edebilmek maksadıyla daha iyi bir istihbarat katmanı geliştirilmesi kapsamında 2009 yılında derin öğrenme çalışmalarına destek vermeye başlamıştır. Hava Kuvvetleri ile Leland Stanford Junior Üniversitesi (Stanford University)arasında 15 Mart Haziran 2014 sonlanmıştır. Bu anlaşma kapsamında $2,693,119 ödenmiştir Amerikan Hava Kuvvetleri Araştırma Laboratuarı Deep Learning Analytics ile Target Recognition and Adaption in Contested Environments (TRACE) programı kapsamında 6 milyon dolarlık bir sözleşme imzaladı Deep Learning for Actionable Intelligence Discovery and Exploitation ABD Hava Kuvvetleri, derin öğrenme alanındaki devrimsel nitelikteki başarıları gördükten sonra görüntü analizinde derin öğrenme ve doğal dil işleme kullanımına yönelik ihale duyurusunu yaptı. 39

40 Deneyimle Gelişen Makinelere Doğru Yeni program, bir gün "biyolojik organizmaların" yaptığı şekilde "öğrenebilen" sistemlerin temellerini geliştirmeyi amaçlıyor.

41 THE UNDER SECRETARY OF DEFENSE The purpose of this study is to identify the science, engineering, and policy problems that must be solved to permit greater operational use of autonomy across all warfighting domains.

42 THE UNDER SECRETARY OF DEFENSE to build trust and enable the most effective use of autonomy for the defense of the nation.

43 Internet of Everything for Defense İnsan - Makine Timi Makine - Makine Timi

44 TARDEC U.S. Army Tank Automotive Research Development and Engineering Center ABD Ordusu Ekim 2016 da Zorlu Avustralya Arazisinde Kendi Kendine Süren Araç Testlerine Başladı

45 Bağlantılı Araçlar U.S. Army Tank Automotive Research, Development and Engineering Center (TARDEC) ABD Ordusu, kendi kendine süren bağlantılı araç konvoyu testine Haziran 2016 da başladı.

46 Günlük 350 milyon resim yükleme On binlere sosyal ve politik olay günlük olarak indekslenmektedir. Uzaktan algılama firmalarının sayısı ve kapasitelerinin hızlı artırışı Her dakika 100 saatlik video yüklemesi Derin Öğrenmenin Coğrafi Analizde Kullanılması Başarılması gereken her özel bilgi ayıklama görevi için algoritma yazmaya ne yeteri kadar zaman ne de uzmanlık bulumaktadır. Derin Öğrenme, görevle ilgili içerik ve örüntüleri ham veri olarak makine hızında tanımlayan genel algoritmalar sunmaktadır.

47 Derin Öğrenme Yapısıyla Analiz İşlemi 47

48 COĞRAFİ VERİ ANALİZİ DigitalGlobe uzaydan nesne tesbitinde derin öğrenme kullanıyor

49 Yapay Zeka: Yağmur Ormanlarının Biyolojik Zenginlik Haritası

50 Uzaktan Görüntü Algılamanın Kullanımı Obje tespiti ve sınıflandırma Sahne bölütleme (segmentasyon) Arazi kullanımının sınıflandırılması Jeolojik özellik sınıflandırma Değişiklik Tespiti (Change detection) Ürün verimi tahmini Yüzey su tahmini Nüfus yoğunluk tahmini Süper çözünürlük Fotogrametri Keio Üniversitesi, Japonya SPIE EI Arizona Üniversitesi

51 GELİŞMİŞ GÖRÜNTÜLEME YÖNTEMİ Konvolüzasyonel Sinir Ağları yapısı aşağıdaki veri türlerini desteklemektedir: MSI/HSI data cubes SAR imagery Volumetric data, e.g. LIDAR Low-TRL research topics D. Maturana and S. Scherer. 3D Convolutional Neural Networks for Landing Zone Detection from LiDAR. In ICRA

52 BUGÜN BÜYÜK VERİ SAYILAR Büyük Veri Analizi İş Akışı DARBOĞAZ RESİMLER SESLER VİDEOLAR METİNLER Meta veri filtreleri Gürültülü içerik İnsan algısı Mükemmele yakın anlama Göreve odaklı analiz VİZYON BÜYÜK VERİ SAYILAR RESİMLER SESLER VİDEOLAR METİNLER Otomatik makine algısı İnsan seviyesine yakın algılama Semantik İçerik tabanlı filtreler Görevle ilgili içerik Göreve odaklı analiz 52

53 53

54 Kazalarda Her yıl 1,3 milyon, günde kişi ölüyor. Ayrıca milyon insan yaralı veya engelli oluyor. Trafik kazaları genel ölüm oranına (%2,2) göre 9 uncu sırada yer alıyor. Her yıl 25 yaşın altında kişi yaşamını yitiriyor (Günde kişi). Yol kazalarının genel maaliyeti 518 milyar dolar (GSMH nin %1-2 sine karşılık) Tedbir alınmazsa 2030 yılında insanların ölüm nedeni sıralamasında 5. sıraya yükselecek. 54

55 Otonom 55

56 56

57 NVIDIA DRIVE PX 2 OTO-PİLOT BİLGİSAYAR Dual Tegra X1 12 kamera girişi 1.3 GPix/sec 2.3 Teraflops mobile supercomputer CUDA programmability Derin Sinir Ağı Yapılı Bilgisayarlı Görü Çepeçevre Görünüm 57

58 58

59

60 2020 Yılında Otonom Araç Sayısı Kaç Olacak?

61 Microsoft Cortana Deep Learning Akıllı Buzdolabı

62 62

63 63

64 Yapay Zeka, Cerrahlara, Tümör Tanı Geliştirmede Nasıl Yardımcı Oluyor? Daha kısa ve güvenli ameliyat Sınır Tanımayan Nörologlar Çalışmaya göre, SRH ve derin öğrenme, nörolog erişimi kısıtlı olan küçük hastanelere veya uzak bölgelerdeki hastalara yardımcı olabilir. Her ne kadar 1,400 ABD hastanesinde beyin tümörü ameliyatı yapılıyorsa da, ülkede sadece 800 sertifikalı nöropatolog bulunmaktadır. Beyin tümör dokusunun bir SRH görüntüsü. Kümelerde veya salkımlarda koyu, büyük çekirdekli hücreler tümör hücreleridir. Ameliyat etmek mi yoksa etmemek mi?

65 Yeni İlaç Geliştirme, Şimdi Daha Hızlı: Yapay Zeka, İlaç Geliştirme Süresini Nasıl Hızlandırıyor? 2,6 Milyar Dolar Yeni bir ilaç geliştirme 14 Yıl Generative modeller yaygın olarak görüntü, konuşma ya da metin oluşturmak için kullanılmaktadır; ancak bu, GAN'ın (Generative Adversarial Nets) kanser ilaç keşfi için kullanıldığı ilk örnektir. (Insilico)

66 Alışverişte Yapay Zeka: Ödeme Kuyruklarını Azaltalım Bu animasyon, Mashgin Yapay Zeka kafeterya çıkışının gelecekteki bir sürümünü tasvir etmektedir. Şu anda cihaz paketli ürünler, çorbalar, salatalar ve paketleme kaplarını algılamaktadır. Diğer ürünleri algılama ile ilgili eğitim çalışmaları devam ediyor. Animasyon Mashgin.

67 67

68 Photographers: Molly Matalon and Damien Maloney for Bloomberg Businessweek 68

69 2014 yılında derin öğrenme uygulamaları geliştirmek üzere kurulmuştur. Robot kollarda derin öğrenme kullanmak maksadıyla 7,3 milyon dolarlık bir anlaşma imzalanmıştır. 69

70 + 50 Milyon Dolar 1 Milyar Dolar Dr. Gill Pratt (eski DARPA Program Yöneticisi) 70

71 71

72 72

73

74 YAPAY ZEKADA İNANILMAZ BAŞARILAR Go Oynama Doom Oynama Boyama Stili Öğrenme Sesi Sentezleme Altyazı Yazma Motor Becerileri Öğrenme Yürümeyi Öğrenme Sürüş

75 GPU DERİN ÖĞRENME YENİ HESAPLAMA MODELİ DGX-1 Tesla Training Inference in the Datacenter Jetson Inference at the Edge

76 WHY AI AT THE EDGE MATTERS BANT GENİŞLİĞİ GECİKME MAHREMİYET ERİŞİLEBİLİRLİK PRIVACY 1 milyar kamera WW (2020) 10 larca petabyte/gün 30 resim/saniye 200ms gecikme Mahremiyet Özel bulut veya şirket içi depolama Dünya nüfusunun 50% < 8mbps Yerleşimin olmadığı alanlarda 3G+ yok

77 GÖMÜLÜ DERİN ÖĞRENME KULLANAN SİSTEMLER Servis Robotları Arama ve Kurtarma Taşınabilir Tıbbı Cihaz Stereoskopik 360 Yakalama Tarım Yapay Zeka Drone Platformu Envanter Yönetimi 3B Tarama Trafik Yönetimi Drone Araştırma Platformu

78 DEEP VISION Image Recognition Classification Object Detection Localization Segmentation Free Space 3D ShapeNet Registration SLAM

79

80

81

82

83

84 84

85 Sonuç Görsel algı iş yükü Yoğun hesaplama Büyük ve karmaşık sinir ağı modelleri Qualcomm Technologies, Inc. yaklaşımı Başlangıç SVD yaklaşımında NYU dan Denton, et. al. makalesi temel alınmış, Tek katmanları çoklu katmanlarla değiştirme yaklaşımı Yaklaşım sadece sıkıştırılmış katmanların üzerindekileri değil tüm katmanlarda iyileştirmeye olanak sağlamıştır. Mobil çevre kısıtları Güç ve termal verim Depolama ve hafıza bant genişliği kısıtları Batarya Derin Ağ Sonuç Fiziksel model boyutunda 10X azalma Minimum hassasiyet kaybıyla 35% oranında MAC işlemlerinde azalma. 1. Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation, arxiv: [cs.cv] 85

86 86

87 EĞİTİM TORCH BIG SUR TENSORFLOW CAFFE THEANO WATSON CNTK Google MATCONVNET MOCHA.JL STARTUPS PURINE CHAINER DL4J Warp-CTC Microsoft Computational Network Toolkit MINERVA KERAS OPENDEEP MXNET Samsung Veles SCHULTS LABORATORIES VITRUVIAN NVIDIA GPU PLATFORMU NVIDIA DIGITS

88 NVIDIA Jetson Partner NVIDIA Inception Programı Microsoft BizSpark Programı OpenZeka Resim Tanıma Web ve API Server (Açık Kaynak Kodlu) Görsel Tanıma Servisi Hakkında Çözümler Sosyal Media Konferans/Meetup/Eğitim Turkey Deep Learning Group 600+ NVIDIA DIGITS Ankara Deep Learning Group

89 Sertifikalı Hızlı Derin Öğrenme Uzmanı Yetiştirme Eğitimi Süre: 2 gün/12 saat Seviye: Başlangıç Konvolüsyonel Sinir Ağları Resim ve Metin Sınıflandırma Nesneleri Kutu İçine Alma Nesneleri Sınırlarından Ayırma Medikal Görüntü Analizi Ankara: Mart 2017 İstanbul: 8-9 Nisan 2017

90 Open Zeka API GPU ve CPU Bulutu Üzerinde Gömülü Sistemler Jetson TX2/TX1-TK1 Rasberry Pi 3 Test devam ediyor

91 Türkiye Derin Öğrenme Grubu Sayfası: Ankara Derin Öğrenme Meetup Sayfası: Derin Öğrenme Grup Sayfası:

92 TEŞEKKÜRLER. If we knew what it was we were doing, it would not be called research, would it? Einstein 92