IoT ve Derin Öğrenme. Ferhat Kurt/Open Zeka Kurucu

IoT ve Derin Öğrenme Ferhat Kurt/Open Zeka Kurucu

IoT Resim Kaynak: http://www.openairinterface.org/?page_id=468

IoT

IoT 1. 2020 yılında 34 milyar cihaz bağlı olacak (10 milyarı akıllı telefon, tablet, akıllı saat vb.), 2. Önümüzdeki 5 yıl içinde 6 trilyon Dolar harcanacak, 3. 2020 yılında araçların %90 ını online olacak (2012 de %2 oranında), 4. Barcelona da akıllı sokak ışıklarından yılda 37 milyon Dolar, bağlı su yönetimi ile 58 milyon Dolar tasarruf sağlamakta, 5. Giyebilir cihaz gönderim miktarı 2015 yılında 76,1 milyon iken 2019 yılında 173,9 milyon adet olması, 6. Birbirine bağlı sağlık pazarı 2020 de 117 milyar Dolar olması ön görülmekte. Rapor: http://www.verizon.com/about/sites/default/files/state-of-the-internet-of-things-market-report-2016.pdf http://www.businessinsider.com/how-the-internet-of-things-market-will-grow-2014-10 https://www.veinteractive.com/blog/10-illuminating-stats-internet-things/

IoT Tam liste için: http://www.postscapes.com/internet-of-things-hardware/

Industrial Internet Of Things Endüstri için IoT IIoT IoT + Deep Learning = Internet Of Intelligent Things IoIT Akıllı IoT

IoT: Google, Samsung, Microsoft un ve yeni savaş alanı Makine öğrenmesi, doğal dil işleme ve sinir ağlarındaki gelişmeler kişisel bilgisayar işlemlerinde Yapay Zekayı ön planına çıkarmıştır. * «Her şeyde, her yerde ve herkese zekâyı sunmak istiyoruz.» Microsoft CEO Satya Nadella * http://www.windowscentral.com/internet-intelligent-things

2016 Google, Google Assistant'ını IoT cihazları için kullanılabilir hale getirmek istiyor.

NEDEN ŞİMDİ?

YAPAY ZEKA GELİŞİMİ

Derin Öğrenme & Yapay Zekâ Derin öğrenme, makinelerin dünyayı algılama ve anlamasına yönelik yapay zekâ geliştirmede en popüler yaklaşımdır. Şu anda ağırlıklı olarak belirli anlamayla ilgili görevlere odaklanılmış ve bu alanlarda birçok başarı elde edilmiştir. Bugün, en önemli araştırma kuruluşlarının yanısıra dünyanın en büyük internet şirketlerinin bazıları araştırma ve ürünlerinde derin öğrenme kullanmak için GPU ları kullanmaktadır. 11

Geniş-kapsamlı Tanıma Flüt Raket Veri Veri Çeşitliliği Veri, gerçek dünyayı yansıtacak yeterlilikte çeşitliliğe sahip olmalıdır. Algoritma Sırt Çantası Algoritma Kompleksliği Algoritmalar veriden öğrenecek kadar yeterli güce sahip olmalıdır. Kibrit Keçi Veri Açıklaması Veri, algoritmanın öğrenebilmesi için yeterli bilgiye sahip olmalıdır. Algoritma Hızı Algoritmalar, geniş veriyi işleyecek kadar yeterli hıza sahip olmalıdır. 12

Sınıflandırma: kişi, motosiklet PASCAL VOC 2005-2012 20 Nesne Sınıfı 22,951 resim Bulma Parçalara ayırma -Segmentasyon Kişi Motorsiklet Davranış: Motosiklet sürme Everingham, Van Gool, Williams, Winn and Zisserman. The PASCAL Visual Object Classes (VOC) Challenge. IJCV 2010 13

BÜYÜK KAPSAMLI GÖRSEL TANIMA YARIŞMASI (ILSVRC) 2010-2016 200 Nesne Sınıfında 1000 Nesne Sınıfında 517,840 resim 1,431,167 resim Yarışma Kategorileri İki Ana Yarışma Kategorisi 1. Nesne tespiti (200 farklı etiketlenmiş kategoride), 2. Nesne Yeri Bulma (1000 farklı kategoride) 14.197.122 resim, 21.841 synset indekslenmiştir. http://image net.org/challenges/lsvrc/ İki Yeni Yarışma Kategorisi (2015) 1. Videoda nesne tespiti (30 farklı etiketlenmiş kategoride), 2. Sahne sınıflandırma (365 sahne kategorisi Places2) Yeni Yarışma Kategorisi (2016) 1. Sahne ayrıştırma (150 malzeme ve ayrık nesne kategorisi)

ILSVRC 2015 - YENİ EKLENEN VİDEO KATEGORİSİ 15

KATILIMCI SAYISI 250 YILLARA GÖRE ILSVRC YE KATILIM DURUMU 200 150 100 50 0 ILSVRC 2012 ILSVRC 2011 ILSVRC 2010 3 yıl 2010-2012 ILSVRC 2013 81 katılımcı ILSVRC 2014 123 katılımcı ILSVRC 2015 220 2013 2014 2015 YIL 16

YARIŞMA YILI Başarı ImageNet Yarışması Doğruluk Imagenet 2011 kazananı %74,3 Imagenet 2012 kazananı (Krizhesvky) %83,6 93% 96% 97% GPU is 1 of 3 Breakthroughs Revolutionizing Deep Learning Imagenet 2013 kazananı (Zeiler/Clarifai) %88,3 Imagenet 2014 kazananı (GoogLeNet) %93,3 88% Andrej Karpathy (İnsan denek kullanılmıştır) %94,9 Buidu ArXiv Yayını 3 Oca 15 %94 84% NVIDIA CUDA GPU MS Research ArXiv yayını 6 Şub 15 %95,1 Google ArXiv yayını 2 Mar 15 %95,2 Imagenet 2015 kazananı (Microsoft) %96,43 Imagenet 2016 kazananı (Trimps-Soushen) %97,01 72% 74% 2010 2011 2012 2013 2014 2015 2016 17

Derinlik Devrimi 152 layers 25.8 28.2 16.4 22 layers 19 layers 6.7 7.3 11.7 3.57 8 layers 8 layers shallow ILSVRC'15 ILSVRC'14 ILSVRC'14 ILSVRC'13 ILSVRC'12 ILSVRC'11 ILSVRC'10 ResNet GoogleNet VGG AlexNet ImageNet Classification top-5 error (%) Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv 2015.

LeNet (LeCun et al. 1998) 19

20

21

*the original image is from the COCO dataset Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv 2015. Shaoqing Ren, Kaiming He, Ross Girshick, & Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NIPS 2015. 22

Örnek Bölütleme(özet) CONVs box instances (RoIs) Solely CNN-based ( features matter ) Differentiable RoI warping layer (w.r.t box coord.) Multi-task cascades, exact end-to-end training CONVs FCs mask instances RoI warping, pooling categorized instances for eachroi FCs conv feature map masking person person horse person for eachroi Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv 2015. Jifeng Dai, Kaiming He, & Jian Sun. Instance-aware Semantic Segmentation via Multi-task Network Cascades. arxiv 2015.

girdi *the original image is from the COCO dataset Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. Deep Residual Learning for Image Recognition. arxiv 2015. Jifeng Dai, Kaiming He, & Jian Sun. Instance-aware Semantic Segmentation via Multi-task Network Cascades. arxiv 2015.

MULTİMODAL RECURRENT NEURAL NETWORK «siyah beyaz köpek bar üzerinden atlıyor.» «iki genç kız lego oyuncağı ile oynuyor.» «pembe kıyafetli kız havada zıplıyor.» «turuncu güvenlik yeleği giyen yapı işçisi yolda çalışıyor» «mavi dalış kıyafetli adam dalga üstünde sörf yapıyor.» «siyah tişört giyen adam gitar çalıyor.» 25

Ham veri GELENEKSEL MAKİNE ALGISI Hand Crafted Özellikler Özellik çıkarıcı Lineer Sınıflandırıcı Sonuç 26

Büyük Veriye Erişim Günlük 350 milyon resim yükleme Her bir dakikada 100 saatlik video Saatte 2,5 Petabyte Müşteri verisi Yeni Derin Öğrenme Teknikleri GPU Hızlandırıcılar 27

Yann LeCun Facebook Yapay Zekâ Lab. Yöneticisi (Prof.) Geoffrey Hinton Google Toronto Üniversitesi (Prof.) Yoshua Bengio Montreal Üniversitesi (Prof.) Andrew Ng Baidu Baş Bilimadamı (Prof.)

KARŞILAŞTIRMA Google Brain e eşdeğer görüntü analizi yapan NVIDIA sistemi 29

30

31

32

Günümüzde Kullanılan Ses Tanıma Sistemleri 33

34

35

Çoğu insan %95 doğruluk ve %99 doğruluk arasındaki farkı anlamamaktadır. %99 oyun değiştiren bir orandır. %99 doğruluk ile akıllı telefonlar sesle kullanılacak hale getirilebilir. 36

25 Eylül 2008 - DARPA Deep Learning Workshop 2009 - DARPA insansız hava araçlarının düşman toprakları üzerinde elde ettiği görüntü ve videoların karargâha aktarımıyla oluşturulan büyük veri (BigData) yığınıyla baş edebilmek maksadıyla daha iyi bir istihbarat katmanı geliştirilmesi kapsamında 2009 yılında derin öğrenme çalışmalarına destek vermeye başlamıştır. Hava Kuvvetleri ile Leland Stanford Junior Üniversitesi (Stanford University)arasında 15 Mart 2010-15 Haziran 2014 sonlanmıştır. Bu anlaşma kapsamında $2,693,119 ödenmiştir. 2015 - Amerikan Hava Kuvvetleri Araştırma Laboratuarı Deep Learning Analytics ile Target Recognition and Adaption in Contested Environments (TRACE) programı kapsamında 6 milyon dolarlık bir sözleşme imzaladı. 2015 - Deep Learning for Actionable Intelligence Discovery and Exploitation ABD Hava Kuvvetleri, derin öğrenme alanındaki devrimsel nitelikteki başarıları gördükten sonra görüntü analizinde derin öğrenme ve doğal dil işleme kullanımına yönelik ihale duyurusunu yaptı. 39

Deneyimle Gelişen Makinelere Doğru Yeni program, bir gün "biyolojik organizmaların" yaptığı şekilde "öğrenebilen" sistemlerin temellerini geliştirmeyi amaçlıyor. http://www.darpa.mil/news-events/2017-03-16

THE UNDER SECRETARY OF DEFENSE The purpose of this study is to identify the science, engineering, and policy problems that must be solved to permit greater operational use of autonomy across all warfighting domains.

THE UNDER SECRETARY OF DEFENSE to build trust and enable the most effective use of autonomy for the defense of the nation.

Internet of Everything for Defense İnsan - Makine Timi Makine - Makine Timi

TARDEC U.S. Army Tank Automotive Research Development and Engineering Center ABD Ordusu Ekim 2016 da Zorlu Avustralya Arazisinde Kendi Kendine Süren Araç Testlerine Başladı

Bağlantılı Araçlar U.S. Army Tank Automotive Research, Development and Engineering Center (TARDEC) ABD Ordusu, kendi kendine süren bağlantılı araç konvoyu testine Haziran 2016 da başladı.

Günlük 350 milyon resim yükleme On binlere sosyal ve politik olay günlük olarak indekslenmektedir. Uzaktan algılama firmalarının sayısı ve kapasitelerinin hızlı artırışı Her dakika 100 saatlik video yüklemesi Derin Öğrenmenin Coğrafi Analizde Kullanılması Başarılması gereken her özel bilgi ayıklama görevi için algoritma yazmaya ne yeteri kadar zaman ne de uzmanlık bulumaktadır. Derin Öğrenme, görevle ilgili içerik ve örüntüleri ham veri olarak makine hızında tanımlayan genel algoritmalar sunmaktadır.

Derin Öğrenme Yapısıyla Analiz İşlemi 47

COĞRAFİ VERİ ANALİZİ DigitalGlobe uzaydan nesne tesbitinde derin öğrenme kullanıyor

Yapay Zeka: Yağmur Ormanlarının Biyolojik Zenginlik Haritası https://blogs.nvidia.com/blog/2017/02/23/ai-rainforest-biodiversity/

Uzaktan Görüntü Algılamanın Kullanımı Obje tespiti ve sınıflandırma Sahne bölütleme (segmentasyon) Arazi kullanımının sınıflandırılması Jeolojik özellik sınıflandırma Değişiklik Tespiti (Change detection) Ürün verimi tahmini Yüzey su tahmini Nüfus yoğunluk tahmini Süper çözünürlük Fotogrametri Keio Üniversitesi, Japonya SPIE EI 2015 50 Arizona Üniversitesi

GELİŞMİŞ GÖRÜNTÜLEME YÖNTEMİ Konvolüzasyonel Sinir Ağları yapısı aşağıdaki veri türlerini desteklemektedir: MSI/HSI data cubes SAR imagery Volumetric data, e.g. LIDAR Low-TRL research topics D. Maturana and S. Scherer. 3D Convolutional Neural Networks for Landing Zone Detection from LiDAR. In ICRA. 2015 51

BUGÜN BÜYÜK VERİ SAYILAR Büyük Veri Analizi İş Akışı DARBOĞAZ RESİMLER SESLER VİDEOLAR METİNLER Meta veri filtreleri Gürültülü içerik İnsan algısı Mükemmele yakın anlama Göreve odaklı analiz VİZYON BÜYÜK VERİ SAYILAR RESİMLER SESLER VİDEOLAR METİNLER Otomatik makine algısı İnsan seviyesine yakın algılama Semantik İçerik tabanlı filtreler Görevle ilgili içerik Göreve odaklı analiz 52

53

Kazalarda Her yıl 1,3 milyon, günde 3.287 kişi ölüyor. Ayrıca 20-50 milyon insan yaralı veya engelli oluyor. Trafik kazaları genel ölüm oranına (%2,2) göre 9 uncu sırada yer alıyor. Her yıl 25 yaşın altında 400.000 kişi yaşamını yitiriyor (Günde 1.000 kişi). Yol kazalarının genel maaliyeti 518 milyar dolar (GSMH nin %1-2 sine karşılık) Tedbir alınmazsa 2030 yılında insanların ölüm nedeni sıralamasında 5. sıraya yükselecek. 54

Otonom 55

56

NVIDIA DRIVE PX 2 OTO-PİLOT BİLGİSAYAR Dual Tegra X1 12 kamera girişi 1.3 GPix/sec 2.3 Teraflops mobile supercomputer CUDA programmability Derin Sinir Ağı Yapılı Bilgisayarlı Görü Çepeçevre Görünüm 57

58

2020 Yılında Otonom Araç Sayısı Kaç Olacak? 10.000.000

Microsoft Cortana Deep Learning Akıllı Buzdolabı http://www.vcloudnews.com/microsoft-cortana-deep-learning-image-detection-and-internet-of-things-iot-in-liebherr-smart-refrigerators/

62

63

Yapay Zeka, Cerrahlara, Tümör Tanı Geliştirmede Nasıl Yardımcı Oluyor? Daha kısa ve güvenli ameliyat Sınır Tanımayan Nörologlar Çalışmaya göre, SRH ve derin öğrenme, nörolog erişimi kısıtlı olan küçük hastanelere veya uzak bölgelerdeki hastalara yardımcı olabilir. Her ne kadar 1,400 ABD hastanesinde beyin tümörü ameliyatı yapılıyorsa da, ülkede sadece 800 sertifikalı nöropatolog bulunmaktadır. Beyin tümör dokusunun bir SRH görüntüsü. Kümelerde veya salkımlarda koyu, büyük çekirdekli hücreler tümör hücreleridir. https://blogs.nvidia.com/blog/2017/02/17/ai-helps-improve-brain-tumor-diagnosis/ Ameliyat etmek mi yoksa etmemek mi?

Yeni İlaç Geliştirme, Şimdi Daha Hızlı: Yapay Zeka, İlaç Geliştirme Süresini Nasıl Hızlandırıyor? 2,6 Milyar Dolar Yeni bir ilaç geliştirme 14 Yıl Generative modeller yaygın olarak görüntü, konuşma ya da metin oluşturmak için kullanılmaktadır; ancak bu, GAN'ın (Generative Adversarial Nets) kanser ilaç keşfi için kullanıldığı ilk örnektir. (Insilico) https://blogs.nvidia.com/blog/2017/02/08/ai-drug-discovery/

Alışverişte Yapay Zeka: Ödeme Kuyruklarını Azaltalım Bu animasyon, Mashgin Yapay Zeka kafeterya çıkışının gelecekteki bir sürümünü tasvir etmektedir. Şu anda cihaz paketli ürünler, çorbalar, salatalar ve paketleme kaplarını algılamaktadır. Diğer ürünleri algılama ile ilgili eğitim çalışmaları devam ediyor. Animasyon Mashgin. https://blogs.nvidia.com/blog/2017/01/25/ai-end-checkout-lines/

67

Photographers: Molly Matalon and Damien Maloney for Bloomberg Businessweek 68

2014 yılında derin öğrenme uygulamaları geliştirmek üzere kurulmuştur. Robot kollarda derin öğrenme kullanmak maksadıyla 7,3 milyon dolarlık bir anlaşma imzalanmıştır. 69

+ 50 Milyon Dolar 1 Milyar Dolar Dr. Gill Pratt (eski DARPA Program Yöneticisi) 70

71

72

YAPAY ZEKADA İNANILMAZ BAŞARILAR Go Oynama Doom Oynama Boyama Stili Öğrenme Sesi Sentezleme Altyazı Yazma Motor Becerileri Öğrenme Yürümeyi Öğrenme Sürüş

GPU DERİN ÖĞRENME YENİ HESAPLAMA MODELİ DGX-1 Tesla Training Inference in the Datacenter Jetson Inference at the Edge

WHY AI AT THE EDGE MATTERS BANT GENİŞLİĞİ GECİKME MAHREMİYET ERİŞİLEBİLİRLİK PRIVACY 1 milyar kamera WW (2020) 10 larca petabyte/gün 30 resim/saniye 200ms gecikme Mahremiyet Özel bulut veya şirket içi depolama Dünya nüfusunun 50% < 8mbps Yerleşimin olmadığı alanlarda 3G+ yok

GÖMÜLÜ DERİN ÖĞRENME KULLANAN SİSTEMLER Servis Robotları Arama ve Kurtarma Taşınabilir Tıbbı Cihaz Stereoskopik 360 Yakalama Tarım Yapay Zeka Drone Platformu Envanter Yönetimi 3B Tarama Trafik Yönetimi Drone Araştırma Platformu

DEEP VISION Image Recognition Classification Object Detection Localization Segmentation Free Space 3D ShapeNet Registration SLAM

http://blog.ceva-dsp.com/the-future-of-iot-is-deep-deep-linking-and-deep-learning/

84

Sonuç Görsel algı iş yükü Yoğun hesaplama Büyük ve karmaşık sinir ağı modelleri Qualcomm Technologies, Inc. yaklaşımı Başlangıç SVD yaklaşımında NYU dan Denton, et. al. makalesi temel alınmış, Tek katmanları çoklu katmanlarla değiştirme yaklaşımı Yaklaşım sadece sıkıştırılmış katmanların üzerindekileri değil tüm katmanlarda iyileştirmeye olanak sağlamıştır. Mobil çevre kısıtları Güç ve termal verim Depolama ve hafıza bant genişliği kısıtları Batarya Derin Ağ Sonuç Fiziksel model boyutunda 10X azalma Minimum hassasiyet kaybıyla 35% oranında MAC işlemlerinde azalma. 1. Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation, arxiv:1404.0736 [cs.cv] 85

86

EĞİTİM TORCH BIG SUR TENSORFLOW http://caffe.berkeleyvision.org/ http://deeplearning.net/software/theano/ CAFFE THEANO WATSON CNTK http://torch.ch Google MATCONVNET MOCHA.JL STARTUPS PURINE CHAINER DL4J Warp-CTC Microsoft Computational Network Toolkit MINERVA KERAS OPENDEEP MXNET Samsung Veles SCHULTS LABORATORIES VITRUVIAN NVIDIA GPU PLATFORMU NVIDIA DIGITS

NVIDIA Jetson Partner NVIDIA Inception Programı Microsoft BizSpark Programı OpenZeka Resim Tanıma Web ve API Server (Açık Kaynak Kodlu) Görsel Tanıma Servisi Hakkında Çözümler Sosyal Media Konferans/Meetup/Eğitim Turkey Deep Learning Group 600+ NVIDIA DIGITS Ankara Deep Learning Group 1000+ 30+

Sertifikalı Hızlı Derin Öğrenme Uzmanı Yetiştirme Eğitimi Süre: 2 gün/12 saat Seviye: Başlangıç Konvolüsyonel Sinir Ağları Resim ve Metin Sınıflandırma Nesneleri Kutu İçine Alma Nesneleri Sınırlarından Ayırma Medikal Görüntü Analizi Ankara: 25-26 Mart 2017 İstanbul: 8-9 Nisan 2017

Open Zeka API GPU ve CPU Bulutu Üzerinde Gömülü Sistemler Jetson TX2/TX1-TK1 Rasberry Pi 3 Test devam ediyor

http://www.derinogrenme.com Türkiye Derin Öğrenme Grubu Sayfası: https://www.linkedin.com/grp/home?gid=8334641 Ankara Derin Öğrenme Meetup Sayfası: http://www.meetup.com/ankara-deep-learning Derin Öğrenme Grup Sayfası: https://www.facebook.com/groups/derin.ogrenme @openzeka

TEŞEKKÜRLER. If we knew what it was we were doing, it would not be called research, would it? Einstein 92