Büyük Veri Uygulamaları

Transkript

1 TÜRKİYE BİLİŞİM DERNEĞİ Kamu-BİB 2023 ve Ötesi Büyük Veri Uygulamaları Mayıs 2016 Belek, Antalya

2 Yayına katkı verenler Prof. Dr. Erdoğan Doğdu (Bşk.)TOBB Üniv. Yrd. Doç. Dr. Ziya Karakaya (Bşk. Yrd) Atılım Üniv A. Esad Berktaş Sağlık Bakanlığı Ayşe Gül İbrişim TSE Barış Tamer AkyılmazİŞKUR İrem Soya İŞKUR Lütfi Özbilen Fokus Akademi Özlem Gürel Sağlık Bakanlığı Refia Karaca İDE Danışmanlık Semih ÇELİK Adalet Bakanlığı Serhan Kars Başbakanlık Umut Elmas Sağlık Bakanlığı Veysel Uğur Kızmaz İŞKUR 2

3 İçindekiler Giriş Kamuda Büyük Veri Türkiye de Kamuda Büyük Veri Dünya da Kamuda Büyük Veri Kamu için öneriler 3

4 Big data Volume (Hacim) Variety (Çeşitlilik) Velocity (Hız) Diğer V ler Veracity (Doğruluk) Validity (Geçerlilik) Volatility (Oynaklık) 4

5 İnsanlar Büyük veri kaynakları Sosyal medya, web, bloglar, Sensörler / araçlar Akıllı telefon (GPS), üretim makinaları/robotlar, akıllı sayaçlar (elektrik), arabalar (200+ sensör), Internet of Things (IoT) (30+ milyar by 2020) Web of Things 5

6 N-grams 25 million books scanned (2015). How many more? 130 million books 6

7 #Web pages in billions 7

8 Sosyal ağlar >500M tweets/day 8

9 Processes 20 PB a day (2008) Crawls 20B web pages a day (2012) Search index is 100+ PB (5/2014) Bigtable serves 2+ EB, 600M QPS (5/2014) 400B pages, 10+ PB (2/2014) 19 Hadoop clusters: 600 PB, 40k servers (9/2015) Hadoop: 10K nodes, 150K cores, 150 PB (4/2014) 150 PB on 50k+ servers running 15k apps (6/2011) 300 PB data in Hive TB/day (4/2014) LHC: ~15 PB a year S3: 2T objects, 1.1M request/second (4/2013) 640K ought to be enough for anybody. SKA: EB per year (~2020) LSST: 6-10 PB a year (~2020) How much data? Source: 9

10 Zettabyte 10

11 Neden büyük veri? Bilim Mühendislik Ticaret Toplum Source: Wikipedia (Everest) 11

12 Bilim Veri-yoğun araştırma (e-bilim) 12 Maximilien Brice, CERN

13 Mühendislik Verinin etkin kullanımı Arama, öneri, tahmin, Source: Wikipedia (Three Gorges Dam) 13

14 Müşterileri tanımak Veri Bilgi Rekabet avantajı Ticaret Source: Wikiedia (Shinjuku, Tokyo) 14

15 Toplum Bireyi/toplumu okumak Hesaplamalı sosyal bilim 15 Source: Guardian

16 Veri mühendisliği / Veri bilimi Veri elde etme (data acquisition) Akan veri (streaming data) veya durağan veri (offline) Veri işleme (data processing) Yapısız veriden yapısal veriye dönüşüm, ETL Öznitelik çıkarımı Veri saklanması (data storage, database, data warehouse) Veri analitiği (Data analysis, analytics) Raporlama ve görselleştirme 16

17 Data Information Knowledge 17

18 Data Analytics / Data Science Data Information Knowledge Örüntü bulma (finding patterns) Sınıflandırma (classification) Tahmin (predicting) Veri madenciliği (data mining) İş zekası (business intelligence) Büyük veri analizi Bilinen yöntemleri dağıtık veri üzerinde paralel işleme 18

19 Büyük Veri den önce Veritabanları kullanarak iş zekası uygulamaları DB Datawarehouse More DB Reports 19

20 Büyük veri teknolojisi Facebook, Twitter, LinkedIn, ebay, Amazon Eski teknolojileri kullanma şansı yok Çok fazla paralel işleme 20

21 Büyük fikirler Yatay ölçekleme yap, dikey değil Scale out, not up Her an birşey bozulabilir Assume failures common Veri işlemeyi verinin olduğu yerde yap Move processing to data Veriyi sırayla işle Process data sequentially (no random access) Sistem detaylarını sakla Hide system-level details Farkettirmeden ölçekleme Seamless scalability Kaynak: Jimmy Lin, Data-Intensive Text Processing with MapReduce,

22 The datacenter is the computer! Source: Google 22

23 Source: Google 23

24 Source: Google 24

25 Recent guesstimates have placed Google's server count at more than 1 million. But new data on Google's energy use suggests that the company is probably running about 900,000 servers. Google never says how many servers are running in its data centers. Aug 1, 2011 Source: Google Google has been estimated to have more than 1 million computers 25

26 Source: Google 26

27 Source: Google 27

28 Source: Facebook 28

29 History 29

30 MapReduce Jeffrey Dean and Sanjay Ghemawat (Google). MapReduce: simplified data processing on large clusters. OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December,

31 Divide and Conquer Work Partition w1 w2 w3 worker worker worker r 1 r2 r3 Result Combine Source: 31

32 32

33 Kamuda büyük veri kullanımı Kullanım alanları Sağlık Eğitim Enerji Bütçe ve harcamalar Güvenlik Yerel yönetimler, şehircilik Amaç Etkin işleyen kurumlar ve devlet Kaynakların verimli kullanımı Toplumun refahı 33

34 Veri güvenliği Büyük veri problemleri Veri mahremiyeti ve gizlilik 34

35 Açık veri (open data) data.gov (ABD) data.gov.uk (İngiltere)... Amaç Şeffaflık ve demokrasinin gelişmesi Ekonomik fırsat ve eşitlik oluşturması Refaha katkı data.gov.tr? 35

36 Diğer ilişkili konular Sosyal medya IoT Endüstri 4.0 Akıllı şehirler 36

37 Türkiye de Kamuda Büyük Veri Kalkınma Bakanlığı Onuncu Kalkınma Planı 412. madde: Açık kaynak kodlu yazılımlar, büyük veri, bulut bilişim, yeşil bilişim, mobil platform, nesnelerin interneti gibi ürün, hizmet ve yönelimler değerlendirilerek kamu için uygun olabilecek çözümler hayata geçirilecektir. 37

38 2013 TÜBİTAK BİLGEM B3LAB TÜBİTAK BİLGEM Bilişim Teknolojileri Enst. Kalkınma Bakanlığı Bulut Bilişim ve Büyük Veri Araştırma Laboratuvarı (B3LAB) Bulut Bilişim ve Büyük Veri konularında altyapıların kurulacağı bir araştırma laboratuvarı oluşturulmak 38

39 Bilgi Toplumu Stratejisi Kalkınma Bakanlığı Bilgi Toplumu Stratejisi ve Eylem Planı 50. Eylem: Kamuda Büyük Veri Pilot Uygulaması Gerçekleştirilmesi SGK, Sağlık Bakanlığı, TÜBİTAK 39

40 TR Kamuda Büyük Veri Kamuda Büyük Veri İçerikli Projeler SGK, Sağlık Bakanlığı, MEB,... Kamuda Büyük Veri Uygulamaları KAYSİS, Enerji Tahmin, Mevzuat ve Strateji Anket Kamu Kurumlarında Büyük Veri Kullanımı ve Büyük Veri Algısı ~31 katılımcı 40

41 TR Kamu da Büyük Veri İçerikli Projeler Örnekler SGK MEB Sağlık Bakanlığı 41

42 SGK e-bildirge Sigorta prim tahsili, işyeri tescil kayıtları MEDULA Sağlık hizmetleri ödemeleri Veri Ambarı Projesi 150 TB ~500 uygulama verisi 500+ raporlama şablonu, binlerce farklı rapor 42

43 MEB MEBSİS e-okul Öğrenci kayıtları, milyonlarca öğrenci FATİH Eğitimde teknoloji e-yaygin Yaygın eğitim kurumları faaliyetleri 43

44 Sağlık Bakanlığı e-nabız Kişisel sağlık bilgi kayıtları UBYS (Sağlık.Net) Tüm sağlık kurum ve hizmetleri ile kayıtları 3.5 milyon kullanıcı MHRS (Merkezi Hekim Randevu Sistemi) Aşı Takip Sistemi 44

45 KAYSİS TR Kamuda Büyük Veri Uygulamaları Kamu Bilgi Yönetim Sistemi T.C. Başbakanlık İdareyi Geliştirme Başkanlığı Kamu kurumları teşkilat yapıları, hizmetleri, belgeleri, bilgileri, mevzuatları, Ulusal Veri Santrali 45

46 TR Kamuda Büyük Veri Uygulamaları Enerji Tahmin Projesi Türkiye Rüzgar ve Dalga Atlası Türkiye Ulusal Yenilenebilir Enerji Eylem Planı T.C. Enerji ve Tabii Kaynaklar Bakanlığı Yenilenebilir Enerji Genel Müdürlüğü 46

47 TR Kamuda planlanan uygulamalar Çalışma ve Sosyal Güv. Bakanlığı, İŞKUR İş Veri Bankası Sosyal Medya ile İş Öneri, Profil Yapılandırma Sağlık Bakanlığı Kronik Hasta Yönetim Sistemi RoboDoktor Sporcu Sağlığı Bilgi Sistemi Adalet Bakanlığı Adli Veri Bankası Suç Takip Sistemi 47

48 TR Kamuda planlanan uygulamalar İçişleri Bakanlığı Aranan-Şüpheli Araç ve Kişi Tespit Sistemi Gıda Tarım ve Hayvancılık Bakanlığı Yetiştiricilik ve Ürün Denetim Sistemi 48

49 Mevzuat ve Strateji 5651 sayılı İnternet ortamında yapılan yayınların düzenlenmesi ve bu yayınlar yoluyla işlenen suçlarla mücadele edilmesi hakkında kanun Kişisel verilerin korunması kanunu (2016) Kişisel Verilerin Otomatik İşleme Tabi Tutulması Karşısında Bireylerin Korunması Sözleşmesi 49

50 Anket Kamu Kurumlarında Büyük Veri Kullanımı ve Büyük Veri Algısı Katılımcı: 31 50

51 2. Verilerinizi nerede tutuyorsunuz? 51

52 3. Kurum olarak büyük veri konusuna ilginiz var mı? 52

53 4. Kurum olarak büyük veri stratejiniz var mı? 53

54 5. Kurumunuzdaki verinin büyüklüğü nedir? 54

55 6. Kurumunuzda yapısal ve yapısal olmayan veri büyüklüğü oranları nedir? 55

56 7. Kurumunuzda veri işlemede uygulanan yaklaşım 56

57 8. Büyük ölçekli veri işlemede hangi yöntemleri kullanıyorsunuz? 57

58 9. Büyük veri konusunda kurumunuzda hangi yatırımlar yapıldı? 58

59 10. Büyük veri yatırımlarınızın yaklaşık değeri nedir? 59

60 11. Büyük veri projeniz var mı? 60

61 12. Büyük veri projeniz yoksa, kurumun gelecek planları nelerdir? 61

62 13. Büyük veri projelerinde çalışan sayınız kaçtır? 62

63 14. Hangi teknolojileri kullanıyorsunuz ya da inceliyorsunuz? 63

64 15. Kurumunuzda Büyük Veri Analitiği konusunda yetkin çalışan sayısı 64

65 Dünyada Kamuda Büyük Veri ABD data.gov (2009) Big Data Research and Development Initiative (2012), Obama yönetimi girişimi The Cancer Genome Atlas (TCGA) NCI, NIH, Amazon S3 The 3000 Rice Genome Project (Amazon S3) 3024 pirinç türüne ait genome verisi Landsat 8 (AWS) US Geological Survey, NASA 65

66 Dünyada Kamuda Büyük Veri AB Digital Agenda for EU (2010) 2012: IoT, M2M, kamu verilerinin ekonomik potansiyeli data.gov.uk 66

67 Kamu İçin Büyük Veri Önerileri Ulusal öncelikler Savunma ve güvenlik Ekomomi, Üretim, Büyüme, ve İstihdam Eğitim ve Sağlık Şeffaflık / Açık veri Analitik kurumu Gerçek-zamanlı analiz Küresel işbirliği Özel sektör işbirliği Yetişmiş insan gücüne yatırım Üniversitelerle işbirliği 67

68 Anket 2 Kamuda Büyük Veri Anketi 68

69 TÜRKİYE BİLİŞİM DERNEĞİ Türkiye Bilişim Derneği Teşekkür ederiz Kamuda Büyük Veri Anketi