BİLİŞİM TEKNOLOJİLERİ ENSTİTÜSÜ BULUT BİLİŞİM VE BÜYÜK VERİ ARAŞTIRMA LABORATUVARI (B3LAB) Dr. OĞUZ İÇOĞLU 08 Aralık 2015
B3LAB BULUT BİLİŞİM VE BÜYÜK VERİ ARAŞTIRMA LABORATUVARI PROJESİ BİLGEM BTE B3LAB Proje Adı Desteleyen Amaç : Bulut Bilişim ve Büyük Veri Araştırma Laboratuvarı (B3LAB) : T.C. Kalkınma Bakanlığı : Bulut bilişim ve büyük veri konusunda bir araştırma laboratuvarının kurulması.
Bulut Bilişim BİLGEM BTE B3LAB Ağlar, sunucular, depolama sistemleri, uygulamalar ve servislerden oluşan BT kaynaklarının; Konumdan Bağımsız Esnek Düşük Maliyetli Etkin ve Verimli Paylaşılabilir Ölçülebilir Güvenli Mahremiyete uygun kullanımını sağlayan teknoloji
Bulut Bilişim BİLGEM BTE B3LAB BULUT BİLİŞİM «Software as a Service» Dropbox, Google drive, SAP, Office 365 vb «Platform as a Service» Google apps, Oracle Platform, Windows Azure vb «Infrastructure as a Service» Amazon S3, Windows Azure vb
B3LAB PROJESİ KAPSAMI B3LAB ALTYAPISI İŞ PAKETLERİ BULUT YAZILIMLARI İŞ PAKETLERİ BÜYÜK VERİ İŞ PAKETLERİ GÜVENLİK VE MAHREMİYET İŞ PAKETLERİ YAYGINLAŞTIRMA İŞ PAKETİ B3LAB Veri Merkezi Kurulumu Altyapı Yazılımı Test ve Kalite Büyük Veri Altyapı Yazılımı Bulut Kimlik Yönetimi ve Güvenliği Bulut Bilişim Portalı Danışmanlık, Eğitim ve Seminerler Akademi Heyeti Sistem Altyapısı Kurulumu Nesne Depolama Yazılımı Büyük Veri Analizleri Siber Güvenlik Çözümleri Standartlar, Hukuk, Sertifikasyon İletişim Kütüphanesi Yaz Okulları ve Çalıştaylar PROJE YÖNETİM İŞ PAKETİ
B3LAB EKİBİ B3LAB EKİBİ Lisans (tamamlanmış); 6 Y.Lisans (öğrenci); 4 Doktora (tamamlanmış) ; 4 Doktora (öğrenci); 6 Doktora (tamamlanmış) Doktora (öğrenci) Y.Lisans (tamamlanmış) Y.Lisans (öğrenci) Lisans (tamamlanmış) Y.Lisans (tamamlanmış); 8 SGE ve UEKAE : 12 YTKDL : 4
GERÇEKLEŞEN FAALİYETLER
2. Bulut Bilişim ve Büyük Veri Yaz Okulu 1. Bulut Bilişim ve Büyük Veri Yaz Okulu GERÇEKLEŞEN FAALİYETLER (Etkinlikler) BİLGEM BTE B3LAB SİU2014 Özel Oturum Bulut Bilişim Çalıştayı 2013 10
Müşteri İhtiyaçlarının Toplanması Bulut Bilişim ve Büyük Veri Çalıştayı 2014 Kamu Düzeyinde Katılım 36 Kurumdan 91 katılımcı Ortak Akıl Platformu Paydaş Gereksinimleri
ÇALIŞTAY İSTERLERİNE AİT SAYISAL SONUÇLAR - I ÇALIŞTAY İSTERLERİNİN TOPLAM SAYISI TOPLAM 44 431 475 0 50 100 150 200 250 300 350 400 450 500 Toplam İster Sayısı Öncelikli İster Sayısı ÇALIŞTAY İSTERLERİNİN KONULARA GÖRE SAYISAL DAĞILIMI Bulut Bilişimin Yaygınlaştırılması 6 61 67 Veri Merkezi ve Sistemler 6 69 75 Bulut Bilişimde Milli Çözümler 9 87 96 Standart, Hukuk, Kalite 7 75 82 Bulutta Büyük Veri 9 56 65 Güvenlik ve Mahremiyet 7 83 90 0 20 40 60 80 100 120 Toplam İster Sayısı Öncelikli İster Sayısı
GERÇEKLEŞEN FAALİYETLER (Rekabetçi Özelliklerin Belirlenmesi) Benzer/Muadil Ürünlerin İncelenmesi Bulut Altyapı Yazılımları Büyük Veri Altyapı Yazılımları
GERÇEKLEŞEN FAALİYETLER (Rekabetçi Özelliklerin Belirlenmesi) Benzer/Muadil Ürünlerin İncelenmesi Bulut Altyapı Kurulum Yazılımı Bulut Depolama Çözümleri
GERÇEKLEŞEN FAALİYETLER (Büyük Veri Araştırmaları) BÜYÜK VERİ: Kurumların muazzam büyüklüklerdeki verilerinin, doğru öngörüler yapabilmek için doğru hızda ve doğru zamanda depolanmasını, yönetilmesini ve işlenmesini mümkün kılan teknoloji. Bir BÜYÜK VERİ çözümü oluşturabilmek için kurulacak altyapı, verinin; o Ölçeklenebilirliğini o Dağıtılabilirliğini ve o Yönetimini desteklemelidir. Neden? Cevap; «veri» konusundaki zorluklarda saklı.
GERÇEKLEŞEN FAALİYETLER (Büyük Veri Araştırmaları) Teorik olarak büyük veri altyapısını tek bir büyük ortamda çalıştırmak mümkün olsa da, pratikte bu uygulanabilir değildir. Pratikte bu işlemleri mümkün kılan altyapının ölçeklenebilir olmasıdır. Buradaki yaklaşım «Bulut Bilişim»in felsefesi ile aynıdır: Ucuz donanım kümelerinin ağ üzerinden bağlanarak performans sağladığı ve bir altyapı yazılımı ile ölçeğin ve yük dağılımının dinamik olarak yönetildiği teknolojik yaklaşım Bu durumda; fiziksel kaynakları düğümlere doğrudan tahsis etmek yerine bir sanal kaynak havuzundan hızlı ve iş yükünün değişimine göre dinamik olarak atamak : Bu bir gereklilik olmasa da, bulut üzerinden büyük veri altyapısını sunmak, büyük veri ortamının sınırsız ölçeklenebilmesini sağlamaktadır.
GERÇEKLEŞEN FAALİYETLER (Büyük Veri Araştırmaları) Openstack üzerinde Büyük Veri Hizmeti : SAHARA. Büyük Veri analizlerini kolay hale getirmek için büyük veri altyapılarını erişebilir ve kullanılabilir hale getirmek önemli. Ancak bu altyapılar kaynak tüketimi ve kurulum/yönetim açısından maliyetli. Çözüm: Büyük Veri altyapılarının Bulut üzerinden bir hizmet olarak Büyük Veri analizcilerine sunulması
BÜYÜK VERİ ANALİZLERİ Kurumlar neden büyük miktarda verileri depolamaktadır? Amaç: Önemli olayların ve değişimlerin erken uyarıları olabilecek veri içindeki gizli paternlerin varlığını ortaya çıkarmak. Nedir bu önemli olaylar ve değişimler? Günümüzde kurumlar geçmişte olmuş olaylara bakarak karar verme eğiliminden, gelecekte olacakları tahmin edip proaktif olarak önlem alan bir yapıya bürünmektedir. Bu önemli olaylar ve değişimler bir internet servis sağlayıcı için müşterilerinin başka firmaya geçme eğilimlerinin öngörülmesi olabileceği gibi, bir banka için para transferlerinden dolandırıcılık sezme de olabilir. Her farklı amaç için farklı bir analiz türü bulunmaktadır.
BÜYÜK VERİ ANALİZLERİ Analiz Türleri Basit Analizler: Verinin gruplanmasını veya ayrıştırılmasını sağlayan, ikili şekilde gruplayarak veriyi eksenler üzerinde görselleştiren ya da gerçek zamanlı akan verinin izlenmesini sağlayan analizlerdir. Gelişmiş Öngörü (predictive) Analizleri: İstatistiksel ve matematiksel teknikler kullanılarak büyük hacimli veri içerisinde anlamlı korelasyonlar, modeller ve trendler bulmayı sağlayan analizlerdir. Operasyonel Analizler: Öngörü analizlerinin iş sürecine entegre edilmesidir. (Örneğin, yeni ürün alma potansiyeli olan müşterilerin öngörülerek callcenter sürecine dahil edilmesi ve bu müşterilere call-center hizmeti sırasında yeni çıkan ürünlerin tanıtılması) Ticaret Analizler: Satış amaçlı yürütülen analizlerdir. Özellikle geniş müşteri kitlesi olan telekom gibi firmalar müşterileri üzerinden elde ettikleri analiz sonuçlarını diğer şirketlere pazarlamaktadır. Müşteri davranışını bu sayede öngörebilen şirketler bu bilgileri ticari amaçları için kullanmaktadırlar.
BÜYÜK VERİ ANALİZLERİ Gelecek Potansiyeli Bu örneklere ek olarak büyük veri analizinin uygun verilerin bir araya getirilmesi ile farklı konularda çözüm sunma potansiyeli bulunmaktadır. Artık tüm sektörlerde yer alan kurumların veriye bakış açısı değişmiştir. Gerçek dünyada hergün karşılaşılan durumlara örnekler şunlar olabilir: Hassas tıbbi cihazları kontrol eden sensör verilerinin analizi ile cihazların performansının izlenmesi ve hastaya bir zarar gelmesinin önlenmesi. Tıbbi cihazların hasta hakkında sağladığı detaylı verilerin analizi ile hastanın durumunun kritikliğini ve benzeri anormallik göstergelerini tespit etme. Telekom firmalarında yüksek hacimli iletişim verilerinin analiz edilerek hizmet seviyesinin müşteri ihtiyaçlarını karşıladığına emin olma. Satış verilerinin analizi ile müşterinin satınalma kararlarının yönlendirilmesi.
BÜYÜK VERİ ANALİZLERİ - Örnekler Dünyadaki kurumsal örnekler IBM firmasının geliştirdiği Watson ürünü büyük miktarda yapısal ve yapısal olmayan verileri analiz eden bir dizi teknoloji içermektedir. Ticari olarak varolan bu teknolojileri IBM mühendisleri «gizli soslar» ekleyerek geliştirmiş ve özgün bir araç ortaya çıkarmıştır. Watson ilk olarak adını bir bilgi yarışmasına katılarak duyurmuş ve wikipedia verilerini gerçek zamanlı analiz ederek soruların çoğunu doğru cevaplamış, en yakın insan rakibinden iki kat daha fazla puan kazanmıştır. Watson a NLP ve makina-öğrenmesi teknolojileri ile soruları anlayıp cevap verebilme özelliği eklenmiş ve böylece karşısındaki kişiyle etkileşime geçebilme yeteneği kazandırılmıştır. IBM mühendisleri teknolojilerini geliştirerek Watson ı tıp konusunda karar destek sunabilecek bir yapıya getirme üzerine çalışmalarına devam etmektedir.
BÜYÜK VERİ ANALİZLERİ Gelecek Potansiyeli Veri Analizinin Kamuya Etkisi: Neredeyse her şehir yönetimi topladığı vergilerden, izlediği trafik yoğunluğundan, suç faaliyetlerinin takibinden (polis kayıtlar, vb) veya bina ve köprülerin üzerindeki sensörlerden veri toplamaktadır. Şehirleri daha güvenli, verimli ve yaşanabilir kılmak için bu verilerin analizinde büyük bir potansiyel bulunmaktadır. Mevcut durumda bu veriler farklı departmanlar tarafından toplanmakta her biri kendi kapalı deposunda saklanmaktadır. Ancak bu verilerin tek bir merkezde entegre edilmesi ile çok önemli bilgiler ortaya çıkarılabilir. Örneğin nüfus, çalışma saatleri, yol bakım durumları ve hava verileri bir araya getirilerek trafik tıkanıklarının öngörülmesi mümkün olabilir. Şu an Avrupa da yürütülen bir çalışmada gerçek zamanlı trafik bilgisi, araçların GPS verisinden ve yollardaki radar sensörlerden toplanarak trafik tıkanıkları öngörülmeye çalışılmakta, alternatif yollar önerilerek trafik akış hızı artırılmaktadır.
BÜYÜK VERİ ANALİZLERİ Gelecek Potansiyeli Veri Analizinin Kamuya Etkisi: Özellikle 11 Eylül 2001 saldırılarından sonra veri analizinin potansiyel yararının güvenlikte olabileceği öngörülmüş ve doğru kimlik saptama görevlerinde bilgiyi içeren büyük veri tabanlarının kullanmasına yönelik çalışmalara başlanmıştır. Örneğin güvenlik kurumları, bir uçağa binen X kişisi ile terörist izleme listesindeki Y nin aynı kişi olup olmadığını veya şüpheli terörist ile bir konut paylaşan Z kişisini belirlemek isteyebilir. Sadece isim bilgisi ile bu kimlikleri kesin olarak çözmek neredeyse imkansızdır. Eğer güvenlik güçleri sosyal güvenlik numarası, doğum tarihi, veya bir adres gibi bilgilere sahipse doğru yargıya ulaşmak daha kolay olmaktadır. Bu doğrultuda; şüpheli, adres veya ilgili diğer parçaları bulmak için bir araya getirilmiş kamu kayıtlarını kullanan bir uygulama geliştirilmiştir. Bu uygulama üzerinde 11 Eylül saldırılarının o güne kadarki sahip olunan verileri ile analiz çalışması yapılmış ve ABD hükümetinin izleme listesi bilgilerini, havayolu rezervasyon kayıtlarını ve toplanan kamu kayıt verilerini kullanarak onbir teröristi 11 Eylül den daha önce tespit edebileceği ortaya çıkarılmıştır.
GERÇEKLEŞEN FAALİYETLER (Saha Ziyaretleri) ULAKBİM Veri Merkezi İncelenmesi ve Bilgi Paylaşımı (2014) IBM Olağan Üstü Durum Veri Merkezi İncelemesi (2014) Borsa İstanbul Veri Merkezi İncelemesi (2014) İTÜ UHEM Veri Merkezi İncelemesi ve Bilgi Paylaşımı (Şubat 2015)
GERÇEKLEŞEN FAALİYETLER (Altyapı Kurulumu Prototip Veri Merkezi) Lokal veri merkezinin kurulumu için BİLGEM içerisinde yaklaşık 40 m2 lik bir alan tahsis edilmiş, tasarımı yapılmış ve şartnamesi hazırlanmıştır.
GERÇEKLEŞEN FAALİYETLER III. Bulut Bilişim ve Büyük Veri Yaz Okulu (Haziran 2015) Lisans, yüksek lisans ve doktora seviyesinde öğrenciler / mezunlar Kuramsal ve uygulamalı dersler Bulut Bilişim Programı (33 katılımcı) Büyük Veri Programı (34 katılımcı)
ÖZET B3LAB projesi nin ana amacı: Bulut Bilişim (BB) ve Büyük Veri (BV) konularında Ar-Ge ve altyapı sağlanması. Hedeflerimiz: o B3LAB ın Üniversitelere yönelik olarak; akademik gelişmelere destek/öncü olması Akademik iletişim ağının oluşturulması Üniversitelere altyapı desteği sunulması Üniversiteler ile BB ve BV konularında kritik projelerde doğrudan işbirliği sağlanması, insan kaynağı ve altyapı desteği sunulması
ÖZET o B3LAB ın Kamu ihtiyacına yönelik olarak; çözümler sunması ve ülkenin bu teknolojilerde geleceğe yönelik dış ticari bağımlılığını azaltması Açık kaynak kod (AKKo) projeler üzerinden çözüm geliştirilmesi Kamu ve AKKo ya yönelik çalışan özel sektör işbirliklerinin geliştirilmesi Geliştirilen çözümlerin kullanımının sağlanması için seçilen kamu kurumları ile (gerektiğinde özel sektör desteğiyle birlikte) pilot projeler yapılması. Bu projelerin; o B3LAB tecrübesini ve çözümlerin olgunluğunu artırması o Kamuda farkındalık sağlaması ve yaygınlaşması
TEŞEKKÜRLER www.b3lab.org