TÜRKİYE BİLİŞİM DERNEĞİ Kamu Bilişim Merkezleri Yöneticileri Birliği Kamu Bilişim Platformu BÜYÜK VERİ UYGULAMALARI Çalışma Grubu 4 RAPORU Sürüm 1.0 http://www.tbd.org.tr 11 Mayıs 2016
TBD Kamu-BİB Kamu Bilişim Platformu XVIII Hedef Kitle Bu raporun hedef kitlesi, tüm kamu kurum ve kuruluşları, sivil toplum kuruluşları, özel sektör ve uluslar arası kuruluşlardır. Belge No : TBD/Kamu-BİB/2016-BG4 Tarihi : 11 Mayıs 2016 Durumu : Taslak Rapor sürüm 1.0 i
Yayını Hazırlayanlar Başkan Prof. Dr. Erdoğan Doğdu TOBB Ekonomi ve Teknoloji Üniversitesi Başkan Yardımcısı Yrd.Doç.Dr. Ziya Karakaya Atılım Üniversitesi Kamu-BİB YK Temsilcileri Mesut KÜÇÜKİBA Sadettin KAYA TCDD T.C. Başbakanlık Grup Üyeleri A. Esad Berktaş Sağlık Bakanlığı Ayşe Gül İbrişim Barış Tamer Akyılmaz İrem Soya Lütfi Özbilen Özlem Gürel Refia Karaca Semih ÇELİK Serhan Kars Umut Elmas Veysel Uğur Kızmaz TSE İŞKUR İŞKUR Fokus Akademi Sağlık Bakanlığı İDE Danışmanlık Adalet Bakanlığı Başbakanlık Sağlık Bakanlığı İŞKUR ii
TEŞEKKÜR Bu kılavuzu hazırlanmasında yorumlarıyla ve önerileriyle yardımlarını esirgemeyen Onsekizinci Dönem TBD Kamu-BİB Yönetim Kurulu üyelerine teşekkürlerimizi sunarız. iii
İÇİNDEKİLER TEŞEKKÜR... iii İÇİNDEKİLER... iv TANIMLAR VE KISALTMALAR...viii ŞEKİLLER... ix TABLOLAR... ix ÖNSÖZ... x BÖLÜM 1... 1 Büyük Veri... 1 1.1 Tanım... 1 1.2 Araçlar... 2 MapReduce... 2 Hadoop... 3 Spark... 4 Storm... 5 FLink... 6 Apache Ranger... 7 Knox Gateway... 7 Kafka... 7 R... 8 Cascading... 8 Elasticsearch... 8 HBase... 9 Hive... 9 Pig... 10 Cassandra... 10 iv
MongoDB... 10 Dağıtık Dosya Depolama Sistemleri... 11 BÖLÜM 2... 12 Kamuda Büyük Veri... 12 2.1 Kamuda büyük veri kullanım alanları... 12 Sağlık... 13 Eğitim... 13 Enerji... 13 Vergi toplama, bütçe ve harcamalar... 13 Güvenlik... 13 2.2 Veri güvenliği, veri mahremiyeti ve gizliliği... 14 2.3 Açık veri (Open Data)... 15 2.4 Sosyal medya, IoT, Endüstri 4.0, Akıllı şehirler... 15 BÖLÜM 3... 17 Türkiye de Kamuda Büyük Veri... 17 3.1 Türkiye de Kamuda Veri İşlemenin Geçmişi... 17 3.1.2 Türkiye de Kamuda Bilişimin Gelişimi... 17 3.2 Türkiye de Kamuda Büyük Veri İçerikli Projeler... 19 3.2.1 Sosyal Güvenlik Kurumu (SGK) Projeleri... 20 3.2.2 Milli Eğitim Bakanlığı (MEB) Projeleri... 21 3.2.3 Sağlık Bakanlığı Projeleri... 22 3.3 Kamu Kurumlarının Büyük Veri Uygulamaları... 23 3.3.1 Kamu Kurumlarında Gerçekleştirilen Uygulamalar... 23 3.3.2 Kamu Kurumlarında Gerçekleştirilebilecek Projeler... 24 3.4 Mevzuat ve Strateji... 30 Açık Veri ve Veri Güvenliği... 30 Kişisel verilerin kullanımı yasasına büyük veri süreçlerinin dâhil edilmesi... 31 Yasal Dayanaklar ve Strateji... 32 3.5 Kamu Kurumlarında Büyük Veri Kullanımı ve Büyük Veri Algısı... 33 v
Soru 1. Kurumunuzun çalışma alanı nedir?... 34 Soru 2. Verilerinizi nerede tutuyorsunuz?... 34 Soru 3. Kurum olarak büyük veri konusuna ilginiz var mı?... 34 Soru 4. Kurum olarak büyük veri stratejiniz var mı?... 35 Soru 5. Kurumunuzdaki verinin büyüklüğü nedir?... 36 Soru 6. Kurumunuzda yapısal ve yapısal olmayan veri büyüklüğü oranları nedir?... 36 Soru 7. Kurumunuzda veri işlemede aşağıdaki hangi yaklaşımı uyguluyorsunuz?... 37 Soru 8. Büyük ölçekli veri işlemede hangi yöntemleri kullanıyorsunuz?... 38 Soru 9. Büyük veri konusunda kurumunuzda hangi yatırımlar yapıldı?... 38 Soru 10. Büyük veri yatırımlarınızın yaklaşık değeri nedir?... 39 Soru 10. Büyük veri projeniz var mı?... 39 Soru 11. Büyük veri projeniz yoksa kurumun büyük veri konusunda gelecek planları nelerdir?... 40 Soru 12. Büyük veri projelerinde çalışan sayınız kaçtır?... 41 Soru 13. Büyük veri işlemede hangi teknolojileri kullanıyorsunuz ya da inceliyorsunuz?... 41 Soru 14. Kurumunuzda Büyük Veri Analitiği konusunda aşağıdaki konularda yetkin çalışan sayısını belirtiniz.... 41 BÖLÜM 4... 43 Dünya da Kamuda Büyük Veri Uygulamaları... 43 4.1 ABD de Kamuda Büyük Veri... 43 4.2 AB de Kamuda Büyük Veri... 45 4.3 Asya Ülkelerinde Kamuda Büyük Veri... 46 Güney Kore... 46 Singapur... 47 Japonya... 47 Çin Halk Cumhuriyeti... 48 4.4 Avustralya'da Kamuda Büyük Veri... 48 BÖLÜM 5... 49 vi
Kamu için öneriler... 49 5.1 Ulusal öncelikler... 49 Savunma ve güvenlik... 49 Ekomomi, Üretim, Büyüme, ve İstihdam... 50 Eğitim ve Sağlık... 50 Şeffaflık... 51 5.2 Analitik kurumu... 51 5.3 Gerçek-zamanlı analiz... 51 5.4 Küresel işbirliği... 52 5.5 Özel sektör işbirliği... 52 KAYNAKÇA... 53 vii
TANIMLAR VE KISALTMALAR MapReduce Hadoop Spark Büyük Veri Açık Veri IoT Endüstri 4.0 Akıllı Şehirler Büyük veri uygulamalarında kullanılan temel algoritma, Google tarafında önerilmiştir MapReduce algoritmasını açık yazılım olarak gerçekleştiren çerçeve yazılım, ilk defa Yahoo tarafından geliştirildi, şimdi Apache tarafından geliştiriliyor Hadoop a alternatif olarak Berkeley Üniversitesi nde geliştirildi, şimdi Apache tarafından açık yazılım olarak geliştiriliyor. Bellek tabanlı veri yönetimi ile çok daha hızlı. Geleneksel veri işleme yöntemlerinin yetersiz kaldığı, çok büyük ve karmaşık, yapılı ve yapısız veriler. Erişimi herkese açık, genelde Web üzerinden paylaşılan veriler. Internet of Things, veya Nesnelerin İnterneti. Veri toplayan, İnternet e ve birbirlerine bağlı, haberleşen cihazlar, araçlar, telefonlar, binalar, taşıtlar, vb. Endüstriyel üretimde yeni dönem. Akıllı sistemler, otomasyon, IoT ve algılayıcıların kullanılması ile üretim süreçlerinin daha akıllı ve etkin bir şekilde yapılması. Smart cities. Yerel yönetimlerin ve belediyelerin şehir hayatını kolaylaştıracak akıllı sistemlerle, IoT ve verilerle, şehri yönetmesi, güvenlik ve refahı artırması. viii
ŞEKİLLER Şekil 1. Hadoop 2.0 Ekosistemi...4 Şekil 2. Spark genel modülleri...5 Şekil 3. Flink ekosistemi...6 Şekil 4. Kafka nın çalışma biçimi...8 Şekil 5. ElasticSearch ile Hadoop yapılanmasının entegrasyonu...9 TABLOLAR Tablo 1. Türkiye'de kamuda önemli bilişim gelişmeleri...17 ix
ÖNSÖZ İnternet ve Web in hayatımıza girmesi, her alanda sayısallaşma, veri saklama teknolojilerinde ucuzlama ve kapasite artışı gibi gelişmelerle birlikte çok büyük veri kaynakları oluşmuş bulunmaktadır. Büyük veri şu üç temel nitelikle klasik veriden ayrılmaktadır: veri hacmi (volume), veri hızı (velocity), veri çeşitliliği (variety). Veriler büyüdükçe bu verileri geleneksel yöntemlerle işlemek zorlaşmış ve büyük veri işleme yöntem ve teknolojileri ortaya çıkmıştır. Son yıllarda tüm dünyada ve ülkemizde büyük veri ye ilgi artmaktadır. Büyük veri işleme yöntemleri kullanılarak sanayi, ticaret, bilim, sağlık, eğitim, kamu ve sosyal bilimler gibi hemen her alanda toplanan büyük verilerden bilgi üretilebilmekte ve bu bilgi kullanılarak karar destek sistemleri daha etkin çalışmakta ve sonuçta insan hayatı daha kolay yaşanır hale gelmektedir. Çalışma grubunun odak noktası kamu alanında büyük veri uygulamalarıdır. Kamu kurumları, büyük veri konusunda en önemli veri kaynağı ve uygulama alanlarından birisidir. Kamu kurumları hemen her alanda (büyük) veri toplamaktadır. Bu büyük verilere dayalı yürütülecek çalışmalarla toplumu ve ülkeyi etkileyecek önemli kararların alınması ve uygulamaya konması mümkün olabilmektedir. Bu çalışma çerçevesinde, Türkiye de kamu kurumlarındaki büyük veri resminin çekilmesi, kurumlarda mevcut ve potansiyel büyük veri uygulamalarının incelenmesi ve nihai olarak kamu kurumlarına büyük veri konusunda bir strateji yol haritasının sunulması hedeflenmiştir. x
BÖLÜM 1 Büyük Ver 1.1 Tanım Büyük verinin farklı tanımlarına geçmeden önce tüm tanımlar için geçerli olan ve Büyük Veri kavramını diğerlerinden ayrıştırmamızda yardımcı olacak önemli ve kısa bir cümle ile başlayalım: ilişkisel veritabanı, veri ambarı, veri siloları ve bu ortamlar için hazırlanmış olan geleneksel yöntem ve arçlarlar ile işlenemeyen veriler (boyut, hız, kompleksite, çeşitlilik, vb. unsurlar nedeniyle) büyük veri olarak algılanabilir. En temel ve basit anlatımı ile; büyük hacimli (volume), yüksek hızlı (velocity), çok çeşitlikte (variety) veri kaynakları büyük veri olarak tanımlanır. Bu tanıma 3V kuralı da denilir. Günümüzde bu V lerin sayısı artırılarak zenginleştirilen tanımlamalara sıkça rastlanabilmektedir. Örneğin, veracity (doğruluk), value (değerli), validity (geçerlilik), visible (görülebilir) gibi özellikler de büyük verinin tanımına eklenebilmektedir. Teknolojinin gelişimi ile veri üretim hızının artması ve toplanan verilerin işlenebilmesi gittikçe güçleşmiştir. Günümüzde veri üretmeyen ürünün kalmadığı bir çağa doğru ilerlerken RFID, akıllı sensörler, akıllı evler, akıllı şehirler, akıllı arabalar ve akıllı telefonların ürettiği verilerin dahi geleneksel yöntemlerle işlenemeyeceği gerçeği ile yüzleşilmesi sonucunda Büyük Veri kavramı ortaya çıkmış ve her geçen gün popüleritesi daha da artmaktadır. Özellikle internet in yaygınlaşması, sosyal medya kavramlarının ortaya çıkışı ile toplanan veri miktarlarında ve çeşitliliğinde büyük oranda artışlar gerçekleşmiştir. Bu verilerin anlamlı bir şekilde kullanılması yönünde Google in attığı adımlar önemli yer tutmaktadır. Buna ilaveten Facebook TM, Twitter TM gibi sosyal medya şirketlerinin yanısıra, Amazon TM, büyük telekomunikasyon şirketleri, sağlık kuruluşları ve bankaların verileri hızlı bir şekilde işleyerek kişisel bazda anlamsal bilgiler üretme çalışmaları bu teknolojinin hızlı bir şekilde gelişmesini sağlamıştır. Günümüzde artık alışveriş sitelerinden, sağlık sigorta kuruluşlarına kadar her yerde büyük veriden bahsetmek mümkün olabilmektedir. 1
Yukarıda anlatılan boyut ve çeşitlilikte verilerin bir arada gerçek zamanlı yada gerçek zamana yakın bir hızda toplanması, depolanması, işlenebilmesi ve anlamlı bilgiler üretilmesinin en önemli gereksinimleri büyük oranda veri depolama olanağı ve yüksek hızlarda işlem gücüdür. Bu iki teknoloji aslında büyük veriyi var eden anahtar teknolojiler olarak görülmektedir. Son yıllara kadar veri depolama ve yüksek başarımlı hesaplama gücü çözümleri çok pahalı ve büyük teknolojileri gerektirmekte iken, dağıtık ve paralel hesaplama tekniklerinin gelişiminin yanı sıra, dağıtık depolama ünitelerinin oluşturulabileceği dosya sistemlerinin gelişmesi ile sıradan bilgisayarlar ile büyük veri işleyebilecek yapıların düşük maliyetlerle oluşturulabilmesi mümkün hale gelmiştir. 1.2 Araçlar Büyük veriyi alıp işleyecek olan programlama tekniklerinin ve yazılım çözümlerinin üretilmesi ihtiyacı ortadadır. Bu yönde en önemli ivmeyi kazandıran gelişme Google TM tarafından üretilmiş olan GFS dosya sistemi ve MapReduce programlama tekniği olmuştur. Aşağıda bu araçlarla ilgili özet bilgilere yer verilmektedir. MapReduce MapReduce programlama metodu Google tarafından geliştirilen ve çok sayıda sıradan bilgisayardan oluşan küme üzerinde dağıtık/eş zamanlı olarak işlem yapmak için kullanılan bir tekniktir. Google bu metodu kamuoyu ile paylaştıktan sonra çok sayıda MapReduce metodu kullanan yazılım çözümleri üretilmeye başlandı ve büyük veri üzerinde kullanımı ile yaygınlaşmaya başladı. Bu tekniğin en önemli özelliği iki farklı işlem türü kullanarak sonuca ulaşmasıdır. MapReduce işleminin nasıl çalıştığını anlamak için bir örnek üzerinden açıklamakta fayda var. Diyelim ki elinizde çok büyük boyutlarda (örneğin Petabyte boyutlarında) düz metin yazıları bulunmakta ve siz bu yazılarının tamamı üzerinde kullanılan tüm kelimelerin her birinin toplam sayısına ihtiyaç duymaktasınız. Bu işlem için tek bir bilgisayar üzerinde çalışan bir tarama çözümü üretebilirsiniz ancak çok uzun sürelerde bu işlemin sonuçlarını alabilirsiniz. Bu durumda yapılacak olan çözümün eş zamanlı (paralel) programlama tekniğini kullanması akıllıca olabilir. Şu halde algoritmanızın eş zamanlı çalışır hale getirilmesi gerekecektir. Elinizdeki en büyük bilgisayarın 32 adet işlemci çekirdeği olduğunu varsayarsak, bu durumda gerçek 2
anlamda eş zamanlı çalışacak olan iş sayısı bu kadarla sınırlı olacaktır. Verileriniz de tek bir depolama ünitesinde tutuluyor olduğuna göre her bir eş zamanlı çalışan iş sürecinin veri erişim hızı paylaşımlı olduğundan yine istenilen sonucu almak zor olacaktır. Bir adım daha ileriye gidelim ve diyelim ki siz dağıtık programlama yöntemini de biliyorsunuz ve bu yöntemi uygulayacaksınız. Bu durumda işlerin dağıtılması işlemini, bunların herhangi birisinde hata çıkması durumunda (fault) bunu algılayıp hemen gerekli tedbirleri almak zorundasınız, tüm verileri doğru şekilde iş yapan bilgisayarlara gönderebilmeniz gerekir. Peki ya bu eş zamanlı işlerden hangisine, verilerinizin hangi bölümünü gönderdiniz? Onlarda herhangi bir sorun olması durumunda aynı verileri tekrar vermeniz ve yeniden hesap yaptırmanız gerekir. Hadi bunları da yaptığınızı düşünelim, iyi ama verileriniz tek bir disk üzerinde duruyor ise bu verileri o kadar sayıdaki eş zamanlı iş parçacıklarına hızla nasıl aktarabileceksiniz? Gördüğünüz gibi çok sayıda sorun ile baş etmek zorundayız. İşte bu kadar çok sorunla boğuşmamak için gelin MapReduce tekniğini eş zamanlı dosya sistemleri ile birleştirerek kullanmayı düşünelim. Google ın bu işi nasıl çözerdi? Tabii ki öncelikle kullandığı GFS (Google File System) tekniği ile verileri çok sayıdaki bilgisayara küçük bloklar halinde dağıtarak tutmayı, sonra o veri ler üzerinde iş yapacak kod parçalarını da aynı bilgisayarlar üzerinde çalıştırmak sureti ile yukarıda bahsettiğimiz sorunların bir çoğunu bertaraf edecektir. Bunu yaparken elbette ki hata yakalama ve gerekli düzenlemeleri yapma yeteneği de yine MapReduce kod kütüphanesi içerisinde bulunacaktır. Şu halde tek yapmamız gereken önce MAP fonksiyonu ile her bir bilgisayar kendisinde mevcut olan küçük bloklar üzerinde tarama işlemi çok hızlı bir şekilde tamamlayabilir, daha sonra da REDUCE işlemi ile bu sonuçlar bir merkezde toplanabilir. İşte MapReduce programlama metodu bu şekilde çalışmaktadır. Google in geliştirdiği GFS yerine genellikle açık kaynak kodlu olan Apache HDFS (Apache Hadoop Distributed File System) kullanılmaktadır. MapReduce hakkında : https://en.wikipedia.org/wiki/mapreduce Hadoop Yukarıdaki anlatımımızda MapReduce programlama metodunun sonunda HDFS den bahsettik. Ve öncesinde de bu yapılanma için birçok kütüphaneden oluşan bir ekosistemin var olması gerekliliğini ortaya koymuş olduk. Bu noktada 3
yardımımıza Hadoop koşmaktadır. Hadoop bir ekosistemdir ve içerisinde MapReduce gibi programlama metodlarını kolaylıkla gerçekleştirebileceğimiz bileşenler bulunmaktadır. Temel yapı taşlarını ise iş parçacığı yönetimi, dağıtık dosya sistemi ve MapReduce kütüphanesi oluşturmaktadır. Elbette ki bu ekosistemin iyi bir biçimde çalışabilmesi için gerekli olan diğer bileşenler de bulunmaktadır. Aşağıda Hadoop 2.0 ekosistemini gösteren şekil bulunmaktadır (Şekil 1). Hadoop Web Sayfası : http://hadoop.apache.org/ Spark Şekil 1. Hadoop 2.0 Ekosistemi 1 Hadoop un MapReduce motoruna alternatif olarak geliştirilmiş olan genel amaçlı bir işlem motorunu hadoop un diğer ekosistemi ile birleştirmek sureti ile, işlemleri hafızada yapmak sureti ile çok daha hızlı sonuçlar elde edilmesini sağlayan bir kümeleme yapısıdır. Spark ın en önemli avantajı hafıza-içi (in-memory) çalışmasıdır. Böylelikle bazı uygulamalarda Hadoop Mapreduce a göre 100 katı 1 Apache Hadoop web sayfasından alınmıştır 4
daha hızlı çalışabildiği gösterilmiştir. Bu noktada dikkat edilmesi gereken unsur çözüm için büyük miktarda hafızaya ihtiyaç olmasıdır. Spark ın bir diğer önemli özelliği ise akan veri (streaming data) üzerinde çalışabilmesidir ve çok güçlü bir Makine Öğrenmesi desteğidir. Bünyesinde barındırdığı Spark SQL kütüphanesi ile kullanıcıya hem temel SQL işlemleri konusunda destek vermekte, hem de Hadoop Ekosisteminde bulunan HiveQL gibi özelliklerle entegre çalışabilmektedir. Spark ın 4 önemli modülü (Hata! Başvuru kaynağı bulunamadı.) şunlardır; MLlib Makine Öğrenmesi kütüphanesi, Spark SQL kütüphanesi GraphX kütüphanesi Spark Streaming kütüphanesi Spark Web Sayfası : https://spark.apache.org/ Şekil 2. Spark genel modülleri 2 Storm Twitter tarafından açık kaynak olarak sunulan Apache Storm akan veri işleme konusunda dağıtık hesaplama mantığını kullanan önemli bir framework olarak karşımıza çıkmaktadır. Özellikle farklı kaynaklardan gelen verilerin entegre edilmesi, bunlar üzerinde filitreler çalıştırılması gibi bir işlem bandı mantığının uygulandığı Storm içerisinde uygulamalar kendi deyimleri ile topoloji mantığında ve üretim bandı tekniği ile çalışması sağlanmaktadır. Spark da bu işlem DAG (Directed Asyclic Graph) mantığı ile yapılarak gerektiğinde döngüsel iş akışlarının yaratılması sağlanırken Storm daha basit bir mantık kullanmıştır. Her ikisinin de akan veri 2 Apache Spark web sayfalarından alınmıştır 5
üzerinde Makine Öğrenmesi, event processing gibi işlemleri kolaylaştırdığını söyleyebiliriz. Storm Web Sayfası : https://storm.apache.org/ FLink FLink de Spark ve Storm gibi akan veri üzerinde işlem yaparken aynı zamanda tasarımı gereği Hadoop gibi yığın veriler üzerinde de dağıtık küme işleme tekniğini kullanabilmektedir. Dolayısı ile FLink hem yığın veriler üzerinde hem de akan veriler üzerinde işlem yapabilmek için geliştirilmiş bir platformdur. Öte yandan yerel olarak çalışabildiği gibi, YARN, Amazon EC2 yada Google Cloud gibi ortamlara da rahatlıkla entegre olabilecek şekilde tasarlanmıştır. Diğer platformlarda olduğu gibi, burada da Makine Öğrenmesi, Graph İşleme, İlişkisel yapılar üzerinde çalışabilme ve olay işleme (event processing) gibi yetenekleri de barındırmaktadır. Aşağıda temel yapı taşlarını gösteren bir resim bulunmaktadır (Şekil 3). FLink Web Sayfası : https://flink.apache.org/ Şekil 3. Flink ekosistemi 3 3 Flink web sayfasından alınmıştır 6
Apache Ranger Hadoop platformu için merkezi bir güvenlik mekanizması oluşturan bir framework olan Ranger, özellikle birden çok kişinin (multi-tenant) veri erişimi yapması gereken yerlerde Hadoop Ekosistemi nin boydan boya güvenli erişim, yetki kontrolü gibi işlemlerini üstlenebilmektedir. Hadoop un son yapılanmasında bulunan YARN desteği ile daha geniş kapsamlı özellikleri barındırabilmektedir. Proje kuluçka (incubator) aşamasında olduğundan dikkatle izlenmesi ve çok sık güncelleme ve düzeltmelerin var olduğunun bilinmesinde fayda var. Ranger Web Sayfası : http://ranger.incubator.apache.org/ Knox Gateway REST servislerinin tek noktadan ve güvenli bir şekilde verilmesini sağlayan bir yapılanma sağlamaktadır. Özellikle Hadoop ortamlarının güvenli şekilde yönetimini sağlamak üzere bu araç kullanılabilir. Bu proje de henüz kuluçka aşamasında bulunmaktadır. Knox Web Sayfası : https://knox.apache.org/ Kafka LinkedIn tarafından geliştirilen ve bir Apache projesi olarak açık kaynaklı olarak kullanıma sunulan Kafka akan verinin toplanması ve akan veri işleme yazılımlarına gönderilmesi için kullanılan hata-toleranslı (fault-tolerant) publishsuscribe (yayınla-abone) modelinde çalışan bir mesaj taşıyıcı aracıdır. En büyük özelliği Spark, Storm, FLink ve benzeri yapılarla entegre olabilmesi ve çok hızlı şekilde verileri aktarabilmesidir. Aşağıdaki resimde (Hata! Başvuru kaynağı bulunamadı.) görüldüğü gibi çok sayıda veri üreticisinin bir merkeze bu verileri göndermesi, ve aynı verileri çok sayıda tüketici (işlem yapacak olan küme elemanları) o merkezden verileri çekerek üzerinde yapacakları gerekli işlemleri yapmalarını sağlayan bir mekanizmadır. Örneğin bir tır filosundan devamlı olarak coğrafi bilgilerin ve aynı zamanda bu araçta bulunan birçok sensör tarafından üretilen verilerin tek merkezde toplanmasını, ve bu merkezi noktada toplanan verilerin gerçek zamanlı olarak yüzlerce bilgisayardan oluşan bir küme tarafından büyük veri analizine tabi tutulmasını istiyorsanız Kafka tam aradığınız araçtır. Kafka Web Sayfası : https://kafka.apache.org/ 7
Şekil 4. Kafka nın çalışma biçimi 4 R R dili açık kaynak olarak geliştirilmiş olan ve özellikle istatistiksel hesaplamaya yönelik tasarlanmış bir dildir. Bu dilin Büyük Veri ortamında kullanımı gittikçe yaygınlaşmakta ve yukarıda anlatılmış olan platformların çoğu tarafından kullanımı desteklenmektedir. Bu dil ile verilerin görsel hale getirilmesi de kolaylıkla yapılabilmektedir. R Web Sayfası : https://www.r-project.org/ Cascading Hadoop ve Spark ortamlarının desteklendiği bir yazılım geliştirme platformu olarak geliştirilmiş olan Cascading ve diğer destek yazılımları ile çok kolaylıkla ve güçlü yapılarda veri işleme yazılımı geliştirmek mümkündür. Büyük veri için çözüm geliştirecek olan kişilerin mutlaka incelemesi gereken bir uygulama platformudur. Özellikle verilerin alınması, işlenmesi ve yüklenmesi (ETL) işlemlerini çok kolaylıkla yapmamızı sağlayacak bu platform aynı zamanda diğer veri analizi tekniklerinin kullanımı da kolaylaştırırken, hızlı çözüm üretebilmeyi sağlamaktadır. Java yada Scala ile çözüm üretenlerin mutlaka bu projeyi takip etmesi gerektiğine inanıyoruz. Cascading Web Sayfası : http://www.cascading.org/ Elasticsearch REST tabanlı çalışan Arama motoru sunucusu olarak geliştirilen Elasticsearch, büyük veri çözümleri ile kolaylıkla entegre olabilmektedir. Örneğin 4 Apache Kafta web sayfasından alınmıştır 8
hadoop ortamı ile entegre olmasını sağlayan es-hadoop yapısı sayesinde elasticsearch uygulamasının YARN ve HDFS özelliklerini kullanarak entegre olması sağlanabilmektedir. Hadoop a gerçek zamanlı arama yapma yeteneği konusunda oldukça büyük katkılar sağlayan bu çözümün de kurumlarımızda ihtiyaç olması halinde kullanımı mümkündür. Elasticsearch Web Sayfası : https://www.elastic.co/ Şekil 5. ElasticSearch ile Hadoop yapılanmasının entegrasyonu 5 HBase Google nin BigTable yapısını örnekleyen ve açık kaynak olarak Java ile geliştirilmiş, colon bazlı, HDFS üzerinde dağıtık depolama yapabilen bir veri tabanı yönetim sistemi olan HBase, Şekil 1 de Hadoop ekosisteminde gösterildiği üzere bu ekosistemin bir parçası olarak çalışmaktadır. Son yıllarda yaygınlaşan ve özellikle büyük veri uygulamalarında kullanılmakta olan NoSQL veri tabanı sistemlerinden bir tanesi olan HBase, yüksek hızla çalışan ve ilişkisel olmayan verileri depolama ve işlemede önemli avantajlar sağlamaktadır. Facebook bu veritabanı sistemini kendisinin mesaj bölümünü oluşturmak üzere kullanıma başlamıştır. HBase Web Sayfası : http://hbase.apache.org/ Hive Hadoop ekosisteminin diğer üyelerinden birisi olan Hive, kendisini veriambarı yazılımı olarak nitelendirmektedir. Kullanıcısına sağladığı fonksinoletiler aracılığı ile 5 Kaynak: ElasticSearch web sayfas 9
veriambarı işlemlerini saypmasın ve ETL gibi işlemleri kolaylıkla Büyük Veri uygulamalarına entegre edebilmeyi sağlamaktadır. Hadoop ekosistemi içerisinde verilere SQL cümleleri ile erişim konusunda büyük kolaylıklar sağlamaktadır. Bu veriler dosya bazlı olarak HDFS üzerinde duruyor da olabilir, HBase gibi bir veritabanı yapısında barındırılıyor da olabilir. Hive in en önemli özelliklerinden birisi ise kullanıcı tarafından genişletilebilir bir yapıya sahip olmasıdır. Temel SQL cümlelerinin neredeyse tamamını kapsamaktadır ve bu dile Hive SQL adı verilmektedir. Hive Web sayfası : http://hive.apache.org/ Pig Pig, Hadoop ekosistem ile bütünleşik olarak kullanılabilecek dağıtık hesaplama yapmayı kolaylaştıran bir programlama dilidir. Bu dilin tam adı Pig Latin dilidir. Özellikle MapReduce yapısında derlenmiş kod üretme yeteneği olan bu dil kullanılarak Hadoop ile kod geliştirmeyi ve bu kodların sağlıklı bir şekilde MapReduce yapısında çalıştırılması sağlanabilmektedir. Pig Web Sayfası : http://pig.apache.org/ Cassandra Facebook tarafından geliştirilmiş ve gelen kutusu mesajlarında kullanılmakta olan bir NoSQL veritabanı yapısı iken 2010 yılında HBase ile yer değiştirilmiş olan bir veritabanı sistemidir. Her ne kadar Facebook bu sistemin kullanımını bırakıp yerine HBase kullanmaya başlamışsada sistemin gelişimi devam ettirilmiş ve bugün Büyük Veri yapılanmalarında kullanım alanı bulmaya devam etmektedir. Casandra Web Sayfası : http://cassandra.apache.org/ MongoDB DoubleClick firması tarafından geliştirilmiş ve günümüzde kullanılan en popüler NoSQL Veri Tabanı yönetim sistemlerinin başlarında gelmektedir. Yapısal verileri JSON dökümanı tarzında ve dinamik bir şema yapısı olan BSON (Binary JSON) ile tutmaktadır. Günümüzde bu sistemi kullanmakta olan çok büyük ölçekli şirketler bulunmaktadır. Bunların en başında MTV Networks, Disney Interatvie Media Group ve The New York Times gazetesi bulunmaktadır. Açık kaynak kodlu ve 10
ücretsiz sürümünün yanı sıra, ücretli olan sürümü de bulunan bu veritabanı sistemi kurumlarımızın bu alandaki birçok ihtiyacı giderebilecek nitelik ve gelişmişliktedir. MongoDB Web Sayfası : https://www.mongodb.com/ Dağıtık Dosya Depolama Sistemleri Büyük Veri işleminde kullanılabilecek olan dağıtık dosya yönetimi sistemlerinin en başında HDFS (Hadoop Distributed File System) gelmektedir. Buna ek olarak kurumlarımızın bilmesinde ve kullanımında faydalı olabilecek sistemlere örnek olarak IBM tarafından geliştirilmiş olan Lustre File System ve açık kaynak kodlu olarak alınıp kurulabilecek olan Ceph Depolama Küme sistemi verilebilir. Özellikle Ceph Küme sistemi yalnızca Büyük Veri konusunda değil, aynı zamanda kurumlarımızın dağıtık, güçlü ve büyük çaplı Depolama Alanı oluşturmasını sağlayabilecek olan bir Depolama Küme Sistemi olarak karşımıza çıkmaktadır. Sistemin kurulumu konusunda Türkçe kaynaklara Internet üzerinden ulaşmak mümkündür. Web Sayfaları: http://ceph.com/ceph-storage/file-system/ http://lustre.org/ https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html 11
BÖLÜM 2 Kamuda Büyük Ver Büyük veri kullanımı her alanda olduğu gibi kamuda ve devletlerin yönetiminde önemli avantajlar sunmaktadır. Bu sebeple son yıllarda tüm dünyada devletler ve kamu kurumları büyük veri kullanımına yönelmişlerdir. Bu alanda hızlı ilerleyen ülkeler bu avantajları daha kısa sürede kullanıyor olacak ve diğer ülkelerle yarışta arayı açacaklardır. Kamuda ve devlette büyük veri kullanımı ile devletin sunduğu tüm hizmetlerde (sağlık, eğitim, güvenlik, savunma, ulaşım, haberleşme, enerji, refah, istihdam, vb.) iyileştirme yapılabilir ve hizmetler çok daha iyi sunulabilir. Buna bağlı olarak kamu harcamalarında iyileştirmeler sağlanabilir, böylece ülkenin ve bireylerin refahı ve mutluluğu artırılabilir. Bu iyileştirmeler doğrudan devletin sunduğu hizmetlerde olduğu gibi, kamunun denetleme ve düzenleme yaptığı alanlarda da büyük veri ile değişiklikler ve iyileştirmeler yapılabilir (enerji piyasası, finans, vb.). Bu bölümde kamuda ve devlette büyük veri kullanımına genel bir bakış yapılacaktır. Tüm alanlara girilmeyecektir, sadece önemli görülen bir kaç alanda büyük veri kullanımına örnekler verilecektir. 2.1 Kamuda büyük veri kullanım alanları Devletler ve devletin kamu kurumları büyük veri yi hemen her alanda kullanabilir. Çünkü devlet kurumları hemen her alanda büyük veri ye sahiptir. Sağlık, eğitim, savunma, istihdam, ekonomi, enerji, ulaştırma, sosyal güvenlik, vergi, bütçe gibi her alan devletin ilgi alanındadır. Kamu kurumları doğrudan bu alanlarda hizmet sundukları gibi, bazen de bu alanlarda düzenlemeler yaparak kanuni ve hukuki çerçeveyi çizerler (yasama yolu ile) ve çoğu zaman denetlerler ve gerek duyulduğunda düzenlemeleri güncellerler veya yeni düzenlemeler yaparlar. Dolayısıyla bu alanlarda veri toplamak da devletin ve kamu kurumlarının görev alanında yer alır. Toplanan veriler genelde büyük veri olup, bu veri ile yapılacak analizlerle hizmetlerde ve düzenlemelerde iyileştirmeler yapılabilir. Bunların bir kısmı aşağıdaki örneklendirilmiştir. 12
Sağlık Sunulan sağlık hizmetleri toplanan büyük veriler incelenerek ve analiz edilerek iyileştirilebilir. Örneğin kanser hastalıkları verileri incelenerek kansere sebep olan etkenler ortaya çıkarılabilir, veya kanser tedavisinde uygulanan yöntemlerin etkinliği ölçülebilir ve bu sonuçlara göre politika değişikliklerine gidilebilir. Böylece elde edilen iyileştirmelerle sağlık harcamaları düşürülebilir, toplumun ve bireylerin sağlığı korunabilir. Eğitim Eğitim verileri analiz edilerek eğitim politikalarının etkinliği ölçülebilir ve iyileştirmeler yapılabilir. Örneğin merkezi sınav sonuçları incelenerek hangi konularda öğrencilerin eksik oldukları tespit edilip, buna sebep olan nedenler araştırılabilir ve politika değişiklikleri geliştirilebilir. Enerji Enerji ülke harcamalarında en büyük paya sahip kalemlerden birisidir. Enerji verileri ile yapılacak araştırmalarla örneğin elektrik şebekelerinin daha etkin çalışması, dengeli kullanımın sağlanması ve sonuç olarak enerji israfının ve harcamaların azaltılması ve bütçelerin iyileştirilmesi mümkün olabilir. Vergi toplama, bütçe ve harcamalar Devlet harcamalarını topladığı vergilerle yapar. Vergi toplamada adaletli olmak, vergi kaçaklarını önlemek devletin görevidir. Bu alanda toplanan veriler üzerinden yapılacak analizlerle pekçok iyileştirme yapılabilir. Devlet harcamaları da aynı şekilde yıllara göre incelenip, bu harcamaların ortaya çıkardığı sonuçlarla ilgili verilerle korelasyon yapılarak bütçe iyileştirmeleri sağlanabilir. Güvenlik Devletin en görevlerinden birisi ülke ve bireylerin güvenliğini sağlamaktır. Bu ise iç ve dış tehditler konusunda bilgi toplamak, önlem almak, ve savunma geliştirmektir. Toplanan veriler yapısal bilgiler olabildiği gibi (örneğin telefon arama kayıtları), yapısız veriler de olabilir (sosyal medya paylaşımları gibi). Günümüzde en önemli güvenlik tehditlerinden birisi de siber saldırılardır. Bu tür saldırılar doğrudan ülkelerin ekonomisini, ticaretini, ulaştırmasını, enerji dağıtımını ve günlük hayatını 13
tehdit etmektedir. Bu tehditler büyük veri ile önceden tahmin edilebilir, tespit edilebilir ve önlenebilir. Bu alanda hemen her ülke yeni stratejiler geliştirmektedir, büyük veri analizi de bu stratejilerin bir parçası olmak zorundadır. Bu örnekler daha da çoğaltılabilir. Yukarıda da belirttiğimiz gibi günlük hayatın hemen alanında büyük veri vardır ve bu verileri toplamak ve analiz etmek kamu kurumlarının da görev alanına girmektedir. Şu anda yoğun olarak olmasa da kamu kurumları eninde sonunda büyük veri ile bir şekilde muhatap olmak durumunda kalacaklardır ve en uygun şekilde bu veriden faydalanmak zorundadırlar. Bu verinin kullanımı ve paylaşımı bazı hukuki sorunları da beraberinde getirmektedir. Bunlara da aşağıda değinilmiştir. 2.2 Veri güvenliği, veri mahremiyeti ve gizliliği Kamu kurumları kişisel verileri toplamaktadır ve bu giderek artarak devam edecektir. Bugün hemen her alanda bireylerin verileri toplanmakta, analiz edilmekte ve gerektiğinde paylaşılmaktadır. Örneğin gittiğimiz yerleri cep telefonlarımız ve telefon operatörleri sürekli izlemekte ve kaydetmektedir, girip çıktığımız yerler kameralar tarafından kaydedilmektedir, okul/hastane/çalışma/alışveriş bilgileri vb. sürekli kayıt altına alınmaktadır. Bu verilerin gizliliği ve mahremiyeti bireyler açısından önemlidir. Kişisel verilerin korunması, özellikle tüm dünyada sayısallaşma ile birlikte, günümüzdeki çok önem kazanan bir konu olmuştur. Verilerin kullanımı, paylaşılması sırasında anonimleştirilmesi, bireysel verilerin korunması çok önemlidir. Bu alan ortaya çıkan anlaşmazlıklar sebebiyle hukukun da gündemine girmiştir ve tüm ülkeler bireysel verilerin korunması ve gizliliğinin sağlanması için kanuni düzenlemelere gitmektedirler. Türkiye de bu tür düzenlemelere gidilmektedir, ve 3.4 bölümünde bunlara değinilecektir. Kamu kurumları topladıkları bireysel verileri gizlemek yanında, korumak da zorundadırlar. Toplanan verilere erişim kısıtlı ve yine kayıt altında olmak zorundadır. Yakın zamanda Türkiye deki milyonlarca seçmenin kişisel verileri (adres, nüfuz cüzdani bilgileri gibi) çalınmış ve internette yayınlanmıştır. Kamu kurumları verileri toplamak ve gizlemek yanında güvenliğini de sağlamak zorundadırlar. Çünkü veri artık en kıymetli metalardan birisi haline gelmiştir, kötü niyetli kişiler bu verileri kullanarak pek çok zarara ve kötülüğe sebep olmaktadırlar. 14
2.3 Açık veri (Open Data) Verilerin açık olarak yayınlanması (açık veri) kamu kurumlarının yine öncelikleri arasında yer almaktadır. Toplanan kamu verilerinin (hatta büyük verilerin) vatandaşlara, şirketlere, girişimcilere açık olarak erişime açılması ile pek çok faydalar elde edileceği görülmektedir. Bunun demokrasiyi geliştireceği, ekonomik fırsatları artıracağı, ve sonuç olarak vatandaşların refahını geliştirdiği görülmektedir. Öncelikle Amerika da Obama başkanlığında 2009 da başlayan bu hareket şu anda tüm dünyada ülkelerin ve kamunun öncelikleri arasına girmiş bulunmaktadır. Amerika da data.gov sitesinde federal hükümete ait pek çok veri açık olarak ve giderek büyüyerek yayınlanmaktadır. Bu verilere, indirilerek kullanılabileceği gibi, servisler aracılığı ile yazılımlar kullanılarak gerçek-zamanlı da erişilebilmektedir. 2.4 Sosyal medya, IoT, Endüstri 4.0, Akıllı şehirler Bu bölümde kamu ve toplumu yakından ilgilendiren, son yıllarda ortaya çıkmış önemli gelişmelere de değinmek istiyoruz. İnternetin hızlı bir şekilde gelişmesi ile birlikte günümüzde tüm dünyada internet kullanan nüfus sürekli artmaktadır. Günümüzde dünya nüfusunun %40 ı civarında kısmı internete erişmektedir 6 ve mobil cihazlardan internete erişim sayısı bilgisayarlardan internete erişim sayısını 2014 te geçmiştir 7 ve bu eğilim artarak devam etmektedir. Artık hemen hemen tüm internet kullanıcıları, sosyal medya uygulamalarını kullanarak internet ve Web e katkı vermektedir. Facebook TM kullanıcı sayısı 1.5 milyarı, Whatsapp TM kullanıcıları 1 milyarı, ve Twitter TM kullancıları 320 milyonu aşmış bulunmaktadır 8. Bu sebeple sosyal web deki veriler sürekli ve katlanarak artmaktadır. Bu verilerin anlaşılması ile toplumun nabzını tutmak ve anlamak mümkün olabilir. Kamu kurumları bu konuda aktif olarak sosyal medyayı anlamak için çaba göstermektedirler ve bu eğilim artarak devam edecektir. Başka bir paralel gelişme ise tüm dünyada sensörlerin hızlı bir iekilde artmasıdır. Kullandığımız cep telefonlarında yer alan GPS yer algılayıcılardan, evlerimizdeki akıllı elektrik sayaçlarına, arabalarımızdaki yer ve araç sensörlerine, sokaklardaki trafik ve mobese kameralarına kadar algılayıcılar (sensörler) sürekli veri toplamakta ve bu veriler sunucularda toplanmaktadır. Bu veriler hem özel sektör 6 http://www.internetlivestats.com/internet-users/ 7 http://www.smartinsights.com/mobile-marketing/mobile-marketing-analytics/mobile-marketing-statistics/ 8 http://www.statista.com/statistics/272014/global-social-networks-ranked-by-number-of-users/ 15
hem kamu kurumları tarafından kullanılmakta ve toplum için faydaya dönüştürülmeye çalışılmaktadır. Bu algılayıcılar artık internet ortamında haberleşmekte ve kendi aralarında da birbirlerine bağlanabilmektedirler. Buna genel olarak Nesnelerin Interneti ve Internet of Things (IoT) denmektedir. Gelecekte tüm insan hayatı, üretim, tüketim ve tüm faaliyetler bu cihazlarla etkileşim içinde olacak ve farklı bir düzlemde hayat devam edecektir. Farklı araştırmalar, IoT deki cihaz sayısını günümüzde 20 milyarlar civarında tahmin etmektedir ve 2020 lerde sayının 50 milyarlara varacağı öngörülmektedir 9. Kamu kurumlarının bu konuda hem IoT nin insan ve toplum hayatına olumlu etki etmesini sağlayacak gelişmeleri desteklemesi, tetiklemesi, geliştirmesi, hem de ortaya çıkacak problemleri (veri güvenliği gibi) önlemek için gerekli hukuki ve idari düzenlemeleri yapması gerekmektedir. IoT, büyük veri, akıllı sistemlerle birlikte ortaya çıkan bir başka önemli gelişme de üretim alanında Endüstri 4.0 kavramıdır. Bu ilk defa Almanya tarafından ortaya çıkarılmış bir kavramdır. Günümüzde artık üretim süreçleri sürekli veri ve bilgi teknolojileri ile iç içe yapılmaktadır. Üretim sistemleri ve endüstriler tüm üretim süreçlerinde (sensörler kullanarak) veri toplamakta ve üretim süreçlerini mümkün olduğunca otomatik, hatasız, ve maliyet/süre etkin bir şekilde yapmaya çalışmaktadırlar. Endüstri 4.0 bu endüstriyel geçişi ve yeni dönemi ifade etmektedir. Kamu kurumlarının bu alanda da aktif bir şekilde bu geçişi kolaylaştıracak, geliştirecek, teşvik edecek düzenlemeleri yapması gerekmektedir. Yukarıdaki gelişmelere bağlı olarak son yıllarda akıllı şehirler kavramı ortaya konmuştur. Burada amaçlanan yerel yönetimlerin ve belediyelerin şehirleri, IoT, akıllı sistemler ve büyük veri kullanarak daha yaşanır hale getirmeleridir. Bu hedefe ulaşmak için, yerel yönetimlerin şehirle ilgili hemen her alanda veri toplaması, bu verileri büyük veri teknolojileri ve akıllı sistemler kullanarak değerlendirmeleri ve şehirde insan hayatını kolaylaştırarak düzenlemeleri yapmalarını ve sürekli iyileştirme yapmalarını gerektirmektedir. 9 http://www.statista.com/statistics/471264/iot-number-of-connected-devices-worldwide/ 16
BÖLÜM 3 Türk ye de Kamuda Büyük Ver 3.1 Türkiye de Kamuda Veri İşlemenin Geçmişi Türkiye de bilişimin ve veri işlemenin geçmişi, esas itibariyle ilk bilgisayarın girdiği 1960 yılına kadar dayanmaktadır. Dünya daki gelişmelere paralel olarak ülkemiz kamusal alanında bilgi işlem altyapısı veriye dayalı otomasyon projeleri ile birlikte son 20 yılda büyük bir hız kazanmıştır. İnternet çağına giriş ile birlikte ilerleme hızı yeni bir boyuta da sahip olmuştur. Dağıtık verinin yaygınlaşmasıyla da beraber veriyi işleme süreci iki alanda gelişmeye başlamıştır. Bunlardan ilki çok boyutlu yapısal veri temelli İş Zekası ve Karar-Destek sistemleri olup, ikincisi ise henüz yeni gelişmekte olan Büyük Veri sistemlerdir. 3.1.2 Türkiye de Kamuda Bilişimin Gelişimi Dünya da bilişimin, elektronik bilgi işlem delikli kart makineleri adı verilen yığın verileri ayrık işlemlerle işlemeyi insana oranla yüz kat daha hızlı işleyen "unit record" birim kayıt makineleri ile başlandığı görüşü yaygındır. Buna göre de ülkemizdeki bilişimsel gelişmenin kısa tarihini aşağıdaki gibi zaman dizinsel (kronoloji) olarak verebiliriz. Tablo 1. Türkiye'de kamuda önemli bilişim gelişmeleri Yıl 1890 ABD İstatistik Bürosunda H. Hollerith, nüfus sayımı işlemlerini hızlandırma amacı ile sayma, sıralama, ayırma, listeleme, hesaplama makineleri geliştirdi. Bu makineler 1970 lere kadar istatistik, muhasebe, bankacılık, sigortacılık alanlarında yaygın olarak kullanıldı. 1923 Hollerith Muhasebe Makineleri Türkiye de Tekel İdaresi nde kullanılmaya başlandı. 1960 30 Ekim 1960 tarihi ülkemizin bilgi işlem tarihinde önemli bir başlangıç noktası 17
olmuştur. Türkiye ye bilgisayar ilk olarak Karayolları Genel Müdürlüğü ne, yolköprü muhasebe, stok denetimi süreçlerini yönetmek için getirtilmiş olan IBM-650 sistemidir. 1963 Türkiye deki ikinci bilgisayar IBM-1620 sistemi İstanbul Teknik Üniversitesi nde kurulmuştur. Yine aynı yıl bankacılık ve finans sektöründeki ilk bilgisayar IBM- 1401 sistemi Başak Sigorta'da hizmete girmiştir. 1966 Orta Doğu Teknik Üniversitesi nde ilk bilgisayar hizmete girmiştir. 1967 Devlet Su İşleri Genel Müdürlüğü ve Türkiye İş Bankası nda kurumsal bilgisayarlar ilk defa kullanılmaya başlanmıştır. 1969 Bu yıldan itibaren kurumsal tip mainframe (anaçatı) tip bilgisayar sistemleri Türk Ticaret Bankası ve sonra başta Hacettepe Üniversitesi olmak üzere diğer kamu ve endüstri kesiminde şirket ve kuruluşlara yayılmaya başlamıştır. 1971 Türkiye kamu genelinde kurumsal bilgisayar sayısı 76 ya ulaşmıştır. Ayrıca bu yıl içerisinde ülkemizde örgütsel anlamda çok önemli bir adım atılmış ve 22 Nisan 1971 yılında Türkiye Bilişim Derneği (TBD) kurulmuştur. Kuruluş dilekçesinin altında imzası bulunan bilişimciler Aydın Köksal, Önal Örs, Tamer Uykal, Bülent Dikman, Ersay Gürsoy, Coşkun Arslan, Atalay Yunusoğlu ve Ünal Yarımağan dır. 1973 Türkiye kamu genelinde kurumsal bilgisayar sayısı 82 olmuştur. Ayrıca ülkenin hava savunmasını NATO savunma sistemi içinde sağlamak üzere kullanılmakta olan 12 büyük bilgisayarla bu sayı 94 tür. 1973 yılında kurulan bilgisayarlarla bu sayı 100 ü aşmıştır. 1974 PTT Genel Müdürlüğü otomasyona geçme kararı doğrultusunda UNIVAC-9030 sisteminin kuruluş ve ön hazırlık çalışmalarına başlamıştır. 1980 Bu yıllardan itibaren tüm dünyada olduğu gibi ülkemizde de kişisel bilgisayarlar (PC) hızlı bir biçimde hayatın her alanına girmeye başlamış ve bilgisayar eğitimi veren dershaneler kurulmuştur. Bilgisayarların daha küçülerek ofislere girmesiyle gelişmeler hızlandı ve her sektöre yönelik yazılımlar geliştirilmeye başlandı. Böylelikle yazılım sektörünün temelleri bu yıllarda atılmış oldu. 1986 Türkiye, Geniş Alan Ağları (WAN) ile tanıştı ve bu bağlamda Ege Denizi-İtalya hattı ile EARN/BITNET sistemine entegre olmuştur. 1991 ODTÜ-TÜBİTAK tan bir ekip ile bir DPT projesi olan TR-NET projesine başlanılmış oldu. 1993 12 Nisan 1993 tarihinde ise Ankara-Washington 64K lık bağlantısı ile Türkiye, İnternet le tanıştı. 1994 Kamu ve üniversitelerde büyüme/tanışma yılı olmuş, halka yönelik internet ile tanıtıcı toplantılar yapılmış ve Dialup ve X.25 üzerinden TR-NET e bağlantı oluşturulmuştur. 18
3.2 Türkiye de Kamuda Büyük Veri İçerikli Projeler Kamu sektörü büyük veri konusunda araştırmalara başlamıştır. Öncü bir kısım bakanlık ve kamu kurumları şu anda büyük verinin sağladığı imkânlar ile neler yapılabileceğini görmeye çalışmaktadır. Şu an için aktif olarak büyük veri üzerine kurgulanmış bir kamu projesi bulunmamaktadır. Ancak Kalkınma Bakanlığı 2014-2018 Onuncu Kalkınma Planı 412. maddesinde Açık kaynak kodlu yazılımlar, büyük veri, bulut bilişim, yeşil bilişim, mobil platform, nesnelerin interneti gibi ürün, hizmet ve yönelimler değerlendirilerek kamu için uygun olabilecek çözümler hayata geçirilecektir. hedefi yazılmıştır. Aynı hedefe yönelik olarak B3LAB adı altında Tubitak-Bilgem tarafından yürütülmekte olan aktif bir proje bulunmaktadır ve bu projenin tanımı şu şekilde yapılmıştır : Bulut Bilişim alanında dünyadaki gelişmeler ışığında ve ülkemizin ihtiyaçları doğrultusunda 2013 yılında TÜBİTAK BİLGEM Bilişim Teknolojileri enstitüsü öncülüğünde ve T.C. Kalkınma Bakanlığı Yatırım Programı desteğiyle yürütülen "Bulut Bilişim ve Büyük Veri Araştırma Laboratuvarı" 10 (B3LAB) projesi ile Bulut Bilişim ve Büyük Veri konularında altyapıların kurulacağı bir araştırma laboratuvarı oluşturulmaktadır. Bulut Bilişim ve Büyük Veri teknolojileri giderek yaygınlaşan çevrim içi hizmetlerin merkezileştirilerek iş gücü ve maliyet verimliliğini sağlamakta, çoklu kaynaklardan üretilen ve devasa boyutlara ulaşan veri miktarlarının üstesinden gelmektedir. Bu laboratuvar kapsamında Bulut Bilişim ve Büyük Veri alanında ileri düzeyde araştırmaların yapılması, ihtiyaç duyulan ürünlerin yerli kaynaklarla geliştirilmesine öncülük edilmesi, bu alanda çalışacak paydaşlar için araştırma yapma ve danışmanlık alma olanaklarının sağlanması hedeflenmektedir. Kamu ihtiyaçlarına yönelik olarak; elde edilen bilgi birikimi, kurulan altyapılar ve kamu kurumlarına verilen danışmanlık hizmetleri ile Kamu Bulutu na geçiş için bir model oluşturulması ve kurumsal büyük veri analizlerinin yapılması planlanlanmaktadır. Ek olarak, Mahremiyet ve Güvenlik gibi kritik alanlarda milli çözümlerin oluşturulması, yetişmiş insan gücünün artması, akademik yayınların artması, ekosistemin ve potansiyel pazarların genişlemesi hedeflenmektedir. 10 B3LAB: www.b3lab.org 19
Ayrıca Kalkınma Bakanlığı 2014-2018 Bilgi Toplumu Stratejisi ve Eylem Planı Taslağı 50. Eylemi Kamuda Büyük Veri Pilot Uygulaması Gerçekleştirilmesi 2014-2016 yıllarında tamamlanması planlanmıştır. Bu eylem ile büyük verinin ekonomik değere dönüşmesi sağlanması ve sosyal güvenlik, sağlık, vergi, güvenlik gibi alanlar başta olmak üzere kamuda büyük veri uygulamalarının geliştirilmesi hedeflenmiştir. Ayrıca bu eylemin hayata geçirilmesiyle kamu kurum ve kuruluşları tarafından büyük veri alanında pilot uygulamalar hayata geçirilecek ve kamu verisi kullanılarak sosyal güvenlik alanında büyük veri pilot uygulamasının geliştirilmesi ve başarı örneklerinin oluşturulması bu teknolojilerin Türkiye de yaygınlaştırılmasına öncülük edecektir. Sosyal Güvenlik Kurumu (SGK) sorumlu kurum olarak tespit edilmiş olup TUBİTAK ve TÜRKSAT işbirliği yapılacak kuruluşlar olarak yazılmıştır. SGK, toplamış olduğu büyük miktardaki yapılandırılmış ve yapılandırılmamış veriler üzerinde çeşitli analizler yaparak verimliliği artırmak, kayıp-kaçak oranlarını düşürmek ve hizmet kalitesini yükseltmek için büyük veri konusunda çalışmalara başlamıştır. 50. Eylemin uygulama adımları aşağıdaki şekilde belirlenmiştir: - Sosyal güvenlik alanında büyük veri uygulamaları belirlenecektir. - Büyük veri uygulama alanları ile ilgili fayda ve maliyet analizleri yapılacaktır. - Fayda ve maliyet analizine göre öncelikli alanlar ve gereksinimler belirlenecektir. Büyük verinin kamudaki kullanım alanları hakkında ilgili kamu çalışanlarının eğitilmesi ve büyük veri alanındaki bilinç artırılacaktır. Ülkemizde, büyük veri çalışmalarına girdi sağlayabilecek belli başlı kamu kurum projeleri bulunmaktadır. Bunlar şöyle sıralanabilir: 3.2.1 Sosyal Güvenlik Kurumu (SGK) Projeleri Hizmet Sunumu Genel Müdürlüğü bünyesinde yürütülmekte olan projeler aşağıdaki başlıklarda sıralanmaktadır. e-bildirge Sistemi Tüm sigorta prim tahsillerinin ve işyeri tescil kayıtlarının takibinin gerçekleştirildiği en büyük sosyal güvenlik projesidir. MEDULA Vatandaşlarımıza ait tüm sağlık ödemelerinin belirlenen kurallar çerçevesinde yürütülmesine yönelik olarak uygulamaya alınmış bir projedir. 20
Aylık Tahsis ve Diğer Uygulamalar Emeklilere yönelik Aylık Tahsis Uygulaması başta olmak üzere 1500 adet olgunlaşmış eski (legacy) uygulamadan oluşan bir uygulama grubu bulunmaktadır. ALO 170 Projesi Çalışma ve Sosyal Güvenlik İletişim Merkezi, 15 Kasım 2010 tarihinde hizmete girdi. İletişim merkezi, Çalışma ve Sosyal Güvenlik Bakanlığı ile Sosyal Güvenlik Kurumu ve Türkiye İş Kurumu Genel Müdürlüğü tarafından sunulan tüm hizmetlerle ilgili olarak bilgilendirme yapmakta ve çözüm üretmektedir. Veri Ambarı Projesi Sağlık, Sigortalama, Tahsis (Emeklilik) rapor grupları ile ortalama 500 standart rapordan on binlerce farklı tertipte (kombinasyonda) sorgu yapılarak rapor üretilebilen bir veri ambarı oluşturulmuştur. Tüm Türkiye genelinde hizmet veren 500 e yakın uygulamaya ait verileri raporlayabilmek ve analiz etmek için kurulan veri ambarı 150 TB büyüklüğe ulaşmıştır. 3.2.2 Milli Eğitim Bakanlığı (MEB) Projeleri Bakanlığın çeşitli zamanlarda başlatmış olduğu büyük kapsamlı projeler şunlardır. MEBBİS Milli Eğitim Bakanlığı Bilişim Sistemleri (MEBBİS) Milli Eğitim Bakanlığı'na bağlı olan Bilgi İşlem Grup Başkanlığı bünyesinde faaliyet gösteren bir modüller bütünüdür. Bu modüllere öğretmenler, okul yöneticileri vb. Milli Eğitim Bakanlığı'na bağlı olarak görev yapan kullanıcı grupları giriş yapabilmektedir. e-okul e-okul, Milli Eğitim Bakanlığı tarafından Milli Eğitim Bakanlığı Bilişim Sistemleri (MEBBİS) projesi kapsamında 2007 yılının Ocak ayında kullanıma açılmış olan bir okul yönetim bilgi sistemi web yazılımıdır. Bir öğrencinin okula kaydından başlayıp, mezuniyetine kadar olan tüm süreci içeren bir sistemdir. Bilgi İşlem Dairesi Başkanlığı tarafından geliştirilmektedir. FATİH Projesi FATİH (Fırsatları Arttırma ve Teknolojiyi İyileştirme Hareketi) Projesi, Milli Eğitim Bakanlığı ve Ulaştırma, Denizcilik ve Haberleşme Bakanlığı işbirliği ile 21
Türkiye'deki tüm dersliklere birer adet dizüstü bilgisayar, projeksiyon cihazı ve akıllı tahta koymaktır. Projenin ön kısımlarında her öğrenciye tablet bilgisayar verilmesi öngörülmektedir. Projenin amacı, bilgi toplumu yaratmak ve eğitimde teknolojiyi yararlı kılmaktır. e-yaygin e-yaygin Otomasyon Sistemi; Milli Eğitim Bakanlığı, Hayat Boyu Öğrenme Genel Müdürlüğüne bağlı yaygın eğitim kurumları (halk eğitimi merkezi, mesleki eğitim merkezi, olgunlaşma enstitüsü ve turizm eğitim merkezi) tarafından sürdürülen seminer, faaliyet ve kurslara ilişkin tüm iş ve işlemlerin internet ortamında yürütüldüğü otomasyon sistemidir. ALO 147 Projesi 1 Mart 2012 tarihinde Van-Erciş te hizmete giren ve MEB İletişim Merkezi kapsamında sürdürülen bir proje olup, Bakanlığın görev ve sorumluluklarıyla ilgili her türlü talep, şikayet, görüş ve öneri, ihbar, bilgi edinme soruları ile bakanlığın vermiş olduğu tüm hizmetler hakkında bilgiyi etkin ve hızlı bir biçimde sunabilmek ve sorunların çözüme kavuşturulabilmesi amacıyla kurulmuştur. 3.2.3 Sağlık Bakanlığı Projeleri Sağlık Bakanlığı, son yıllarda gerçekleştirmiş olduğu, birbiri ile bütünleşik çalışan büyük kapsamlı veri merkezli uygulamaları kamu hayatına kazandırmıştır. e-nabız Projesi e-nabız Projesi muayene, tetkik ve tedavi bilgileri başta olmak üzere tüm sağlık verilerinin yönetebildiği, tıbbi özgeçmişe tek bir yerden ulaşabilen bir kişisel sağlık kaydı sistemidir. UBYS Projesi (Sağlık.NET) USBS, (Ulusal Sağlık Bilgi Sistemi) tüm vatandaşları kapsayan, her bireyin kendi bilgilerine erişebildiği, bireyin doğumundan önce başlayıp tüm yaşamı boyunca sağlığıyla ilgili verilerden oluşan işlevsel bir veri tabanının, yüksek bant genişlikli ve tüm ülkeyi kapsayan bir iletişim omurgasında paylaşılması ve tele-tıp uygulamalarına varan teknolojilerin mesleki pratikte kullanılmasını temel alan elektronik kayıt sistemidir. Bu sistem ayrıca sağlık hizmeti sunan tüm kurum ve kuruluşların insan gücü, taşınır, taşınmaz, idari ve mali verilerini de kayıt altına alacak şekilde tasarlanmıştır. 22
MHRS Projesi Merkezi Hekim Randevu Sistemi; vatandaşların Sağlık Bakanlığı'na bağlı 2. ve 3. basamak hastaneler ile ağız ve diş sağlığı merkezleri için Alo182 hattından Merkezi Hekim Randevu Sistemi'ni arayarak canlı operatörlerden veya web üzerinden kendilerine istedikleri hastane ve hekimden randevu alabilecekleri bir uygulamadır. Aşı Takip Sistemi Tüm ülke genelindeki aşıların stok kontrolünden, taşımasının yapıldığı ve barındırıldığı her noktadaki ısı maruziyetine, uygulanan kişi ve yerine kadar her türlü bilgi bu sistem içerisinde tutulmakta ve bu sistem aynı zamanda tüm AHBS (Aile Hekimleri Bilgi Sistemi) ve HBYS (Hastane Bilgi Yönetim Sistemi) sistemlerinden bilgi alabilmekte ve Sağlık Bakanlığının diğer veri merkezlerine bu bilgileri aktarabilmektedir. Bu sistem ile Türkiye nin 10 bin noktasındaki aşı barındırma dolaplarının anlık ısı bilgileri merkezde tutulmakta ve gerçek zamanlı takip sistemi olarak çalışmaktadır. 3.3 Kamu Kurumlarının Büyük Veri Uygulamaları 3.3.1 Kamu Kurumlarında Gerçekleştirilen Uygulamalar Kamu kurumlarına uygulanan anket sonucunda kurumlarda geliştirilen veya geliştirilmesi planlanan Büyük Veri uygulamaları bu bölümde anlatılmaktadır. Elektronik Kamu Bilgi Yönetim Sistemi (KAYSİS) Elektronik Kamu Bilgi Yönetim Sistemi (KAYSİS), T.C. Başbakanlık İdareyi Geliştirme Başkanlığı tarafından hazırlanan, kamu kurumlarının teşkilat yapısından, sunulan hizmetlere, hizmetlerde kullanılan belgelerden, belgelerde bulunan bilgilere kadar kamu yönetiminde yer alan unsurların mevzuat dayanaklarıyla birlikte tespit edilerek elektronik ortamda tanımlandığı, geliştirilen e-devlet uygulamalarının birbirine tek merkezden entegre edilerek a-devlete (Akıllı Devlet) geçilmesini sağlayacak temel bir bilgi sistemidir. KAYSİS projesi kapsamında şu an veri işçiliği yürütülmektedir. Proje kapsamında kamu yönetimindeki tüm unsurlar (devlet teşkilatı, sunulan hizmetler, kullanılan/üretilen belgeler, kullanılan üretilen verilere ilişkin metaveriler vb.) tanımlanmaktadır. Yapılan tanımlamalar üzerinden Ulusal Süreç Haritaları ve Kamu 23