İçerik. Apache Hadoop Project

Transkript

1 Apache Hadoop Project

2 İçerik Apache Hadoop Project Hadoop Kullanıcıları Yahoo Alt Projeler Hadoop Cluster Topoloji HDFS HDFS Toplojisi HDFS Veri Modeli ve Akışları (Okuma/Yazma) HDFS e Erişim Hadoop MapReduce Map & Reduce M-R Uygulamaları M-R Süreçleri ve Modelleri M-R Kaynak Kullanımları Özyeğin Üniversitesi Cloud Comp. Lab. PC Lab. Cluster IBM Blade Cluster

3 Neden Bulut Bilişim Problem Büyük miktarda veriyi saklamak ve işlemek Ölçeklenebilirlik PB'larca veri Performans GB lar büyüklüğünde dosyalar Güvenilirlik 1000 lerce makinada hata toleransı Çözüm Bulut Bilişim Apache Hadoop Hadoop, PB larca veriyi saklamak ve işlemek için oluşturulmuş bir framework sağlar. Veri Depolama: Özelleşmiş Dağıtık Dosya Sistemi Hadoop Distributed File System-HDFS Google File System-GFS Veri İşleme: Dağıtık veri işlem algoritmik yapıları Hadoop MapReduce Google MapReduce

4 Apache Hadoop Project Java temelli açık kaynak kod projesidir. Apache altında geliştirilmektedir. Büyük ölçekle dağıtık veri işlemeyi amaçlar. Google ın MapReduce framework ü ile Google File System(GFS) baz alınarak geliştirilmiştir. Her türlü donanım üzerinde çalışır. Bir standart haline gelmektedir. HadoopSorts a Petabytein Hours and a Terabyte in 62 Seconds ( Bytes Nodes Maps Reduces Replication Time 500,000,000, seconds 1,000,000,000, seconds 100,000,000,000, ,000 10, minutes 1,000,000,000,000, ,000 20, minutes

5 HadoopKullanıcıları Facebook Reporting, analytics, machine learning Amazon Elastic MapReduce Hosted Hadoop on top of EC2 and S3 Product search index Twitter Analytics, social network graphs AOL, Microsoft(PowerSet), IBM,

6 Yahoo! 10+ Kümede 25,000+ Makine 3,000 makineli dev kümeler 3 Petabyte Veri 700+ Kullanıcı Haftada 10,000+ iş Content Optimization

7 Alt Projeler HadoopCommon: Diğer Hadoop alt projelerinde de kullanılan ortak araçlar. MapReduce: Büyük veri kümelerinde dağıtık işlemeye imkan veren yazılım framework ü. HDFS: Uygulamaların yüksek verimlikle verilere erişmesine imkan veren dağıtık dosya sistemi. HBase: Büyük tablolu yapılar için veri depolamayı destekleyen ölçeklenebilir ve dağıtık veri tabanı Hive: Data summarization ve ad hoc sorgulamaları destekleyen data warehouse altyapısı ZooKeeper: Dağıtık uygulamalar için geliştirilmiş bir koordinasyon servisi. Pig: Yüksek seviye veri-akışlı yazılım dili ve paralel hesaplama için hesaplama framework ü Chukwa: Büyük dağıtık sistemler için veri toplama sistemi

8 Google & Hadoop Hadoop MapReduce HBase Google Mimarisi Hadoop Distributed File System MapReduce BigTable Apache Hadoop Mimarisi Google File System

9 Hadoop ClusterTopoloji NameNode client JobTracker NameNode masternode workernodes HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS workernodes

10 HDFS Hadoop Distributed File System (HDFS) Hadoop uygulamalarında kullanılan birincil veri depolama sistemidir. Google ın geliştirdiği Google File System(GFS) temeline dayanır. Ucuz maliyetlerle yüksek kapasitelerde yedekli veri depolamayı sağlar. Veri bloklar halinde tutulur. Hesaplama işlemlerinde yüksek hızlarda gerçekleşmesi için sıklıkla I/O yapılan büyük dosyalar için optimize edilmiştir.

11 HDFS Topolojisi NameNode: Dosya ve dizinlerin açma, kapatma ve yeniden adlandırma gibi dosya sisteminin namespace işlemlerini yürütür. lardaki blocklarının yerlerini belirler. FS FS FS FS status metadata NameNode status s: Veri bloklarını üzerinde barındırır. İstemciler veriyi direk olarak datanode lara iletir. İstemcilerden gelen okuma ve yazma isteklerinin yerine getirilir. FS FS FS FS

12 HDFSVeri Modeli HDFS - Tasarım Dosyalar, varsayılanda 64MB bloklara bölünmüştür. Datanode larda bu bloklar depolanır. Tek bir Namenode da metadata ve blok yerleri yönetilir. Topolojiye göre blok yerleşimi Aynı node/rack Kullanıcı, grup tabanlı izinler vardır. HDFS - Replication Varsayılanda, bloklar 3x çoğaltılarak farklı datanode lara gönderilir.

13 HDFS Veri Akışı(Okuma) HDFS İstemci 1:aç Dağıtık Dosya Sistemi 2:blok yeri getir NameNode FSData InputStream istemci JVM istemci makine 4:oku

14 HDFS Veri Akışı(Yazma) 1 Data Blok için HDFS İstemci 1:oluştur Dağıtık Dosya Sistemi FSData OutputStream 2:oluştur 7:işlemi tamamla NameNode istemci JVM istemci makine 4:yaz paketi 5:ack paketi replikasyon

15 HDFS e Erişim HDFS kullanıcıları için komutlar $ bin/hadoop fs -put food food $ bin/hadoop fs -ls $ bin/hadoop fs -cat food $ bin/hadoop fs -rm food $ bin/hadoop fs -mkdir juice... HDFS yöneticileri için komutlar $ hadoop dfsadmin -report $ hadoop dfsadmin -refreshnodes $ hadoop dfsadmin -safemode leave... Dosya Sistemi Java API org.apache.hadoop.fs.* Web Arayüzü (Demo da gösterilecektir)

16 MapReduce Hadoop MapReduce Büyük veri kümelerinin paralel olarak işlenmesine yönelik uygulmalar için geliştirilmiş bir yazılım framework ü ve modelidir. Programcılara, dağıtık uygulamalar yazabilecekleri kolay ve temiz bir ortam sunar.(java, perl, Phyton, php,c,c++...) org.apache.hadoop.mapred.* Eski API org.apache.hadoop.mapreduce.* Yeni API Bir dizi veri işleme sisteminden oluşur. (pipelines) Otomatik iş dağıtımı ve paralelleştirme sağlar. Yüksek hata toleransı ile çalışır. Durum ve izleme araçlarına sahiptir.

17 MapReduce Uygulamaları WordCount Grep Sort Log Analysis Web Graph Generation Inverted Index Construction Machine Learning NaiveBayes, K-means, Expectation Maximization,...

18 MapReduce Topolojisi JobTracker, istemci uygulamalarla MapReduce işlerinin başlatıldığı yerdir. İşi, küme içerisinde uygun olan makineler arasında dağıtır. Mümkün olduğunca verilere en yakın makinelerde işi tutmaya çalışır. ların birinde bir sorun olursa, işin o kısmını tekrar uygun nodelar arasında dağıtır. JobTracker da bir sorun olması halinde iş sonlanır. job JobTracker

19 MapReduceSüreci MapReduce Program 1:işi çalıştır JobClient 2:yeni jobid getir 4:işi gönder JobTracker 5:işi sıfırla istemci JVM 7:heartbeat istemci makine 3:iş kaynaklarını kopyala Shared FileSystem (e.g.hdfs) Child 9:başla 10:çalıştır MapTask & ReduceTask

20 M-R Model-Logical Dosya1: Türkiye de Bulut Bilişim Dosya2: Bulut Bilişim ve Bulut Teknolojileri cat * <_,Türkiye de Bulut Bilişim> <_,Bulut Bilişim ve Bulut Teknolojileri> Map Map map codes sort/merge reduce codes output <Türkiye, 1> <Bulut, 2> <Bulut, 1> <Bilişim, 1> <Bilişim, 1> <Teknoloji, 1> <Türkiye, [1]> <Bulut, [1,2]> <Bilişim, [1,1]> <Teknoloji, [1]> Reduce <Türkiye, 1> <Bulut, 3> <Bilişim, 2> <Teknoloji, 1>

21 M-RModel-Fiziksel input HDFS split0 split1 split2 map copy sort/merge reduce output HDFS part0 split3 split4 map split5 reduce part1 1 Worker Node

22 HDFS & MapReduce From Tuning Hadoop for Performance by Srigurunath Chakravarthi

23 M-R Sistem Kaynak Kullanımları From Optimizing Hadoop* Workloads By Nurcan Coskun

24 M-R Sistem Kaynak Kullanımları M-R Step CPU Memory Network Disk Notes Server Map Input Yes* Yes * For remote maps (minority) Execute Map Function Yes* * Depends on App Store Map Output Yes* Yes+ Yes * If compression ON + Memory sensitive Shuffle Yes+ Yes Yes +Memory sensitive Execute Reduce Function Yes* * Depends on App Store Reduce Output Yes* Yes+ Yes * If compression ON + For replication factor > 1 From Tuning Hadoop for Performance by Srigurunath Chakravarthi

25 Demo Demo

26 Özyeğin Üni. Cloud Comp. Lab. PC Lab. Cluster 16 HP Compaq dc5850 AMD Athlon X2 Dual Core 1GHz 250/500 GB 7.2K Harddisk 2 GB Memory 100 Mbps Ethernet Bağlantısı OS RHEL 5U4 64-bit Bulut Bilişim Altyapısı Java openjdk Hadoop MPI Altyapısı OpenMPI, MVAPICH, MVAPICH2 Torque,Maui IBM Blade Cluster 2 IBM H22 Blade Intel Xeon E GHz 72 GB 15K Harddisk 24 GB Memory 1Gbps Ethernet Bağlantısı 292 GB lık SANüzerinde HDFS

27 PC Lab. Cluster Kullanımı İç kullanıma yönelik Uygulama testleri Farklı ölçekleri test etme imkanı ( lı makine kümeleri) MPI yapılarını destekleyen

28 IBM Blade Cluster Kullanımı Üst seviyedeki çalışmalar Performans kritik uygulamalar Apache VCL ile üniversite dışı kullanım ihtiyaçlarına yönelik olarak şekillendirilmiş IBM H22 Blade Sunucular RedHat GFS için Linux Cluster yapısı SAN Sistemi için Multipath yapısı ApacheVCL üzerindeki Vmware Server uygulaması Gerçek ve sanal makineler için farklı HDFS alanları Front View Rear View Created By Cem Arslan

29 Teşekkürler Oturumumuza Katıldığınız İçin Teşekkürlerimizi Sunarız