1000 Çekirdekli TR-GRID Altyapısı Nasıl Kuruldu? Onur BEKTAŞ onur at ulakbim.gov.tr

Ebat: px

Şu sayfadan göstermeyi başlat:

Download "1000 Çekirdekli TR-GRID Altyapısı Nasıl Kuruldu? Onur BEKTAŞ onur at ulakbim.gov.tr"

Özlem Akyol
8 yıl önce
İzleme sayısı:

1 1000 Çekirdekli TR-GRID Altyapısı Nasıl Kuruldu? Onur BEKTAŞ onur at ulakbim.gov.tr 1

2 İçerik TR-Grid e-altyapı Projesi Altyapı Bileşenlerinin Seçimi ve Sayıları Uçların Seçimi Sitelerin Kurulumu ve Donanım Testleri Kullanılan Yazılım ve Teknolojiler Fotoğraflar 2

3 TR-Grid e-altyapı Projesi Süreç TR-Grid e-altyapı Projesi TÜBİTAK Bilim Kurulu tarafından 2005 Kasım ayında kabul edilmiş bir altyapı projesidir. Projenin donanım maliyeti yaklaşık $ olmuştur. Projede gerekli kaynakları belirlerken YEF gruplarının dahil oldukları deneylerdeki ihtiyaçları, ULAKBİM YBBİM nin kullanıcılarının gereksinimleri dikkate alınmıştır. Proje takvimi belirlenirken uluslararası projeler dikkate alınmıştır. TR-Grid e-altyapı Projesi Başlangıcı TR-Grid Altyapısının Çalışmaya Başlaması EGEE-2 Projesi Başlangıç 2004 SEE-Grid Projesi Başlangıç Geant Bağlantısı 622 Mbps SEE-Grid-2 Projesi Başlangıç LHC Başlangıç A Tipi Sistemlerin Bağlantısı UlakNet 1 Gbps Siteler Arası 20 Gbps 3

Projede gerekli kaynakları belirlerken YEF gruplarının dahil oldukları deneylerdeki ihtiyaçları, ULAKBİM YBBİM nin kullanıcılarının gereksinimleri dikkate alınmıştır.

4 TR-Grid Siteleri SİTE İSİM Çekirdek Veri Alanı TİPİ TÜBİTAK ULAKBİM TR-01-ULAKBIM Tbyte EGEE, SEE-GRID, EUMEDGRID ODTÜ TR-03-METU Tbyte EGEE Erciyes Üniversitesi TR-04-ERCIYES 64 1 Tbyte EGEE Boğaziçi Üniversitesi TR-05-BOUN 64 1 Tbyte EGEE Pamukkale Üniversitesi TR-07-PAMUKKALE 64 1 Tbyte EGEE Çukurova Üniversitesi TR-08-CUKUROVA 64 1 Tbyte EGEE İstanbul Teknik Üniversitesi TR-09-ITU 64 1 Tbyte EGEE TÜBİTAK ULAKBİM TR-10-ULAKBIM Tbyte EGEE Tbyte TOTAL 50 Tbyte =~ DVD veya mp3 4

Pamukkale Üniversitesi TR-07-PAMUKKALE 64 1 Tbyte EGEE Çukurova Üniversitesi TR-08-CUKUROVA 64 1 Tbyte EGEE İstanbul Teknik

5 Topoloji 5

6 Altyapı Bileşenlerinin Seçimi ve Sayıları 6

7 Çift Çekirdek mi Çıtır Çekirdek mi? Deniz kümesini kurarken yaşadığımız problemler,ihtiyaçlar, sorunlar. Sabit bütçe ile en uygun fiyat / performans ve kullanıcı memnuniyeti için: Çift çekirdek? Çift işlemci? Alınacak bilgisayar sayısı? Toplam depolama alanı? Ağ bağlantı kapasitesi? Anahtarlama cihazı yetenekleri? 7

Sabit bütçe ile en uygun fiyat / performans ve kullanıcı memnuniyeti için: Çift

8 Donanım 1 - Sunucu Altyapısı Hesaplama ve Servis Düğümleri 256 Adet 1U Sunucu 2 adet çift çekirdekli Intel Xeon Ghz işlemci 4Gbyte FB-DIMM 80 Gbyte SATA Sabit Disk 2 x Gigabit Ethernet Depolama Düğümü 4 Adet 2U Sunucu 2 adet çift çekirdekli Intel Xeon Ghz işlemci 4Gbyte FB-DIMM 80 Gbyte SAS Sabit Disk 3 Adet Gigabit Ethernet 8 Adet Disk Kutusu 12 Adet 500 Gbyte Sata Disk Toplam 46 Tbyte 8

6 Ghz işlemci 4Gbyte FB-DIMM 80 Gbyte SATA Sabit Disk 2 x Gigabit Ethernet Depolama Düğümü 4 Adet 2U

9 Donanım 2 Ağ Altyapısı Orta Doğu Teknik Üniversitesi ve ULAKBİM deki kümelerde toplam iki adet 144 arabirimli gigabit ethernet omurga anahtarlama cihazı 64 çekirdekli kümelerde 48 arabirimli gigabit ethernet anahtarlama cihazı 9

gigabit ethernet omurga anahtarlama cihazı 64 çekirdekli

10 Sitelerin Kurulumu ve Donanım Testleri 10

11 Sistem yöneticisi iş yapma algoritması ## sistem yöneticisi ana iş yürütme programı while (1) do if (iş == "oturarak otomatik yapilabiliyor" ) then yap(iş) return göbek_büyüt ; elsif (iş == oturak otomatik yapılcak hale gelebilir ) yap(iş) return göbek_büyüt ; else oturarak_otomatik_yapılacak_hale_getir(iş) fi 11

yap(iş) return göbek_büyüt ; elsif (iş == oturak otomatik yapılcak hale

12 Sitelerin Kurulumu ve Donanım Testleri Tamamı ile ağ üzerinden Scientific Linux Kickstart kurulumu. Ethernet kartı testleri Linux channel bonding ile iki ethernet beraber test edildi Nptcp ağ test programı kullanıldı Disk Testleri Badblocks scsi_info Bellek testleri Memtest86+ Bios güncellemesi ve Bios sürüm kontrolu Dmidecode İşlemci kontrolü /proc/cpuinfo 12

Ethernet kartı testleri Linux channel bonding ile iki ethernet beraber test edildi Nptcp

13 Test betikleri-sunucu #!/bin/bash #Onur BEKTAS onur at ulakbim.gov.tr 16/11/2006 function bonding { INT="eth0" IP=`ifconfig $INT grep -i inet awk -F: '{print $2}' awk '{print $1}'` echo "Bonding islemi basliyor" modprobe bonding arp_interval=60 miimon=1000 mode=0 /sbin/ifconfig bond0 $IP netmask broadcast up /sbin/ifenslave bond0 eth0 /sbin/ifenslave bond0 eth1 echo "Bonding islemi tamamlandi } function bekle { sleep 3 ana } function ana { if [ -z `pidof NPtcp` ] then echo "Nptcp Calismiyor" echo "Nptcp Baslatiliyor.."./NPtcp 2 -l & else echo "NPtcp calisiyor " fi bekle } bonding ana 13

bonding arp_interval=60 miimon=1000 mode=0 /sbin/ifconfig bond0 $IP netmask 255.255.255.0 broadcast 193.140.99.

14 Test Betikleri-İstemci #!/bin/bash echo "bonding yukleme betigi" if [ -z "$1" ] then echo echo "Kullanim./nettestclient.sh sunucu.ip" echo else ## Tanimlar INT="eth0" IP=ìfconfig $INT grep -i inet awk -F: '{print $2}' awk '{print $1}'` RAM=` free grep Mem awk '{print $2}'` CPUSAYISI=` cat /proc/cpuinfo grep -i "model name" awk -F: '{print $2}'` DOSYA="tukur.txt" DOSYA1="tukur1.txt" ETH0MAC=ìfconfig eth0 grep HWaddr awk -F HWaddr '{print $2}'` ETH1MAC=ìfconfig eth1 grep HWaddr awk -F HWaddr '{print $2}'` #DISKMODEL=`cat /proc/ide/ide0/hda/model` DISKMODEL=`scsi_info /dev/sda grep -i model ` DISK=/dev/hda #BIOSVERSION=`dd if=/dev/mem bs=64k skip=15 count=1 strings -n 20 grep "HP FEATURES" awk -F: '{print $2}'` #BIOSVERSION=`dd if=/dev/mem bs=64k skip=15 count=1 strings grep -i 2006 grep -i "(" ` dmidecode head -34 > tukur2.txt BIOSVERSION=`head -10 tukur2.txt tail -4` SYSINFO=`tail -7 tukur2.txt` MOUNTLOC=" :/storage/etc/logs" echo "ETH0 MAC: $ETH0MAC " >> $DOSYA1 echo "ETH1 MAC: $ETH1MAC " >> $DOSYA1 ## TCP/IP optimizisasyonu echo "Tcp/ip optimize ediliyor" echo > /proc/sys/net/core/wmem_max echo > /proc/sys/net/core/rmem_max echo > /proc/sys/net/core/rmem_default echo > /proc/sys/net/core/wmem_default echo " " > /proc/sys/net/ipv4/tcp_rmem echo " " > /proc/sys/net/ipv4/tcp_wmem echo " " > /proc/sys/net/ipv4/tcp_mem echo 1 > /proc/sys/net/ipv4/route/flush echo "Tamam" ## Bonding islemi basliyor echo "Bonding islemi basliyor" modprobe bonding arp_interval=20 miimon=1000 mode=0 /sbin/ifconfig bond0 $IP netmask broadcast up /sbin/ifenslave bond0 eth0 /sbin/ifenslave bond0 eth1 echo "tamam" sleep 15 ### Gecici olarak mail atabilmesi icin route ekleniyor #route add default gw ## Ag testi basliyor echo "Ag testi basliyor"./nptcp 2 -l h $1 2&> $DOSYA #Raporlama kismi echo "Bilgisayar ip : $IP" >> $DOSYA1 echo -e "Sistem bilgisi \n $SYSINFO " >> $DOSYA1 echo "BIOSVERSION: $BIOSVERSION" >> $DOSYA1 echo "RAM: $RAM" >> $DOSYA1 echo -e "CPU: \n $CPUSAYISI" >> $DOSYA1 echo "DISK : $DISKMODEL" >> $DOSYA1 echo " " >> $DOSYA1 #Rapor tukurma secenekleri ## Mail at #cat $DOSYA1 $DOSYA mail -s "Grid network testi $IP" onur@ulakbim.gov.tr ## NFS disk mount edip icine yaz mount -t nfs -w $MOUNTLOC /mnt cat tukur.txt >> tukur1.txt cp tukur1.txt /mnt/$ip.txt ## Sabit disk testi icin Badblocks calistir #echo "badblocks calistiriliyor" # /sbin/badblocks -n -o /mnt/"$ip.disktest.txt" $DISK rm -f tukur.txt rm -f tukur1.txt rm -f tukur2.txt #sleep 30 #route delete default gw

$txt" ETH0MAC=`ifconfig eth0 grep HWaddr awk -F HWaddr '{print $2}'` ETH1MAC=`ifconfig eth1 grep HWaddr awk -F HWaddr '{print $2}'` #DISKMODEL=`cat /proc/ide/ide0/hda/model` DISKMODEL=`scsi_info$

15 Sunucu kapama betiği #!/usr/local/bin/perl #onur at ulakbim.gov.tr #Hp ilo 100 uzaktan acma kapama use Net::Telnet (); $t = new Net::Telnet; $ip = $ARGV[0]; $username =$ARGV[1] ; $password =$ARGV[2] ; $ackapa =$ARGV[3] ; if ( "$ip" == "" ) { print "kullanim./ilo.pl ip username password 1/0 "0 == kapat\n1 == ac \n" ; } else { \n" ; $t = new Net::Telnet (Timeout => 10 ); $t->open("$ip"); $t->login($username, $password); if ($ackapa == "1") { $t->cmd("cd system1"); $t->cmd("start system1"); } if ($ackapa == "0") { $t->cmd("cd system1"); $t->cmd("stop system1"); } } 15 print

$pl ip username password 1/0 "0 == kapat\n1 == ac \n" ; } else { \n" ; $t = new Net::Telnet (Timeout => 10 ); $t->open("$ip");$

16 Üşengeç Adam Yaratıcı Olur - Betik raporları ETH0 MAC: 00:18:FE:28:4F:A0 ETH1 MAC: 00:18:FE:28:4F:A1 Bilgisayar ip : Sistem bilgisi System Information Manufacturer: HP Product Name: ProLiant DL140 G3 Version: Serial Number: GB8641PMS0 UUID: 6E6FC60D-6EFF-E306-6EFF-E306737F660E Wake-up Type: Power Switch BIOSVERSION: BIOS Information Vendor: HP Version: O08 Release Date: 10/26/2006 RAM: CPU: Intel(R) Xeon(R) CPU 1.60GHz Intel(R) Xeon(R) CPU 1.60GHz Intel(R) Xeon(R) CPU 1.60GHz Intel(R) Xeon(R) CPU 1.60GHz 16

6E6FC60D-6EFF-E306-6EFF-E306737F660E Wake-up Type: Power Switch BIOSVERSION: BIOS Information Vendor: HP Version: O08 Release Date: 10/26/2006

17 DISK : MODEL="ATA ST AS" Send and receive buffers are and bytes (A bug in Linux doubles the requested buffer sizes) Now starting the main loop 0: bytes 6 times --> Mbps in usec 1: bytes 6 times --> Mbps in usec 2: bytes 6 times --> Mbps in usec 3: bytes 5 times --> Mbps in usec 4: bytes 5 times --> Mbps in usec 5: bytes 5 times --> Mbps in usec 6: bytes Mbps in usec 7: bytes Mbps in usec 8: bytes Mbps in usec 9: bytes Mbps in usec 10: bytes Mbps in usec 11: bytes Mbps in usec 12: bytes Mbps in usec 13: bytes Mbps in usec 14: bytes Mbps in usec 15: bytes Mbps in usec 16: bytes Mbps in usec 17: bytes Mbps in usec 18: bytes Mbps in usec 19: bytes Mbps in usec 20: bytes Mbps in usec 17

91 usec 2: 1048576 bytes 6 times --> 945.83 Mbps in 8458.18 usec 3: 1572856 bytes 5 times --> 1057.99 Mbps in 11342.20 usec 4: 1572859 bytes 5 times --> 1066.17 Mbps in 11255.

18 Kullanılan Yazılım ve Teknolojiler 1 İşletim sistem kurulumu,donanım testleri,bilgisayar açılıp kapanması uzaktan otomatik hale getirildi Sunucuların iş yükü, sıcaklık, yük durumu gibi parametrelerini incelemek için Ganglia, Ağ cihazlarının durumunu incelemek için MRTG, Paket güncelleme durumlarını incelemek için PAKITI, Sistemlerin periyodik bakım işleri için geliştirilmiş ev yapımı betikler 18

parametrelerini incelemek için Ganglia, Ağ cihazlarının durumunu incelemek için MRTG, Paket

19 Kullanılan Yazılım ve Teknolojiler 2 Grid orta katman yazılımı olarak glite 3.0 İş planlayıcı Torque / Maui GNU, Intel Derleyiciler Matematik kütüphaneleri MPICH desteği Kullanıcı dizinleri ve geçici dosyalar için düğümlere paylaştırılmış NFS dosya sistemi Yeni! Dağıtık dosya sistemi - Lustre 19

0 İş planlayıcı Torque / Maui GNU, Intel Derleyiciler Matematik

20 Fotoğraflar 20

21 Fotoğraflar-1 21

22 Fotoğraflar-2 22

23 Fotoğraflar-3 23

24 Fotoğraflar-4 24

25 Fotoğraflar-5 25

26 Sorular? 26

Benzer belgeler

Çalışma Grupları Eğitimleri. TÜBİTAK ULAKBİM / ANKARA 5-9 Nisan 2010

Çalışma Grupları Eğitimleri. TÜBİTAK ULAKBİM / ANKARA 5-9 Nisan 2010 ULAKBİM - TR-Grid TR-Grid Çalışma Grupları Eğitimleri TÜBİTAK ULAKBİM / ANKARA 5-9 Nisan 2010 İçerik TR-Grid altyapısı Kullanıcı başvuruları, üyelik ve sertifikalar Hesap kümelerine erişim Kullanıcı kaynakları