[Oracle 11g Veritabanları için Yüksek Erişilebilirliğe Giriş Serisi] Mehmet Dervişoğlu
OpenFiler ın kurulması ve ayarlanması, Kurulum Vmware Worstation 7.0 üzerinde yapılacaktır. Elimizde SAN olmadığı için Openfiler üzerindeki diskler ISCSI ile işletim sistemine bağlanılacaktır. Normal şartlarda SAN ile sunucular arasındaki bağlantılar fiber kablolar ile yapılırken burada iç ağdan bağlıyoruz. Dizayn Kurulumu 6 aşamada yapacağız 1-Openfiler ın kurulumu (SAN) 2-RAC1' in kurulumu 3- RAC2'nin kurulumu 4-DNS ayarları 5-Grid kurumu 6-Veritabanının kurulması ve oluşturulması 1
Kurulumda kullanılacak yazılımlar Oracle http://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010- linx8664soft-100572.html linux.x64_11gr2_database linux.x64_11gr2_grid işletim sistemi linux https://edelivery.oracle.com/epd/search/handle_go işletim sisteminizle oracle sürümünüzün oracle tarafınfan sertifikalı olmazı lazım. https://metalink.oracle.com -> certifications tabından arayarak bulabilirsiniz (siteye girmek için metalink hesabınız olması lazım, şirketiniz aracılığı ile edinebilirsiniz). Sertifikalı işletim sistemi kullanmanız olmazsa olmaz bir şarttır. Hem devamlılık sorunları yaşayabilir hem de Oracle'dan destek alamazsınız. Üretim ortamında bu tür bir riski almak istemezseniz. Zamanında Türkiye bankalarından biri bu hataya düşmüştü, ciddi sorunlarla karşılamışlar. SAN (open filer) http://www.openfiler.com/community/download/ Network Ayarları NAS (OpenFiler) NIC-1 -> custom-vmnet1 (hostonly) NIC-2 -> bridge RAC1 NIC-1 -> custom-vmnet1 (hostonly) NIC-2 -> bridge RAC2 NIC-1 -> custom-vmnet1 (hostonly) NIC-2 -> bridge SAN (Openfiler) [root@nas ~]# ifconfig eth0 Link encap:ethernet HWaddr 00:0C:29:6C:7F:AE inet addr:10.0.0.10 Bcast:10.0.0.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe6c:7fae/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:24594 errors:0 dropped:0 overruns:0 frame:0 TX packets:36880 errors:0 dropped:0 overruns:0 carrier:0 2
collisions:0 txqueuelen:1000 RX bytes:5044034 (4.8 MiB) TX bytes:49076445 (46.8 MiB) eth1 Link encap:ethernet HWaddr 00:0C:29:6C:7F:B8 inet addr:192.168.137.101 Bcast:192.168.137.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe6c:7fb8/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:84 errors:0 dropped:0 overruns:0 frame:0 TX packets:14 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:7608 (7.4 KiB) TX bytes:843 (843.0 b) lo Link encap:local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:8 errors:0 dropped:0 overruns:0 frame:0 TX packets:8 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:560 (560.0 b) TX bytes:560 (560.0 b) RAC1 (Oracle Kurulumundan önce) [root@rac1 ~]# ifconfig eth0 Link encap:ethernet HWaddr 00:0C:29:CB:1B:0F inet addr:10.0.0.20 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:92903 errors:0 dropped:0 overruns:0 frame:0 TX packets:71071 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:111026826 (105.8 MiB) TX bytes:23477544 (22.3 MiB) eth1 Link encap:ethernet HWaddr 00:0C:29:CB:1B:19 inet addr:192.168.137.20 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:278 errors:0 dropped:0 overruns:0 frame:0 TX packets:282 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:57151 (55.8 KiB) TX bytes:57122 (55.7 KiB) lo Link encap:local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:27765 errors:0 dropped:0 overruns:0 frame:0 TX packets:27765 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:9532941 (9.0 MiB) TX bytes:9532941 (9.0 MiB) 3
RAC1 Oracle Kurulumdan sonra eth0 Link encap:ethernet HWaddr 00:0C:29:CB:1B:0F inet addr:10.0.0.20 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:92903 errors:0 dropped:0 overruns:0 frame:0 TX packets:71071 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:111026826 (105.8 MiB) TX bytes:23477544 (22.3 MiB) eth1 Link encap:ethernet HWaddr 00:0C:29:CB:1B:19 inet addr:192.168.137.20 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:278 errors:0 dropped:0 overruns:0 frame:0 TX packets:282 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:57151 (55.8 KiB) TX bytes:57122 (55.7 KiB) eth1:2 Link encap:ethernet HWaddr 00:0C:29:CB:1B:19 inet addr:192.168.137.52 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 eth1:3 Link encap:ethernet HWaddr 00:0C:29:CB:1B:19 inet addr:192.168.137.50 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 eth1:4 Link encap:ethernet HWaddr 00:0C:29:CB:1B:19 inet addr:192.168.137.40 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 lo Link encap:local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:27765 errors:0 dropped:0 overruns:0 frame:0 TX packets:27765 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:9532941 (9.0 MiB) TX bytes:9532941 (9.0 MiB) RAC2 (Oracle kurulumundan önce) [root@rac2 ~]# ifconfig eth0 Link encap:ethernet HWaddr 00:0C:29:FA:26:13 inet addr:10.0.0.21 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:137807 errors:0 dropped:0 overruns:0 frame:0 4
TX packets:113477 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:149604744 (142.6 MiB) TX bytes:33850337 (32.2 MiB) eth1 Link encap:ethernet HWaddr 00:0C:29:FA:26:1D inet addr:192.168.137.21 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:569 errors:0 dropped:0 overruns:0 frame:0 TX packets:619 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:133589 (130.4 KiB) TX bytes:135330 (132.1 KiB) lo Link encap:local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:18384 errors:0 dropped:0 overruns:0 frame:0 TX packets:18384 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:9657346 (9.2 MiB) TX bytes:9657346 (9.2 MiB) Oracle kurulumundan sonra [root@rac2 ~]# ifconfig eth0 Link encap:ethernet HWaddr 00:0C:29:FA:26:13 inet addr:10.0.0.21 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:137807 errors:0 dropped:0 overruns:0 frame:0 TX packets:113477 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:149604744 (142.6 MiB) TX bytes:33850337 (32.2 MiB) eth1 Link encap:ethernet HWaddr 00:0C:29:FA:26:1D inet addr:192.168.137.21 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:569 errors:0 dropped:0 overruns:0 frame:0 TX packets:619 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:133589 (130.4 KiB) TX bytes:135330 (132.1 KiB) eth1:1 Link encap:ethernet HWaddr 00:0C:29:FA:26:1D inet addr:192.168.137.41 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 5
eth1:2 Link encap:ethernet HWaddr 00:0C:29:FA:26:1D inet addr:192.168.137.51 Bcast:192.168.137.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 lo Link encap:local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:18384 errors:0 dropped:0 overruns:0 frame:0 TX packets:18384 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:9657346 (9.2 MiB) TX bytes:9657346 (9.2 MiB) SAN (open filer) http://www.openfiler.com/community/download/ linkinden indirdiğimiz imaj ile boot edip kurulumu başlatıyoruz. 6
7
8
9
10
11
12
Link : https://10.0.0.10:446 Kullanıcı : openfiler password : password hesabı ile erişim sağlayabilirsiniz. Disklere, RAC1 ve RAC2 sunucularının erişebilmesi için gerekli ayarları yapalım. (3 x 100GB ve 1 x 50GB ) 13
14
15
16
17
18
19
20
RAC1 in kurulumu, Enterprise-R5-U6-Server-x86_64-dvd.iso dosyasından boot ederek kuruluma başlıyoruz. 21
22
23
24
Yüklenecek paketler (sound, ofis, video vb. araçları yüklemiyoruz.) Desktop Envirements Applications Development Servers Base System Gnome Desktop Envirement Editors Graphical Internet Text-based Internet Development Libraries Development Tools Legacy Software Development Server Configuration Tools Administration Tools Base Java Legacy Software Support System Tools X Window System 25
26
27
Önce, kurulumu sağlıklı bir biçimde tamamayıp tüm servislerin çalıştığını gördükten sonra gerekli güvenlik önlemlerini almak daha mantıklı. Nekadar çok servis/yazılım/hizmet çalışırsa sorunun nedeninini bulmak o kadar zorlaşacaktır. (Örneğin firewall clientların Vt ye erişmesini engelleyebilir, biz de sorunu oracle servislerini ararsak zaman kaybederiz.) 28
29
30
(Biz kurulumda 60 GB disk alanı ayardık lakin üretim ortamında en azından 150-200GB ayırmakta fayda var 50-60GB lik dump dosyaları oluşturulabiliyor.) Kurulumu tamamladık restart ettikten sonra root kullanıcısı ile sistemi açıp, RAC kurulumu için adım adım hazırlıyoruz. Adım-1 vmware worstation da RAC1 sanal makinesine sağ click yapılıp install vmware tools seçilir. VM tool cd si otomatik olarak mount edilir. CD nin içine girilip (/media dizinin içinde) sh vmware-config-tools.pl tüm soruları enter ile geçerek VMware tool yüklenir. Adım-2 Terminal de vmware-toolbox yazılıp entera basılarak açılan pencerede ntp deki kutucuk doldurulur. /setup klasörü açılıp grid ve database in setup dosyaları kopyalanır chown -R oracle:oinstall /setup chmod -R +x /setup 31
Adım-3 Gerekli RPM'leri yüklüyoruz rpm -Uvh binutils-2.* rpm -Uvh compat-libstdc++-33* rpm -Uvh elfutils-libelf-0.* rpm -Uvh elfutils-libelf-devel-* rpm -Uvh gcc-4.* rpm -Uvh gcc-c++-4.* rpm -Uvh glibc-2.* rpm -Uvh glibc-common-2.* rpm -Uvh glibc-devel-2.* rpm -Uvh glibc-headers-2.* rpm -Uvh ksh-2* rpm -Uvh libaio-0.* rpm -Uvh libaio-devel-0.* rpm -Uvh libgcc-4.* rpm -Uvh libstdc++-4.* rpm -Uvh libstdc++-devel-4.* rpm -Uvh make-3.* rpm -Uvh sysstat-7.* rpm -Uvh unixodbc-2.* rpm -Uvh unixodbc-devel-2.* ASM için gerekli rpm paketlerini yüklüyoruz. ilk iki dosya cd nin içerisinde var 3. yü ise linkinden (http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm) indirebilirsiniz. rpm -Uvh oracleasm-2.6.18-238.el5-2.0.5-1.el5.x86_64.rpm rpm -Uvh oracleasm-support-2.1.4-1.el5.x86_64.rpm rpm -Uvh oracleasmlib-2.0.4-1.el5.x86_64.rpm /grid/rpm klasöründen rpm -Uvh cvuqdisk-1.0.7-1.rpm 32
Adım-4 Kullanıcı işlemleri groupadd -g 1000 oinstall groupadd -g 1200 dba useradd -u 1100 -g oinstall -G dba oracle passwd oracle mkdir -p /u01/app/11.2.0/grid mkdir -p /u01/app/oracle/product/11.2.0/db_1 chown -R oracle:oinstall /u01 chmod -R 775 /u01/ Adım-5 Ağ (Network) Ayarları /etc/hosts içeriği 127.0.0.1 localhost.localdomain localhost # Public 192.168.137.20 rac1.sysdba.org rac1 192.168.137.21 rac2.sysdba.org rac2 # Virtual 192.168.137.40 rac1-vip.sysdba.org rac1-vip 192.168.137.41 rac2-vip.sysdba.org rac2-vip # Private 10.0.0.20 rac1-priv.sysdba.org rac1-priv 10.0.0.21 rac2-priv.sysdba.org rac2-priv 10.0.0.10 nas.sysdba.org nas /etc/resolve.conf içeriği nameserver 192.168.137.100 33
Adım 6 Sistem ayarları /etc/sysctl.conf dosyasına aşağıdaki satırlar eklenir aynı satır varsa güncellenir. fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 1054504960 kernel.shmmni = 4096 # semaphores: semmsl, semmns, semopm, semmni kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default=262144 net.core.rmem_max=4194304 net.core.wmem_default=262144 net.core.wmem_max=1048586 /sbin/sysctl -p /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 /etc/pam.d/login session required pam_limits.so Oracle Cluster Time Synchronization Service (ctssd) kullanılacağı için linux un ntp servisini iptal ediyoruz. 34
# service ntpd stop # chkconfig ntpd off # mv /etc/ntp.conf /etc/ntp.conf.org # rm /var/run/ntpd.pid Adım-7 oracle kullanıcısının profiline aşağıdaki satırlar eklenir. (/home/oracle/.bash_profile) # Oracle Settings TMP=/tmp; export TMP TMPDIR=$TMP; export TMPDIR ORACLE_HOSTNAME=rac1.sysdba.org; export ORACLE_HOSTNAME ORACLE_UNQNAME=rac; export ORACLE_UNQNAME ORACLE_BASE=/oracle; export ORACLE_BASE ORACLE_HOME=$ORACLE_BASE/db_1; export ORACLE_HOME ORACLE_SID=RAC1; export ORACLE_SID ORACLE_TERM=xterm; export ORACLE_TERM PATH=$ORACLE_HOME/bin:$PATH; export PATH PATH=/usr/sbin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/j lib; export CLASSPATH if [ $USER = "oracle" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi Not : Veritabanını "/oracle", gridi de "/oragrid" e kurarsak oracle kullanıcısının ve root kullanıcısının ".bash_profile" dosyasına aşağıdaki satırlar eklenir. 35
oracle kullanıcısı için ORACLE_HOSTNAME=rac1.sysdba.org; export ORACLE_HOSTNAME ORACLE_UNQNAME=RAC; export ORACLE_UNQNAME ORACLE_BASE=/oracle; export ORACLE_BASE ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db; export ORACLE_HOME ORACLE_SID=RAC1; export ORACLE_SID ORACLE_TERM=xterm; export ORACLE_TERM PATH=/usr/sbin:$PATH; export PATH PATH=$ORACLE_HOME/bin:$PATH; export PATH root kullanıcısı için (grid in sahipliği root olduğundan dolayı) ORAGRID_BASE=/oragrid ORAGRID_HOME=$ORAGRID_BASE/product/11.2.0/grid; export ORAGRID_HOME PATH=$ORAGRID_HOME/bin:$PATH; export PATH Adım-8 iscsi yüklenip yüklenmediği kontrol edilir. rpm -qa grep iscsi-initiator-utils yüklü değilse cd mount edilir mount -r /dev/cdrom /media/cdrom cd /media/cdrom/server... rpm -Uvh iscsi-initiator-utils... iscsi yüklenir. ve başlatılır. openfiler sistemde iscsi da LUN eklemek ve volume ları maplemek gerekiyor. Sonrasında gene "iscsi target" sekmesinde ki "Network ACL" den "ic_ag" a izin veriliyor. İşletim sistemine disklerin tanıtılması eklenmesi 36
iscsiadm -m discovery -t sendtargets -p 10.0.0.10 iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.de0b812f5012 -p 10.0.0.10 -l işletim sisteminin kapatılıp açılması sırasında aşağıdaki ibarenin görülmesi gerekir. işletim sistemi restart edince otomatik olarak diskleri görür (henüz formatlanmamış durumda) Adım-9 (Bu adımı Grid kurulduktan sonra asmca grafik arayüzlü tool u ile de yapabilirsiniz.) Disklerin ayarlanması (sırası ile n", "p", "1", "w") [root@rac1 Server]# fdisk /dev/sdb Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. The number of cylinders for this disk is set to 12446. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs (e.g., DOS FDISK, OS/2 FDISK) Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 1 First cylinder (1-12446, default 1): Using default value 1 Last cylinder or +size or +sizem or +sizek (1-12446, default 12446): Using default value 12446 Command (m for help): p Disk /dev/sdb: 102.3 GB, 102374572032 bytes 37
255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdb1 1 12446 99972463+ 83 Linux Command (m for help): w The partition table has been altered! Calling ioctl() to re-read partition table. WARNING: Re-reading the partition table failed with error 16: Device or resource busy. The kernel still uses the old table. The new table will be used at the next reboot. Syncing disks. Aynı işlemler sdc ve sdd diskleri için de yapılır. [root@rac1 Server]# fdisk -l çıktısının aşağıdaki gibi olması lazım. Disk /dev/sda: 64.4 GB, 64424509440 bytes 255 heads, 63 sectors/track, 7832 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sda1 * 1 13 104391 83 Linux /dev/sda2 14 7832 62806117+ 8e Linux LVM Disk /dev/dm-0: 60.0 GB, 60095987712 bytes 255 heads, 63 sectors/track, 7306 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk /dev/dm-0 doesn't contain a valid partition table Disk /dev/dm-1: 4194 MB, 4194304000 bytes 255 heads, 63 sectors/track, 509 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk /dev/dm-1 doesn't contain a valid partition table Disk /dev/sdb: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdb1 1 12446 99972463+ 83 Linux Disk /dev/sdc: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes 38
Device Boot Start End Blocks Id System /dev/sdc1 1 12446 99972463+ 83 Linux Disk /dev/sdd: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdd1 1 12446 99972463+ 83 Linux Disk /dev/sde: 51.1 GB, 51170508800 bytes 64 heads, 32 sectors/track, 48800 cylinders Units = cylinders of 2048 * 512 = 1048576 bytes Disk /dev/sde doesn't contain a valid partition table Adım-10 Paylaşık disklerin ASM ortamında ayarlanması ve kernel modülünün yüklenmesi oracleasm configure -i Configuring the Oracle ASM library driver. This will configure the on-boot properties of the Oracle ASM library driver. The following questions will determine whether the driver is loaded on boot and what permissions it will have. The current values will be shown in brackets ('[]'). Hitting <ENTER> without typing an answer will keep that current value. Ctrl-C will abort. Default user to own the driver interface []: oracle Default group to own the driver interface []: dba Start Oracle ASM library driver on boot (y/n) [n]: y Scan for Oracle ASM disks on boot (y/n) [y]: Writing Oracle ASM library driver configuration: done Kernel modülünü yüklüyoruz oracleasm init Loading module "oracleasm": oracleasm Mounting ASMlib driver filesystem: /dev/oracleasm ASM diskleri oluşturmak için ISCSI ile oluşturduğumuz disklerin yolunu veriyoruz. #oracleasm createdisk DISK1 /dev/sdb1 Writing disk header: done 39
Instantiating disk: done #oracleasm createdisk DISK2 /dev/sdc1 Writing disk header: done Instantiating disk: done #oracleasm createdisk DISK3 /dev/sdd1 Writing disk header: done Instantiating disk: done Diskleri tarıyoruz #oracleasm scandisks Reloading disk partitions: done Cleaning any stale ASM disks... Scanning system for ASM disks... listeliyoruz #oracleasm listdisks DISK1 DISK2 DISK3 RAC1'in kurulumunu tamamladık RAC2'ye geçebiliriz. 40
RAC2 nin kurulumu RAC2 kurulumunda işimiz daha kolay, aslında RAC1'i klonlayıp bir iki ayarı değiştiriceğiz. Adım-1 RAC1 sunucusunun shutdown -h now komutu ile kapatıyoruz. İçindekileri RAC2 klasörüne kopyalıyoruz. Adım-2 rac2 klasöründeki, rac1.vmx dosyasını text editor ile açıp displayname = "RAC1" parametresini displayname = "RAC2" olarak değiştiriyoruz. Adım-3 VMware yönetim panelinden ethernet kartlarının bağlantısını kesiyoruz. sistemi açıp, hostname, ipleri ve profile bilgilerini değiştiriyoruz. 41
42
VMware de network kartının connected kutucuğunu doldurup sunucuyu restart edip. Diskleri görüp görmediğini ve tcp ip yapılandırmasının doğru olup olmadığını kontrol ediyoruz. ping -c 2 nas ping -c 2 rac1 ping -c 2 rac2 ping -c 2 rac1-priv ping -c 2 rac2-priv [root@rac2 ~]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes 255 heads, 63 sectors/track, 7832 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes 43
Device Boot Start End Blocks Id System /dev/sda1 * 1 13 104391 83 Linux /dev/sda2 14 7832 62806117+ 8e Linux LVM Disk /dev/dm-0: 60.0 GB, 60095987712 bytes 255 heads, 63 sectors/track, 7306 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk /dev/dm-0 doesn't contain a valid partition table Disk /dev/dm-1: 4194 MB, 4194304000 bytes 255 heads, 63 sectors/track, 509 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk /dev/dm-1 doesn't contain a valid partition table Disk /dev/sdb: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdb1 1 12446 99972463+ 83 Linux Disk /dev/sdc: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdc1 1 12446 99972463+ 83 Linux Disk /dev/sdd: 102.3 GB, 102374572032 bytes 255 heads, 63 sectors/track, 12446 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System /dev/sdd1 1 12446 99972463+ 83 Linux Disk /dev/sde: 51.1 GB, 51170508800 bytes 64 heads, 32 sectors/track, 48800 cylinders Units = cylinders of 2048 * 512 = 1048576 bytes Disk /dev/sde doesn't contain a valid partition table You have new mail in /var/spool/mail/root Adım-4 /home/oracle.bash_profile dosyası # Oracle Settings TMP=/tmp; export TMP TMPDIR=$TMP; export TMPDIR ORACLE_HOSTNAME=rac2.sysdba.org; export ORACLE_HOSTNAME ORACLE_UNQNAME=rac; export ORACLE_UNQNAME 44
ORACLE_BASE=/oracle; export ORACLE_BASE ORACLE_HOME=$ORACLE_BASE/db_1; export ORACLE_HOME ORACLE_SID=rac2; export ORACLE_SID ORACLE_TERM=xterm; export ORACLE_TERM PATH=/usr/sbin:$PATH; export PATH PATH=$ORACLE_HOME/bin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH if [ $USER = "oracle" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi 45
DNS Ayarları, Biz MS W2k3 sunucusundaki DNS servisini kullandık,bind da kullanılabilir. SCAN ip ler kurulumdan önce ping e cevap VERMEMELİLER, kurulum sırasında oracle, kendi ayarlayacak. 46
47
Grid Kurulumu oracle kullanıcısı ile /setup/grid/runinstaller scripti çalıştırılarak kurulum başlatılır. 48
49
50
51
52
53
54
55
56
Veritabanının oluşturulması oracle kullanıcısı ile /setup/database/runinstaller scripti çalıştırılarak kurulum başlatılır. 57
58
59
60
61
62
Kontrol Edelim, cd $/grid/bin dizininde aşağıdaki uygulamalar ile RAC ın sağlıklı kurulup kurulmadığı test edilebilir../crsctl status resource -w "TYPE co 'ora'" -t./srvctl config scan./srvctl config scan_listener./srvctl config database -d instance_ismi./srvctl status database -d instance_ismi./crsctl check crs./crsctl stat res -t./crs_stat -t./srvctl status asm./srvctl config asm -n node_name./crsctl status serverpool./crsctl status resource./crsctl check cluster -all./crsctl query css votedisk cd /u01/app/oracle/diag/rdbms/rac/rac1/trace SELECT inst_name FROM v$active_instances; select INSTANCE_NAME from GV$ASM_CLIENT; [root@rac2 bin]#./crsctl status resource -w "TYPE co 'ora'" -t ------------------------------------------------------------------------------ -- NAME TARGET STATE SERVER STATE_DETAILS ------------------------------------------------------------------------------ -- Local Resources ------------------------------------------------------------------------------ -- ora.data.dg ONLINE ONLINE rac1 ONLINE ONLINE rac2 ora.listener.lsnr ONLINE ONLINE rac1 ONLINE ONLINE rac2 ora.asm 63
ONLINE ONLINE rac1 Started ONLINE ONLINE rac2 Started ora.eons ONLINE ONLINE rac1 ONLINE ONLINE rac2 ora.gsd OFFLINE OFFLINE rac1 OFFLINE OFFLINE rac2 ora.net1.network ONLINE ONLINE rac1 ONLINE ONLINE rac2 ora.ons ONLINE ONLINE rac1 ONLINE ONLINE rac2 ------------------------------------------------------------------------------ -- Cluster Resources ------------------------------------------------------------------------------ -- ora.listener_scan1.lsnr 1 ONLINE ONLINE rac2 ora.listener_scan2.lsnr 1 ONLINE ONLINE rac1 ora.listener_scan3.lsnr 1 ONLINE ONLINE rac1 ora.oc4j 1 OFFLINE OFFLINE ora.rac.db 1 ONLINE ONLINE rac1 Open 2 ONLINE ONLINE rac2 Open ora.rac1.vip 1 ONLINE ONLINE rac1 ora.rac2.vip 1 ONLINE ONLINE rac2 ora.scan1.vip 1 ONLINE ONLINE rac2 ora.scan2.vip 1 ONLINE ONLINE rac1 ora.scan3.vip 1 ONLINE ONLINE rac1 64
Bağlanalım işletim sistemi : win7 x64 oracle client : 11.2.0.1.0 tnsnames.ora : RAC = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = rac-scan.sysdba.org)(port = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = rac.sysdba.org) ) ) C:\Users\mehmet>sqlplus sys/şifreniz@rac as sysdba alınan hata SQL*Plus: Release 11.2.0.1.0 Production on Fri Jul 15 15:50:14 2011 Copyright (c) 1982, 2010, Oracle. All rights reserved. ERROR: ORA-12537: TNS:connection closed Enter user-name: ERROR: ORA-12560: TNS:protocol adapter error Enter user-name: ERROR: ORA-12560: TNS:protocol adapter error SP2-0157: unable to CONNECT to ORACLE after 3 attempts, exiting SQL*Plus Çözüm - 1 "C:\Windows\System32\drivers\etc" dizinindeki hosts dosyasına 65
192.168.137.20 rac1.sysdba.org rac1 192.168.137.21 rac2.sysdba.org rac2 public ethernet kartının tcp/ip özelliklerinden advanced ->DNS-> Append these DNS suffixes (in order) alan adınız yazılır (sysdba.org). C:\Users\mehmet>sqlplus sys/şifreniz@rac as sysdba SQL*Plus: Release 11.2.0.1.0 Production on Fri Jul 15 16:10:18 2011 Copyright (c) 1982, 2010, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0-64bit Production With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP, Data Mining and Real Application Testing options Çözüm - 2 patch geçip 11.2.0.2 yükseltmek. Kaynak : ORA-12545 or ORA-12537 While Connecting to RAC through SCAN name [ID 970619.1] 66