bay——安裝_RAC11g_LC_測試環境-rehat6+udev.txt

★★★____★☆★〓〓〓〓→
VMware vSphere Client6.0

https://10.20.4.200/

下載Vwmare

IP:10.20.4.200
-------帳號：root
-------密碼：password
---------------------------------------------

機器1:
root/bayaim
oracle/oracle
grid/grid

oracle:
統一設置sys,system,dbsnmp,sysman用戶的密碼爲oracle
sys/bayaim
system/bayaim
ASM密碼爲：bayaim

查看數據庫：
C:\Users\Administrator>sqlplus sys/bayaim@rac_baydb as sysdba

[oracle@rac2 ~]$ sqlplus / as sysdba
SQL> select instance_name,status from v$instance;

INSTANCE_NAME STATUS
---------------- ------------
racdb1 OPEN
SQL> SELECT a.NAME,a.DATABASE_ROLE,a.OPEN_MODE,a.LOG_MODE FROM V$DATABASE a;

alter user user1 account unlock;

 

2019年3月27日14:03:06
LC 科技RAC ——搭建
---------------------------------------------
1. 安裝centos 選擇語言：english / U.S.English 防止亂碼
[oracle@testoracle database]$ export LANG=EN
echo $LANG
vi /etc/sysconfig/i18n

echo LANG=zh_CN.gbk
locale -a |grep en

export LANG=en_US

[root@rac2 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

# rac1
10.20.4.215 rac1 --192.168.1.61 --dave1
10.20.4.217 rac1-vip --192.168.1.63
10.20.77.15 rac1-priv--192.168.1.62

# rac2
10.20.4.216 rac2 --192.168.1.71 --dave2
10.20.4.218 rac2-vip --192.168.1.73
10.20.77.16 rac2-priv --192.168.1.72

# scan-ip
10.20.4.219 scan-cluster --192.168.1.9

集羣實例名：dave

bayaim:

-----------------
[root@rac2 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

# rac1
10.20.4.215 rac1
10.20.4.217 rac1-vip
10.20.77.15 rac1-priv

# rac2
10.20.4.216 rac2
10.20.4.218 rac2-vip
10.20.77.16 rac2-priv

# scan-ip
10.20.4.219 scan-cluster
[root@rac2 ~]#

 

 

注意：修改了主機名後

vi /etc/sysconfig/network
---修改hostname
NETWORKING=yes
HOSTNAME=rac1

[root@rac2 ~]# hostname rac1
[root@rac2 ~]# hostname
rac1

-----------------
Centos6.5
關閉selinux:
永久有效：修改/etc/sysconfig/selinux

將文本中的SELINUX=enforcing，改成SELINUX=disabled。而後重啓

即時有效：setenforce 0

查看狀態：getenforce

關閉防火牆：
永久性生效：chkconfig iptables off ,而後重啓

即時生效：service iptables stop

打開、關閉GNOME 桌面：
[root@localhost ~]# vi /etc/inittab
3 -- 爲命令行
5 -- 爲桌面
而後重啓系統後
#init 3

 

-----------------

[root@rac1 named]# service network restart //重啓網卡-----------
[root@rac2 ~]# ifconfig //查看IP-----------
// 修改網卡---------
[root@rac1 network-scripts]# pwd
/etc/sysconfig/network-scripts

[root@dns~]# vi /etc/resolv.conf

search localdomain
nameserver 114.114.114.114

service NetworkManager stop
service network restart
ifconfig

Lc!23Abc
---------------------------------------------------
掛載cdrom

# mkdir c
# mount /dev/cdrom /mnt/cdrom
或者
# mount /dev/cdrom /media/cdrom

安裝本地光盤yum：

1.檢查是否安裝了yum
# rpm -qa |grep yum
redhat通常都默認安裝了yum。
2.
[root@rac1 Server]# vi /etc/yum.repos.d/rhel-source.repo

[rhel-source]
name=localyum
baseurl=file:///mnt/cdrom/Server
enabled=1
gpgcheck=0
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release

#這裏指向了Server目錄, 若是還要軟件, 則還需創建指向Cluster,ClusterStorage,VT的baseurl.

3.清除緩存
[root@kangvcar ~]# yum clean all
[root@kangvcar ~]# yum makecache //把yum源緩存到本地，加快軟件的搜索好安裝速度
[root@kangvcar ~]# yum list //列出了3780個包

4.安裝測試

#yum -y install gcc

------------------------------------------------------------------
注意：asm磁盤若是用了asmlib就不能再設置成裸設備，否則在建立asm磁盤組的時候rac2的實例掛載磁盤會失敗，要麼就用裸設備，不用asmlib

把其餘2塊OCR磁盤和3塊表決盤配置成裸設備,這5個每塊均100M
設置asm磁盤，把3塊10G的磁盤映射成VOL一、VOL二、VOL3，之後建立ASM磁盤組，存放數據文件

．禁用防火牆

[root@rac1 home]# service iptables status
[root@rac1 home]# service iptables stop
[root@rac1 home]# chkconfig iptables off
[root@rac1 home]# chkconfig iptables --list

-------------問題四：【更改字符集】-------------------------
./runInstaller
圖形化出現亂碼：
[oracle@testoracle database]$ export LANG=en_US
echo $LANG
vi /etc/sysconfig/i18n
echo LANG=zh_CN.gbk
locale -a |grep en
export LANG=en_US

#僅節點1執行
$export LANG=en_US

規劃須要的共享磁盤個數及大小
[root@rac1 home]# fdisk -l | grep /dev/sd

3. 配置用戶及用戶組

groupadd oinstall
groupadd dba
groupadd oper
groupadd asmadmin
groupadd asmoper
groupadd asmdba

# useradd -g oinstall -G dba,asmdba,oper oracle
# useradd -g oinstall -G asmadmin,asmdba,asmoper,dba grid
# echo oracle | passwd --stdin oracle
# echo grid | passwd --stdin grid

useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash -c "grid Infrastructure Owner" grid
echo "grid" | passwd --stdin grid
useradd -u 1101 -g oinstall -G dba,oper,asmdba -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle
echo "oracle" | passwd --stdin oracle

修改用戶的組信息：要不之後找不到ASM組：
[root@rac1 bin]# usermod -a -G dba,oper,asmdba,asmadmin oracle

4. 配置 grid 和 oracle 用戶的配置文件

mkdir -p /u01/app/oracle
mkdir -p /u01/app/grid
mkdir -p /u01/app/11.2.0/grid
chown -R grid:oinstall /u01
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01
----------Oracle User----------
文件是：vi /home/oracle/.bash_profile

export PS1="`/bin/hostname -s`-> "
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=baydb1
export ORACLE_UNQNAME=baydb
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_TERM=xterm
export PATH=$PATH:$ORACLE_HOME/bin
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
export TNS_ADMIN=$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export PATH=$PATH:$ORACLE_HOME/bin
export EDITOR=vi
export LANG=en_US
export NLS_LANG=american_america.AL32UTF8
export PATH
umask 022

生效：
#source .bash_profile

----------GRID User----------
文件是：vi /home/grid/.bash_profile

export PS1="`/bin/hostname -s`-> "
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_TERM=xterm
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
export TNS_ADMIN=$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export PATH=$PATH:$ORACLE_HOME/bin
export EDITOR=vi
export LANG=en_US
export NLS_LANG=american_america.AL32UTF8
export PATH
umask 022

[oracle@localhost ~]$ vi /etc/security/limits.conf
在文件最下方輸入如下內容：
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536

[oracle@localhost ~]$ vi /etc/pam.d/login

在文件最下方輸入如下內容：
session required /lib64/security/pam_limits.so
#session required /lib/security/pam_limits.so
session required pam_limits.so

注意：由於是64位的系統，因此必定要寫/lib64/security/pam_limits.so
若是寫成/lib/security/pam_limits.so（這是32位系統的設置），就會在虛擬機本地的字符界面模式下沒法
登陸

[oracle@localhost ~]$ vi /etc/profile

if [ $USER = "oracle" ]||[ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi

[root@jssnode1Server]# vi /etc/sysctl.conf
將下列內容加入該文件：

fs.aio-max-nr = 12019/4/17048576
fs.file-max = 6815744
kernel.shmall = 8160280
kernel.shmmax = 33424509440
kernel.shmmni = 4096
kernel.sem =250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
net.ipv4.tcp_wmem = 262144 262144 262144
net.ipv4.tcp_rmem = 4194304 4194304 4194304

【使內核參數當即生效】
[root@linuxserv7 ~]#sysctl -p

=================================================================
3、中止ntp服務，11gR2新增的檢查項，配置集羣時間同步服務

[root@node1 ~]# service ntpd status
[root@note1 ~] #service ntpd stop
[root@note1 ~] #chkconfig –level 2345 ntpd off
[root@note1 ~] #rm –rf /etc/ntp.conf

節點二和節點三上執行相同的命令，卸載NTP
在集羣安裝完後，要確認ctssd是否處於活動狀態
[grid@note1 ~] #crsctl check ctss

問題1：
[root@rhel5 ~]# iscsiadm -m discovery -t st -p 192.168.0.10 ##用iscsiadm探測openfiler新添加的iscsi共享卷
-bash: iscsiadm: command not found
[root@rhel5 ~]# mount /dev/cdrom /media --加載光盤，安裝iscsi-initiator rpm包

解決：
[root@rac1 Packages]# pwd
/mnt/cdrom/Packages
[root@rac1 Packages]# yum install iscsi* #iscsi-initiator-utils-6.2.0.868-0.18.el5.i386.rpm

[root@iscsi-asm~] # rpm –ivh scsi-target-utils*.rpm

// RedHat 6在光盤Packages目錄下
// RedHat 5在光盤ClusterStorage目錄下

默認狀況下，iscsi發起方和目標方之間經過端口3260鏈接。假設已知iscsi的目標方IP是192.168.1.1，運行下列命令：
# chkconfig iscsi on
# chkconfig iscsi --list （查看ISCSI啓動狀態）
# chkconfig --list |grep iscsi ##檢測全部相關的iscsi服務狀態
# service iscsi status
# service iscsi start ##啓動iscsi服務

# iscsiadm -m discovery -t sendtargets -p 10.20.4.215:3260

二、掛載ISCSI磁盤

A、節點一note1 上：

[root@note1 ~] # rpm –ivh iscsi-initiator-utils*.rpm
[root@note1 ~] # service iscsid restart //重啓iscsi服務
[root@note1 ~] # chkconfig --level 2345 iscsid on //設置開機自啓動
[root@note1 ~] # chkconfig --list iscsid //查看自啓動項
[root@note1 ~] # iscsiadm –m node –p 172.16.1.20 –l //登陸iscsi存儲

B、節點二note2 上：
[root@note2 ~] # rpm –ivh iscsi-initiator-utils*.rpm
[root@note2 ~] # service iscsid restart //重啓iscsi服務
[root@note2 ~] # chkconfig --level 2345 iscsid on //設置開機自啓動
[root@note2 ~] # chkconfig --list iscsid //查看自啓動項
[root@note2 ~] # iscsiadm –m node –p 172.16.1.20 –l //登陸iscsi存儲

 

8.配置UDEV：

如下操做只須要2個節點都執行 ------------------------------------

問題：
VMware 中使用 scsi_id 查詢磁盤UUID

方法以下：
一、在虛擬機關閉之後，進入虛擬機的目錄
二、用文本編輯器修改vmx文件,在vmx文件中任意位置（一般在最後）添加以下行：
disk.EnableUUID = "TRUE"
三、從新啓動虛擬機，此時能夠正確獲取SCSI ID
-----------------------------------------------------------------------

建議使用腳本將全部磁盤的UUID輸出到x.log，而後使用列編輯搞定全部asm磁盤
cd /bai
vi test.sh
新建這個腳本,得到UUID：

#!/bin/sh
for i in c d e f g h i j k
do
echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\""
done

#./test.sh > x.log
# chmod 755 test.sh

#/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sdb 或 #/sbin/scsi_id -g -u /dev/sda
//獲取磁盤UUID

#添加記錄到/etc/scsi_id.config
編輯/etc/scsi_id.config文件，若是該文件不存在，則建立該文件，添加以下行：
[root@rac1 dev]# echo "options=--whitelisted --replace-whitespace" >> /etc/scsi_id.config

建立 rules 文件：
# cd /etc/udev/rules.d
# vi /etc/udev/rules.d/99-oracle-asmdevices.rules
把 x.log中 信息複製到99-oracle-asmdevices.rules 下面

重載 UDEV：
sudo /etc/init.d/udev-post reload

rac1啓動UDEV：

#start_udev
或者
#/sbin/start_udev
Starting udev: [ OK ]

[root@rac1 rules.d]# ls -l /dev/asm*
0 brw-rw---- 1 grid asmadmin 8, 48 Apr 30 14:12 /dev/asm-diskc
0 brw-rw---- 1 grid asmadmin 8, 64 Apr 30 14:12 /dev/asm-diskd
0 brw-rw---- 1 grid asmadmin 8, 80 Apr 30 14:12 /dev/asm-diske
0 brw-rw---- 1 grid asmadmin 8, 96 Apr 30 14:12 /dev/asm-diskf
0 brw-rw---- 1 grid asmadmin 8, 112 Apr 30 14:12 /dev/asm-diskg
0 brw-rw---- 1 grid asmadmin 8, 128 Apr 30 14:12 /dev/asm-diskh
0 brw-rw---- 1 grid asmadmin 8, 144 Apr 30 14:12 /dev/asm-diski
0 brw-rw---- 1 grid asmadmin 8, 160 Apr 30 14:12 /dev/asm-diskj
0 brw-rw---- 1 grid asmadmin 8, 176 Apr 30 14:12 /dev/asm-diskk

傳輸到rac2上：

[root@rac1 rules.d]# scp /etc/udev/rules.d/99-oracle-asmdevices.rules 10.20.4.216:/etc/udev/rules.d/
root@10.20.4.216's password:
99-oracle-asmdevices.rules 100% 1945 1.9KB/s 00:00
You have new mail in /var/spool/mail/root

rac2啓動UDEV
#/sbin/start_udev
[root@rac2 rules.d]# ls -l /dev/asm*

=======================================================================================================================
二．安裝 Grid
使用 X manager 鏈接到節點 1 上，設置 DISPLAY。

 

節點2準備工做
咱們已經在node1完成基本準備配置工做，在node2上重複上述2.2到2.10節中準備工做，以完成節點2的準備工做。
說明：2.3節配置SCAN IP已在節點2上完成，可忽略。2.4節中須要修改對應的環境變量。

問題：<<<<<配置oracle，grid 用戶SSH對等性>>>>>>>>>
配置oracle用戶對等性
node1:

[root@rac1 ~]# su - oracle
rac1-> mkdir ~/.ssh
rac1-> chmod 700 ~/.ssh
rac1-> ls -al
rac1-> ssh-keygen -t rsa （連續按三下回車）
rac1-> ssh-keygen -t dsa （連續按三下回車）

node2:

[root@rac1 ~]# su - oracle
rac2-> mkdir ~/.ssh
rac2-> chmod 700 ~/.ssh
rac2-> ls -al
rac2-> ssh-keygen -t rsa （連續按三下回車）
rac2-> ssh-keygen -t dsa （連續按三下回車

返回節點1：

rac1-> cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
rac1-> cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
rac1->
oracle@rac2's password:
rac1-> ssh rac2 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
oracle@rac2's password:
rac1-> scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys
oracle@rac2's password:

驗證oracle SSH對等性：
在node1，node2兩個節點上分別執行下述命令，第一次執行時須要口令驗證：
ssh rac1 date
ssh rac2 date
ssh rac1-priv date
ssh rac2-priv date
ssh rac1-vip date
ssh rac2-vip date

返回節點1：

rac1-> ssh rac2-vip date
Tue Apr 9 19:37:06 CST 2019
rac1-> ssh rac1-vip date
Tue Apr 9 19:37:07 CST 2019
rac1-> ssh rac1-priv date
Tue Apr 9 19:37:14 CST 2019
rac1-> ssh rac2-priv date
Tue Apr 9 19:37:18 CST 2019
rac1-> ssh rac2 date
Tue Apr 9 19:37:22 CST 2019
rac1-> ssh rac1-vip date
Tue Apr 9 19:37:25 CST 2019
rac1->
返回節點2：
也要測試：

Nothing to do
[root@rac2 network-scripts]# systemctl restart sshd

至此，Oracle用戶SSH對等性配置完成！重複上述步驟，以grid用戶配置其對等性。
<<<<<配置oracle，grid 用戶SSH對等性>>>>>>>>>
[root@rac1 ~]# su - grid
node1:
node2:
重複上述步驟，

格式化共享磁盤-------------------------------------------
以root用戶分別在兩個節點上執行fdisk命令，查看現有硬盤分區信息：

node1：
[root@node1 ~]# fdisk -l

node2：
[root@node2 ~]# fdisk -l
root用戶在node1上格式化/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde這4塊盤
[root@node1 ~]# fdisk /dev/sdb
n 表示新建1個分區；
p 表示分區類型選擇爲primary partition 主分區；
1 表示分區編號從1開始；
500 起始、終止柱面選擇默認值，即1和500；
w 表示將新建的分區信息寫入硬盤分區表。

[root@node1 ~]#
重複上述步驟②，以root用戶在node1上分別格式化其他3塊磁盤：
格式化完畢以後，在node1，node2節點上分別看到下述信息：

#僅節點1執行
[grid@cheastrac01:~]$ export LANG=en_US

規劃須要的共享磁盤個數及大小
[root@rac1 home]# fdisk -l | grep /dev/sd
[root@localhost etc]# lsblk

安裝完畢後，執行 rpm -qa|grep asm確認是否安裝成功。

 

[root@rac1 trace]# ls *.log
alert_+ASM1.log
[root@rac1 trace]# pwd
/u01/app/grid/diag/asm/+asm/+ASM1/trace

查看CRS日誌

[root@rac1 ~]# find / -name crsd.log
/u01/app/11.2.0/grid/log/rac1/crsd/crsd.log
-------------------------------------------------------

2.5 解壓安裝介質======================================
node1：

Oracle Database（includes Oracle Database和Oracle RAC）安裝數據庫至少須要這兩個安裝包：

p13390677_112040_Linux-x86-64_1of7.zip
p13390677_112040_Linux-x86-64_2of7.zip

Oracle Grid Infrastructure(包括Oracle ASM、Oracle Clusterware和Oracle Restart）：
p13390677_112040_Linux-x86-64_3of7.zip

注意：這裏的3個軟件包均是來源於MetaLink網站，其版本均是目前Oracle 11g的最新版本，11.2.0.3.0。
若是沒有MetaLink帳號的話，也能夠從oracle官方網站免費獲取11.2.0.1.0的版本軟件來進行安裝和配置。

咱們經過下述命令來解壓上述3個壓縮軟件包：

[root@rac1 bai]# unzip p13390677_112040_Linux-x86-64_1of7.zip
[root@rac1 bai]# unzip p13390677_112040_Linux-x86-64_2of7.zip
[root@rac1 bai]# unzip p13390677_112040_Linux-x86-64_3of7.zip
[root@rac1 bai]# du -sh database/
2.5G database/
[root@rac1 bai]# du -sh grid/
1.3G grid/

爲便於未來安裝軟件，分別將其move到oracle用戶和grid用戶的家目錄：
[root@rac1 u01]# chown -R grid:oinstall /bai/grid/
[root@rac1 u01]# chown -R oracle:oinstall /bai/database/
[root@node1 ~]# mv database/ /home/oracle/
[root@node1 ~]# mv grid/ /home/grid/
[root@node1 ~]#

2.6 安裝前預檢查配置信息=====================
yum -y install unixODBC*
yum -y install xorg-x11-apps
yum -y install libXp*
yum -y install pdksh
rpm -ivh compat-lib* --nodeps --force >>>>>強制安裝的方法

安裝依賴包，配好yum裝吧

yum install -y binutils compat-libstdc++-33 glibc ksh libaio libgcc libstdc++ make compat-libcap1 gcc gcc-c++ glibc-devel libaio-devel libstdc++-devel sysstat elfutils-libelf-devel

yum install binutils compat-db compat-libstdc++-33 compat-libstdc++-296 compat-gcc-34-c++ compat-gcc-34 control-center elfutils-libelf elfutils-libelf-devel elfutils-libelf-devel-static gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers gnome-screensaver kernel-headers ksh libaio libaio-devel libgcc libgomp libstdc++ libstdc++-devel libXp make numactl-devel openmotif openmotif22 pdksh rsh setarch sysstat unixODBC unixODBC-devel xorg-x11 xorg-x11-apps libcap

圖形界面grid用戶運行
#su - grid
node1-> ./runInstaller

在安裝 GRID以前，建議先利用CVU(Cluster Verification Utility)檢查 CRS的安裝前環境。

使用 CVU 檢查CRS的安裝前環境：
# su – grid
node1-> cd grid/
node1-> ./runcluvfy.sh stage -pre crsinst -n baydb1,baydb2 -fixup -verbose

Please run the following script on each node as "root" user to execute the fixups:
'/tmp/CVU_11.2.0.3.0_grid/runfixup.sh'
Pre-check for cluster services setup was unsuccessful on all the nodes.
node1->
從上面的預檢查結果中，能夠看到不成功，其實錯誤的緣由是grid用戶不屬於dba組！不過，Oracle自動給咱們提供的修復的腳本，根據上述提示，分別以root用戶在兩個節點上執行/tmp/CVU_11.2.0.3.0_grid/runfixup.sh腳原本修復。

直到此步驟，咱們的安裝環境已經徹底準備OK！！！

你們在使用客戶端鏈接linux的時候，secureCRT是個很是棒的工具，可是因爲不支持圖形模式，在一些須要圖形界面
的時候就很麻煩，其實有個比較簡單的解決辦法，就是使用xmanager的passive.
若是提示「Warning: Missing charsets in String to FontSet conversion」不需理會，只是字符轉換問題。在執行netca的時候，提早設置

export LANG=en_US 設置爲英文環境便可。

bayaim: 打開：Xmanager - Passive 後臺運行着

查看本地"CMD"——IPconfig: IPv4 地址 . . . . . . . . . . . . : 10.20.100.128

rac1-> source .bash_profile
rac1-> export DISPLAY=10.20.100.128:0.0
rac1-> export LANG=en_US
rac1-> xhost +
rac1-> xclock
rac1-> ./runInstalle

注意：
在 11gr2 中
external >= 1
normal >=3
high >=5

ASM的SYS、ASMSNMP用戶配置爲相同的口令，並輸入口令 : bayaim

-----------------------------------------------------------------------------------
問題1：
This task verifies cluster time synchronization on clusters that use Network Time Protocol (NTP).?(more details)

解決辦法：
# service ntpd stop
Shutting down ntpd: [ OK ]
# chkconfig --level 2345 ntpd off
# rm -rf /etc/ntp.conf

節點二和節點三上執行相同的命令，卸載NTP

在集羣安裝完後，要確認ctssd是否處於活動狀態
#crsctl check ctss

問題1：
Device Checks for ASM
This is a pre-check to verify if the specified devices meet the requirements for configuration through the Oracle Universal Storage Manage
解決辦法： 因未配置DNS,此錯誤能夠忽略。忽略報錯會彈窗，問是否忽略錯誤，確認就好

問題2：
This is a prerequisite condition to test whether sufficient total swap space is available on system

解決辦法：
4) 修改swap 分區：------------

如下操做須要root權限。

#cd /usr/
#mkdir swap
#dd if=/dev/zero of=swapfile bs=2G count=8
dd if=/dev/zero of=swapfile bs=2M count=1024

這條命令從硬盤裏分出一個 2×8G 大小的空間，掛在swapfile上。

#mkswap swapfile

構建swap格式於/usr/swap/swapfile 上

#swapon swapfile

激活swapfile ，加入到swap分區中。

# vi /etc/fstab
在/etc/fstab文件中加入下面這樣一行：

/usr/swap/swapfile swap swap defaults 0 0

bs=bytes：同時設置讀入/輸出的塊大小爲bytes個字節。
count=blocks：僅拷貝blocks個塊，塊大小等於ibs指定的字節數。

在全部節點上安裝完cvuqdisk-1.0.9-1軟件後，從新執行預檢查，再也不有警告信息

問題3：
準備做爲CRS磁盤組的3個磁盤都是200M，選擇CRS對應的磁盤組報以下錯誤
INS-30515: Insufficient space available in the selected disks.
緣由：Insufficient space available in the selected Disks. At least, string MB of free space is required.
所選的磁盤空間不足。

解決辦法：改爲3個1G的磁盤解決問題。

-----------------------------------------------------------------------------------

注意順序： 先在第一個節點上執行，而後其餘節點順序執行，不能同時執行
根據提示以root用戶分別在兩個節點上執行腳本：

node1：

[root@rac1 ~]#sh /u01/app/oraInventory/orainstRoot.sh
node2：

[root@rac2 ~]#sh /u01/app/oraInventory/orainstRoot.sh

node1：
[root@rac1 ~]#sh /u01/app/11.2.0/grid/root.sh
中間按一次回車

node2：

[root@rac2 ~]#sh /u01/app/11.2.0/grid/root.sh

再從新執行這個root.sh腳本
[root@oracle-rac01 lib64]# /u01/app/11.2.0/grid/root.sh
Performing root user operation for Oracle 11g

The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.

Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization - successful
root wallet
root wallet cert
root cert export
peer wallet
profile reader wallet
pa wallet
peer wallet keys
pa wallet keys
peer cert request
pa cert request
peer cert
pa cert
peer root cert TP
profile reader root cert TP
pa root cert TP
peer pa cert TP
pa peer cert TP
profile reader pa cert TP
profile reader peer cert TP
peer user cert
pa user cert
Adding Clusterware entries to upstart
CRS-2672: Attempting to start 'ora.mdnsd' on 'oracle-rac01'
CRS-2676: Start of 'ora.mdnsd' on 'oracle-rac01' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'oracle-rac01'
CRS-2676: Start of 'ora.gpnpd' on 'oracle-rac01' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'oracle-rac01'
CRS-2672: Attempting to start 'ora.gipcd' on 'oracle-rac01'
CRS-2676: Start of 'ora.cssdmonitor' on 'oracle-rac01' succeeded
CRS-2676: Start of 'ora.gipcd' on 'oracle-rac01' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'oracle-rac01'
CRS-2672: Attempting to start 'ora.diskmon' on 'oracle-rac01'
CRS-2676: Start of 'ora.diskmon' on 'oracle-rac01' succeeded
CRS-2676: Start of 'ora.cssd' on 'oracle-rac01' succeeded

已成功建立並啓動 ASM。

已成功建立磁盤組DATA。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-4256: Updating the profile
Successful addition of voting disk 97aa7b7c2eb24fedbf4026f3fd9d184e.
Successfully replaced voting disk group with +DATA.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 97aa7b7c2eb24fedbf4026f3fd9d184e (/dev/asm-disk1) [DATA]
Located 1 voting disk(s).
CRS-2672: Attempting to start 'ora.asm' on 'oracle-rac01'
CRS-2676: Start of 'ora.asm' on 'oracle-rac01' succeeded
CRS-2672: Attempting to start 'ora.DATA.dg' on 'oracle-rac01'
CRS-2676: Start of 'ora.DATA.dg' on 'oracle-rac01' succeeded
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
---------------------
至此，這樣，才叫安裝成功。

此時，集羣件相關的服務已經啓動。固然，ASM實例也將在兩個節點上啓動。 >>>>>>>>>>>>>>>>

問題1：
/u01/app/grid/11.2.0/bin/clscfg.bin: error while loading shared libraries: libcap.so.1: cannot open shared object file: No such file or directory
Failed to create keys in the OLR at /u01/app/grid/11.2.0/crs/install/crsconfig_lib.pm line 7497.
方法1：
安裝與 libcap 有關的包就能夠解決這個問題，安裝包以後再從新執行root.sh
yum -y install libcap*

方法2：
[root@rac1 lib64]# find / -name libcap.so.2
/lib64/libcap.so.2
[root@rac1 lib64]# cd /lib64/
[root@rac1 lib64]# ln -s libcap.so.2.16 libcap.so.1
[root@rac1 lib64]# ls -l libcap
libcap-ng.so.0 libcap.so libcap.so.2
libcap-ng.so.0.0.0 libcap.so.1 libcap.so.2.16

-----------------------------------------------------------------------
問題2：

[INS-20802] Oracle Cluster Verification Utility failed
緣由：scan ip已經存在
解決辦法：
ping scan ip，若是能夠ping通，忽略，跳過便可。

---------------------------------------------------------------------------

[root@rac1 app]# su - grid
rac1-> crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora....N1.lsnr ora....er.type ONLINE ONLINE rac1
ora.OCR.dg ora....up.type ONLINE ONLINE rac1
ora.asm ora.asm.type ONLINE ONLINE rac1
ora.cvu ora.cvu.type ONLINE ONLINE rac1
ora.gsd ora.gsd.type OFFLINE OFFLINE
ora....network ora....rk.type ONLINE ONLINE rac1
ora.oc4j ora.oc4j.type ONLINE ONLINE rac1
ora.ons ora.ons.type ONLINE ONLINE rac1
ora....SM1.asm application ONLINE ONLINE rac1
ora.rac1.gsd application OFFLINE OFFLINE
ora.rac1.ons application ONLINE ONLINE rac1
ora.rac1.vip ora....t1.type ONLINE ONLINE rac1
ora....SM2.asm application ONLINE ONLINE rac2
ora.rac2.gsd application OFFLINE OFFLINE
ora.rac2.ons application ONLINE ONLINE rac2
ora.rac2.vip ora....t1.type ONLINE ONLINE rac2
ora....ry.acfs ora....fs.type ONLINE ONLINE rac1
ora.scan1.vip ora....ip.type ONLINE ONLINE rac1

由於咱們使用 CTSS 來同步的，驗證 CTSS:
[grid@rac1 u01]$ crsctl check ctss
CRS-4701: The Cluster Time Synchronization Service is in Active mode.
CRS-4702: Offset (in msec): 0

至此，GI 安裝結束。
------------------------------------------------------------------------------
[root@rac1 bin]# /u01/app/11.2.0/grid/bin/crs_stat -t

問題1：
INS-20802] Oracle Cluster Verification Utility failed.

緣由：scan ip已經存在
解決辦法：
ping scan ip，若是能夠ping通，忽略，跳過便可

=====================>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
五：ASM配置
注：asm配置只在rac1一臺服務器上安裝便可

建立ASM磁盤組
以grid用戶建立ASM磁盤組，建立的ASM磁盤組爲下一步建立數據庫提供存儲。
grid用戶登陸圖形界面，執行asmca命令來建立磁盤組：
[root@rac1 bin]# su - grid
rac1-> env | grep ORA
ORACLE_SID=+ASM1
ORACLE_BASE=/u01/app/grid
ORACLE_TERM=xterm
ORACLE_HOME=/u01/app/11.2.0/grid
rac1-> export DISPLAY=10.20.100.128:0.0
rac1-> export LANG=en_US
rac1-> xhost +
access control disabled, clients can connect from any host
rac1-> xclock
rac1-> asmca
rac1-> exit
進入ASMCA配置界面後，單擊Create，建立新的磁盤組：

1.輸入磁盤組名 DATA，冗餘策略選擇External，磁盤選擇ORCL:VOL3，單擊OK DATA磁盤組建立完成，單擊OK：
2.繼續建立磁盤組，磁盤組名FLASH，冗餘策略選擇 External，磁盤選擇ORCL:VOL4：
最後，完成DATA、FLASH磁盤組的建立，Exit推出ASMCA圖形配置界面：
至此，利用ASMCA建立好DATA、FLASH磁盤組。且，能夠看到連同以前建立的GRIDDG 3個磁盤組均已經被RAC雙節點MOUNT。

=======================================================================
6、建立數據庫Oracle 軟件==========>>>>>>>>>>>>>>>>>>
注：Oracle安裝只在rac1一臺服務器上安裝便可

#su - oracle
rac1-> export DISPLAY=10.20.100.118:1.0
rac1-> export LANG=en_US
rac1-> xhost +
rac1-> xclock
rac1-> ./runInstaller

用 oracle 用戶， 連上節點 1， 進入 Oracle 的安裝目錄， 安裝 Oracle 軟件，
注意這裏只安裝軟件。
不須要郵件
跳過升級
只安裝數據庫軟件
設置 SSH -->> 輸入 Oracle密碼 -->> setup -->> ssh 互信測試
RAC數據庫安裝
添加簡體中文
選擇企業版
以前環境變量設置過
選擇oracle用戶組，選擇「oper」 Next：
形成緣由是由於沒有配置DNS，在這裏能夠忽略
root用戶在rac1和rac2都要執行腳本

[root@rac1 lib64]# sh /u01/app/oracle/product/11.2.0/db_1/root.sh
[root@rac2 lib64]# sh /u01/app/oracle/product/11.2.0/db_1/root.sh

安裝完成

=====================>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
7、建立RAC集羣數據庫
注：Oracle安裝只在rac1一臺服務器上安裝便可

以oracle用戶
登陸圖形界面，執行dbca，進入DBCA的圖形界面:
[root@rac1 bin]# su - oracle
rac1-> export DISPLAY=10.20.100.128:0.0
rac1-> source .bash_profile
rac1-> export LANG=en_US
rac1-> xhost +
access control disabled, clients can connect from any host
rac1-> xclock
rac1-> dbca
選擇第1項，建立RAC數據庫
選擇建立數據庫選項
選擇建立通用數據庫，Next：
配置類型選擇Admin-Managed，輸入數據庫名baydb，選擇雙節點，Next：
選擇默認，配置OEM、啓用數據庫自動維護任務，Next：
選擇數據庫用戶使用同一口令，Next
數據庫存儲選擇ASM，使用OMF，數據區選擇以前建立的DATA磁盤組，Next：
指定數據庫閃回區，選擇以前建立好的FLASH磁盤組，Next：
選擇建立數據庫自帶Sample Schema，Next：
選擇數據庫字符集，AL32UTF8，Next：
選擇默認數據庫存儲信息，直接Next：
單擊，Finish，開始建立數據庫，Next：
建立數據庫可能持續時間稍長：
完成建立數據庫。
至此，咱們完成建立RAC數據庫！！！

ASM密碼爲：bayaim

問題4：
Oracle RAC 11.2.0.4 – RHRL 6.4: DiskGroup resource are not running on nodes. Database instance may not come up on these nodes
解決辦法：
請見我寫的：
RAC_11.2.0.4 – RHRL 6.4 DiskGroup resource.docx

-----------------------------------------------------------------
問題5：DBCA建庫找不到ASM磁盤一例

[root@rac2 grid]# su - grid
rac2-> cd /u01/app/11.2.0/grid/bin
rac1-> ls -l oracle
-rwsr-s--x 1 grid oinstall 209836184 Apr 9 17:50 oracle 文件權限正確
-rwxr-x--x 1 grid oinstall 209914519 9月 7 14:42 oracle 文件權限錯誤
[root@rac1 bin]# chmod 751 oracle
[root@rac1 bin]# chmod 6751 oracle

 

[root@rac2 grid]# su - oracle
rac2-> cd $ORACLE_HOME/bin
/u01/app/oracle/product/11.2.0/db_1/bin
rac2-> ls -l oracle
-rwsr-s--x 1 oracle oinstall 239501424 Apr 9 20:03 oracle 文件權限正確

修改權限：

-rwsr-s--x 1 oracle asmdba 239626641 Apr 17 14:34 oracle
rac1-> chown -R oracle:oinstall oracle
rac1-> ls -l oracle
-rwxr-x--x 1 oracle oinstall 239626641 Apr 17 14:34 oracle
rac1-> chmod 6751 oracle

rac1-> source .bash_profile
rac1-> export ORACLE_SID=baydb1
rac1-> sqlplus / as sysdba

===============================================
oracle學習之asm實例的數據庫啓動方式

1.先啓動asm相關服務：
crsctl start resource ora.cssd

2.啓動asm實例；
sqlplus /nolog
SQL> conn / as sysasm
SQL>startup

3.啓動數據庫:
sqlplus /nolog
SQL> conn / as sysdba
SQL>startup

 

 

修改1：
chmod +s oracle
從新回到DBCA建庫界面繼續執行，則會成功發現ASM磁盤組，併成功建庫。

$ORACLE_HOME/bin/oracle該文件的默認權限爲 751權限，有個s權限，若是s權限消失，這時經過OS認證將不能登陸到數據庫；

-----------------------------------------------------------------
問題6： dbca asm ora 01017錯誤

修改2：【bayaim注意 坑逼，node一、node2都要執行】
usermod -a -G asmdba,asmadmin,asmoper,dba,oinstall oracle
usermod -a -G asmdba,asmadmin,asmoper,dba,oinstall grid

經過截圖報錯查看dbca日誌和所示的oraagent_oracle.log

dbca日誌 :
/u01/app/oracle/cfgtoollogs/dbca

/app/grid/11.2.0/log/rac2/agent/crsd/oraagent_oracle

-----------------------------------------------------------------

ORA-19624 ORA-19870 ORA-19504 ORA-17502
今天作了個很簡單的實驗，11g asm建庫的時候報錯以下：
其實就是很簡單的權限問題
[root@rac1 dev]# ls -l /dev/sd*
brw-rw---- 1 root disk 8, 0 Apr 11 13:46 /dev/sda
brw-rw---- 1 root disk 8, 1 Apr 11 13:46 /dev/sda1
brw-rw---- 1 root disk 8, 2 Apr 11 13:46 /dev/sda2
brwxrwxr-x 1 grid asmadmin 8, 16 Apr 11 13:47 /dev/sdb
brw-rw---- 1 grid asmadmin 8, 17 Apr 11 13:47 /dev/sdb1
brwxrwxr-x 1 grid asmadmin 8, 32 Apr 11 13:47 /dev/sdc
brw-rw---- 1 grid asmadmin 8, 33 Apr 11 13:47 /dev/sdc1
brwxrwxr-x 1 grid asmadmin 8, 48 Apr 11 13:47 /dev/sdd
brw-rw---- 1 grid asmadmin 8, 49 Apr 11 13:47 /dev/sdd1
brwxrwxr-x 1 grid asmadmin 8, 64 Apr 11 13:47 /dev/sde
brw-rw---- 1 grid asmadmin 8, 65 Apr 11 13:47 /dev/sde1

[root@rac1 ~]# fdisk -l | grep /dev/sd
Disk /dev/sda: 64.4 GB, 64424509440 bytes, 125829120 sectors
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 125829119 61864960 8e Linux LVM
Disk /dev/sdb: 1073 MB, 1073741824 bytes, 2097152 sectors
/dev/sdb1 2048 2097151 1047552 83 Linux
Disk /dev/sdc: 524 MB, 524288000 bytes, 1024000 sectors
/dev/sdc1 102399 1023999 460800+ 83 Linux
Disk /dev/sdd: 8589 MB, 8589934592 bytes, 16777216 sectors
/dev/sdd1 2048 16777215 8387584 83 Linux
Disk /dev/sde: 524 MB, 524288000 bytes, 1024000 sectors
/dev/sde1 2048 1023999 510976 83 Linux
[root@rac1 ~]# chown -R grid:asmadmin /dev/sdb
[root@rac1 ~]# chown -R grid:asmadmin /dev/sdc
[root@rac1 ~]# chown -R grid:asmadmin /dev/sdd
[root@rac1 ~]# chown -R grid:asmadmin /dev/sde
[root@rac1 ~]# chmod 775 /dev/sdb
[root@rac1 ~]# chmod 775 /dev/sdc
[root@rac1 ~]# chmod 775 /dev/sdd
[root@rac1 ~]# chmod 775 /dev/sde
[root@rac1 ~]#

 

 

spfile:+DTA/orcl/spfileorcl.ora

The Database Control URL is http://rac1:1158/em

tnsnames.ora:

[root@rac2 admin]# pwd
/u01/app/11.2.0/grid/network/admin

 

rac1-vip-> env | grep ORA
ORACLE_SID=+ASM1
ORACLE_BASE=/u01/app/grid
ORACLE_TERM=xterm
ORACLE_HOME=/u01/app/11.2.0/grid
rac1-vip-> cd /u01/app/11.2.0/grid
rac1-vip->

[root@rac2 ~]# find / -name crsctl
/u01/app/11.2.0/grid/bin/crsctl
[root@node1 bin]# ./crsctl start has

以上has啓動命令須要在每一個節點分別執行

查看節點狀態

/u01/app/11.2.0/grid/bin/crs_stat -t

/u01/app/11.2.0/grid/bin/srvctl

[grid@node1 ~]$ crs_stat -t -v 或者 crsctl status resource -t

二、啓動集羣（cluster）

[root@rac1 bin]# ./crsctl start has
CRS-4123: Oracle High Availability Services has been started.

[root@rac1 bin]# ./crsctl start cluster -all --全部節點同時啓動
CRS-5702: Resource 'ora.evmd' is already running on 'rac1'
CRS-5702: Resource 'ora.crsd' is already running on 'rac1'

[root@node1 ~]# /u01/app/11.2.0/grid/bin/crsctl start cluster -all --全部節點同時啓動

[root@rac1 log]# ll /dev/raw/*

或者只啓動指定節點的

# ./crsctl start cluster -n rac1 rac2 --兩個節點同時啓動

＃強制中止節點2的crs

/u01/app/11.2.0/grid/bin/crsctl
./crsctl stop crs -f

[root@node1 ~]# find / -name crsctl

[root@rac2 ~]# /u01/app/11.2.0/grid/bin/crsctl stop crs

[root@node1 ~]# /u01/grid/11.2.0.4/bin/crsctl stop crs （分別在兩個節點的root用戶下執行）
.

(4)再次查看兩個節點的CRS服務狀態：
[grid@node1 ~]$ crs_stat -t -v
CRS-0184: Cannot communicate with the CRS daemon. （服務已經關閉）
[grid@node2 ~]$ crs_stat -t -v
CRS-0184: Cannot communicate with the CRS daemon. （服務已經關閉）
當上述操做都執行完成，而且正常關閉後，就能夠將服務器的關閉了。

＃觀察到crs進程已經啓動
root@bjdb2:/>ps -ef|grep crsd.bin|grep -v grep

＃等待一段時間，能夠查GI相關的核心後臺進程
ps -ef|grep crsd.bin|grep -v grep
ps -ef|grep cssd.bin|grep -v grep
ps -ef|grep pmon
ps -ef|grep pmon|grep -v grep
ps -ef|grep evmd.bin
ps -ef|grep crsd.bin

＃當核心進程都起來時，再次查看crsctl資源狀況，發現已經能夠正常查詢，各資源正在啓動
crsctl stat res -t

11g cluster 的啓動順序是：
ohash
cssd
crsd
evmd

==========================

問題：

1. 若是虛擬機前期磁盤不夠，不要關機增長磁盤，這樣磁盤號：sdk* 就變更，進而影響ASM對應規則，必定要在線擴。

 

 

[root@rac2 ~]# ls -lh /u01/app/11.2.0/grid/crf/db/rac2/crfclust.bdb
-rw-r----- 1 root root 128K Apr 23 14:59 /u01/app/11.2.0/grid/crf/db/rac2/crfclust.bdb

[root@rac2 /]# cat /dev/null >./root/.xsession-errorsYou have new mail in /var/spool/mail/root[root@rac2 /]# ls -lh ./root/.xsession-errors-rw------- 1 root root 260K Apr 30 13:26 ./root/.xsession-errors