小整理了一下Oracle Linux 下6.1 + Oracle 11.2.0.1 RAC 的安装。中间有些贴图，blog里就不贴了。完成版可以下载pdf格式的文档，看的更清楚。

下载地址：

http://download.csdn.net/detail/tianlesoftware/4797570

目录.... 2

一．准备工作.... 3

1.1 RAC架构规划... 3

1.2 修改/etc/hosts文件（所有节点）... 3

1.3 添加组和用户... 3

1.4 禁用防火墙和SELNUX（所有节点）... 4

1.5 配置时间同步... 5

1.5.1 配置CTSS. 5

1.5.2 配置NTP(Network Time Protocol)6

1.6 创建目录结构（所有节点）... 6

1.7 配置环境变量... 7

1.7.1 Grid用户... 7

1.7.2 Oracle 用户... 7

1.8 为安装用户设置资源限制... 8

1.8.1 修改/etc/security/limits.conf8

1.8.2 修改/etc/pam.d/login. 9

1.8.3 shell 的限制... 9

1.9 存储规划... 10

1.9.1 盘区划分... 10

1.9.2 配置ISCSI（所有节点执行）... 11

1.9.3 格式化分区... 11

1.9.4 使用UDEV 进行持久化... 12

二．安装Grid.. 18

三．安装DB. 28

四．创建ASM 磁盘组.... 30

五．创建实例.... 31

六．配置Client-Side TAF. 32

6.1 节点1 配置... 32

6.2 节点2 配置... 33

6.3 在node1和node2的 tnsnames.ora 文件添加如下内容... 33

6.4 在所有节点设置remotelistener34

6.5 进行TAF测试... 34

 

1.1 RAC架构规划

 

注：

    这里选择11.2.0.1 是因为从Oracle 11.2.0.2之后安装grid的public IP 和privateIP必须是不同网段的，我在虚拟机上配置不同网段比较蛮烦。所以降低版本使用11.2.0.1了。

 

1.2 修改/etc/hosts文件（所有节点）

 

1.3 添加组和用户

 

 

确认用户信息：

 

 

修改密码：

 

在所有节点上验证用户 nobody 存在：

安装软件之前，执行以下过程，以验证在两个 Oracle RAC 节点上存在用户 nobody，要确定该用户是否存在，输入以下命令：

 

如果该命令显示了 nobody 用户的信息，则无需创建该用户。如果用户 nobody 不存在，则输入以下命令进行创建：

 

1.4 禁用防火墙和SELNUX（所有节点）

 

关闭防火墙：

Service iptables status

Service iptables stop

chkconfig iptables off

chkconfig iptables –list

 

 

设置/etc/selinux/config 文件，将SELINUX设置为disabled。

 

1.5 配置时间同步

在11gR2中，RAC在安装的时候，时间同步可以用两种方式来实现：

（1）  NTP

（2）  CTSS。 

 

当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式启动集群时间同步服务，OracleClusterware 不会在集群中进行活动的时间同步。

Oracle 集群时间同步服务 (ctssd) 旨在为那些 OracleRAC 数据库无法访问 NTP 服务的组织提供服务。目前建议配置NTP。

1.5.1 配置CTSS

使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。

要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删除 ntp.conf 文件。

要在Linux 上完成这些步骤，以 root 用户身份在两个 Oracle RAC 节点上运行以下命令：

 

还要删除以下文件：

此文件保存了 NTP 后台程序的 pid。

 

 

在安装后，要确认 ctssd 处于活动状态，用grid所有者输入以下命令：

[grid@racnode1 ~]$ crsctl check ctss

CRS-4701: The Cluster Time Synchronization Serviceis in Active mode.

CRS-4702: Offset (in msec): 0

 

1.5.2 配置NTP(Network Time Protocol)

具体参考：

Linux 时间同步配置

http://www.cndba.cn/Dave/article/702

 

这里测试使用CTSS来配置同步。

 

 

1.6 创建目录结构（所有节点）

 

1.7 配置环境变量

1.7.1 Grid用户

修改grid用户的.bash_profile.注意每个节点的不同内容：

 

1.7.2 Oracle 用户

修改oracle 用户的.bash_profile,注意每个节点的不同内容：

 

 

1.8 为安装用户设置资源限制

1.8.1 修改/etc/security/limits.conf

要改善 Linux 系统上的软件性能，必须对 Oracle 软件所有者用户（grid、oracle）增加以下资源限制：

Shell 限制	limits.conf 中的条目	硬限制
打开文件描述符的最大数	nofile	65536
可用于单个用户的最大进程数	nproc	16384
进程堆栈段的最大大小	stack	10240

 

以 root 用户身份，在每个 Oracle RAC 节点上，在 /etc/security/limits.conf 文件中添加如下内容，或者执行执行如下命令：

 

[root@rac1 ~]# cat >> /etc/security/limits.conf <<EOF

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

EOF

 

注：红色部分一起执行

 

1.8.2 修改/etc/pam.d/login

在每个 OracleRAC 节点上，在 /etc/pam.d/login 文件中添加或编辑下面一行内容：

[root@rac1 ~]# cat >> /etc/pam.d/login <<EOF

session    required     pam_limits.so

EOF

 

注：红色部分一起执行

 

1.8.3 shell 的限制

对默认的 shell 启动文件进行以下更改，以便更改所有 Oracle 安装所有者的 ulimit 设置：

 

（1）对于 Bourne、Bash 或 Korn shell，通过运行以下命令将以下行添加到 /etc/profile 文件：

[root@rac1 ~]# cat >> /etc/profile <<EOF

if [ /$USER= "oracle" ] || [ /$USER = "grid" ]; then

    if[ /$SHELL = "/bin/ksh" ]; then

        ulimit-p 16384

        ulimit-n 65536

    else

        ulimit-u 16384 -n 65536

    fi

    umask022

fi

EOF

 

注：红色部分一起执行

 

（2）对于 C shell（csh 或 tcsh），通过运行以下命令将以下行添加到 /etc/csh.login 文件：

[root@racnode1 ~]# cat >> /etc/csh.login <<EOF

if ( /$USER == "oracle" || /$USER =="grid" ) then

    limit maxproc 16384

    limit descriptors 65536

endif

EOF

 

注：红色部分一起执行

 

 

Dave备注：

    在Oracle Linux 6平台下安装Oracle，可以使用Preinstal包，该包会完成相关的参数修改等操作，会大大简化我们安装数据库的时间，详细内容参考：

Oracle Linux6 下 Oracle RDBMS Server 11gR2 Preinstall RPM 包说明

http://www.cndba.cn/Dave/article/1316

 

1.9 存储规划

1.9.1 盘区划分

使用Openfiler 作为共享，使用iscsi进行连接，使用udev 进行映射。

 

冗余策略	卷划分及大小说明
OCRVOTING	Ocrvoting01	1G
	Ocrvoting02	1G
	Ocrvoting03	1G
ARCH	Arch01	5G
	Arch02	5G
DATAFILE	Data01	5G
	Data02	5G
	Data03	5G
	Data04	5G
	Data05	5G
FRA	Fra01	5G
	Fra02	5G
	Fra03	5G

 

 

注意这里需要在存储上进行划分，每个分区一个映射。所以这里需要在存储上划分13个分区。 这样是为了保证scsi_id的唯一性。

 

根据官网的要求，11g中每个OCR和vote disk 至少需要300M空间。在ASM 的冗余级别中：

external >= 1

normal >=3

high >=5

 

所以如果我们选择normal，那么至少需要3个设备，每个设备至少600M。

 

 

1.9.2 配置ISCSI（所有节点执行）

[root@rac1 etc]# iscsiadm -m discovery-t sendtargets -p 192.168.1.2

192.168.1.2:3260,1 asm.tianlesoftware.com

192.168.1.3:3260,1 asm.tianlesoftware.com

192.168.1.2:3260,1 filesystem

192.168.1.3:3260,1 filesystem

 

 

--手工登陆：

[root@rac1 etc]# iscsiadm -m node -Tasm.tianlesoftware.com -p 192.168.1.2 -l

Logging in to [iface: default, target:asm.tianlesoftware.com, portal: 192.168.1.2,3260]

Login to [iface: default, target:asm.tianlesoftware.com, portal: 192.168.1.2,3260] successful.

 

 

--配置自动登陆：

[root@rac1 etc]# iscsiadm -m node -Tasm.tianlesoftware.com -p 192.168.1.2 --op update -n node.startup -v automatic

 

--停止ISCSI

[root@rac2 /]# service iscsi stop

[root@rac2 /]# service iscsid stop

 

 

--验证：

[root@rac1 etc]# netstat -anp |grep 3260

tcp       0      0 192.168.1.62:33454          192.168.1.2:3260            ESTABLISHED 6702/iscsid  

 

 

1.9.3 格式化分区

对分区进行格式化：

 

[root@rac2 ~]# fdisk /dev/sdq

Device contains neither a valid DOSpartition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel with diskidentifier 0xd5a3f562.

Changes will remain in memory only, untilyou decide to write them.

After that, of course, the previous contentwon't be recoverable.

 

Warning: invalid flag 0x0000 of partitiontable 4 will be corrected by w(rite)

 

WARNING: DOS-compatible mode is deprecated.It's strongly recommended to

        switch off the mode (command 'c') and change display units to

        sectors (command 'u').

 

Command (m for help): n

Command action

  e   extended

  p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-1018, default 1):

Using default value 1

Last cylinder, +cylinders or +size{K,M,G}(1-1018, default 1018):

Using default value 1018

 

Command (m for help): w

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

Syncing disks.

[root@rac2 ~]#

 

1.9.4 使用UDEV 进行持久化

参考MOS：

How To Setup UDEV Rules For RAC OCR AndVoting Devices On SLES10, RHEL5, OEL5, OL5 [ID 414897.1]

 

Oracle Linux配置 UDEV SCSI Rules 说明

http://www.cndba.cn/Dave/article/934

 

How to use udev for Oracle ASM in OracleLinux 6

http://www.dbform.com/html/2011/1708.html

 

 

--使用如下shell脚本获取scsi id:

 

 

或者：

for iin c d e f g h i j k l m n o p ;

do

echo"sd$i" "`scsi_id -g -u -s /block/sd$i` ";

done

 

for iin b c d e f g h i j k ;

do

echo"KERNEL==\"sd*\", BUS==\"scsi\",PROGRAM==\"/sbin/scsi_id -g -u -s %p\", RESULT==\"`scsi_id -g -u-s /block/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\",GROUP=\"asmadmin\", MODE=\"0660\""

done

 

 

从输出结果中过滤后需要的结果如下：

 

 

 

#添加记录到/etc/scsi_id.config

编辑/etc/scsi_id.config文件，如果该文件不存在，则创建该文件，添加如下行：

[root@rac1 dev]#echo "options=--whitelisted --replace-whitespace"  >> /etc/scsi_id.config

 

创建rules文件：

/etc/udev/rules.d/99-oracle-asmdevices.rules

 

添加如下内容：

 

 

重启UDEV：

# /sbin/start_udev

 

验证：

[root@rac1 dev]# ls -l /dev/arch*

brw-rw---- 1 grid asmadmin 8, 177 Oct 1010:22 /dev/arch01

brw-rw---- 1 grid asmadmin 8, 145 Oct 1010:22 /dev/arch02

[root@rac1 dev]# ls -l /dev/fra*

brw-rw---- 1 grid asmadmin 8, 33 Oct 1010:19 /dev/fra01

brw-rw---- 1 grid asmadmin 8, 65 Oct 1010:19 /dev/fra02

[root@rac1 dev]# ls -l /dev/data*

brw-rw---- 1 grid asmadmin  8, 225 Oct 10 10:19 /dev/data01

brw-rw---- 1 grid asmadmin 65,   1 Oct 10 10:19 /dev/data02

brw-rw---- 1 grid asmadmin 65,  17 Oct 10 10:19 /dev/data03

brw-rw---- 1 grid asmadmin 65,  49 Oct 10 10:19 /dev/data04

brw-rw---- 1 grid asmadmin  8, 113 Oct 10 10:19 /dev/data05

[root@rac1 dev]# ls -l /dev/ocr*

brw-rw---- 1 grid asmadmin 65,  97 Oct 10 10:19 /dev/ocrvoting1

brw-rw---- 1 grid asmadmin 65, 129 Oct 1010:19 /dev/ocrvoting2

brw-rw---- 1 grid asmadmin 65, 145 Oct 1010:19 /dev/ocrvoting3

 

使用X manager 连接到节点1上，设置DISPLAY。

 

注：

这里强调顺序是节点1，因为在节点2上执行，最后生成的服务名看起来会很别扭，当然服务名最后也是可以修改的，具体怎么别扭，好奇的同学可以自己实验一下。

 

 

Export DISPLAT=192.168.1.1:0.0

 

切到grid用户，然后开始安装clusterware：

 

 

 

 

 

 

 

 

 

 

 

注意：在11gr2中

external >= 1

normal >=3

high >=5

 

 

 

 

指定$ORACLE_BASE 和 $GRID_BASE

 

 

 

解决依赖包后重新安装：

 

 

 

在65%的地方很容易卡住，等很长时间。注意检查防火墙状态。

 

 

提示运行root.sh,11.2.0.1 版有个bug，解决方法如下：

Oracle 11g RAC ohasd failed tostart at /u01/app/11.2.0/grid/crs/install/rootcrs.pl line 443 解决方法

http://www.cndba.cn/Dave/article/464

 

遇到一点小插曲：

Oracle RAC 第二节点 root.sh 报错 Timed out waiting for the CRS stack to start

http://blog.csdn.net/tianlesoftware/article/details/8095122

 

 

安装完成后验证：

[grid@rac1 u01]$ crs_stat.sh

Name                           Target     State     Host     

------------------------------ -------------------  -------  

ora.LISTENER.lsnr              ONLINE     ONLINE    rac1      

ora.LISTENER_SCAN1.lsnr        ONLINE     ONLINE    rac1     

ora.OCRVOTING.dg               ONLINE     ONLINE    rac1     

ora.asm                        ONLINE     ONLINE    rac1     

ora.eons                       ONLINE     ONLINE    rac1     

ora.gsd                        OFFLINE    OFFLINE             

ora.net1.network               ONLINE     ONLINE    rac1     

ora.oc4j                       OFFLINE    OFFLINE             

ora.ons                        ONLINE     ONLINE    rac1     

ora.rac1.ASM1.asm              ONLINE     ONLINE    rac1     

ora.rac1.LISTENER_RAC1.lsnr    ONLINE    ONLINE     rac1     

ora.rac1.gsd                   OFFLINE    OFFLINE             

ora.rac1.ons                   ONLINE     ONLINE    rac1     

ora.rac1.vip                   ONLINE     ONLINE    rac1     

ora.rac2.ASM2.asm              ONLINE     ONLINE    rac2     

ora.rac2.LISTENER_RAC2.lsnr    ONLINE    ONLINE     rac2     

ora.rac2.gsd                   OFFLINE    OFFLINE             

ora.rac2.ons                   ONLINE     ONLINE    rac2     

ora.rac2.vip                   ONLINE     ONLINE    rac2     

ora.scan1.vip                  ONLINE     ONLINE    rac1     

 

 

因为我们使用CTSS来同步的，验证CTSS:

[grid@rac1 u01]$ crsctl check ctss

CRS-4701: The Cluster Time SynchronizationService is in Active mode.

CRS-4702: Offset (in msec): 0

 

至此，GI 安装结束。

用oracle 用户，连上节点1，进入Oracle 的安装目录，安装Oracle软件，注意这里只安装软件。

 

1.  Install databae software only

2.  Select all RAC nodes

3.  设置SSH

 

4.  选择语言

5.  选择Enterprise Edition

6.  选择Oracle 安装目录

7.  选择用户组

8.  开始安装

9.  执行root

10.执行脚本，执行完安装结束。

 

在安装Clusterware 的时候，会创建ASM 实例，但是它只创建了一个CRS 组来安装OCR 和Voting Disk。 在我们继续安装Oracle 数据库之前，我们需要创建一个DATA 和FRA 的ASM 磁盘组来存放这些文件。

  用grid用户运行asmca（ASMConfiguration Assistant）命令就可以弹出创建窗口。

      

  在窗口中创建完DATA 和 FRA 组后，退出窗口即可。

在节点1用Oracle 用户运行dbca，创建实例。

 

1.  选择RAC 集群

 

2.  Create a database

3.  选择类型：事务还是数据仓库

4.  选择Configuration Type：Admin-Managed

5.  设置实例名： dave

6.  选择所有节点

7.  配置Enterprise Manager 和 Automatic MaintenanceTasks

8.  设置用户密码

9.  设置数据文件存放位置: DATA

10.设置FRA 和归档

11.设置内存，字符集等

12.开始安装

 

 

6.1 节点1 配置 

6.1.1修改Listener.ora文件:

LISTENER_NODE1=  

(DESCRIPTION=  

 (ADDRESS_LIST=  

  (ADDRESS= (PROTOCOL = TCP)(HOST = rac1-vip)(PORT = 1521)(IP=FIRST))  

  (ADDRESS= (PROTOCOL = TCP)(HOST = rac1-public)(PORT = 1521)(IP=FIRST))

 )  

) 

也可以使用netca工具来配置。

 

6.1.2 启动Listener：

$ lsnrctl startLISTENER_NODE1

 

6.1.3修改Tnsnames.ora文件，添加如下内容：

NODE1_LOCAL=

 (ADDRESS =(PROTOCOL = TCP)(HOST= rac1-vip)(PORT = 1521))     

 

测试：

$ tnsping node1_local

 

6.1.4 设置node1的local_listener参数

sql > alter systemset LOCAL_LISTENER='node1_local' scope=both sid='dave1';

 

 

6.2 节点2 配置

6.2.1修改Listener.ora文件

LISTENER_NODE2=   

(DESCRIPTION=  

 (ADDRESS_LIST =           

(ADDRESS=(PROTOCOL=TCP)(HOST= rac2-public)(PORT=1521)(IP=FIRST))  

(ADDRESS=(PROTOCOL=TCP)(HOST= rac2-vip)(PORT=1521)(IP=FIRST))  

 )  

)

 

6.2.2启动Listener

$ lsnrctl startLISTENER_NODE2

 

6.2.3修改Tnsnames.ora文件

NODE2_LOCAL= 

   (ADDRESS= (PROTOCOL = TCP)(HOST = rac2-vip)(PORT = 1521)) 

 

验证：

$ tnsping node2_local

 

6.2.4设置local_listener 参数

sql > alter systemset LOCAL_LISTENER='node2_local' scope=both sid='dave2' ;

 

 

6.3 在node1和node2的 tnsnames.ora 文件添加如下内容

 

NODE_REMOTE =

(DESCRIPTION=  

 (ADDRESS_LIST=  

  (ADDRESS= (PROTOCOL = TCP)(HOST=vip-node1)(PORT = 1521))  

  (ADDRESS= (PROTOCOL = TCP)(HOST=vip-node2)(PORT = 1521))   

 )  

)

 

测试：

$ tnsping node_remote

 

6.4 在所有节点设置remotelistener

sql> alter systemset REMOTE_LISTENER='node_remote' scope=both;

 

 

6.5 进行TAF测试

 

在客户端设置的tnsnames.ora 设置TAF

RACTAF=

(DESCRIPTION = 

 (ADDRESS_LIST =

  (LOAD_BALANCE= yes) 

   (FAILOVER=ON) 

  (ADDRESS= (PROTOCOL = TCP)(HOST = rac1-vip)(PORT = 1521)) 

  (ADDRESS= (PROTOCOL = TCP)(HOST = rac2-vip)(PORT = 1521)) 

 )

 (CONNECT_DATA= 

   (SERVICE_NAME= dave) 

   (failover_mode=(type=select)(method=basic)) 

    ) 

  )

 

local_listener与 remote_listener 参数说明

http://www.cndba.cn/Dave/article/1434

 

 

 

 

 

 

 

 

---------------------------------------------------------------------

版权所有，文章允许转载，但必须以链接方式注明源地址，否则追究法律责任!

QQ:492913789

Email:[email protected]

Blog:  http://www.cndba.cn/dave

Weibo:    http://weibo.com/tianlesoftware

Twitter:  http://twitter.com/tianlesoftware

Facebook:http://www.facebook.com/tianlesoftware

Linkedin:http://cn.linkedin.com/in/tianlesoftware