RHEL6.4x64+RHCS+Conga（luci/ricci）+iSCSI+CLVM+gfs2安装配置V

RHEL6.4x64+RHCS+Conga（luci/ricci）+iSCSI+CLVM+gfs2安装配置V1.0
 

一、基本配置
1.关闭Manager/Agent1/Agent2的iptables和selinux
#/etc/init.d/iptables stop
#vim /etc/selinux/config
把SELINUX=enforcing改成SELINUX=permissive，重启生效。如要立即生效输入#setenforce 0
2.配置Manager/Agent1/Agent2的hosts文件
#vim /etc/hosts
输入以下内容
192.168.182.128 Manager
192.168.182.131 Agent1
192.168.182.132 Agent2
3.配置Manager/Agent1/Agent2的ntp时间同步
4.配置好yum源
5.在agent1和agent2上安装httpd服务
#yum install -y httpd
#/etc/init.d/httpd start
#chkconfig httpd on
--基本配置完毕

二、iSCSI安装配置
1.安装target，在Manager上执行
用fdisk分一个10G的空间，然后partx重读分区
# fdisk /dev/sda
# partx /dev/sda -a
安装iscsi-target
# yum install -y scsi-target-utils
2.配置target，在Manager上执行
先备份一下配置文件
#cp /etc/tgt/targets.conf /etc/tgt/targets.conf.bak
在文件最后添加以下信息
#vim /etc/tgt/targets.conf
<target iqn.2014-01.Manager:ReedStorage>
backing-store /dev/sda5
initiator-address 192.168.182.0/24
incominguser reed password
write-cache off
</target>
启动并设置开机启动
#chkconfig tgtd on ; /etc/init.d/tgtd start
查看iscsi target相关信息
#tgt-admin –show
3.安装initiator，在agent1和agent2上执行
#yum install -y iscsi-initiator-utils
设置开机启动
#chkconfig iscsi on
4.配置initiator，在agent1和agent2上执行
#vim /etc/iscsi/iscsid.conf
#在文件最后加入以下内容：
node.session.auth.username = reed
node.session.auth.password = password
discovery.sendtargets.auth.username = reed
discovery.sendtargets.auth.password = password
5.在initiator发现target盘，在agent1和agent2上执行
#iscsiadm -m dicovery -t sendtargets -p 192.168.182.128
6.显示所有target数据，在agent1和agent2上执行
#iscsiadm -m node
查看iscsi磁盘（成功的话会看到iscsi target分享的磁盘）
#fdisk -l
--iscsi配置完毕

三、Conga管理工具（luci/ricci）、cman和rgmanager集群工具安装配置
1.安装luci工具，在Manager上执行
#yum install -y luci
#/etc/init.d/luci start
#chkconfig luci on
2.安装rgmanager（包含了ricci/cman），在agent1和agent2上执行
#yum install rgmanager -y 会自动安装ricci、cman等包
#chkconfig ricci on ; /etc/init.d/ricci start
#chkconfig NetworkManager off ; /etc/init.d/NetworkManager stop
#chkconfig cman on ; chkconfig rgmanager on
启动有先后顺序，先启动cman再启动rgmanager，关闭则相反。
#/etc/init.d/cman start ; /etc/init.d/rgmanager start
3.使用luci进行配置集群
3.1新建一个集群
1）先在agent1和agent2上为ricci用户设置一个密码
#echo 123456|passwd --stdin ricci
2）打开luci的web界面，https://ip:8084，用户密码为系统root用户和密码。在启动luci服务会有提示。
新建一个集群，名为clvm_cluster，添加两个节点，一个名为192.168.182.131，另一个名为192.168.182.132。node name和Riccihostname都是192.168.182.131和192.168.182.132，密码为刚才设置的，端口保持默认。因为之前在两个节点上都安装了ricci、cman等包，所以单选use locally installed packages，enable shared storage support选项其实就是指的gfs，我们在后面手动装包来实施，这里不勾选。
3.2设置Failover Domains
点击菜单中的Failover Domains，添加一个热备切换域，名为web，勾选no Failback和Prioritized，勾选192.168.182.131 ，192.168.182.132两个节点。
3.3设置Resources
点击菜单中的Resources，添加一个ip address资源，ip为192.168.182.182，这个ip就是提供服务的虚拟ip，再添加一个script，名为http，脚本路径/etc/init.d/httpd。
3.4设置ServiceGroups
点击菜单中的Services，添加一个服务，名为web_service，选择刚创建的热备切换域web，添加资源，把刚创建的ip资源和脚本资源添加进来，如果服务需要使用的资源具有先后关系，那么需要将前提资源以子资源（add a child resource）的形式添加。
4.测试
在两个节点上针对httpd写一个index.html的页面，agent1上# echo agent1 > /var/www/html/index.html，agent2上# echo agent2> /var/www/html/index.html。访问这个apache服务，可以通过访问到的内容来检测集群提供的服务是由哪个节点完成的。
在两个节点上都监控日志tail -f /var/log/message，启动这个apache服务，查看服务启动时节点的信息，有助于更好的理解rhcs和增加排错经验。如无意外，此时应该可以看到apache服务会在其中一个节点上启动，我的启动在agent1上，在Services菜单可以看到，在任意节点上用指令clustat查看更快更方便。
#clustat -l
5.配置fence设备
由于在虚拟机环境下，暂无法测试。
--集群配置完毕。

四、CLVM的安装与配置
1.安装CLVM，在agent1和agent2上执行
#yum install -y lvm2-cluster
#chkconfig clvmd on
2.启用CLVM，在agent1和agent2上执行
#lvmconf --enable-cluster
3.查看一下启用的集群LVM，在agent1和agent2上执行
如果不是3，则改为3
#grep "locking_type = 3" /etc/lvm/lvm.conf
4.启动CLVM服务
因为暂没有可用卷组，所以启动时会有提示“Activating VG(s): No volume groups found “，但不影响正常启动。
#/etc/init.d/clvmd start
5.在节点上创建lvm，在agent1或者agent2其中一台执行即可
1）用fdisk -l查看共享的磁盘
#fdisk -l
2）创建逻辑卷lv
#pvcreate /dev/sdb
#vgcreate iscsivg /dev/sdb
#lvcreate -L 5G -n iscsilv01 iscsivg
查看
#pvdisplay
#lvs
--CLVM配置完毕

五、gfs2的安装与配置
1.安装gfs2，在agent1和agent2上执行
#yum install -y gfs2-utils
2.格式化为集群文件系统gfs2
格式化为gfs2，设定锁机制及2份journal，-t分两部分，集群名:设备名，格式化的时间有点长，耐心等待。
#mkfs.gfs2 -j 2 -p lock_dlm -t clvm_cluster:gfs2Storage /dev/iscsivg/iscsilv01
3.挂载并设置开机挂载gfs2，在agent1和agent2上执行
挂载到/var/www/html
#mount -t gfs2 /dev/iscsivg/iscsilv01 /var/www/html
设置开机挂载
#echo "/dev/iscsivg/iscsilv01 /var/www/html gfs2 defaults 0 0">>/etc/fstab
#mount -a
4.测试读写文件到gfs2，在任意一个agent上执行即可
#cd /var/www/html/
#echo "rhcs test">index.html
用浏览器访问http://vip测试
5.在luci的Resources菜单添加一个gfs2资源，name为web_gfs2，mount point为/var/www/html，Device为/dev/iscsivg/iscsilv01，filesystem type为gfs2。打开Services菜单，点击web_service服务，添加一个资源，选择刚创建的web_gfs2。
--gfs2配置完毕

六、查看cluster.conf文件
至此，全部配置完毕，附cluster.conf文件
<?xml version="1.0"?>
<cluster config_version="9" name="clvm_cluster">
<clusternodes>
<clusternode name="192.168.182.131" nodeid="1"/>
<clusternode name="192.168.182.132" nodeid="2"/>
</clusternodes>
<cman expected_votes="1" two_node="1"/>
<rm>
<failoverdomains>
<failoverdomain name="web" nofailback="1" ordered="1">
<failoverdomainnode name="192.168.182.131" priority="1"/>
<failoverdomainnode name="192.168.182.132" priority="2"/>
</failoverdomain>
</failoverdomains>
<resources>
<ip address="192.168.182.182" sleeptime="10"/>
<script file="/etc/init.d/httpd" name="httpd"/>
<clusterfs device="/dev/iscsivg/iscsilv01" fsid="53620" fstype="gfs2" mountpoint="/var/www/html" name="web_gfs2"/>
</resources>
<service domain="web" name="web_service" recovery="relocate">
<ip ref="192.168.182.182"/>
<script ref="httpd"/>
<clusterfs ref="web_gfs2"/>
</service>
</rm>
</cluster>

七、测试
任意把其中一台agent执行shutdown操作，查看web和日志确认RHCS是否正常。由于虚拟机环境无法正常fence，所以暂不测试异常状态。

八、后续
当节点超过两个的时候，比如说四节点，如果1、2节点通信正常，3、4节点通信正常，但是1、2和3、4之间通信不正常，那么1、2形成一个组，3、4形成一个组，互不相让，争夺服务和资源，形成split-brain，这是我们不希望出现的状况，我们怎么去解决这个问题呢？答案就是使用quorum disk仲裁磁盘。
正在测试中。