在Linux下构造高性能、高可用、高可伸缩性的服务集群

简介: 随着Internet技术的迅猛发展,网络技术、性能的不断提高,高可伸缩性、高可用性、可管理性、价格有效性的网络服务技术将成为网络服务技术的主导。各种平台下的技术方案应运而生。本文试图以一篇完整的理论+实践性的文字来介绍如何在优秀的开源操作系统Linux下创建低成本、高性能、高可用的服务集群系统。文中所使用的系统和软件包均为最新版本。希望通过对本文的阅读能使你对如何创建Linux下的集群系统有所帮助。

1.Linux下的解决方案

Linux下的集群系统通常可以分为三类:

  1. HA容错集群 (Fail-over Cluster)
    高可用性集群(High available)用于不可间断服务的环境下。提供冗余的容错备份,在主节点失效后,能够立即接管相关资源及继续提供相应服务。
  2. 负载均衡集群 (Load Balancing Cluster)
    在应用服务的高负载情况下运用该技术,由多台节点提供高可伸缩的,高负载的服务器组。以保证对外提供良好的服务响应。
  3. HPC高性能计算机集群 (High Performance Computing)
    概念并不完全统一,有一定争论,应该理解为并行系统,主要用于科学计算。

本文所要介绍的是前两类集群的一个完美的组合。

1.1. Linux Virtual Server项目

在1998年5月,由章文嵩博士成立了Linux Virtual Server的自由软件项目,进行Linux服务器集群的开发工作。同时,Linux Virtual Server项目也是国内最早出现的自由软件项目之一。该项目针对高可伸缩、高可用网络服务的需求,给出了基于IP层和基于内容请求分发的负载平衡调度解决方法,它通过前端一个负载调度器(Load Balancer)无缝地将网络请求调度到真实服务器上,从而使得服务器集群的结构对客户是透明的,客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。客户程序不受服务器集群的影响不需作任何修改。系统的伸缩性通过在服务机群中透明地加入和删除一个节点来达到,通过检测节点或服务进程故障和正确地重置系统达到高可用性。并在Linux内核中实现了这些方法,将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器。

虚拟服务器的体系结构如图2所示。
图2:虚拟服务器的结构

1.1.1. LVS的核心软件IPVS

在调度器的实现技术中,IP负载均衡技术是效率最高的。在已有的IP负载均衡技术中有通过网络地址转换(Network Address Translation)VS/NAT技术的基础上,IPVS软件实现了三种IP负载均衡技术:

1)Virtual Server via Network Address Translation(VS/NAT) 网络地址转换 (如图1)
2)Virtual Server via IP Tunneling(VS/TUN) 隧道技术 (如图2)
3)Virtual Server via Direct Routing(VS/DR) 直接路由 (如图3)

针对不同的网络服务需求和服务器配置,IPVS调度器实现了如下十种负载调度算法:

  1. 轮叫(Round Robin)
  2. 加权轮叫(Weighted Round Robin)
  3. 最少链接(Least Connections)
  4. 加权最少链接(Weighted Least Connections)
  5. 基于局部性的最少链接(Locality-Based Least Connections)
  6. 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)
  7. 目标地址散列(Destination Hashing )
  8. 源地址散列(Source Hashing)
  9. 最短期望延迟(Shortest Expected Delay)(新增加调度算法)
  10. 无须队列等待(Never Queue)(新增加调度算法)

其中9-10是最新1.09版IPVS软件包中新增的调度算法,这十种调度算法将会在后面的ipvsadm配置文件中用到,通常用英文单词的第一个字母的缩写来表示。例如:轮叫(Round Robin)表示为rr。

三种IP负载均衡技术的优缺点比较

VS/NAT VS/TUN VS/DR
服务器(OS) 任意 支持隧道 多数(支持Non-arp )
服务器网络 私有网络 局域网/广域网 局域网
服务器数目(100M网络) 10~20 100 多(100)
服务器网关 负载均衡器 自己的路由 自己的路由
效率 一般 最高

三种IP负载均衡技术中特别是后两种技术VS/TUN,VS/DR极大地提高系统的伸缩性,它们的相关技术原理不是本文讨论的重点,若需了解详细内容,请参看章文嵩博士的相关撰文。
图1

图2

图3

1.2. High Availability of LVS

较为成熟的方案有mon+heartbeat+fake+coda 和ldirectord+heartbeat 方案,本文我们采用的是ldirectord+heartbeat 方案。

1.2.1. Heartbeat

Linux-HA 项目开始于 1998 年,是 Linux-HA HOWTO(Haranld Milz 著)的产物。该项目目前由 Alan Robertson 领导,许多其他代码提供者也参与其中。1.0.3版本是2003年6月发布的最新稳定版本。

Heartbeat 通过通信介质(通常是串行设备和以太网)监控节点的”健康”状况。最好有多个冗余介质,以便我们既可以使用串行线又可以使用以太网链接。每个节点运行一个守护程序进程(称为”心跳”)。主守护程序派生出读和写每个心跳介质的子进程,以及状态进程。当检测到某个节点发生故障时,Heartbeat 运行 shell 脚本来启动(或停止)辅助节点上的服务。按照设计,这些脚本使用与系统 init 脚本(通常位于 /etc/init.d 中)相同的语法。缺省脚本是为文件系统、Web 服务器和虚拟 IP 故障转移提供的。

1.2.2. Ldirectord

“ldirectord”(Linux Director Daemon)是Jacob Rief编程实现的一个独立进程,以实现对服务和物理服务器的监测,广泛地用于http和https等服务, Ldirectord与mon相比,优点如下:

  1. ldirectord是专门为LVS 监控而编写的。
  2. ldirectored可以方便地被heartbeat管理启动和停止。
  3. 它能从heartbeat的配置文件/etc/ha.d/xxx.cf中读取所有有关IPVS路由表配置的信息。当 ldirectord 运行后,IPVS路由表将被适当地配置。你也可以将不同的虚拟服务器配置保存在不同的配置文件里, 所以你可以单独修改某种服务的参数而不用停止其它的服务
  4. 另外,ldirectord安装简便,可以手工地启动和停止。你可以在没有备份负载均衡器的LVS集群上使用。

1.2.3. ldirectord+heartbeat的绝妙组合

ldirectord+heartbeat方案前端负载调度器采用双机热备份方式,双机均安装双网卡,一个网卡用于连接集群系统,另一个作为冗余心跳线路连接双机。采用串口线 + 以太网口做为冗余心跳线路,以确保双机热备份的可靠性,消除由于主负载调度器或心跳线故障带来的集群单点故障。

在主负载调度器及备份负载调度器同时安装ldirectord及heartbeat,并同时运行Heartbeat,相互监视”健康”状况,一旦备份负载调度器监测到主负载调度器发生故障,备份服务器通过运行shell脚本来启动备份调度器上服务来完成虚拟 IP 故障转移,通过ipvsadm启动LVS及ldirectord,完成负载调度器的整体接管。一旦主负载调度器恢复正常工作,备份负载将通过脚本停掉备份负载调度器上的LVS及ldirectord,同时完成虚拟 IP 故障转移,主负载调度器重新恢复接管LVS及ldirectord监控服务。这样负载调度器就完成了一个标准的接管及恢复过程。

该方案结构清晰明了,安装简便,并且ldirectord是专门为LVS所开发,针对性强,无缝衔接,配合默契,堪称绝妙组合。


2. LVS在Red Hat 9.0上的具体实现

2.1. 实现目标:

实现以常用、效率最高的LVS-DR IP负载技术为基础,以高可用性(HA)+ 高性能 + 高性能/价格比 + 高可伸缩性为最终目的。负载均衡器采用HA技术构架,采用Heartbeat软件包,heartbeat采用串口、网络口冗余线路,保证24X7不间断运行。结构如图:

Setup LVS using LVS-DR forwarding

                        ________
                       |        |
                       | client |
                       |________|
                   CIP= SGW =192.168.7.254/24 (eth0)
                           |
                           |
   eth1      __________    |
192.168.0.1 | director |   |   
    --------| primiary |---|   DIP=192.168.7.9/24 (eth0)
    |       |__________|   |   
    |        ttyS0|        |
    |heartbeat    |        |
    |backup       |        |   VIP=192.168.7.110/32 (eth0:0)*
    |        ttyS0|        |
    |        _____|____    |
    |       | director |   |   
    --------| backup   |---|   DIP=192.168.7.10/24 (eth0)
    eth1    |__________|   |   
192.168.0.2                |
                           |
                           |
                           |
                           |
          -----------------------------------
          |                                 | 
          |                                 |
 RIP=192.168.7.11/24 (eth0)             RIP=192.168.7.12/24 (eth0)
VIP=192.168.7.110/32 (lo:0)           VIP=192.168.7.110/32 (lo:0)                
    ____________                       ____________   
   |            |                     |            |  
   | realserver |    -----------      | realserver |  
   |____________|                     |____________|

 

2.2. 设备要求:

因为负载均衡器和真实服务器节点均有软硬件冗余保障,所以硬件设备可以根据具体资金情况及提供服务规模而定。当然最好采用支持RAID,SCSI,内存ECC校验,热插拔等技术的专用服务器,以提供稳定高效的服务。对于非关键业务服务,也可以考虑采用最新支持IDE RAID(0,1,0+1,1.5,5)的服务器,可以获得一个良好的性能/价格比。当然,如果你是一个对硬件技术细节非常熟悉,说话又有分量,对自己非常有信心,敢冒风险,崇尚节约、实用性的人,那么DIY一组高性价比的服务器集群,也是一件非常有意义而且充满乐趣的工作。

2.3.原始软件环境:

Red Hat 9.0 完全安装
Red Hat 9.0 (kernel-2.4.20-8 ) gcc -3.2.2-5

如果你使用的是Red Hat 8 ,那么你很幸运。Red Hat 8 (kernel-2.4.18-14)已经预先打了ipvs的补丁,在预安装的内核中已将ipvs编译成模块,可以通过检查 /lib/modules/2.4.18-14/kernel/net/ipv4/ipvs 是否存在来判断。可以直接安装ipvsadm。从Red Hat 9 (kernel-2.4.20-8),Red Hat 取消了ipvs的补丁及预编译ipvs为模块的内核,且Red Hat 9 自带的kernel-2.4.20-8的内核无法通过ipvs补丁linux-2.4.20-ipvs-1.0.9 .patch.gz的编译,至少在我的两台P4的机器上都没有通过编译。标准内核linux-2.4.20.tar.gz则可以通过编译。所以我们将采用www.kernel.org上的标准内核kernel-2.4.20.tar.gz来构造我们的集群系统。

2.4.需下载软件包:

# Linux kernel
http://www.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.gz

# ipvs patch
http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-1.0.9.patch.gz

# ipvs tar ball
http://www.linuxvirtualserver.org/software/kernel-2.4/ipvs-1.0.9.tar.gz

# hidden patch(已经包括在ipvs-1.0.9.tar.gz,可不用下载)
http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff(解决arp 问题 for LVS-DR/LVS-Tun)

# ipvsadm (已包含在ipvs-1.0.9.tar.gz包中, 可不用下载)

# Ldirectord
http://www.linux-ha.org/download/heartbeat-ldirectord-1.0.3-1.i386.rpm

# heartbeat
http://www.linux-ha.org/download/heartbeat-1.0.3.tar.gz
http://www.linux-ha.org/download/heartbeat-1.0.3-1.src.rpm
http://www.linux-ha.org/download/heartbeat-1.0.3-1.i386.rpm
http://www.linux-ha.org/download/heartbeat-pils-1.0.3-1.i386.rpm
http://www.linux-ha.org/download/heartbeat-stonith-1.0.3-1.i386.rpm

2.5. 安装要求:

2.5.1 Director:

  • 内核打non-arp的补丁hidden-2.4.20pre10-1.diff (解决arp problem for LVS-DR/LVS-Tun,虽然在Directors上运行时并不需要,但硬件环境如果和Realserver类似,内核可以直接放到RealServer上运行,不用再为realServer重新编译内核,当然也可不打该补丁。)
  • 内核打ipvs的补丁linux-2.4.20-ipvs-1.0.9.patch.gz,重新编译新内核。
  • 运行新内核后编译安装ipvsadm。(LVS-NAT (network address translation); LVS-DR (direct routing) and LVS-Tun (tunneling). 真实服务器 realserver/service 的转发方式由ipvsadm来设置。)

2.5.2 RealServes: (在LVS-NAT方式下,不需要打任何补丁)

内核打arp的补丁hidden-2.4.20pre10-1.diff (arp problem for LVS-DR/LVS-Tun)编译新内核。

  • 解决Non-arp problem
  • 设置缺省网关(gw)
    • LVS-NAT: director(DIP)
    • LVS-DR, LVS-Tun: 对外路由 (不是director的IP).

如果你不知道你的内核源代码是否已经预打过ipvs的补丁, 可以询问你的Linux发行版的制造商或查看相关ipvs 文件,文件名类似于 /usr/src/linux-2.4/net/ipv4/ip_vs_*.c。

2.6. 安装步骤:

2.6.1 Director或RealServer上内核的安装:

export D=/tmp/download
mkdir $D
cd $D
wget http://www.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.gz
wget \
 http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-1.0.9 .patch.gz
wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvs-1.0.9.tar.gz
tar zxvf linux-2.4.20.tar.gz
tar zxvf ipvs-1.0.9.tar.gz
gunzip linux-2.4.20-ipvs-1.0.9.patch.gz
mv linux-2.4.20 /usr/src/linux-2.4.20
cd /usr/src
rm -f linux-2.4
ln -s linux-2.4.20 linux-2.4
cd linux-2.4
patch -p1 < $D/ipvs-1.0.9/contrib/patches/hidden-2.4.20pre10-1.diff \
 (arp for LVS-DR/LVS-Tun)
patch -p1 < $D/linux-2.4.20-ipvs-1.0.9.patch (仅在编译Director内核时打补丁)
make mrproper
cp /boot/config-2.4.20-8   .config 
(使用Red Hat 9自带的config内核配置文件或
使用/usr/src/linux-2.4.7-10/configs下的配置文件)
make menuconfig(参照相关ipvs及内核配置)
或在图形界面运行: 
make xconfig

 

相关网络内核选项:

相关LVS内核选项:

        make dep
make clean
make bzImage
make modules
make modules_install
cp arch/i386/boot/bzImage /boot/ vmlinuz-2.4.20-lvs (rs)
cp System.map /boot/System.map.2.4.20-lvs (rs)
cp vmlinux /boot/vmlinux-2.4.20-lvs (rs) 
cd /boot
rm -f System map
ln -s System.map.2.4.20-lvs (rs) System.map
vi /boot/grub/grub.conf:
title 2.4.20-lvs
        root (hd0,0)
        kernel /boot/vmlinuz-2.4.20-lvs (rs) ro root=/dev/xxx

 

如果要安装该内核在其它机器上:

        tar czf linux-2.4.20-dir.tgz /usr/src/linux-2.4.20/
在其它机器上解压tar zxvf linux-2.4.20-dir.tgz 放置到/usr/src
rm -f linux-2.4
ln -s linux-2.4.20 linux-2.4
cd linux-2.4
make modules_install
cp arch/i386/boot/bzImage /boot/ vmlinuz-2.4.20-lvs (rs)
cp System.map /boot/System.map.2.4.20-lvs (rs)
cd /boot
rm -f System map
ln -s System.map.2.4.20-lvs (rs) System.map
vi /boot/grub/grub.conf:
title 2.4.20-lvs
        root (hd0,0)
        kernel /boot/vmlinuz-2.4.20-lvs (rs) ro root=/dev/xxx

 

2.6.2 Director上ipvsadm 的安装:

用打过ipvs和hidden(for LVS-DR/LVS-Tun)补丁的新内核启动linux

cd / tmp/download/ipvs-1.0.9/ipvs/ipvsadm
make install

 

检查ipvsadm 探测到内核的ipvs的补丁可以运行

ipvsadm

 

如果成功你会看到类似于如下内容:

director:   /usr/src# ipvsadm
IP Virtual Server version 0.2.7 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn

 

说明安装成功

运行lsmod | grep ip_vs 可以看到ip_vs模块已经被插入内核运行。

2.6.3. 运行脚本( Run Scripts )

以下以最常用的LVS-DR模式来介绍相关的脚本设置

( 以Telnet服务, 轮叫(rr)策略为例 )

2.6.3.1 Director上:

#!/bin/bash
#---------------mini-rc.lvs_dr-director------------------------
#set ip_forward OFF for vs-dr director (1 on, 0 off)
cat   /proc/sys/net/ipv4/ip_forward
echo 0 >/proc/sys/net/ipv4/ip_forward
#director is not gw for realservers: leave icmp redirects on
echo 'setting icmp redirects (1 on, 0 off) '
echo 1 >/proc/sys/net/ipv4/conf/all/send_redirects
cat    /proc/sys/net/ipv4/conf/all/send_redirects
echo 1 >/proc/sys/net/ipv4/conf/default/send_redirects
cat    /proc/sys/net/ipv4/conf/default/send_redirects
echo 1 >/proc/sys/net/ipv4/conf/eth0/send_redirects
cat    /proc/sys/net/ipv4/conf/eth0/send_redirects
#add ethernet device and routing for VIP 192.168.7.110
#if use backup director ,pay any attention about bellow
/sbin/ifconfig eth0:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
/sbin/route add -host 192.168.7.110 dev eth0:0
#listing ifconfig info for VIP 192.168.7.110
/sbin/ifconfig eth0:0
#check VIP 192.168.7.110 is reachable from self (director)
/bin/ping -c 1 192.168.7.110
#listing routing info for VIP 192.168.7.110
/bin/netstat -rn
#setup_ipvsadm_table
#clear ipvsadm table
/sbin/ipvsadm -C
#installing LVS services with ipvsadm
#add telnet to VIP with round robin scheduling
/sbin/ipvsadm -A -t 192.168.7.110:telnet -s rr
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.7.11
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.12 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.7.12
#displaying ipvsadm settings
/sbin/ipvsadm
#not installing a default gw for LVS_TYPE vs-dr
#---------------mini-rc.lvs_dr-director------------------------

 

该段运行脚本对于熟悉Linux网络配置的读者来说应该很容易理解。由于LVS是通过对标准内核打补丁,在内核级提供支持,所以在LVS-DR模式下,首先是进行内核的相关设置。要关闭标准内核下的ip_forward转发方式,即置为0。同时因为LVS-DR模式下,集群的网关是外部网关,而不是负载均衡器。所以要打开icmp包的重定向设置send_redirects 置为1。接着就是绑定集群的虚拟服务器的IP地址,并添加一条到该IP地址的主机路由。然后对该虚拟IP做一些必要的自我检测,同时列出路由表。最后是有关ipvasdm的设置,首先清空ipvasdm表,然后添加需要提供负载均衡的服务及调度策略,这里例举的是telnet服务,也可以直接使用端口号,调度策略为轮叫(rr)策略。最后添加转发到真实服务器的直接路由,如果有多台RealServer或需要提供多种服务的负载均衡,依次添加。再做一些到RealServer的网络测试(也可不要),最后显示ipvasdm所有的设置信息。

注意:

ipvs-1.0.9.tar.gz中包含的ipvsadm是1.21版,安装后在/etc/rc.d/init.d/目录下自动生成了标准的init服务脚本,如果你的Director没有安装备份服务器,你可以通过服务管理工具让它在相应的运行级里自动运行,如果Director是HA系统,则由heartbeat控制运行。

另外该服务脚本提供了配置保存功能。配置文件为:/etc/sysconfig/ipvsadm 你必须手工建立。然后在其中输入规则和策略:

例如:

-A -t 192.168.7.110:telnet -s rr
-A -t 192.168.7.110:http -s rr
-a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
-a -t 192.168.7.110:http -r 192.168.7.11 -g -w 1

 

然后存盘。

或直接运行:

/sbin/ipvsadm -A -t 192.168.7.110:telnet -s rr
/sbin/ipvsadm -A -t 192.168.7.110:http - rr
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
/sbin/ipvsadm -a -t 192.168.7.110:http -r 192.168.7.11 -g -w 1

 

然后运行:/etc/rc.d/init.d/ipvsadm save

就可以保存当前配置到/etc/sysconfig/ipvsadm文件中。

在具有HA系统的Director上,ipvsadm可以方便地被Heartbeat管理-启动、停止。Director上的VIP(虚拟)服务器地址由Heartbeat负责设置和切换。

做法如下:

在Heartbeat的配置文件haresources中加类似入如下一行:

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www ldirectord::mail

2.6.3.2. RealServers上:

#!/bin/bash
#----------mini-rc.lvs_dr-realserver------------------
#installing default gw 192.168.7.254 for vs-dr
/sbin/route add default gw 192.168.7.254
#showing routing table
/bin/netstat -rn
#checking if DEFAULT_GW 192.168.1.254 is reachable
ping -c 1 192.168.7.254
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo 0 >/proc/sys/net/ipv4/ip_forward
cat    /proc/sys/net/ipv4/ip_forward
#looking for DIP 192.168.7.9
ping -c 1 192.168.7.9
#looking for VIP (will be on director)
ping -c 1 192.168.7.110
#install_realserver_vip
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
#ifconfig output
/sbin/ifconfig lo:0
#installing route for VIP 192.168.1.110 on device lo:0
/sbin/route add -host 192.168.7.110 dev lo:0
#listing routing info for VIP 192.168.7.110
/bin/netstat -rn
#hiding interface lo:110, will not arp
echo 1 >/proc/sys/net/ipv4/conf/all/hidden
cat    /proc/sys/net/ipv4/conf/all/hidden
echo 1 >/proc/sys/net/ipv4/conf/lo/hidden
cat    /proc/sys/net/ipv4/conf/lo/hidden
#----------mini-rc.lvs_dr-realserver------------------

 

该段脚本和上面的脚本比较类似,相信不用再多做介绍了。需要注意的是:LVS-DR模式下,缺省网关的设置。集群的网关是外部网关,而不是负载均衡器。还有就是RealServer上绑定的VIP地址的设备lo:0。另外不要忘了开启not arp补丁的设置开关。相信你已经很清楚了。

你也可以把以上脚本改写成符合init语法的标准脚本,放到/etc/rc.d/init.d/下面运行,或直接加到/etc/init.d/rc.local下运行。

改写为标准init语法脚本如下:

#!/bin/bash
#
# hidden 	This shell script takes care of starting and stopping
#		the ipvs-hidden subsystem (hiddend).
#
# chkconfig: 2345 78 12
# description:	ipvs-hidden
# processname: hiddend
prog="hidden"
start(){
echo 0 >/proc/sys/net/ipv4/ip_forward
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
# installing route for VIP 192.168.1.110 on device lo:0
/sbin/route add -host 192.168.7.110 dev lo:0
# listing routing info for VIP 192.168.7.110
/bin/netstat -rn
# hiding interface lo:0, will not arp
# echo 1 >/proc/sys/net/ipv4/conf/all/hidden
echo 1 >/proc/sys/net/ipv4/conf/lo/hidden
}
stop(){
echo 1 >/proc/sys/net/ipv4/ip_forward
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 down
/sbin/route del -host 192.168.7.110 dev lo:0
# echo 0 >/proc/sys/net/ipv4/conf/all/hidden
echo 0 >/proc/sys/net/ipv4/conf/lo/hidden
}
 
restart(){
    stop
    start
}
condrestart(){
    [ -e /var/lock/subsys/hiddend ] && restart || :
}
# See how we were called.
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
  restart)
stop
start
    ;;
  *)
    echo $"Usage: $0 {start|stop|restart}"
    exit 1
esac
exit $?

 

然后:

cp rc.lvs  /etc/rc.d/init.d/hiddend
chmod 755 /etc/rc.d/init/d/hiddend
chkconfig - -add hiddend

2.6.4.Ldirectord 的安装:

一些文章介绍在ipvs-x.x.x.tar.gz中已包含了Ldirectord,估计该作者并没有进入到相关目录中去仔细查看,该目录中只有一个README文件,告诉你在哪里可以找到Ldirecrtord的代码。总之我在ipvs-1.0.9.tar.gz中是没有看到Ldirectord源代码。其实它的源代码是包含在heartbeat-1.0.3.tar.gz中的。所以请到这里下载相关代码: http://www.linux-ha.org/download/

源代码安装:

cd heartbeat-1.0.3
./ConfigureMe configure
make
make install.

 

rpm安装:

rpm -ivh  --nodeps  heartbeat-ldirectord-1.0.3-1.i386.rpm  
可以通过命令:rpm -q heartbeat-ldirecrord -d 来检查安装的路径。

 

为了简化安装步骤,我安装的是Ldirectord for Red Hat 9的rpm包,RedHat和Debian版本的从这里下载: http://www.ultramonkey.org/download/heartbeat/

注意:

/usr/share/doc/heartbeat-ldirectord-1.0.3/ldirectord.cf文件是Ldirectord的配置文件的范例。拷贝该文件到/etc/ha.d/目录下,修改其内容,并另存为xxx.cf(例如:www.cf,mail.cf),以便在Heartbeat的配置文件haresources中使用。

范例: www.cf(http服务)

#
# Sample ldirectord configuration file to configure various virtual services.
#
# Ldirectord will connect to each real server once per second and request
# /index.html. If the data returned by the server does not contain the
# string "Test Message" then the test fails and the real server will be
# taken out of the available pool. The real server will be added back into
# the pool once the test succeeds. If all real servers are removed from the
# pool then localhost:80 is added to the pool as a fallback measure.
# Global Directives
checktimeout=3
checkinterval=1
fallback=127.0.0.1:80
autoreload=yes
#logfile="/var/log/ldirectord.log"
#logfile="local0"
quiescent=yes
# A sample virual with a fallback that will override the gobal setting
virtual=192.168.7.110:80
 real=192.168.7.11:80 gate
 real=192.168.7.12:80 gate
 real=192.168.7.13:80 gate
  fallback=127.0.0.1:80 gate
 service=http
 request="/.testpage"
 receive="Test Page"
 scheduler=rr
 #persistent=600
 #netmask=255.255.255.255
 protocol=tcp

 

然后你必须在每台真实服务器节点的www的根目录上生成以Test Page为内容的.testpage文件。在每台真实服务器节点的www的根目录上执行命令:echo “Test Page” > .testpage

2.6.5. Heartbeat的安装

源代码安装:

 cd heartbeat-1.0.3
./ConfigureMe configure
make
make install.

 

rpm安装:

     rpm -ivh  --nodeps  heartbeat-1.0.3.i386.rpm

 

为了适应Red Hat 9,我安装的是heartbeat for Red Hat 9的rpm包heartbeat-1.0.3-1.rh.9.1.i386.rpmRedHat和Debian版本rpm的版本从这里下载:http://www.ultramonkey.org/download/heartbeat/

在安装时可能会遇到依赖性的错误,可以用–nodeps参数进行安装。总之把它提示所需要的rpm包(在dependancies目录下)全部装上。在dependancies目录下其它一些其它rpm包,如果不用相关功能可以不装。

配置 Heartbeat

需要配置的有三个文件:ha.cf haresources(在每个节点必须相同) Authkeys,应该将它们放置在/etc/ha.d目录下。范例配置在/usr/shared/doc/heartbeat-1.0.3目录下,你可以修改后拷贝到/etc/ha.d目录下。

2.6.5.1. 配置ha.cf

这个配置文件告诉heartbeat 使用的是什么介质和如何配置它们。ha.cf 包含你将到的所有的选项,内容如下:

serial /dev/ttyS0

使用串口heartbeat – 如果你不使用串口heartbeat, 你必须选择其它的介质,比如以太网bcast (ethernet) heartbeat。如果你使用其它串口heartbeat,修改/dev/ttyS0 为其它的串口设备。

watchdog /dev/watchdog

可选项:watchdog功能提供了一种方法能让系统在出现故障无法提供”heartbeat”时,仍然具有最小的功能,能在出现故障1分钟后重启该机器。这个功能可以帮助服务器在确实停止心跳后能够重新恢复心跳。如果你想使用该特性,你必须在内核中装入”softdog” 内核模块用来生成实际的设备文件。想要达到这个目的, 首先输入 “insmod softdog” 加载模块。然后,输入”grep misc /proc/devices” 注意显示的数字 (should be 10).然后, 输入”cat /proc/misc | grep watchdog” 注意输出显示出的数字(should be 130)。现在你可以生成设备文件使用如下命令:”mknod /dev/watchdog c 10 130″ 。

bcast eth1

指定使用的广播heartbeat 的网络接口eth1(修改为eth0, eth2, 或你所使用的接口)

keepalive 2

设置心跳间隔时间为2两秒。

warntime 10

在日志中发出最后心跳”late heartbeat” 前的警告时间设定。

deadtime 30

在30秒后明确该节点的死亡。

initdead 120

在一些配置中,节点重启后需要花一些时间启动网络。这个时间与”deadtime”不同,要单独对待。 至少是标准死亡时间的两倍。

hopfudge 1

可选项: 用于环状拓扑结构,在集群中总共跳跃节点的数量。

baud 19200

串口波特率的设定(bps).

udpport 694

bcast和ucast通讯使用的端口号694 。这是缺省值,官方IANA 使用标准端口号。

nice_failback on

可选项:对那些熟悉Tru64 Unix, 心跳活动就像是”favored member”模式。主节点获取所有资源直到它宕机,同时备份节点启用。一旦主节点重新开始工作, 它将从备份节点重新获取所有资源。这个选项用来防止主节点失效后重新又获得集群资源。

node linuxha1.linux-ha.org

强制选项:通过`uname -n`命令显示出的集群中的机器名。

node linuxha2.linux-ha.org

强制选项:通过`uname -n`命令显示出的集群中的机器名。

respawnuseridcmd
可选项:列出可以被spawned 和监控的命令。例如:To spawn ccm 后台进程,可以增加如下内容:

respawn hacluster /usr/lib/heartbeat/ccm

通知heartbeat 重新以可信任userid身份运行(在我们的例子中是hacluster) 同时监视该进程的”健康”状况,如果进程死掉,重启它。例如ipfail, 内容如下:

respawn hacluster /usr/lib/heartbeat/ipfail

NOTE: 如果进程以退出代码100死掉, 这个进程将不会respawned。

pingping1.linux-ha.orgping2.linux-ha.org ….

可选项:指定ping 的节点。 这些节点不是集群中的节点。它们用来检测网络的连接性,以便运行一些像ipfail的模块。

2.6.5.2. 配置 haresources

一旦你配置好了ha.cf文件,下面就需要设置haresources文件,这个文件指定集群所提供的服务以及谁是缺省的主节点。注意,该配置文件在所有节点应该是相同的。

在我们的例子中,我们的HA集群提供的是负载均衡服务(LVS)和服务监控服务(Ldirectord)。这里集群的IP(虚拟)地址是必须配置的,不要在haresources文件以外的地方配置该IP地址。所以我们应该添加如下一行:

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www ldirectord::mail

::前的表示服务脚本名称(IPaddr),你可以在目录/etc/ha.d/resource.d下找到一个脚本名叫 Ipaddr,后面的表示输入的参数。

Heartbeat 会在下面的路径搜索同名的启动脚本:
/etc/ha.d/resource.d
/etc/rc.d/init.d

这里的服务脚本的使用是符合Init标准语法,所以你可以在这里通过Heartbeat方便地运行、停止/etc/rc.d/init.d下标准的服务后台进程。

2.6.5.3. 配置 Authkeys

配置加密认证算法,有三种算法:CRC, md5,sha1。你会问我们应该用哪种呢?

如果你的heartbeat运行在一个安全的网络,例如CAT5交叉线,你可以用CRC,从资源开销上来说,这是最节省开销的。如果网络是不可靠的,而且你也不是一个网络安全痴狂者或者你十分关心CPU资源的最小开销,就用md5,最后如果你关心的是安全而不是CPU资源的开销,那么建议你使用sha1,你将会得到最佳的安全度,很难被黑客所破解。

格式如下:auth <number><number> <authmethod> [<authkey>]

例: /etc/ha.d/authkeys

使用sha1
auth 1
1 sha1 key-for-sha1-any-text-you-want

使用md5
auth 1
1 sha1 key-for-md5-any-text-you-want

使用CRC
auth 2
2 crc

chmod 600 Authkeys

3.WindowsNT/2K做RealServer

在本文介绍的方案中,正如前面所提到的,集群中的真实节点可以是Linux系统,也可以是WindowsNT/2K或其它支持的系统,在本文例举的VS/DR方式下,支持WindowsNT/2K做为RealServer,提是你必须安装了MS Lookback Adapter。如果你没有在NT/2K上安装MS Lookback Adapter Driver,你可以选择添加新硬件,添加网络适配器,选择Microsoft,选择Lookback Adapter. 你可能会需要NT的安装盘。然后添加VIP (Virtual IP) 地址在 MS Loopback Adapter上, 不要输入网关gateway IP地址。子网掩码 255.255.255.255 在MS NT/2K会被认为是无效的。你有两种解决方法:

  1. 你先接受缺省的netmask, 然后进入MS-DOS 提示符,删除外部路由

    c: route delete <VIP’s network> <VIP’s netmask>

    这将改变包的发送方向到其它的网络界面,而不是MS Loopback interface. 因此在这里设置网络掩码为255.0.0.0 同样可以工作。

  2. 可以通过修改注册表设置子网掩码为255.255.255.255, 这在我的DR系统中工作良好。而且这比每次启动时删除外部路由的方法要方便的多。

    在Windows 2000,中 网络界面(interfaces)在:

    HKEY_LOCAL_MACHINE\\System\\CurrentControlSet\\Services\\Tcpip\\Parameters\\Interfaces

    找到适当的网络界面IP地址,修改它的子网掩码,(注意修改方式)不需要重启,只需重新激活该网络界面即可。

本人强烈建议您使用第二种方法,这将带来极大的方便。


4.启动和测试

4.1. 启动:

cd /etc/rc.d/rc0.d ; ln -s ../init.d/heartbeat K05heartbeat
cd /etc/rc.d/rc3.d ; ln -s ../init.d/heartbeat S75heartbeat
cd /etc/rc.d/rc5.d ; ln -s ../init.d/heartbeat S75heartbeat
cd /etc/rc.d/rc6.d ; ln -s ../init.d/heartbeat K05heartbeat

 

如果你安装的是rpm的版本,该连接已经被建立,就不需要手工建立以上连接了。

注意:

如果你使用watchdog 功能,你必须在启动的时候装入该模块。你可以在 /etc/rc.d/rc.sysinit 文件中加如一句:

/sbin/insmod softdog

4.2. 测试:

测试分为三部分测试

1)HA负载调度器测试

可以用telnet服务来验证HA负载调度器是否正常工作,方法:

修改haresources为:linuxha1.linux-ha.org IPaddr::192.168.7.110/24/192.168.7.255 telnet

在客户机上telnet到192.168.7.110上,你将会看到linuxha1,然后宕掉linuxha1, 再telnet到192.168.7.110上,你将会看到linuxha2,说明HA工作正常。中间间隔时间10秒左右。如果超过30秒仍无法正常工作,说明有问题存在。在测试中要保证至少有一条心跳线连接良好,否则重新连上心跳线后会引起资源上的混乱。

2)HA+LVS测试

如果HA负载调度器可以正常工作,那么就可以进行HA+LVS测试,方法类似:

修改haresources为:

linuxha1.linux-ha.org IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm

设置ipvsadm中相关http的规则。

在RealServers上打开httpd服务。然后在不同的RealServer www首页上以内容区分开来。然后在客户机上进行测试,客户机上的浏览器由于缓冲的缘故,你可能需要刷新几次。

再做宕机测试。看备份Director能否正常接管,并且使RealServers继续提供服务。

3)HA+LVS+Ldirectord测试

方法类似。修改haresources为:

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www

加入ldirectord服务监控进程。宕掉部分RealServers上的服务,进行测试。你可以通过运行ipvsadm查看ipvs的路由表来确定宕掉服务的RealServer的相关该服务路由信息是否被更改。

如果以上测试都能正常通过,恭喜你,你的心血没有白费。你将会得到一个高可用、高性能、高可伸缩性的服务集群。


结束语

到此,本文已接近尾声,希望通过对本文的阅读,能够让你了解什么是Linux下的集群技术,更重要的是让你知道如何一步步地亲自去构建Linux下的集群。锻炼你理论与实际相结合工作的能力,能给你带来工作中的乐趣与收获。同时希望能与大家一起交流Linux下的相关技术,互相促进,相互提高。

参考资料

 

发表评论