nginx 高可用
# keepalived
# 安装
官方地址 keepalived 下载地址 (opens new window)，选择指定的版本后我们就开始下载
wget https://www.keepalived.org/software/keepalived-2.1.5.tar.gz
1
解压缩
tar -zxvf keepalived-2.1.5.tar.gz
1
进行 configure 配置，指定安装目录：
cd keepalived-1.3.4 && ./configure --prefix=/home/keepalived-2.1.5/
1
编译安装
make && make install
1
如果安装出现什么问题，一般都是缺少了环境，只要看报错信息 yum install 相关环境就 o 了
# keepalived 文件介绍 (必须理解)
# keepalived 启动脚本文件
keepalived 的启动脚本文件所在
/home/keepalived-2.1.5/keepalived/etc/init.d
1
启动脚本文件代码
#!/bin/sh
#
# Startup script for the Keepalived daemon Keepalived 守护进程启动脚本
#
# processname: keepalived
# pidfile: /var/run/keepalived.pid keepalived.pid 路径
# config: /etc/keepalived/keepalived.conf
# chkconfig: - 21 79
# description: Start and stop Keepalived 启动或者停止Keepalived
# Source function library 指定源函数库位置(这个文件本身linux自带不需要我们管)
. /etc/rc.d/init.d/functions
# Source configuration file (we set KEEPALIVED_OPTIONS there) 源配置文件（该文件设置 KEEPALIVED_OPTIONS 的参数） 这个文件需要我们自己移动
. /etc/sysconfig/keepalived
# 返回值 默认0
RETVAL=0
# 指令
prog="keepalived"
# 启动
start() {
echo -n $"Starting $prog: "
daemon keepalived ${KEEPALIVED_OPTIONS}
# $? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误)
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
stop() {
echo -n $"Stopping $prog: "
echo -n $"Stopping $prog: "
killproc keepalived
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$prog
}
reload() {
echo -n $"Reloading $prog: "
killproc keepalived -1
RETVAL=$?
echo
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
reload)
reload
;;
restart)
stop
start
;;
condrestart)
if [ -f /var/lock/subsys/$prog ]; then
stop
start
fi
;;
status)
status keepalived
RETVAL=$?
;;
*)
echo "Usage: $0 {start|stop|reload|restart|condrestart|status}"
RETVAL=1
esac
exit $RETVAL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
可以看出提供了启动，暂停，重启这些命令。
# keepalived 启动参数文件
这里的启动参数文件相当于以上的 KEEPALIVED_OPTIONS 。是启动文件里的 . /etc/sysconfig/keepalived 文件。源文件在
/home/keepalived-2.1.5/keepalived/etc/sysconfig
1
我们查看一下内容
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
# 这里是启动常用参数
# --vrrp -P Only run with VRRP subsystem. 仅与VRRP子系统一起运行。
# --check -C Only run with Health-checker subsystem. 仅与运行状况检查子系统一起运行
# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop. 不要在守护进程停止时删除VRRP VIP和VROUTEs。
# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop. 不要在守护进程停止时删除IPVS拓扑。
# --dump-conf -d Dump the configuration data. 转储配置数据。
# --log-detail -D Detailed log messages. 详细的日志消息。
# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON) 0-7设置本地syslog工具（默认值=LOG_DAEMON）
#
# 这里就是设置启动参数
KEEPALIVED_OPTIONS="-D"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2
3
4
5
6
7
8
9
10
11
12
13
14
15
这个文件主要是为了保存 keepalived 的启动参数，要不然你启动一次，下次你启动你还记得你输入过的参数嘛？那启动参数具体有哪些？继续往下看。
# keepalived 启动文件
位置如下
/home/keepalived-2.1.5/keepalived
1
查看启动参数
[root@localhost keepalived]# ./keepalived -h
Usage: ./keepalived [OPTION...]
-f, --use-file=FILE 使用指定的配置文件
-P, --vrrp 仅与VRRP子系统一起运行
-C, --check 仅与运行状况检查子系统一起运行
--all 强制所有子进程运行，即使没有配置
-l, --log-console 将消息记录到本地控制台
-D, --log-detail 详细的日志消息
-S, --log-facility=[0-7] 将syslog facility设置为LOG_LOCAL[0-7]
-G, --no-syslog 不通过系统日志记录
-u, --umask=MASK umask for file creation (in numeric form)
-X, --release-vips 从信号机过渡时放下VIP。
-V, --dont-release-vrrp 不要在守护进程停止时删除VRRP VIP和VRRoute
-I, --dont-release-ipvs 在守护进程停止时不删除IPV拓扑
-R, --dont-respawn 不要重新生成子进程
-n, --dont-fork 不要分叉守护进程
-d, --dump-conf 转储配置数据
-p, --pid=FILE 为父进程使用指定的pidfile
-r, --vrrp_pid=FILE 为VRRP子进程使用指定的PID文件
-c, --checkers_pid=FILE 对checkers子进程使用指定的pidfile
-a, --address-monitoring 报告通过netlink通知的所有地址添加/删除
-s, --namespace=NAME 在网络命名空间名称中运行（重写配置）
-m, --core-dump 异常终止时产生堆芯转储
-M, --core-dump-pattern=PATN Also set /proc/sys/kernel/core_pattern to PATN (default 'core')
-i, --config-id id Skip any configuration lines beginning '@' that don't match id
or any lines beginning @^ that do match.
The config-id defaults to the node name if option not used
--signum=SIGFUNC Return signal number for STOP, RELOAD, DATA, STATS, STATS_CLEAR
-t, --config-test[=LOG_FILE] Check the configuration for obvious errors, output to
stderr by default
-v, --version Display the version number
-h, --help Display this help message
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# keepalived .conf 配置文件
文件路径
/home/keepalived-2.1.5/keepalived/etc/keepalived
1
文件内容简介
# 全局配置
global_defs {
# 指定keepalived在发生切换时需要发送email到的对象，一行一个邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 指定发件人
notification_email_from Alexandre.Cassen@firewall.loc
# 指定smtp服务器地址
smtp_server 192.168.200.1
# 指定smtp连接超时时间
smtp_connect_timeout 30
# 运行keepalived机器的一个标识,必须唯一
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
#vrrp 实例部分定义，VI_1自定义名称
vrrp_instance VI_1 {
# 指定 keepalived 的角色，必须大写 可选值：MASTER|BACKUP
state MASTER
# 网卡设置，lvs需要绑定在网卡上，RealServer 绑定在回环口。区别：lvs对访问为外，realserver为内不易暴露本机信息
interface eth0
# 虚拟路由标识，是一个数字，同一个vrrp 实例使用唯一的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识必须保持一致
virtual_router_id 51
# 定义优先级，数字越大，优先级越高。
priority 100
# 设定 MASTER 与 BACKUP 负载均衡之间同步检查的时间间隔，单位为秒，两个节点设置必须一样
advert_int 1
# 设置验证类型和密码，两个节点必须一致
authentication {
auth_type PASS
auth_pass 1111
}
# 设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
virtual_ipaddress {
192.168.200.16
192.168.200.17
192.168.200.18
}
# 当前节点成为master时，通知脚本执行任务
# notify_master "/etc/keepalived/start_haproxy.sh start"
# 当前节点成为backup时，通知脚本执行任务
# notify_backup "/etc/keepalived/start_haproxy.sh stop"
# 当当前节点出现故障，执行的任务;
# notify_fault "/etc/keepalived/start_haproxy.sh stop"
}
# 定义RealServer 对应的VIP及服务端口，IP和端口之间用空格隔开
virtual_server 192.168.200.16 1358 {
# 健康检查时间间隔
delay_loop 6
# lvs调度算法rr wrr lc wlc lblc sh dh
lb_algo rr
# 负载均衡转发规则 NAT DR RUN
lb_kind NAT
# 同一IP的连接50秒内被分配到同一台realserver
persistence_timeout 50
# 使用的协议
protocol TCP
# 备用机，所有realserver失效后启用
sorry_server 192.168.200.200 1358
real_server 192.168.200.2 1358 {
# 权重，最大越高，lvs就越优先访问
weight 1
# keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
# 要检测的URL，可以有多个
url {
# 具体路径
path /testurl3/test.jsp
# 检测效验码
digest 640205b7b0fc66c1ea91c463fac6334d
# 检测返回http状态码
status_code 200
}
# 3秒无响应超时
connect_timeout 3
# 重连次数3次
retry 3
# 重连间隔时间
delay_before_retry 3
}
}
real_server 192.168.200.3 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
keepalived 文件分为 4 种，启动脚本文件、启动参数文件、keepalived.conf 文件、启动文件。他们的执行关系是 启动脚本文件 -> 找到启动参数文件 -> 启动参数文件里描述了 keepalived.conf 的路径和日志等指令 -> 然后交给启动文件执行 (真实启动)。
# keepalived 启动
启动
./keepalived -f /home/keepalived-2.1.5/keepalived/etc/keepalived/keepalived.conf
1
快捷启动
cp /home/keepalived-2.1.5/keepalived/etc/init.d/keepalived /etc/init.d/
cp /home/keepalived-2.1.5/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
cp /home/keepalived-2.1.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
service keepalived [start | stop | reload | restart ]
1
2
3
4
2
3
4
keepalived 日志默认在
/var/log/messages
1
没有配置正确的 keepalived.conf 启动会提示成功，但实际没有启动，需要自己去改配置。 keepalived 日志信息需要仔细阅读才能找到问题。
# nginx 高可用
# 环境准备
| IP | 配置 | VIP |
|---|---|---|
| 10.240.30.102 | keepalived + nginx | 10.240.30.103 |
| 10.240.30.100 | keepalived + nginx | 10.240.30.103 |
配置和安装这里我就不说了
# 修改配置文件
# nginx 配置
nginx 配置统一的就是 nginx 的欢迎页面，无非在上面加了各自的 IP 做为区别。
# 10.240.30.102 keepalived 配置
! Configuration File for keepalived
global_defs {
# 同一组的广播地址
vrrp_mcast_group4 224.0.0.18
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
# 虚拟IP必须是同一个网段下
10.240.30.103
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 10.240.30.100 keepalived 配置
! Configuration File for keepalived
global_defs {
# 同一组的广播地址
vrrp_mcast_group4 224.0.0.18
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
# 虚拟IP必须是同一个网段下
10.240.30.103
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 测试
关闭 10.230.30.102 的 keepalived，在访问
这里有个问题 10.230.30.100 不是即时顶上，我等了很久才可以访问。
网上有很多的检查 nginx 是否运行的脚，我这里只测试 keepalived 的高可用其余都不测试。
# 解决以上问题
主备之间，只能有一台可以持有 VIP，我发现我这里两台都持有了 VIP，可以用以下命令查看
ip a
1
keepalived 的日志打的不是很细，我发现其中有一句，Receive advertisement timeout，主 可以理解，但 从 有这句话一定是有问题的。
Sep 7 13:26:23 localhost Keepalived_vrrp[7634]: (VI_1) Receive advertisement timeout
Sep 7 13:26:23 localhost Keepalived_vrrp[7634]: (VI_1) Entering MASTER STATE
Sep 7 13:26:23 localhost Keepalived_vrrp[7634]: (VI_1) setting VIPs.
1
2
3
2
3
最终查到是广播的问题
# 指定keepalived配置的网卡：ens33，固定的VRRP广播地址：224.0.0.18
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --out-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --reload
# 查看配置的规则
firewall-cmd --direct --get-rules ipv4 filter INPUT
firewall-cmd --direct --get-rules ipv4 filter OUTPUT
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
firewall-cmd --reload 会重新加载防火墙，导致你之前 iptables 的方式失效，需要重新在执行一遍 iptables 命令。
默认 当主挂掉之后，vip 会落到从上，当主启动之后，vip 会被抢回来。
上次更新: 6/11/2025, 4:10:30 PM