[Linux]LVS（Linux Virtual Server）

LVS（Linux Virtual Server）

• LVS（Linux Virtual Server）
• 什么是LVS？
• 为什么要用LVS？
• LVS的组成及作用
• LVS相关术语
• LVS基本工作原理
  • ① LVS的NAT模式
  • ② LVS-DR
  • ③ LVS-TUN
  • 三种方法的常见应用场景
• ipvsadm工具介绍
  • 程序包：ipvsadm
  • ipvsadm命令
• LVS实战案例
  • LVS-NAT模式案例
  • LVS-DR模式案例
  • LVS-TUN模式案例
• 参考链接

什么是LVS？

LVS（Linux Virtual Server，Linux虚拟服务器），是一个虚拟的服务器集群系统，本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的开源项目之一，目前已被集成到 Linux 内核模块中。该项目在 Linux 内核中实现了基于TCP层的IP数据负载均衡分发，其工作在内核空间且仅做负载均衡分发处理，所以稳定性相对较好，性能相对较强，对内存及CPU资源的消耗也最低。

为什么要用LVS？

随着 Internet 的爆炸性增长以及日常生活中的日益重要的作用，Internet 上的流量速度增长，以每年100%以上的速度增长。服务器上的工作负载压力也迅速增加，因此服务器在短时间内将会过载，尤其是对于受欢迎的网站而言。为了克服服务器的过载压力问题，有两种解决方案。

1. 单服务器解决方案：增加原有服务器的规格，应对服务器压力过载
2. 多服务器解决方案：构建服务器集群，动态增加服务器数量，应对峰值压力
3. 基于DNS的负载均衡集群 —— 从域名解析到IP的过程进行负载均衡
4. 基于分派器的负载均衡集群 —— 通过对四层/七层请求进行负载均衡分发

LVS的组成及作用

一般来说，LVS集群采用三层结构，其主要组成部分为：

1. 负载均衡调度器：它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（VIP）上的。
2. 服务器池：是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
3. 共享存储：它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

LVS代码由两部分组成，包括 ipvs 和 ipvsadm

• ipvs（ip virtual server）：LVS是基于内核态的 netfilter 框架实现的 ipvs 功能，工作在内核态。
• ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的 增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信。

ipvs 和 ipvsadm 的可以类比为 netfilter 和 iptables 的关系

LVS相关术语

首先需要解释LVS中的几种IP：

RS：Real Server，后端服务器

VS：Virtual Server，LVS服务器

VIP：Virtual IP，LVS服务器上接收外网数据包的网卡IP地址。

DIP：Director IP，LVS服务器上转发数据包到RealServer的网卡IP地址。

RIP：RealServer（简称RS）接收Director转发数据包的IP，即提供服务的服务器IP。

CIP：客户端的IP。

访问流程：CIP

LVS基本工作原理

LVS的基本工作原理如下：

1. 用户向负载均衡调度器发起请求，然后调度器将请求发往内核空间；
2. PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，然后将数据包发往INPUT链；
3. 由于IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS就会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链；
4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务，那么此时通过选路，将数据包发送给后端的服务器。

LVS的三种工作模式：

1. LVS-NAT：修改请求报文的目标IP，多目标IP的DNAT
2. LVS-DR：操纵封装新的MAC地址
3. LVS-TUN：在原请求IP报文之外新加一个IP首部

① LVS的NAT模式

VS/NAT：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某台 RS 的 RIP 和 PORT 实现转发

NAT模式的特点：

1. RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
2. 请求报文和响应报文都必须经由Director转发，因此Director容易成为系统瓶颈
3. 支持端口映射，可修改请求报文的目标PORT
4. VS必须是Linux系统，RS可以是任意的OS系统

NAT模式转发流程概述：

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。（此时报文的源IP为CIP，目标IP为VIP）
2. PREROUTING检查发现数据包的目标IP是本机，于是将数据包送至INPUT链；
3. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发送至POSTROUTING链。（此时，报文的源IP为CIP，目标IP为RIP）
4. POSTROUTING链通过选路，将数据包发送给RealServer；
5. RealSever比对发现目标为自己的IP，开始构建响应报文发回给Director Server。（此时报文的源IP为RIP，目标IP为CIP）
6. Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。（此时报文的源IP为VIP，目标IP为CIP）

② LVS-DR

VS/DR：Direct Routing，直接路由，LVS默认模式，应用最广泛，通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP+端口，以及目标IP+端口均保持不变。

DR模式的特点：

1. Director和各RS都配置有VIP。
2. 确保前端路由器将目标IP为VIP和Director的MAC地址。
3. RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director。
4. RS和Director要在同一个物理网络。
5. 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client。
6. 不支持端口映射（端口不能修改）。
7. 无需开启ip_forward。
8. RS可使用大多数OS系统。

DR模式转发流程概述：

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。（此时报文的源IP为CIP，目标IP为VIP）
2. PREROUTING检查发现数据包的目标IP是本机，于是将数据包送至INPUT链；
3. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址；
4. 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server；
5. RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP；
6. 响应报文最终送达至客户端。

③ LVS-TUN

VS/TUN：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

TUN模式特点：

1. RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP，且RIP可以和公网通信。也就是说集群节点可以跨互联网实现（DIP、VIP、RIP可以是公网地址）。
2. RealServer的tun接口上需要配置VIP地址，以便接收Director转发过来的数据包，以及作为响应的报文源IP。
3. Director转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP。
4. 请求报文要经由Director，但响应不经由Director，响应由RealServer自己完成。
5. 不支持端口映射。
6. RS的OS必须支持隧道功能。

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链；（此时报文的源IP为CIP，目标IP为VIP）
2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链；
3. IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。（此时源IP为DIP，目标IP为RIP）
4. POSTROUTING链根据最新封装的IP报文，将数据包发至RS，因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输；（此时源IP为DIP，目标IP为RIP）
5. RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口的VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。（此时的源IP地址为VIP，目标IP为CIP）
6. 响应报文最终送达至客户端。

三种方法的常见应用场景

_ VS/NAT VS/TUN VS/DR 服务器类型 任意 支持隧道功能更 非ARP设备 服务器网络 private LAN/WAN LAN 服务器数量 10~20台 100+台 100+台 服务器网关 负载均衡器 路由器 路由器

ipvsadm工具介绍

程序包：ipvsadm

Unit File：ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

ipvsadm命令

ipvsadm核心功能：

• 集群服务、RealServer的管理：增、删、改、查

ipvsadm工具用法：

管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]
[--pe persistence_engine] [-b sched-flags] # -t,tcp | -u,udp | -f firewall-mark
ipvsadm -D -t|u|f service-address #删除
ipvsadm –C #清空
ipvsadm –R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save

管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

LVS实战案例

LVS-NAT模式案例

环境说明：

• 一台 Client （网卡：仅主机模式；Gateway：无）
• 一台 LVS（网卡1：仅主机模式，网卡2：NAT模式）
• 两台 RS（网卡：NAT模式；Gateway：设置为DIP）

LVS-Server 配置：

安装ipvsadm
yum install -y ipvsadm

定义集群服务规则
ipvsadm -A -t 172.25.0.144:80 -s rr

定义集群中的RS规则（-m：masquerade，NAT类型）
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.103:80 -m
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.104:80 -m

或者，采用加权轮询算法（-s wrr），把 Web-Server1 权重修改为3
ipvsadm -E -t 172.25.0.144:80 -s -wrr
ipvsadm -e -t 172.25.0.144:80 -r 10.0.8.103:80 -m -w 3

开启ip_forward
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p

保存规则
ipvsadm -Sn > /etc/sysconfig/ipvsadm
systemctl enable --now ipvsadm.service

查看规则
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.0.144:80 rr
  -> 10.0.8.103:80                Masq    1      0          0
  -> 10.0.8.104:80                Masq    1      0          0

配置测试（轮询）：

LVS-DR模式案例

LVS-TUN模式案例

参考链接

• 超详细！一文带你了解 LVS 负载均衡集群！ (baidu.com)
• LVS（Linux虚拟服务器）简介_微学苑 (weixueyuan.net)
• Linux服务器集群系统(一) — LVS项目介绍 (linuxvirtualserver.org)
• Linux服务器集群系统(三)–LVS集群中的IP负载均衡技术 (linuxvirtualserver.org)
• Linux服务器集群系统(四) — LVS集群的负载调度 (linuxvirtualserver.org)
• (68条消息) 24.企业级调度器LVS_低調！的博客-CSDN博客

Original: https://www.cnblogs.com/Skybiubiu/p/16493435.html
Author: SkyBiuBiu
Title: [Linux]LVS（Linux Virtual Server）