Kubernetes IPVS和IPTABLES

2023年6月29日上午4:10 • 人工智能 • 阅读 58

什么是IPVS

IPVS（IP Virtual Server，IP虚拟服务器）实现了传输层的负载平衡，通常称为 4 LAN（四层局域网）交换，是Linux内核的一部分。

IPVS在主机上运行，在真实服务器集群前面充当负载平衡器。IPVS可以将基于 TCP 和 UDP 的服务请求定向到真实服务器上。

IPVS vs IPTABLES

IPVS 模式在 Kubernetes v1.8中引入，在v1.9中成为测试版，在v1.11中成为GA。
IPTABLES模式是在v1.1版本中加入的，从v1.2版本开始成为默认的操作模式。

IPVS和IPTABLES都是基于netfilter的。IPVS模式和IPTABLES模式的区别如下：

IPVS 对 IPTABLES 的依赖

IPVS代理使用 IPTABLES做数据包 过滤、 SNAT或 伪装。具体来说，IPVS代理将使用ipset来存储需要DROP或做伪装的流量的源地址或目的地址，以确保无论我们有多少服务，IPTABLES规则的数量不变。

下面是IPVS代理服务器使用的ipset集的表格。

set namemembersusageKUBE-CLUSTER-IPAll service IP + portMark-Masq for cases that

specifiedKUBE-LOOP-BACKAll service IP + port + IPmasquerade for solving hairpin purposeKUBE-EXTERNAL-IPservice external IP + portmasquerade for packages to external IPsKUBE-LOAD-BALANCERload balancer ingress IP + portmasquerade for packages to load balancer type serviceKUBE-LOAD-BALANCER-LOCALLB ingress IP + port with

accept packages to load balancer with

KUBE-LOAD-BALANCER-FWload balancer ingress IP + port with

package filter for load balancer with

specifiedKUBE-LOAD-BALANCER-SOURCE-CIDRload balancer ingress IP + port + source CIDRpackage filter for load balancer with

specifiedKUBE-NODE-PORT-TCPnodeport type service TCP portmasquerade for packets to nodePort(TCP)KUBE-NODE-PORT-LOCAL-TCPnodeport type service TCP port with

accept packages to nodeport service with

KUBE-NODE-PORT-UDPnodeport type service UDP portmasquerade for packets to nodePort(UDP)KUBE-NODE-PORT-LOCAL-UDPnodeport type service UDP port with

accept packages to nodeport service with

在以下情况下，IPVS 代理将依赖 IPTABLES。

如果kube-proxy以 --masquerade-all=true启动，IPVS代理将伪装所有访问服务集群IP的流量，这与IPTABLES代理的行为相同。假设kube-proxy指定了标志 --masquerade-all=true，那么IPVS代理安装的IPTABLES应该如下所示：

iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

如果kube-proxy以 --cluster-cidr=<cidr></cidr>启动，IPVS代理将伪装访问服务集群IP的非集群流量，其行为与IPTABLES代理相同。假设kube-proxy提供的集群cidr是 10.244.16.0/24，那么IPVS代理安装的IPTABLES应该如下所示。

iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (3 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  -- !10.244.16.0/24       0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

对于loadBalancer类型的服务，IPVS代理将安装IPTABLES与ipset KUBE-LOAD-BALANCER匹配。特别是当服务的 LoadBalancerSourceRanges被指定或指定externalTrafficPolicy=local时，IPVS代理将创建ipset集 KUBE-LOAD-BALANCER-LOCAL/ KUBE-LOAD-BALANCER-FW/ KUBE-LOAD-BALANCER-SOURCE-CIDR并相应地安装IPTABLES，它应该看起来像下面所示。

iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-FIREWALL (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-SOURCE-CIDR dst,dst,src
KUBE-MARK-DROP  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-LOAD-BALANCER (1 references)
target     prot opt source               destination
KUBE-FIREWALL  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-FW dst,dst
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-LOCAL dst,dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-MARK-DROP (1 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x8000

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-LOAD-BALANCER  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst

对于NodePort类型的服务，IPVS代理将安装IPTABLES与ipset KUBE-NODE-PORT-TCP/KUBE-NODE-PORT-UDP的匹配。当指定 externalTrafficPolicy=local时，IPVS代理将创建ipset集 KUBE-NODE-PORT-LOCAL-TCP/ KUBE-NODE-PORT-LOCAL-UDP并相应地安装IPTABLES，这应该是如下所示的：

假设服务的TCP类型为nodePort。

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-NODE-PORT (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-LOCAL-TCP dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-NODE-PORT  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-TCP dst

对于指定了外部IP的服务，IPVS代理将安装IPTABLES与ipset KUBE-EXTERNAL-IP匹配，假设我们有指定了外部IP的服务，IPTABLES规则应该如下所示：

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst PHYSDEV match ! --physdev-is-in ADDRTYPE match src-type !LOCAL
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst ADDRTYPE match dst-type LOCAL

安装IPVS

yum install ipset ipvsadm -y

apt-get install ipset ipvsadm -y

cat > /etc/sysconfig/modules/ipvs.modules <<eof 755 #! bin bash modprobe -- ip_vs ip_vs_rr ip_vs_wrr ip_vs_sh nf_conntrack_ipv4 eof chmod etc sysconfig modules ipvs.modules && lsmod | grep -e < code></eof>

Original: https://blog.csdn.net/qq_52716296/article/details/127768504
Author: 念舒_C.ying
Title: Kubernetes IPVS和IPTABLES

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/658404/

转载文章受原作者版权保护。转载请注明原作者出处！

人工智能

【自取】最近整理的，有需要可以领取学习：

Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言刷题答案下载！

Ros入门（一）创建工作空间及功能包

一、创建工作空间二、创建功能包并导入依赖三、在功能包下新建几个文件夹存放数据 mkdir -p ~/ros001/src cd ~/ros001/src catkin_init…

人工智能 2023年6月2日
0057
【图像边缘检测】基于matlab自适应阈值的八方向和四方向sobel图像边缘检测【含Matlab源码 2058期】

⛄一、八方向Sobel算子的边缘检测算法简介 1 引言随着数字图像的广泛应用, 对图像精度的要求也逐步提高。边缘是目标图像与背景图像的分界, 是图像最基本的特征之一。图像边缘蕴含了…

人工智能 2023年6月18日
0075
【计算机视觉】新冠肺炎COVID-19 CT影片阳性检测，感染区域分割，肺部分割，智慧医疗实践，医疗影像处理示例

引言新型冠状病毒肺炎（Corona Virus Disease 2019，COVID-19），简称”新冠肺炎”，世界卫生组织命名为”2019冠…

人工智能 2023年7月19日
00129
为神经网络选择正确的激活函数

我们都知道神经网络模型中使用激活函数的主要目的是将非线性特性引入到我们的网络中，强化网络的学习能力。激活函数应用于隐藏层和输出层中每个节点的称为 z 的输入加权和（此处输入可以是原…

人工智能 2023年6月24日
0074
R语言进行系统聚类分析并作图（数据来源国家统计局）

系列文章目录第一篇：R语言和RStudio安装，载入TXT、CSV和XLSX（利用RODBC）文件文章目录系列文章目录前言一、国家统计局采集数据二、用R语言对数据进行系…

人工智能 2023年7月15日
00169
数据分析案例-基于随机森林模型探究电商网站推销商品的影响因素

抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。 Original: https:…

人工智能 2023年6月19日
0081
excel回归分析结果解读

对于简单数据使用excel进行回归分析，操作简单,方法数据-分析工具-点击回归（ps.如果你的excel中没有数据分析这一选项，需要设置一下方法：文件-选项-加载项-勾选数据分…

人工智能 2023年6月16日
00304
Open3D点云处理

Open3D点云处理一、Open3D Open3D is an open-source library that supports rapid development of so…

人工智能 2023年6月18日
00105
海康工业相机SDK+OpenCV实例(2)：RawDataFormatConvert详解

海康工业相机SDK+OpenCV实例(2)： RawDataFormatConvert详解文章目录海康工业相机SDK+OpenCV实例(2)： RawDataFormatCon…

人工智能 2023年5月28日
00109
「统信云原生操作系统」，一款既轻量又安全的云原生产品

啊哦~你想找的内容离你而去了哦内容不存在，可能为如下原因导致： ① 内容还在审核中 ② 内容以前存在，但是由于不符合新的规定而被删除 ③ 内容地址错误 ④ 作者删除了内容。可…

人工智能 2023年6月29日
0067
分类算法-KNN(原理+代码+结果)

KNN，即K最邻近算法，是数据挖掘分类技术中比较简单的方法之一，简单来说，就是根据”最邻近”这一特征对样本进行分类。 1、K-means和KNN区别 K-m…

人工智能 2023年6月30日
0086
基于深度学习的车辆检测系统（MATLAB代码，含GUI界面）

摘要：当前深度学习在目标检测领域的影响日益显著，本文主要基于深度学习的目标检测算法实现车辆检测，为大家介绍如何利用(\color{#4285f4}{M}\color{#ea4335…

人工智能 2023年6月4日
0092
论文阅读：《MuKEA: Multimodal Knowledge Extraction and Accumulation for Knowledge-based Visual Question Answering》

标题：基于知识的视觉问答的多模态知识提取与积累来源：CVPR 2022 https://arxiv.org/abs/2203.09138代码：https://github.com…

人工智能 2023年6月4日
00105
Pytorch训练速度更快的十七种方法

来源：不久前，Reddit 上一个帖子热度爆了。最主题的内容是关于如何加速 PyTorch 训练。作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN，文章向我…

人工智能 2023年7月23日
0068
代码会说话——pyttsx3简介

目录一、pyttsx3 概述二、pyttsx3的安装三、pyttsx3的运用四、全套代码一、pyttsx3 概述代码会说话：pyttsx3是Python中的文本到语音转…

人工智能 2023年5月27日
0076
Adaptive Clustering-based Malicious TrafficClassification at the Network Edge论文阅读笔记

基于自适应聚类的网络边缘恶意流量分类 -论文笔记综述：在本文中，提出了一种基于自适应聚类的入侵检测(ACID)，这是一种新的恶意流量分类方法，也是一种部署在网络边缘的有效…

人工智能 2023年5月31日
0095

2024 年 5 月
一	二	三	四	五	六	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

Kubernetes IPVS和IPTABLES

什么是IPVS

IPVS vs IPTABLES

IPVS 对 IPTABLES 的依赖

安装IPVS

大家都在看