概述
最近学习网络相关知识点，很多文章提到针对TCP time wait(后续简称TW)状态连接进行优化的参数tcp_tw_reuse和tcp_tw_recycle，并且不少文章提到了启用tcp_tw_recycle会导致的问题，不建议开启该选项，但是并没有找到一篇能完全解答自己所有疑惑的文章，如：
- Linux会丢弃所有来自远端的timestramp时间戳小于上次记录的时间戳(由同一个远端发送的)的任何数据包。也就是说要使用该选项，则必须保证数据包的时间戳是单调递增的，这里的远端定义的是ip还是ip+port? 是一定时间内丢弃时间戳过期packet还是tcp_tw_recycle启用后一直丢弃？
- 很多文章都会提到tcp_tw_reuse 仅作用于客户端连接，tcp_tw_recycle则同时作用于客户端与服务端连接，这里客户端、服务端连接具体指的是什么?与TCP三次握手的客户端、服务端概念上有什么区别？
通过学习网上大家的总结+阅读了部分4.9内核源码，这里整理总结一下从各处学习到的知识点及自己的理解。
过多time wait会导致的问题
- 客户端主动发起的连接总数受 max open file数限制，过多连接导致达到max open file限制将无法创建新的连接。
- 客户端主动发起的连接总数也受可用端口号限制，一般使用端口号为1024~65000，如果过多TW连接将端口号耗尽同样无法再创建新的连接。
- 每个TW连接都会占用一定的系统资源-如内存–实际耗费内存很小，这点一般可忽略
tcp_tw_reuse与tcp_tw_recycle相同点
- 两者目的均是为了解决系统中过多TW状态 TCP连接的问题。
- 两者都需要和tcp_timestamps 同时开启方能生效。
- 根据RFC定义，主动关闭连接方其TW状态需维持2MSL时间才正式关闭连接，Linux上MSL默认定义为30s，即TW状态默认需要维持1分钟方能正式关闭，tcp_tw_reuse与tcp_tw_recycle均为通过缩短TW状态时间进行复用来进行优化。
- 两个参数默认均为关闭状态
tcp_tw_reuse作用
- 仅作用于客户端方主动发起连接，即出向连接。
- 连接进入TW状态>1s，且新连接的timestamp大于旧连接记录的timestamp时方能复用连接。
- client提前中止TW状态进行复用，发起新连接，server依然处于last ack状态时，交互流程如下:
- client发送新SYN => server
- client
tcp_tw_recycle作用
- 同时作用于client/server发起连接，即出、入向连接
- TW状态维持3.5RTO(the retransmission timeout (RTO) interval which is computed from the RTT and its variance)之后就直接可以被过期回收，具体RTO取值是基于网络RTT及其他相关因子综合计算，一般在200ms~120s之间。
- TW状态后2MSL会丢弃所有来自远端相同四元组的timestamp小于上次记录timestamp的任何数据包，因而需要保证数据包timestamp是单调递增的
- NAT情况下，不同client从同一NAT ip请求，由于NAT不会更改包中的timestamp，而不同机器的时间不可能完全同步，因而不同机器从同一个NAT IP+port发出的包会存在timestamp非单调递增的情况，问题场景举例：
- 机器A时间比机器B快1s，机器A先通过NAT机器 ip1:port1 对服务器S ip2: port2 发起tcp连接socket1–使用conn_old(ip1, port1, ip2, port2)四元组表示
- 后S主动断开连接进入TW状态，由于开启tcp_tw_recycle，经过3.5RTO后S即可复用conn_old这个连接
- NAT机器对应连接在进入LAST ACK并收到S回复的ACK之后关闭了conn_old
- 而后机器B通过NAT机器发起conn_new(ip1, port1, ip2, port2)
- 此时S收到SYN包发现timestamp 小于conn_old中记录的最终timestamp，于是丢弃conn_new的SYN包
- 机器B超时未收到回复，重发SYN包，机器S收到后比较timestamp后继续丢弃….如此往复，最终导致通过NAT机器发起的conn_new(ip1, port1, ip2, port2)在TW状态终止的2MSl内都无法建立新的连接，对于机器B的用户表现就是连接迟迟无法建立成功。
- 高版本内核由于新的时间戳生成算法tcp: randomize tcp timestamp offsets for each connection 即便未使用NAT也会导致同一台机器不同socket之间timestamp非单调递增
- Linux从4.12版本内核开始已经移除了tcp_tw_recycle支持
文章开始时两个问题的答案
- 远端定义为ip+port，无论tcp_tw_reuse还是tcp_tw_recycle，针对回收TW连接对新连接的影响，都是指同一四元组代表的连接(src_ip, src_port, dst_ip, dst_port)，在开启tcp_tw_recycle情况下，连接进入TW状态的2MSL时间内，所有收到的小于旧连接最终timestamp的包都会被直接丢弃。
- 客户端是指主动发起连接的一方，即TCP三次握手中发出首个SYN包的一方。
转载请注明出处，原文地址:https://www.cnblogs.com/AcAc-t/p/tcp_tw_reuse_and_tcp_tw_recycle_introduction.html
参考：
- 小林coding–面试官：换人！他连 TCP 这几个参数都不懂
- 被抛弃的tcp_recycle
- 不要启用 net.ipv4.tcp_tw_recycle
- Coping with the TCP TIME-WAIT state on busy Linux servers
- 内核选项tcp_tw_recycle原理
- TIME_WAIT状态下对接收到的数据包如何处理
- 由tcp_tw_recycle引发的问题
签名：拥抱开源，拥抱自由
Original: https://www.cnblogs.com/AcAc-t/p/tcp_tw_reuse_and_tcp_tw_recycle_introduction.html
Author: 及时
Title: Linux下TIME_WAIT连接优化内核参数tcp_tw_reuse与tcp_tw_recycle区别与联系浅析
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/578241/
转载文章受原作者版权保护。转载请注明原作者出处！