Linux备份之远程同步—rsync

一、备份

1.1 什么是备份?

备份就是把重要的数据或者文件复制一份保存到另一个地方,实现不同主机之间的数据同步

1.2 为什么做备份?

数据在公司中是很重要的!!!备份就是为了恢复数据。

1.3 能不能不做备份?

对于重要的数据必须备份,对于不重要的数据不能备份或部分备份。

[En]

For important data must be backed up, for unimportant data can not be backed up or part of the backup.

1.4 备份的工具

  • 本地备份:cp
  • 远程备份:scp rsync

Linux备份之远程同步—rsync

1.5 scp命令及参数

  1. 概念及参数 Linux中 scp 命令用于 Linux 之间复制文件和目录。
    scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
    scp 是加密的,rcp 是不加密的,scp 是 rcp 的加强版。
选项参数:
    -1: 强制scp命令使用协议ssh1
    -2: 强制scp命令使用协议ssh2
    -4: 强制scp命令只使用IPv4寻址
    -6: 强制scp命令只使用IPv6寻址
    -B: 使用批处理模式(传输过程中不询问传输口令或短语)
    -C: 允许压缩。(将-C标志传递给ssh,从而打开压缩功能)
    -p:保留原文件的修改时间,访问时间和访问权限。
    -q: 不显示传输进度条。
    -r: 递归复制整个目录。
    -v:详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。
    -c cipher: 以cipher将数据传输进行加密,这个选项将直接传递给ssh。
    -F ssh_config: 指定一个替代的ssh配置文件,此参数直接传递给ssh。
    -i identity_file: 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。
    -l limit: 限定用户所能使用的带宽,以Kbit/s为单位。
    -o ssh_option: 如果习惯于使用ssh_config(5)中的参数传递方式,
    -P port:注意是大写的P, port是指定数据传输用到的端口号
    -S program: 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。
  1. 应用实例
将文件从本地复制到远程<details><summary>*<font color='gray'>[En]</font>*</summary>*<font color='gray'>Copy files from local to remote</font>*</details>
    1、复制本地文件到远程目录
    scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music
    scp                         # 命令
    /home/space/music/1.mp3       # 本地文件
    root                        # 远端服务器的的系统用户
    @                           # 分隔符,以哪个用户身份登录服务器
    www.runoob.com               # 远程服务器的ip或域名
    :                           # 分隔符,指定服务器里面所在的目录
    /home/root/others/music/      # 复制到远程服务器的目录地址

    2、复制本地文件到远程目录下,并重命名
    scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music/001.mp3
    scp                             # 命令
    /home/space/music/1.mp3           # 本地文件
    root                            # 远端服务器的的系统用户
    @                               # 分隔符,以哪个用户身份登录服务器
    www.runoob.com                   # 远程服务器的ip或域名
    :                               # 分隔符,指定服务器里面所在的目录
    /home/root/others/music/001.mp3    # 复制到远程服务器的目录下并重命名001.mp3

将目录从本地目录复制到远程目录<details><summary>*<font color='gray'>[En]</font>*</summary>*<font color='gray'>Copy the directory from the local directory to the remote directory</font>*</details>
    1、指定用户名,命令执行后需要再输入密码
    scp -r /home/space/music/ root@www.runoob.com:/home/root/others/
    scp                         # 命令
    -r                          # 选项
    /home/space/music/           # 本地目录
    root                        # 远端服务器的的系统用户
    @                           # 分隔符,以哪个用户身份登录服务器
    www.runoob.com               # 远程服务器的ip或域名
    :                           # 分隔符,指定服务器里面所在的目录
    /home/root/others/           # 复制到远程服务器的目录地址

    2、不指定用户名,命令执行后需要输入用户名和密码
    scp -r /home/space/music/ www.runoob.com:/home/root/others/
    scp                         # 命令
    -r                          # 选项
    /home/space/music/           # 本地目录
    www.runoob.com               # 远程服务器的ip或域名
    :                           # 分隔符,指定服务器里面所在的目录
    /home/root/others/           # 复制到远程服务器的目录地址

三、从远程复制到本地
    1、scp root@www.runoob.com:/home/root/others/music /home/space/music/1.mp3
      scp -r www.runoob.com:/home/root/others/ /home/space/music/

Linux备份之远程同步—rsync

1.6 Rsync常用参数

选项参数:
-a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
-v           #详细模式输出, 打印速率, 文件数量等
-z           #传输时进行压缩以提高效率
-r           #递归传输目录及子目录,即目录下得所有目录都同样传输。
-t           #保持文件时间信息
-o           #保持文件属主信息
-g           #保持文件属组信息
-p           #保持文件权限
-l           #保留软连接
-P           #显示同步的过程及传输时的进度等信息
-D           #保持设备文件信息
-L           #保留软连接指向的目标文件
-e           #使用的信道协议,指定替代rsh的shell程序

--append            # 指定文件接着上次传输中断处继续传输
--append-verify     # 使用参数续传(在断点续传之后,验证一下文件,如果不同,修复文件)

--exclude=PATTERN   # 指定排除不需要传输的文件
eg: [root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt  ./* root@172.16.1.41:/opt/

--exclude-from=file # 按照文件指定内容排除
eg: [root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/

--bwlimit=100        # 限速传输(单位:MB)
--delete             # 让目标目录和源目录数据保持一致
--password-file=xxx  # 使用密码文件
--port               # 指定端口传输
  1. –exclude-from=file 排除不需要的文件
#创建多个文件
[root@web01 ~]# touch {1..10}.txt
[root@web01 ~]# ll
total 0
drwxr-xr-x. 2 root root 6 Nov 19 08:44 dir
-rw-r--r--. 1 root root 0 Nov 19 08:44 file
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt1
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt10
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt2
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt3
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt4
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt5
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt6
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt7
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt8
-rw-r--r--. 1 root root 0 Nov 19 08:59 txt9

#编辑文件写入要排除的文件名字
[root@web01 ~]# vim 1.txt
txt1
txt2
txt3
txt4

#指定排除文件推送内容
[root@web01 ~]# rsync -avz ./* rsync_backup@172.16.1.41::backup --exclude-from=1.txt
sending incremental file list
1.txt
txt10
txt5
txt6
txt7
txt8
txt9
dir/

sent 468 bytes  received 165 bytes  422.00 bytes/sec
total size is 20  speedup is 0.03
#发现没有传输1.txt中写入名字的文件
  1. –bwlimit=100 限速传输
#创建一个1G的文件
[root@web01 ~]# dd if=/dev/zero of=./1.txt bs=10M count=100

#限速1M每秒推送
[root@web01 ~]# rsync -avzP 1.txt rsync_backup@172.16.1.41::backup --bwlimit=1
sending incremental file list
1.txt
    114,130,944  10%    1.01MB/s    0:15:06

#限速10M每秒推送
[root@web01 ~]# rsync -avzP 1.txt rsync_backup@172.16.1.41::backup --bwlimit=10
sending incremental file list
1.txt
    262,078,464  24%    9.89MB/s
  1. delete 数据一致 (无差异同步)
#查看客户端数据
[root@web01 ~]# ll
total 0
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt2
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt3
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt4
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt5
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt6
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt7
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt8
-rw-r--r--. 1 root root 0 Nov 19 09:17 txt9

#删除数据
[root@web01 ~]# rm -rf txt2
[root@web01 ~]# rm -rf txt3
[root@web01 ~]# rm -rf txt4

#执行数据一致同步
[root@web01 ~]# rsync -avz ./ rsync_backup@172.16.1.41::backup --delete
sending incremental file list
deleting txt4
deleting txt3
deleting txt2
./

sent 332 bytes  received 52 bytes  768.00 bytes/sec
total size is 7,746  speedup is 20.17

#查看服务端
[root@backup backup]# ll
total 0
-rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt5
-rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt6
-rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt7
-rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt8
-rw-r--r--. 1 rsync rsync 0 Nov 19 09:17 txt9

注意:
拉取时:客户端数据与服务器数据一致,以服务器数据为准

[En]

When pulling: the client data is consistent with the server data, and the server data shall prevail

推送时:服务器数据与客户端数据一致,以客户端数据为准

[En]

When pushing: the server data is consistent with the client data, subject to the client data

Linux备份之远程同步—rsync

二、Rsync服务介绍

2.1 简介

rsync英文称为remote synchronizetion,从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令。但是同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。

rsync官方地址:https://rsync.samba.org/
rsync监听端口:873
rsync运行模式:C/S client/server

rsync简称叫做远程同步,可以实现不同主机之间的数据同步,还支持全量和增量

2.2 rsync特性

  • 支持复制特殊文件,如连接文件、设备等。
    [En]

    support copying special files, such as connection files, devices, etc.*

  • 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能;
  • 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p;
  • 可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N);
  • 可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密);
  • 可以通过socket(进程方式)传输文件和数据(服务端和客户端);
  • 支持进程模式传输匿名实时认证(无需系统用户),方便、安全地备份和镜像数据
    [En]

    support anonymous live authentication (without the need for system users) in process mode transmission, which can facilitate and safely backup and mirror data*

2.3 生产场景备份方案

  1. 借助cron+rsync把所有客户服务器数据同步到备份服务器;
  2. 针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案;
  3. 通过本地打包备份,然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器,然后在存储服务器上通过脚本检查并报警管理员备份结果;
  4. 定期将IDC机房的数据备份到公司的内部服务器,防止机房地震及火灾问题导致数据丢失;
  5. 实时同步,解决存储服务器等的单点问题。

Linux备份之远程同步—rsync

三、Rsync应用场景

3.1 备份方式

  1. 全量备份 即将数据完整的复制一份并保存下来 Linux备份之远程同步—rsync
  2. 增量备份 即备份上一次备份后新增的数据 Linux备份之远程同步—rsync

3.2 rsync的传输方式

push 推:
客户端在本地将数据推送到服务器

[En]

The client pushes data locally to the server

pull 拉:
客户端将数据从服务器拉到本地

[En]

The client pulls data from the server to the local

Linux备份之远程同步—rsync

Linux备份之远程同步—rsync

Linux备份之远程同步—rsync

3.3 传输存在的问题

  1. 推的问题:当客户端服务器数量过多,容易造成数据推送缓慢;
  2. 拉的问题:当客户端服务器数量过多,容易造成服务端压力过大;

3.4 大量服务器备份场景

现在有2000台服务器,怎么有效快速的缓解推和拉存在的问题?

Linux备份之远程同步—rsync

3.5 异地备份实现思路

Linux备份之远程同步—rsync

Linux备份之远程同步—rsync

四、Rsync传输模式

4.1 传输模式

  • 本地方式(类似于cp,不支持推送和拉取,只是单纯的复制)
  • 远程方式(类似于scp,又不同于scp),scp只支持全量备份,rsync支持增量备份和差异备份
  • 守护程序模式(客户端和服务器)
    [En]

    daemon mode (client and server)*

4.2 本地方式

#语法:rsync [OPTION]... SRC [SRC]... DEST命令   选项        源文件       目标地址#语法实例[root@web01 ~]# rsync -avz 1.txt /tmp/[root@web01 ~]# rsync -avz 1.txt /tmp/               命令   选项 源文件 目标目录#类似于cp,但是cp是全量复制并且会修改文件属性,rsync是增量复制,会保证文件属性不变

4.3 远程方式

  • pull 拉取数据的命令
#语法:rsync [OPTION]... [USER@]HOST:SRC [DEST]#实例:[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/1.txt ./#语法拆分rsync           #命令-avz            #选项root            #远端服务器的系统用户@               #分隔符172.16.1.41     #远程主机的地址:               #分隔符,代表主机下的..../tmp/1.txt      #远程主机的目录及文件./              #当前主机的当前目录
  • push 推送数据命令
#语法rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST#实例[root@web01 ~]# rsync -avz ./1.txt root@172.16.1.41:/tmp#语法拆分rsync               #命令-avz                #选项./1.txt               #当前服务器的本地文件root                #远端服务器的系统用户@                   #分隔符172.16.1.41         #远端主机的IP地址:                   #分隔符,代表主机下的..../tmp                #远程主机的目录

注意事项:
1、[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/1.txt ./2.txt #将远程服务器1.txt文件全量备份到当前目录下并重命名为2.txt
2、[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/ ./a/ #将远程服务器tmp目录全量备份到当前目录下并重命名为a
3、指定目录”/a”时,意思是”/a”这个目录及这个目录下的文件。指定目录”/a/”时,意思是”/a/”目录下的文件不包括目录

Linux备份之远程同步—rsync

4.4 守护进程传输模式

  1. 为什么使用守护进程模式
  2. rsync传输时,使用的是系统用户和系统用户的密码,非常的不安全
  3. 使用普通用户又会出现权限问题
  4. 守护进程传输模式语法
  5. push 推送语法
#语法:
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

#实例:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup

#语法拆分
rsync               #命令
-avz                #选项
1.txt               #当前服务器的文件
rsync_backup        #rsync服务端配置的虚拟用户
@                   #分隔符
172.16.1.41         #远程主机IP地址
::backup            #模块名

#推送过程中服务端目录必须是服务端配置的启动用户权限
  • pull 拉取语法
#语法:
rsync [OPTION]... [USER@]HOST::SRC [DEST]

#示例:
[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup /tmp/

#语法拆分:
rsync               #命令
-avz                #选项
rsync_backup        #服务端定义的虚拟用户
@                   #分隔符
172.16.1.41         #远程主机IP地址
::backup            #模块名字
/tmp/               #当前主机的目录

#拉取过程中服务端目录不用设置rsync用户权限

Linux备份之远程同步—rsync

4.5 守护进程模式实践

  1. 环境准备主机 IP 主机角色 JumpServer 172.16.1.81 rsync客户端 Backup 172.16.1.41 rsync服务端
  2. 服务端
  3. 安装
[root@backup ~]# yum install -y rsync

#查找配置文件
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
  1. 修改配置文件
[root@m01 ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!

path = /backup
[linux]
comment = welcome to linux!

path = /tmp/linux

配置文件详解:

uid = rsync                         #启动服务的用户id
gid = rsync                         #启动服务用户的组id
port = 873                          #服务默认监听端口
fake super = yes                    #无须使用root用户启动
use chroot = no                     #安全机制
max connections = 200               #最大连接数
timeout = 600                       #超时时间
ignore errors                       #忽略错误
read only = false                   #只读权限
list = false                        #查看模块列表
auth users = rsync_backup            #定义虚拟用户(rsync传输过程使用的用户)
secrets file = /etc/rsync.passwd     #定义虚拟用户的密码
log file = /var/log/rsyncd.log       #日志文件
#####################################
[backup]                                #模块
comment = welcome to backup!     #模块的备注
path = /backup                          #服务器真实的存储路径
...

  1. 创建系统用户
[root@backup ~]# useradd -r -M -s /sbin/nologin rsync
  1. 修改密码文件(一定不能有空格)
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
  1. 授权(必须授权为600)
[root@backup opt]# chmod 600 /etc/rsync.passwd
  1. 创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux
  1. 目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/
  1. 关闭防火墙和selinux
8、关闭防火墙和selinux
[root@backup opt]# systemctl disable --now firewalld
[root@backup opt]# setenforce 0
  1. 启动rsyncd服务
[root@backup opt]# systemctl start rsyncd

#验证启动
[root@backup ~]# netstat -lntp | grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      26370/rsync
tcp6       0      0 :::873                  :::*                    LISTEN      26370/rsync
[root@backup ~]# ps -ef | grep rsync
root      26370      1  0 11:08 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root      26408  25098  0 11:09 pts/1    00:00:00 grep --color=auto rsync

Linux备份之远程同步—rsync
  1. 客户端rsync
#下载安装
yum install -y rsync

#创建认证文件并修改权限
echo "123456" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd

4.6 客户端推拉数据方法

  • 方法一:自己输入密码
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup

rsync_backup : 虚拟用户,只在数据传输时使用
172.16.1.41  : backup服务端的IP
backup       : 模块名称
  • 方法二:设置密码文件并在运行时读取
    [En]

    method 2: set the password file and read it at run time*

1、编写密码文件    [root@backup opt]# echo "123456" > /etc/rsync.passwd2、授权    [root@m01 ~]# chmod 600 /etc/rsync.passwd3、连接    [root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd  ./* rsync_backup@172.16.1.41::linux
  • 方法三:添加环境变量
1、定义环境变量(临时添加)    export RSYNC_PASSWORD=1234562、同步    [root@m01 ~]# rsync -avzP  ./* rsync_backup@172.16.1.41::linux

Linux备份之远程同步—rsync

4.7 rsync常见报错

1.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backu@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:1)虚拟用户的用户名或者密码错误,2)服务端密码文件权限不为600

2.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因:客户端密码文件权限不是600

3.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:模块名字错误

4.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:双冒号后面跟的是模块名字,而不是目录名字不要加/

5.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因:防火墙开启,没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success

6.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
rewriteip.sh
rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)

sent 207 bytes  received 128 bytes  44.67 bytes/sec
total size is 194  speedup is 0.58
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因:selinux没有关闭

7.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)

sent 55 bytes  received 114 bytes  338.00 bytes/sec
total size is 194  speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因:服务端备份目录权限不是rsync

8.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因:服务端服务没有启动

9.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@10.0.0.41::backup
sending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因:服务端配置错误,导致启动问题

Linux备份之远程同步—rsync

五、Rsync结合inotify(实时同步)

rsync是不支持实时同步的,通常我们借助于inotify这个软件来实时监控文件变化,一旦inotify监控到文件有所变化,则立即调用rsync进行同步。

5.1 安装inotify(装在客户端)

[root@web01 ~]# yum -y install inotify-tools

5.2 常用参数

-m 持续监控
-r 递归
-q 静默,仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
    %Xe 事件
    %w 目录
    %f 文件
-e 指定监控的事件
    access 访问
    modify 内容修改
    attrib 属性修改
    close_write 修改真实文件内容
    open 打开
    create 创建
    delete 删除
    umount 卸载

5.3 测试命令(开始监控)

/usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  [监控路径]

5.4 实时监控并同步

[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do
    cd  /root && rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done

Linux备份之远程同步—rsync

5.5 实时备份脚本编写(供以后使用)

  • 粗略版
[root@backup ~]# vim rsyn-inotify.sh
#!/bin/bash
dir=/backup
/usr/bin/inotifywait  -mrq  --format '%w %f' -e create,delete,attrib,close_write  $dir | while read line;do
        cd  $dir  && rsync -az -R  --delete  .  rsync_backup@172.16.1.31::backup --password-file=/etc/rsync.passwd >/dev/null 2>&1
done  &
  • 精油版
#!/bin/bash
src=/data
des=backup
rsync_passwd_file=/etc/rsync.passwd
ip1=172.16.1.41
user=rsync_backup
cd ${src}
/usr/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file
do
CREATE  /backup/  1.txt
    INO_EVENT=$(echo $file | awk '{print $1}')
    INO_FILE=$(echo $file | awk '{print $2}')        
    if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]
    then              
        rsync -azcR --password-file=${rsync_passwd_file} ${INO_FILE} ${user}@${ip1}::${des}
    fi
    if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]        
    then
        rsync -azR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} >/dev/null 2>&1        
    fi
    if [[ $INO_EVENT =~ 'ATTRIB' ]]
    then
    if [ ! -d "$INO_FILE" ]
    then
        rsync -azcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} >/dev/null 2>&1
    fi
    fi
done &

Linux备份之远程同步—rsync

Original: https://www.cnblogs.com/JZjuechen/p/15746788.html
Author: JZEason
Title: Linux备份之远程同步—rsync

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/524228/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 关于 QT绝对路径依赖症的解决办法!!

    QT安装正确后,使用Qtcreator开发会非常方便; 即使重装系统后,你不用重新安装直接使用QT开发即可。 但是如果你把这个安装后的开发环境,拷贝到其它电脑或者目录后, 你会发现…

    Linux 2023年6月14日
    094
  • 记一次 namespace 卡在terminating

    Error from server (AlreadyExists): object is being deleted: namespaces “monitoring&#…

    Linux 2023年6月14日
    0113
  • 云笔记本:一个Laxcus应用软件

    给大家展示一个第三方开发的应用软件:云笔记本。 这个作品来自一位Laxcus分布式应用软件开发者,目前已经通过Laxcus集群操作系统的兼容性测试。云笔记本的界面和功能,类似Win…

    Linux 2023年6月6日
    0139
  • Linux 进程卡住了怎么办?

    在我们使用 Linux 系统时,如果网络或者磁盘等 I/O 出问题,会发现进程卡住了,即使用 kill -9 也无法杀掉进程,很多常用的调试工具,比如 strace, pstack…

    Linux 2023年5月27日
    091
  • Vmware部署Linux无人值守安装Centos7系统

    Linux – 无人值守安装服务 需求分析 – 使用光盘镜像来安装 Linux 系统的方式; 坦白讲, 该方法适用于只安装少量 Linux 系统的情况, 如果生产环境中…

    Linux 2023年6月13日
    0117
  • MySQL 新增表分区很慢,转移大表数据

    问题: MySQL (version 5.7.26) 数据库有一批表 xxx_yyy,由于评估的数据量可能比较大,因此每张表都设置了表分区,把每个月的数据保存在单独的分区里。 那么…

    Linux 2023年6月14日
    0105
  • 机器学习1

    常见的几种假设检验的实例以及对应python代码实现(包括基于图的效果展示 Z检验 t检验 χ2检验 F检验 熟悉scikit-learn及其相关应用 Numpy Numpy 优势…

    Linux 2023年6月6日
    0101
  • Docker容器网络

    Docker容器网络 1、Docker容器网络 Docker在安装后自动提供3种网络,可以使用`docker network ls命令查看 [root@localhost ~]# …

    Linux 2023年6月7日
    0102
  • XXE漏洞学习

    0x00 XXE漏洞介绍: 背景:2018-7-4 微信支付SDK漏洞(XXE漏洞),攻击者可以获取服务器中目录结构,文件内容,eg:代码,各种 私钥。敏感数据泄露 0x01什么是…

    Linux 2023年6月6日
    0113
  • Docker 安装 MySQL、Redis

    1 Docker 中安装 Redis 1.1 创建目录 在硬盘上创建 redis 的数据目录: mkdir -p /Users/yygnb/dockerMe/redis/data …

    Linux 2023年6月7日
    0109
  • 数据库_存储过程简介(oracle版)

    应朋友要求,写个存储过程说明,本篇比较简单,适合新接触存储过程的同学 先来个简单的 begin dbms_output.put_line(‘my first execute’); …

    Linux 2023年6月6日
    093
  • 音视频技术入门课 -01 如何从色彩格式、帧率等参数角度看视频图像?

    本文将从视频 / 图像的原始数据格式、视频逐行 / 隔行扫描、帧率、图像分辨率、色域等几方面入手,对视频基础知识做一个整体性的了解。 看视频时会看到很多图像,是由一个个像素点组成的…

    Linux 2023年6月7日
    0140
  • CentOS7.6 单用户模式下修改root密码

    404. 抱歉,您访问的资源不存在。 可能是网址有误,或者对应的内容被删除,或者处于私有状态。 代码改变世界,联系邮箱 contact@cnblogs.com 园子的商业化努力-困…

    Linux 2023年6月7日
    0104
  • GIT使用说明

    1、Git入门教程 1.1:Git入门与使用 (一) Git介绍与安装 1.2:Git入门与使用 (二) Git相关命令的介绍与使用 1.3:Git入门与使用 (三) 使用GitH…

    Linux 2023年6月13日
    0114
  • SQLI-LABS(Less-2)

    Less-2(GET-Error based-Intiger based) 打开 Less-2页面,可以看到页面中间有一句 Please input the ID as param…

    Linux 2023年6月6日
    093
  • MySQL(一)——查看密码与修改

    查看数据库密码,策略与修改 RPM安装: 源码安装: 进入:数据库 进入数据库后第一步设置密码: 查看密码策略 修改密码策略,长度 0宽容模式 混合模式,0关闭大小写 特殊字符 O…

    Linux 2023年6月13日
    091
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球