Rsync同步备份服务器数据解决方案

一、rsync概述

rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具remote sync可以远程同步，可以在不同主机之间进行同步，可以实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本地复制，或者与其他ssh、rsync主机同步。

二、rsync特性和有点

1）可以镜像保存整个目录树和文件系统

2）可以很容易做到保持原来文件的权限、时间、软硬链接等等。

3）无须特殊权限即可安装

4）快速：第一次同步时rsync复制全部内容，但在下一次值传输修改过的内容

5）压缩传输：rysnc在传输的过程中可以实行压缩及解压缩操作，可以使用更少的带宽

6）安全：可以使用scp、ssh等方式来进行文件传输

7）支持匿名传输，以方便进行网站镜像

8）选择性保持：符号链接、硬链接、文件属性、权限、时间等

三、rync原理

1、运行模式和端口

1）采用C/S模式（实际上是一个点到点的传输，直接使用rsync命令即可完成）

2）rsync监听的端口是：873

2、四个名字的解释

1）发起端：负责发起rsync同步操作的客户端叫做发起端。通知服务器我要备份你的数据

2）备份源：负责响应来自客户端rsync同步操作的服务器叫做备份源，需要备份的服务器

3）服务端：运行rsyncd服务，一般来说，需要备份的服务器

4）客户端：存放备份数据。

3、数据同步方式

1）推push：一台主机负责吧数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况

2）拉pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢

推：目的主机配置为rsync服务器，源主机周期性的使用rysnc命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）

拉：源主机配置为rysnc服务器，目的主机周期性的使用rync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）

四、rsync服务安装

1、由于rsync服务依赖xinetd服务，是使用超级服务来管理的，因此需要在目标机器上安装xined、rsync服务端

两台服务器都需要安装：

xuegod200是源主机；xuegod210是目标主机

1. [root@xuegod200 ~]# yum -y install xinetd rsync
2. [root@xuegod210 ~]# yum -y install xinetd rsync
3. [root@xuegod210 ~]# rsync --daemon #启动守护进程
4. [root@xuegod210 ~]# netstat -antup | grep rsync #查看rsync端口是否监听
5. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync
6. tcp6 0 0 :::873 ::? LISTEN 1706/rsync

2、rsynv命令选项

(1) -a：–archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。

(2) -r：–recursive 复制所有下面的资料，递归处理。

(3) -p：–perms 保留档案权限，文件原有属性。

(4) -t：–times 保留时间点，文件原有时间。

(5) -g：–group 保留原有属组。

(6) -o：–owner 保留档案所有者(root only)。

(7) -D：–devices 保留device资讯(root only)。

(8) -l：–links 复制所有的连接，拷贝连接文件。

(9) -z：–compress 压缩模式，当资料在传送到目的端进行档案压缩。

(10) -H：–hard-links 保留硬链接文件。

(11) -A：–acls 保留ACL属性文件，需要配合–perms。

(12) -P：-P参数和 --partial --progress 相同，只是为了把参数简单化，表示传进度。

(13) --version：输出rsync版本。

(14) -v：–verbose 复杂的输出信息。

(15) -u：–update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。

(16) --port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。

(17) --delete：删除那些目标位置有的文件而备份源没有的文件。

(18) --password-file=FILE ：从 指定密码文件中获取密码。

(19) --bwlimit=KBPS：限制 I/O 带宽。

(20) --filter “-filename”：需要过滤的文件。

(21) --exclude=filname：需要过滤的文件。

(22) --progress：显示备份过程。

注释：通常常用的选项 –avz

-z的命令一般用在小文件进行压缩，数据量比较大的文件在传输的过程中就比较慢，如果再压缩传输会更加慢。所以根据需求来选择是否需要加这个参数

五、使用rsynv备份数据

例1：对xuegod63网站根目录/var/www/html目录备份到xuegod64的/web-back

服务器：xuegod63

客户端：xuegod64

步骤：

1、建立测试用户并增加密码（两台主机都需要操作）

1. [root@xuegod200 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1
2. [root@xuegod210 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1

2、创建/var/www/html目录，使用acl命令不修改原有属组和属主的情况下，给目录增加rget1的rwx

1. [root@xuegod200 ~]# mkdir -p /var/www/html
2. [root@xuegod200 ~]# setfacl -R -m user:rget1:rwx /var/www/html
3. [root@xuegod200 ~]# setfacl -R -m default:rget1:rwx /var/www/html
4. [root@xuegod200 ~]# getfacl /var/www/html/

3、cp备份数据

1. [root@xuegod200 ~]# cp -r /boot/* /var/www/html/
2. [root@xuegod200~]# ll !$

4、到xuegod64上创建备份目录 并授权rget1用户权限

1. [root@xuegod210 ~]# mkdir /web-back
2. [root@xuegod210 ~]# chown rget1: /web-back/
3. [root@xuegod210 ~]# ll /web-back/ -d
4. drwxr-xr-x 2 rget1 rget1 6 5月 13 23:16 /web-back/

5、使用rsync命令拷贝数据

使用rget1用户来进行拷贝

1. [root@xuegod200 ~]# rsync -avz /var/www/html/ rget1@xuegod210:/web-back/ #回车后输入对端密码

6、使用虚拟用户备份数据

1、rsync配置文件参数的详解

注释：centos7安装命令后自动生成，centos6安装命令后需要手动创建配置文件，不会自动生成

1）rsyncd.conf配置文件：

配置文件分为两部分：全局参数、模块参数。

全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。

模块参数：定义需要通过rsync输出的目录定义的参数。

2）全局参数模块：

port #指定后台程序使用的端口号，默认为873。

uid #该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。

gid #该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

max connections #指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

lock file #指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file #" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。

log file #" log file"指定rsync的日志文件，而不将日志发送给syslog。

pid file #指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。

hosts allow = #单个IP地址或网络地址，允许访问的客户机地址。

3） 常见的模块参数：

主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

|Comment| | #给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path #指定该模块的供备份的目录树路径，该参数是必须指定的。

read only #yes为只允许下载，no为可以下载和上传文件到服务器。

exclude #用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传（既不可访问）

exclude from #指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行

include #用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

include from #指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

auth users #该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。

secrets file #该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。

hosts allow #指定哪些IP的客户允许连接该模块。定义可以是以下形式：

单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开。

整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0

“*”则表示所有，默认是允许所有主机连接。

hosts deny #指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

list #该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。

timeout #通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600

2、例：用配置文件定义目录输出

1）修改rsync配置文件

1. [root@xuegod210 etc]# cat rsyncd.conf | grep -v “$|#”
2. uid = root #运行进程的身份
3. gid = root #运行进程的组
4. address =192.168.11.210 #监听的IP地址，本服务器的IP地址，写错会无法启动rsync服务
5. port =873 #监听端口
6. hosts allow =192.168.11.0/24 #白名单，允许同步的客户端的IP地址，可是网段或IP地址，*表示所有IP
7. use chroot = yes #是否锁定家目录，锁定后，无法修改其它目录
8. max connections =5 #最大链接数
9. pid file =/var/run/rsyncd.pid #进程PID文件，自动生成
10. lock file =/var/run/rsync.lock #max connections参数的锁文件
11. log file =/var/log/rsyncd.log #rsync的日志文件位置
12. motd file =/etc/rsyncd.motd #登录提示信息，需要手动创建
13. [wwwroot] #共享模块名称
14. path =/web-back/ #路径，存放的路径
15. comment = used for web-data root #描述信息
16. read only = false #设置服务端文件的读写权限
17. list = yes #是否允许查看模块信息
18. auth users = rsyncuser #虚拟用户
19. secrets file =/etc/rsync.passwd #密码文件，需要手动创建。格式：用户名：密码

2）创建相关文件并修改文件权限

创建提示信息文件

1. [root@xuegod210 etc]# echo “Welcome to Backup Server” >
2. /etc/rsyncd.motd
3. [root@xuegod210 ~]# chmod 600 /etc/rsyncd.motd

创建密码文件

1. [root@xuegod210 etc]# echo “rsyncuser:password123” > /etc/rsync.passwd
2. [root@xuegod210 ~]# chmod 600 /etc/rsync.passwd #修改密码文件的权限

3）启动服务（启动rsync和xinetd服务）

1. [root@xuegod210 etc]# systemctl start xinetd
2. [root@xuegod210 etc]# systemctl enable xinetd
3. [root@xuegod210 etc]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文件
4. [root@xuegod210 etc]# !nets
5. netstat -antup | grep rsync
6. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync

4）测试

语法：rsync 选项 用户名@备份源服务器ip::共享模块名 目标目录

1. [root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot

5）密码处理

新建一个文件保存好密码，然后在rsync命令中使用–password-file指定次文件即可

1. [root@xuegod200 ~]# echo “password123” >> /root/passwd
2. [root@xuegod200 ~]# chmod 600 passwd
3. [root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot --password-file=/root/passwd #指定文件 

6）脚本实现定时自动备份

1. [root@xuegod200 ~]# vim autobackup.sh #编写脚本。
2. #!/bin/bash
3. rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot – password-file=/etc/rsync.passwd

7）定义计划任务实现定时备份

1. [root@xuegod63 ~]# echo “01 3 * * * sh /root/autoback.sh &” >> /var/spool/cron/root 

注释：

1、address监听的地址，必须是rsync服务端的地址

2、创建的密码文件和登录提示文件的权限必须修改为600，不然执行rsync命令会报错

六、rsync+sersync实现数据实时同步

一台装sersync、一台装rsync服务

sersync服务器（数据源、源主机）：192.168.11.200

sysnc客户端（备份端、目标机器）：192。168.11.210

1、安装sersync安装包（上传rpm包到服务器，然后进行解压缩）

1. [root@xuegod200 opt]# tar xf
2. sersync2.5.4_64bit_binary_stable_final.tar.gz
3. [root@xuegod200 opt]# mv GNU-Linux-x86/ sersync #改一个容易记得名字
4. [root@xuegod200 opt]# ls
5. rh sersync sersync2.5.4_64bit_binary_stable_final.tar.gz

注意：sersync是一个二进制安装包，不需要进行安装，直接tar解压后，可以直接使用

1. [root@xuegod200 opt]# cd rsync/
2. [root@xuegod200 sersync]# ls #这两个文件都是可执行文件
3. confxml.xml sersync2

2、配置sersync

1. [root@xuegod200 sersync]# cp confxml.xml confxml.xml.bak #修改配置前，先备份

2.1 修改配置文件中的24–28行，如下所示。

1. [root@xuegod200 sersync]# vim confxml.xml
2. <sersync>
3. <localpath watch="/var/www/html"> #本地同步数据目录。
4. <remote ip=“192.168.11.210” name=“wwwroot”/> #rsync模块名称

2.2 修改31–34行，认证部分（rsync密码认证）

1. <rsync>
2. <commonParams params="-artuz"/>
3. <auth start=“true” users=“rsyncuser” passwordfile="/etc/rsync.passwd"/>
4. <userDefinedPort start=“false” port=“874”/>
5. <timeout start=“false” time=“100”/>
6. <ssh start=“false”/>

 2.3 在服务端创建一个密码文件，因为配置文件需要调用密码文件

1.  [root@xuegod130 html]# echo passwd123 > /etc/rsync.passwd
2.  [root@xuegod130 html]# chmod 600 /etc/rsync.passwd

2.4 开启serysnc守护进程同步数据

1. [root@xuegod200 sersync]# /opt/sersync/sersync2 -d -r -o
2. /opt/sersync/confxml.xml

3、测试

在200的/var/www/html目录下增加、删除或修改目录文件，查看210的/web-back/目录的变化

1. [root@xuegod210 web-back]# watch ls -l

4、设置sersync监控开机自动执行

1. [root@xuegod200 ~]# vim /etc/rc.d/rc.local
2. [root@xuegod200 ~]# tail -1 !$
3. tail -1 /etc/rc.d/rc.local
4. /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

5、添加脚本监控sersync是否正常运行 

1. [root@xuegod200 ~]# vim /opt/check_sersync.sh
2. [root@xuegod200 ~]# cat !$
3. cat /opt/check_sersync.sh
4. #!/bin/bash
5. sersync="/opt/sersync/sersync2"
6. confxml="/opt/sersync/confxml.xml"
7. status=$(ps aux|grep ‘sersync2’|grep -v ‘grep’|wc -l)
8. if [ $status -eq 0 ];then
9. $sersync -d -r -o $confxml &
10. else
11. exit 0
12. fi

6、将脚本添加到定时任务，定义检查sersync是否正常

1. [root@xuegod200 ~]# crontab -e
2. no crontab for root - using an empty one
3. crontab: installing new crontab
4. [root@xuegod200 ~]# crontab -l
5. 0 12 * * * sh /opt/check_sersync.sh

来源：https://blog.csdn.net/weixin_41843699/article/details/90246940

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：niceseo99@gmail.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。