Rsync同步备份服务器数据解决方案

蜗牛 美国服务器 2022-08-03 16 0

一、rsync概述

rsync是linux系统下的数据镜像备份工具,使用快速增量备份工具remote sync可以远程同步,可以在不同主机之间进行同步,可以实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本地复制,或者与其他ssh、rsync主机同步。

二、rsync特性和有点

1)可以镜像保存整个目录树和文件系统

2)可以很容易做到保持原来文件的权限、时间、软硬链接等等。

3)无须特殊权限即可安装

4)快速:第一次同步时rsync复制全部内容,但在下一次值传输修改过的内容

5)压缩传输:rysnc在传输的过程中可以实行压缩及解压缩操作,可以使用更少的带宽

6)安全:可以使用scp、ssh等方式来进行文件传输

7)支持匿名传输,以方便进行网站镜像

8)选择性保持:符号链接、硬链接、文件属性、权限、时间等

三、rync原理

1、运行模式和端口

1)采用C/S模式(实际上是一个点到点的传输,直接使用rsync命令即可完成)

2)rsync监听的端口是:873

2、四个名字的解释

1)发起端:负责发起rsync同步操作的客户端叫做发起端。通知服务器我要备份你的数据

2)备份源:负责响应来自客户端rsync同步操作的服务器叫做备份源,需要备份的服务器

3)服务端:运行rsyncd服务,一般来说,需要备份的服务器

4)客户端:存放备份数据。

3、数据同步方式

1)推push:一台主机负责吧数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况

2)拉pull:所有主机定时去找一台主机拉数据,可能就会导致数据缓慢

推:目的主机配置为rsync服务器,源主机周期性的使用rysnc命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)

拉:源主机配置为rysnc服务器,目的主机周期性的使用rync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)

四、rsync服务安装

1、由于rsync服务依赖xinetd服务,是使用超级服务来管理的,因此需要在目标机器上安装xined、rsync服务端

两台服务器都需要安装:

xuegod200是源主机;xuegod210是目标主机

  1. [root@xuegod200 ~]# yum -y install xinetd rsync
  2. [root@xuegod210 ~]# yum -y install xinetd rsync
  3. [root@xuegod210 ~]# rsync --daemon #启动守护进程
  4. [root@xuegod210 ~]# netstat -antup | grep rsync #查看rsync端口是否监听
  5. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync
  6. tcp6 0 0 :::873 ::? LISTEN 1706/rsync

2、rsynv命令选项

(1) -a:–archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等。

(2) -r:–recursive 复制所有下面的资料,递归处理。

(3) -p:–perms 保留档案权限,文件原有属性。

(4) -t:–times 保留时间点,文件原有时间。

(5) -g:–group 保留原有属组。

(6) -o:–owner 保留档案所有者(root only)。

(7) -D:–devices 保留device资讯(root only)。

(8) -l:–links 复制所有的连接,拷贝连接文件。

(9) -z:–compress 压缩模式,当资料在传送到目的端进行档案压缩。

(10) -H:–hard-links 保留硬链接文件。

(11) -A:–acls 保留ACL属性文件,需要配合–perms。

(12) -P:-P参数和 --partial --progress 相同,只是为了把参数简单化,表示传进度。

(13) --version:输出rsync版本。

(14) -v:–verbose 复杂的输出信息。

(15) -u:–update 仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文件,不覆盖新的文件。

(16) --port=PORT:定义rsyncd(daemon)要运行的port(预设为tcp 873)。

(17) --delete:删除那些目标位置有的文件而备份源没有的文件。

(18) --password-file=FILE :从 指定密码文件中获取密码。

(19) --bwlimit=KBPS:限制 I/O 带宽。

(20) --filter “-filename”:需要过滤的文件。

(21) --exclude=filname:需要过滤的文件。

(22) --progress:显示备份过程。

注释:通常常用的选项 –avz

-z的命令一般用在小文件进行压缩,数据量比较大的文件在传输的过程中就比较慢,如果再压缩传输会更加慢。所以根据需求来选择是否需要加这个参数

五、使用rsynv备份数据

例1:对xuegod63网站根目录/var/www/html目录备份到xuegod64的/web-back

服务器:xuegod63

客户端:xuegod64

步骤:

1、建立测试用户并增加密码(两台主机都需要操作)

  1. [root@xuegod200 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1
  2. [root@xuegod210 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1

2、创建/var/www/html目录,使用acl命令不修改原有属组和属主的情况下,给目录增加rget1的rwx

  1. [root@xuegod200 ~]# mkdir -p /var/www/html
  2. [root@xuegod200 ~]# setfacl -R -m user:rget1:rwx /var/www/html
  3. [root@xuegod200 ~]# setfacl -R -m default:rget1:rwx /var/www/html
  4. [root@xuegod200 ~]# getfacl /var/www/html/

3、cp备份数据

  1. [root@xuegod200 ~]# cp -r /boot/* /var/www/html/
  2. [root@xuegod200~]# ll !$

4、到xuegod64上创建备份目录 并授权rget1用户权限

  1. [root@xuegod210 ~]# mkdir /web-back
  2. [root@xuegod210 ~]# chown rget1: /web-back/
  3. [root@xuegod210 ~]# ll /web-back/ -d
  4. drwxr-xr-x 2 rget1 rget1 6 5月 13 23:16 /web-back/

5、使用rsync命令拷贝数据

使用rget1用户来进行拷贝

  1. [root@xuegod200 ~]# rsync -avz /var/www/html/ rget1@xuegod210:/web-back/ #回车后输入对端密码

6、使用虚拟用户备份数据

1、rsync配置文件参数的详解

注释:centos7安装命令后自动生成,centos6安装命令后需要手动创建配置文件,不会自动生成

1)rsyncd.conf配置文件:

配置文件分为两部分:全局参数、模块参数。

全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数最终生效。

模块参数:定义需要通过rsync输出的目录定义的参数。

2)全局参数模块:

port #指定后台程序使用的端口号,默认为873。

uid #该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是" nobody"。

gid #该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

max connections #指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。默认值是0,也就是没有限制。

lock file #指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。

motd file #" motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认是没有motd文件的。

log file #" log file"指定rsync的日志文件,而不将日志发送给syslog。

pid file #指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置。

hosts allow = #单个IP地址或网络地址,允许访问的客户机地址。

3) 常见的模块参数:

主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

|Comment| | #给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path #指定该模块的供备份的目录树路径,该参数是必须指定的。

read only #yes为只允许下载,no为可以下载和上传文件到服务器。

exclude #用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)

exclude from #指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义,每个文件或目录需要占用一行

include #用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。

include from #指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。

auth users #该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

secrets file #该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,否则客户端将不能连接服务器。

hosts allow #指定哪些IP的客户允许连接该模块。定义可以是以下形式:

单个IP地址,例如:192.167.0.1,多个IP或网段需要用空格隔开。

整个网段,例如:192.168.0.0/24,也可以书写为192.168.0.0/255.255.255.0

“*”则表示所有,默认是允许所有主机连接。

hosts deny #指定不允许连接rsync服务器的机器,可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

list #该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为false,可以创建隐藏的模块。默认值是true。

timeout #通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600

2、例:用配置文件定义目录输出

1)修改rsync配置文件

  1. [root@xuegod210 etc]# cat rsyncd.conf | grep -v “$|#”
  2. uid = root #运行进程的身份
  3. gid = root #运行进程的组
  4. address =192.168.11.210 #监听的IP地址,本服务器的IP地址,写错会无法启动rsync服务
  5. port =873 #监听端口
  6. hosts allow =192.168.11.0/24 #白名单,允许同步的客户端的IP地址,可是网段或IP地址,*表示所有IP
  7. use chroot = yes #是否锁定家目录,锁定后,无法修改其它目录
  8. max connections =5 #最大链接数
  9. pid file =/var/run/rsyncd.pid #进程PID文件,自动生成
  10. lock file =/var/run/rsync.lock #max connections参数的锁文件
  11. log file =/var/log/rsyncd.log #rsync的日志文件位置
  12. motd file =/etc/rsyncd.motd #登录提示信息,需要手动创建
  13. [wwwroot] #共享模块名称
  14. path =/web-back/ #路径,存放的路径
  15. comment = used for web-data root #描述信息
  16. read only = false #设置服务端文件的读写权限
  17. list = yes #是否允许查看模块信息
  18. auth users = rsyncuser #虚拟用户
  19. secrets file =/etc/rsync.passwd #密码文件,需要手动创建。格式:用户名:密码

2)创建相关文件并修改文件权限

创建提示信息文件

  1. [root@xuegod210 etc]# echo “Welcome to Backup Server” >
  2. /etc/rsyncd.motd
  3. [root@xuegod210 ~]# chmod 600 /etc/rsyncd.motd

创建密码文件

  1. [root@xuegod210 etc]# echo “rsyncuser:password123” > /etc/rsync.passwd
  2. [root@xuegod210 ~]# chmod 600 /etc/rsync.passwd #修改密码文件的权限

3)启动服务(启动rsync和xinetd服务)

  1. [root@xuegod210 etc]# systemctl start xinetd
  2. [root@xuegod210 etc]# systemctl enable xinetd
  3. [root@xuegod210 etc]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文件
  4. [root@xuegod210 etc]# !nets
  5. netstat -antup | grep rsync
  6. tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync

4)测试

语法:rsync 选项 用户名@备份源服务器ip::共享模块名 目标目录

  1. [root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot

5)密码处理

新建一个文件保存好密码,然后在rsync命令中使用–password-file指定次文件即可

  1. [root@xuegod200 ~]# echo “password123” >> /root/passwd
  2. [root@xuegod200 ~]# chmod 600 passwd
  3. [root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot --password-file=/root/passwd #指定文件 

6)脚本实现定时自动备份

  1. [root@xuegod200 ~]# vim autobackup.sh #编写脚本。
  2. #!/bin/bash
  3. rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot – password-file=/etc/rsync.passwd

7)定义计划任务实现定时备份

  1. [root@xuegod63 ~]# echo “01 3 * * * sh /root/autoback.sh &” >> /var/spool/cron/root 

注释:

1、address监听的地址,必须是rsync服务端的地址

2、创建的密码文件和登录提示文件的权限必须修改为600,不然执行rsync命令会报错

六、rsync+sersync实现数据实时同步

一台装sersync、一台装rsync服务

sersync服务器(数据源、源主机):192.168.11.200

sysnc客户端(备份端、目标机器):192。168.11.210

1、安装sersync安装包(上传rpm包到服务器,然后进行解压缩)

  1. [root@xuegod200 opt]# tar xf
  2. sersync2.5.4_64bit_binary_stable_final.tar.gz
  3. [root@xuegod200 opt]# mv GNU-Linux-x86/ sersync #改一个容易记得名字
  4. [root@xuegod200 opt]# ls
  5. rh sersync sersync2.5.4_64bit_binary_stable_final.tar.gz

注意:sersync是一个二进制安装包,不需要进行安装,直接tar解压后,可以直接使用

  1. [root@xuegod200 opt]# cd rsync/
  2. [root@xuegod200 sersync]# ls #这两个文件都是可执行文件
  3. confxml.xml sersync2

2、配置sersync

  1. [root@xuegod200 sersync]# cp confxml.xml confxml.xml.bak #修改配置前,先备份

2.1 修改配置文件中的24–28行,如下所示。

  1. [root@xuegod200 sersync]# vim confxml.xml
  2. <sersync>
  3. <localpath watch="/var/www/html"> #本地同步数据目录。
  4. <remote ip=“192.168.11.210” name=“wwwroot”/> #rsync模块名称

2.2 修改31–34行,认证部分(rsync密码认证)

  1. <rsync>
  2. <commonParams params="-artuz"/>
  3. <auth start=“true” users=“rsyncuser” passwordfile="/etc/rsync.passwd"/>
  4. <userDefinedPort start=“false” port=“874”/>
  5. <timeout start=“false” time=“100”/>
  6. <ssh start=“false”/>

 2.3 在服务端创建一个密码文件,因为配置文件需要调用密码文件

  1.  [root@xuegod130 html]# echo passwd123 > /etc/rsync.passwd
  2.  [root@xuegod130 html]# chmod 600 /etc/rsync.passwd

2.4 开启serysnc守护进程同步数据

  1. [root@xuegod200 sersync]# /opt/sersync/sersync2 -d -r -o
  2. /opt/sersync/confxml.xml

3、测试

在200的/var/www/html目录下增加、删除或修改目录文件,查看210的/web-back/目录的变化

  1. [root@xuegod210 web-back]# watch ls -l

4、设置sersync监控开机自动执行

  1. [root@xuegod200 ~]# vim /etc/rc.d/rc.local
  2. [root@xuegod200 ~]# tail -1 !$
  3. tail -1 /etc/rc.d/rc.local
  4. /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

5、添加脚本监控sersync是否正常运行 

  1. [root@xuegod200 ~]# vim /opt/check_sersync.sh
  2. [root@xuegod200 ~]# cat !$
  3. cat /opt/check_sersync.sh
  4. #!/bin/bash
  5. sersync="/opt/sersync/sersync2"
  6. confxml="/opt/sersync/confxml.xml"
  7. status=$(ps aux|grep ‘sersync2’|grep -v ‘grep’|wc -l)
  8. if [ $status -eq 0 ];then
  9. $sersync -d -r -o $confxml &
  10. else
  11. exit 0
  12. fi

6、将脚本添加到定时任务,定义检查sersync是否正常

  1. [root@xuegod200 ~]# crontab -e
  2. no crontab for root - using an empty one
  3. crontab: installing new crontab
  4. [root@xuegod200 ~]# crontab -l
  5. 0 12 * * * sh /opt/check_sersync.sh

来源:https://blog.csdn.net/weixin_41843699/article/details/90246940

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:niceseo99@gmail.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

评论