沙滩星空的博客沙滩星空的博客

使用rsync备份数据

安装

# Debian
$ sudo apt-get install rsync

# Red Hat
$ sudo yum install rsync

# Arch Linux
$ sudo pacman -S rsync

命令选项

-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。
-n --dry-run :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive:递归到目录中去。
-t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新检查出mtime不同从而导致增量传输无效。
-o --owner:保持owner属性(属主)。
-g --group:保持group属性(属组)。
-p --perms:保持perms属性(权限,不包括特殊权限)。
-D :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。
-l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。
-z :传输时进行压缩提高效率。
-R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。
--size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。
-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。
-d --dirs :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。
--max-size :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")
--min-size :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude :指定排除规则来排除不需要传输的文件。
--delete :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在exclude/include规则生效之后才执行的。
-b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。
--backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e :指定所要使用的远程shell程序,默认为ssh。
--port :连接daemon时使用的端口号,默认为873端口。
--password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。
-W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。
--existing :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。
--remove-source-files:要求删除源端已经成功传输的文件。

增量备份

rsync 支持使用基准目录,将源目录与基准目录之间变动的部分,同步到目标目录。

  1. 使用 增量备份 前,先做 全量备份全量备份软链接,作为下次 增量备份基准目录
  2. 创建 基准目录 后,可使用 增量备份,源目录与 基准目录 的变动部分,保存在新的 增量备份 中。
  3. 新的 增量备份 中,也包含着 基准目录 中所有文件的 硬链接

增量备份示例

固定基准目录。可以一个月重建1次基准目录。

#!/bin/sh

SOURCE_DIR="sshalias:/root/docker/data/mysql8"
BACKUP_DIR="/home/root/nfsdir/backup"
DATETIME="$(date '+%Y%m%d_%H%M')"
BACKUP_PATH="${BACKUP_DIR}/mysql8_add/mysql8_${DATETIME}"
LINK_DEST="${BACKUP_DIR}/mysql8_base"

if [ ! -d ${LINK_DEST} ]; then
    echo "${LINK_DEST} not exists. create full backup:\n"
    rsync -trv --delete "${SOURCE_DIR}/" "${LINK_DEST}"
    exit 0
else
    rsync -trv --delete --link-dest="${LINK_DEST}" "${SOURCE_DIR}/" "${BACKUP_PATH}"
fi
find "$BACKUP_DIR/mysql8_add" -maxdepth 1 -type d -ctime +10 | xargs rm -rf

使用软链接,动态指定基准目录。


#!/bin/sh

SOURCE_DIR="/mnt/dnmp/data/mysql5"
BACKUP_DIR="/mnt/backup"
DATETIME="$(date '+%Y_%m_%d_%H_%M')"
BACKUP_PATH="${BACKUP_DIR}/mysql5_${DATETIME}"
LATEST_LINK="${BACKUP_DIR}/mysql5_latest"

if [ ! -L ${LATEST_LINK} ]; then
    echo "${LATEST_LINK} not exists"
    rsync -av --delete "${SOURCE_DIR}/" "${BACKUP_PATH}"
    ln -s "${BACKUP_PATH}" "${LATEST_LINK}"
    exit 0
fi
rsync -av --delete --link-dest="${LATEST_LINK}" "${SOURCE_DIR}/" "${BACKUP_PATH}"
unlink "${LATEST_LINK}"
ln -s "${BACKUP_PATH}" "${LATEST_LINK}"
find ${BACKUP_DIR} -maxdepth 1 -type d -ctime +10 | xargs rm -rf

删除10天前的数据

使用以下命令之一删除旧数据。推荐使用管道命令,更高效

find /path/to/base/dir/* -type d -ctime +10 -exec rm -rf {} \;
find /path/to/base/dir/* -type d -ctime +10 | xargs rm -rf

find:用于查找文件/目录/链接等的unix命令
/path/to/base/dir:开始搜索的目录。
-type d:只能找到目录
-ctime +10:只考虑修改时间超过10天的修改时间
-exec ... \;:对于找到的每个此类结果,请执行以下命令 ...
rm -rf {}:递归强制删除目录; 该{}部分是查找结果从前一部分代入的位置。


第2章 rsync(一):基本命令和用法 https://www.cnblogs.com/f-ck-need-u/p/7220009.html
rsync官方手册 https://download.samba.org/pub/rsync/rsync.1
rsync 用法教程 http://www.ruanyifeng.com/blog/2020/08/rsync.html
Shell判断文件或目录是否存在 https://blog.csdn.net/m0_38039437/article/details/100160042
shell 编程中空格的使用方法 https://blog.csdn.net/charlotle/article/details/52291785
Shell脚本删除n天以前的目录 https://cloud.tencent.com/developer/ask/73640

未经允许不得转载:沙滩星空的博客 » 使用rsync备份数据

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址