日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Rsync + Sersync 实现数据增量同步

發布時間:2025/3/21 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Rsync + Sersync 实现数据增量同步 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

部分引用自:https://blog.csdn.net/tmchongye/article/details/68956808

一、什么是Rsync?

  Rsync(Remote Synchronize)是一款開源的、快速的、多功能的、可以實現全量及增量的本地或遠程數據同步備份的優秀工具,并且支持多種操作系統平臺運行。

  官網文檔:https://rsync.samba.org/ftp/rsync/rsync.html

二、Rsync簡介

  1、Rsync具有本地與遠程兩臺主機之間的數據快速復制同步鏡像、遠程備份等功能,該功能類似scp,但是優于scp功能,還具有本地不同分區目錄之間全量及增量復制數據。

  2、Rsync同步數據鏡像時,通過“quick check”算法,僅同步大小或最后修改時間發生變化的文件或目錄,當然也可以根據權限,屬主等屬性變化的同步,所以可以實現快速同步。

  3、rsync 具有如下的基本特性:

    a、可以鏡像保存整個目錄樹和文件系統

    b、可以很容易做到保持原來文件的權限、時間、軟硬鏈接等

    c、無須特殊權限即可安裝

    d、優化的流程,文件傳輸效率高

    e、可以使用 rsh、ssh 方式來傳輸文件,當然也可以通過直接的 socket 連接

    f、支持匿名傳輸,以方便進行網站鏡象

三、Rsync命令格式

  1、本地: ?rsync [OPTION...] SRC... [DEST]?

  2、通過shell遠程訪問: ?

    ?拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST] ?

    ?推送: rsync [OPTION...] SRC... [USER@]HOST:DEST?

  3、通過rsync守護進程訪問: ?

    ?拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]? ? ? ? ??

      rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]??

    ?推送: rsync [OPTION...] SRC... [USER@]HOST::DEST? ? ? ? ??

      rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

四、什么Sersync?

  1、sersync是基于inotify開發的,類似于inotify-tools的工具,Sersync可以記錄下被監聽目錄中發生變化的(包括增加、刪除、修改)具體某一個文件或者某一個目錄的名字,然后使用rsync同步的時候,只同步發生變化的文件或者目錄,因此效率更高。

  2、主要應用場景為數據體積大,并且文件很多。

  3、網站:https://code.google.com(需要FQ)

五、測試環境

  主機1:192.168.30.41  操作系統:Centos7.5  角色:sync server

  主機2:192.168.30.42  操作系統:Centos7.5  角色:sync client,sersync 端

六、主機1編譯安裝Rsync

  1、首先卸載本機rsync

    yum remove -y?rsync

  2、下載軟件并上傳(需FQ)

    wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz

  3、解壓包并編譯

    mkdir -p /application/rsync

    tar -zxvf /application/rsync-3.1.3.tar.gz

    cd /application/rsync-3.1.3

    ./configure --prefix=/application/sync

    make && make install

    rm -rf? /application/rsync-3.1.3.tar.gz? ?/application/rsync-3.1.3

  4、配置環境變量和建立軟連接

    vim?/etc/profile.d/rsync.sh 添加  

      #!/bin/sh
      export PATH=$PATH:/application/rsync/bin

?    ln -s?/application/rsync/bin/rsync /usr/local/bin/

  5.查看當前版本

    ?rsync --version

  6、創建相應文件夾

    mkdir -p /application/rsync/{conf,data,logs,passwd}

  7、編輯相應配置文件

    a、vim?/application/rsync/conf/rsyncd.conf 添加如下內容

uid = rsync gid = rsync port = 873 use chroot = on max connections = 200 timeout = 120 pid file = /application/rsync/logs/rsyncd.pid lock file = /application/rsync/logs/rsyncd.lock log file = /application/rsync/logs/rsyncd.log[bakup] ignore errors path = /application/rsync/data read only = false list = false #hosts allow = all #host deny = 0.0.0.0/32 auth users = rsync_bakup secrets file = /application/rsync/passwd/rsyncd.password

    b、創建密碼文件

      echo "rsync_bakup:123456"??/application/rsync/passwd/rsyncd.password? ?#密碼文件中格式為 賬號:密碼,賬號為配置文件中對應模塊的auth users項中的賬號。

    c、修改密碼文件權限

      chmod 600?/application/rsync/passwd/rsyncd.password

    d、修改數據目錄文件權限

      chown rsync:rsync?/application/rsync/data

  8、啟動服務

    /application/rsync/bin/rsync --daemon --config /application/rsync/conf/rsyncd.conf

    查看服務是否啟動

    

七、主機2安裝rsync客戶端

  1、yum install -y rsync即可

  2、編輯密碼文件并給相應的權限

    echo "123456"?/etc/rsyncd.password  #文件中寫入鏈接rsync server賬號rsync_bakup的密碼即可。

    chmod 600?/etc/rsyncd.password

  3、向服務端推送數據

    touch test.txt? #文件所有用戶需要有讀權限才可以推送

    rsync -avzP test.txt? rsync_bakup@192.168.30.41::bakup --password-file=/etc/rsyncd.password

  4、從服務端拉取數據

?    rsync -avzP rsync_bakup@192.168.30.41::bakup? /tmp --password-file=/etc/rsyncd.password

八、主機2安裝Sersync

  1、下載

    wget? https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

  2、解壓并將對應文件拷貝至對應文件夾

    mkdir -p?/application/sersync/{bin,conf,logs}

    tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

    mv ?GNU-Linux-x86/sersync2?/application/sersync/bin

    mv ?GNU-Linux-x86/confxml.xml??/application/sersync/conf

  3、配置環境變量

    vim ?/etc/profile.d/sersync.sh

    添加內容

      #!/bin/sh
      export PATH=$PATH:/application/sersync/bin

    source?/etc/profile.d/sersync.sh

  4、備份配置文件然后修改

    cp /application/sersync/conf/confxml.xml? /application/sersync/conf/confxml.xmlbk

    vim? /application/sersync/conf/confxml.xml修改成如下內容

<?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5"># 設置本地IP和端口<host hostip="localhost" port="8008"></host># 開啟DUBUG模式 <debug start="false"/># 開啟xfs文件系統 <fileSystem xfs="false"/># 同步時忽略推送的文件(正則表達式),默認關閉 <filter start="false"><exclude expression="(.*)\.svn"></exclude><exclude expression="(.*)\.gz"></exclude><exclude expression="^info/*"></exclude><exclude expression="^static/*"></exclude></filter># 設置要監控的事件 <inotify><delete start="true"/><createFolder start="true"/><createFile start="true"/><closeWrite start="true"/><moveFrom start="true"/><moveTo start="true"/><attrib start="false"/><modify start="false"/></inotify><sersync># 本地監視目錄路徑 <localpath watch="/application/rsync/data">#定義同步Server ip和模塊 <remote ip="192.168.30.41" name="bakup"/></localpath><rsync># rsync指令參數 <commonParams params="-artuz"/># rsync同步認證 <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/># 設置rsync遠程服務端口,非默認端口需要打開自定義(若開啟rsync+ssh, 則這里需定義SSH端口) <userDefinedPort start="false" port="874"/><!-- port=874 --># 設置超時時間 <timeout start="false" time="100"/><!-- timeout=100 --># 設置rsync+ssh加密傳輸模式,默認關閉,開啟需設置SSH加密證書 <ssh start="false"/></rsync># sersync傳輸失敗日志腳本路徑,每隔60會重新執行該腳本,執行完畢會自動清空。 <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--># 設置rsync定時傳輸,默認關閉 <crontab start="false" schedule="600"><!--600mins--><crontabfilter start="false"><exclude expression="*.php"></exclude><exclude expression="info/*"></exclude></crontabfilter></crontab># 設置sersync傳輸后調用name指定的插件腳本,默認關閉 <plugin start="false" name="command"/></sersync># 插件腳本范例 <plugin name="command"><param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix--><filter start="false"><include expression="(.*)\.php"/><include expression="(.*)\.sh"/></filter></plugin># 插件腳本范例<plugin name="socket"><localpath watch="/opt/tongbu"><deshost ip="192.168.138.20" port="8009"/></localpath></plugin><plugin name="refreshCDN"><localpath watch="/data0/htdocs/cms.xoyo.com/site/"><cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/><sendurl base="http://pic.xoyo.com/cms"/><regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/></localpath></plugin> </head>

  5、啟動

    /application/sersync/bin/sersync2 -d -r -o /application/sersync/conf/confxml.xml

  6、測試

    cd /application/rsync/data?

    for f in `seq 10`;do touch $f;done

    完成后查看服務端對應模塊路徑下是否有相應文件,若同步表示成功。

轉載于:https://www.cnblogs.com/Presley-lpc/p/10156745.html

總結

以上是生活随笔為你收集整理的Rsync + Sersync 实现数据增量同步的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。