大佬教程收集整理的这篇文章主要介绍了rsync – 在两个NFS 1Gb / s文件夹之间移动9千万个文件(270GB)的最快方法,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我尝试了cp,rsync,最后http://moo.nac.uci.edu/~hjm/parsync/ parsync首先花了10个小时生成12 GB gzip的文件列表,花了40个小时后没有一个文件被复制,它工作到10个线程,直到我取消它并开始调试,我发现它正在使用-vvv选项(使用rsynC)对每个文件(来自列表)再次进行调用(stat?):
[sender] make_file(accounts/hosTingfacil/snap.2017-01-07.041721/hosTingfacil/homedir/public_html/members/vendor/composer/62ebc48e/vendor/whmcs/whmcs-foundation/lib/Domains/DomainLookup/Provider.php,*,0)*
parsync命令是:
time parsync --rsyncopts="-v -v -v" --reusecache --NP=10 --startdir=/nfsBACkup/folder1/subfolder2 thefolder /nfsBACkup2/folder1/subfolder2
每个rsync都有以下形式:
rsync --bwlimit=1000000 -v -v -v -a --files-from=/root/.parsync/kds-chunk-9 /nfsBACkup/folder1/subfolder2 /nfsBACkup2/folder1/subfolder2
NFS文件夹已挂载:
server:/export/folder/folder /nfsBACkup2 nfs auto,noexec,noatime,nolock,bg,intr,tcp,actimeo=1800,nfsvers=3,vers=3 0 0
知道如何指示rsync将列表中已有的文件从nfs复制到nfs2文件夹吗?或者任何有效制作此副本的方法(每个文件一个系统调用?)
以上是大佬教程为你收集整理的rsync – 在两个NFS 1Gb / s文件夹之间移动9千万个文件(270GB)的最快方法全部内容,希望文章能够帮你解决rsync – 在两个NFS 1Gb / s文件夹之间移动9千万个文件(270GB)的最快方法所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。