Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了Cygwin的RSYNC用于大数据传输大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

我正在使用Cygwin的rsync从老化的HP MSA 1000到连接到不同服务器的新DAS进行大规模数据传输.我在远程服务器上以只读模式运行守护程序,并将本地副本写入磁盘. 我的一台服务器是一个图像存储库,其中有超过一百万个文件分布在大约300个目录中.每个文件平均只有几百千字节.比其他任何一个盒子都要多,这个问题证明是有问题的. rsync进程将工作一段时间 – 有时是20分钟,有时是一小时
我正在使用Cygwin的rsync从老化的HP MSA 1000到连接到不同服务器的新DAS进行大规模数据传输.我在远程服务器上以只读模式运行守护程序,并将本地副本写入磁盘. @H_489_16@我的一台服务器是一个图像存储库,其中有超过一百万个文件分布在大约300个目录中.每个文件平均只有几百千字节.比其他任何一个盒子都要多,这个问题证明是有问题的.

@H_489_16@rsync进程将工作一段时间 – 有时是20分钟,有时是一小时 – 然后它只是退出并以给定的文件名闲置.

@H_489_16@我已验证该文件在远程服务器上没有损坏,并且该文件在本地驱动器上成功创建.我在-vv模式下运行rsync客户端,它不返回任何内容.我检查了守护进程创建的日志.我查看了接口上的网络利用率,它正处于空闲状态.我查看了AV设置,看看是否有任何问题可能造成问题.我甚至更新到Cygwin的最新版本.

@H_489_16@为了保持这种连接,我需要什么?

@H_489_16@编辑:

@H_489_16@客户端系统正在使用该命令

rsync.exe server::Drives/f/Repo/ /cygdrive/T/Repo --archive -P  -vv
@H_489_16@服务器正在使用该命令
rsync.exe –daemon –no-detach –config“rsyncd.conf”

@H_489_16@rsyncd.conf的内容

use chroot = false
Strict modes = false
hosts allow = 192.168.100.9
log file = c:/rsyncd.log
uid=0
gid=0

[Drives]
path = /cygdrive
read only = yes
@H_489_16@编辑:

@H_489_16@文件服务器是2003,阵列上的磁盘类型是GPT,阵列的大小约为4 TB.

@H_489_16@编辑:

@H_489_16@陌生人..看起来这个过程在大约175,000个文件可靠地出错.当我选择同一个目录时,Rsync运行正常.

@H_489_16@编辑:

rsync  version 3.0.9  protocol version 30
Copyright (C) 1996-2011 by Andrew Tridgell,Wayne Davison,and others.
Web site: http://rsync.samba.org/
Capabilities:
    64-bit files,64-bit inums,32-bit timestamps,64-bit long ints,no socketpairs,hardlinks,symlinks,IPv6,batchfiles,inplace,append,ACLs,xattrs,iconv,symtimes
@H_489_16@从使用Cygwin的同一组文件转到Linux安装时发生类似的故障.然而,直到比正常时间晚几个小时才发生.

解决方法

你没有说总数据量,所以我不能确定,但​​我之前在类似大小的存储库上使用过rsync.到目前为止,我还没有遇到过这个问题.我的绝大部分用途是在Linux / Unix设备上,偶尔只运行Windows. @H_489_16@要弄清楚实际发生了什么,你可能想尝试使用额外的-v参数运行rsync,看看你是否可以获得足够的细节来查看它挂起时它正在做什么.如果这没有帮助,您可以虑在strace或ltrace下运行rsync.

@H_489_16@作为解决方法,您可以尝试使用–include-from = FILE指定要包含的目录列表,然后列出您提到的300个目录.我不确定这是否会遇到你所看到的同一个问题.

@H_489_16@如果这不起作用,你可以循环遍历目录列表和每个单独的rsync,例如:

for DIR in $(cat file_of_dirs); \
do rsync.exe server::Drives/f/Repo/$DIR /cygdrive/T/Repo --archive -P -vv; \
done
@H_489_16@(写给bash / bourne sHell,因为你说你安装了Cygwin.可以在行的末尾没有尾部斜杠的情况下完成一行.)

@H_489_16@显然,这并没有回答为什么rsync会为你挂起的问题,但它应该让你的文件再次同步.

大佬总结

以上是大佬教程为你收集整理的Cygwin的RSYNC用于大数据传输全部内容,希望文章能够帮你解决Cygwin的RSYNC用于大数据传输所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。