Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了Rsync庞大的小文件数据集5TB,M小文件大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件. 我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G! 我试图改变rsync开关,但仍然没有运气. 以下是当前在服务器上运行的没有任何进度指示的内容: rsync -avhWc –no-compress –pr
我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件.
我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G!
我试图改变rsync开关,但仍然没有运气.
以下是当前在服务器上运行的没有任何进度指示的内容
rsync -avhWc –no-compress –progress源目标
有人建议使用gigasync,但 github和网站不可用.
任何人都可以建议传输文件方法吗?
感谢任何帮助

解决方法

试试xargs rsync:
find . -type f -print0 | xargs -J % -0 rsync -aP % user@host:some/dir/

您可以使用-n控制每次调用rsync作为源传递的文件
例如.在每个rsync复制200个文件

find . -type f -print0 | xargs -n 200 -J % -0 rsync -aP % user@host:some/dir/

如果它太慢,您可以与-P选项并行运行多个rsync副本:

find . -type f -print0 | xargs -P 8 -n 200 -J % -0 rsync -aP % user@host:some/dir/

这将并行启动8个rsync副本.

@H_262_43@

大佬总结

以上是大佬教程为你收集整理的Rsync庞大的小文件数据集5TB,M小文件全部内容,希望文章能够帮你解决Rsync庞大的小文件数据集5TB,M小文件所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。