Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了如何加速小文件的rsync大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
@H_607_2@

概述

我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器: rsync -zr –delete / home / user / user@10.1.1.1 :: BACkup 目前转移需要很长时间(我还没有计时).有没有办法让这更快?@R_714_10675@用其他工具吗?我应该在ssh上使用rsync而不是使用rsync协议吗? 您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zore
@H_607_2@
@H_607_2@ @H_607_2@
我正在尝试使用以下命令将数千个小文件一个服务器传输到另一个服务器:

rsync -zr –delete / home / user / user@10.1.1.1 :: BACkup

目前转移需要很长时间(我还没有计时).有没有办法让这更快?@R_714_10675@用其他工具吗?我应该在ssh上使用rsync而不是使用rsync协议吗?

@H_607_2@

解决方法

您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zoredache所说,很可能是所有stat()调用产生的大量iops.任何同步工具都需要@L_674_6@文件.同步运行iostat以验证.

所以问题就变成了;我该如何优化stat?两个简单的答案:

>获得更快的磁盘子系统(如果需要,在两台主机上)和
>调整文件系统(例如,使用Noatime进行ext3安装并添加dir_indeX).

如果有可能不是你的磁盘iops是限制,那么你可以尝试将目录树拆分成多个不同的树并运行多个rsyncs.

@H_607_2@ @H_607_2@@H_607_2@

大佬总结

以上是大佬教程为你收集整理的如何加速小文件的rsync全部内容,希望文章能够帮你解决如何加速小文件的rsync所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。