Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了rsync – 有效同步100万个文件与远程服务器的选项?大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

在我工作的公司,我们有一个叫做“播放列表”的东西,它们都是小文件,每个文件大约100-300字节.其中大约有一百万.其中大约100,000个每小时更换一次.这些播放列表需要每小时上传到不同大洲的10个其他远程服务器,理想情况下需要在2分钟内快速完成.在主服务器上删除的文件也将在所有副本上删除,这一点非常重要.我们目前使用 Linux作为基础设施. 我正在虑使用-W选项尝试rsync来复制整个文件
在我工作的公司,我们有一个叫做“播放列表”的东西,它们都是小文件,每个文件大约100-300字节.其中大约有一百万.其中大约100,000个每小时更换一次.这些播放列表需要每小时上传到不同大洲的10个其他远程服务器,理想情况下需要在2分钟内快速完成.在主服务器上删除文件也将在所有副本上删除,这一点非常重要.我们目前使用 Linux作为基础设施.

我正在虑使用-W选项尝试rsync来复制整个文件而不比较内容.我还没有尝试过,但也许有更多rsync经验的人可以告诉我它是否可行?

还有哪些其他选择值得虑?

更新:我选择了lsyncd选项作为答案,但仅仅因为它是最受欢迎的.其他建议的替代方案也以他们自己的方式有效.

解决方法

@H_607_25@ 由于即时更新也可以接受,因此您可以使用 lsyncd.
它监视目录(inotify)并将rsync更改为从属.
在启动时,它将执行完整的rsync,因此需要一些时间,但之后只传输更改.
可以递归观察目录,如果从属服务器关闭,则同步将被重试,直到它返回.

如果这都在一个目录(或静态目录列表)中,您也可以使用incron.缺点是它不允许递归观察文件夹,你需要自己实现同步功能.

大佬总结

以上是大佬教程为你收集整理的rsync – 有效同步100万个文件与远程服务器的选项?全部内容,希望文章能够帮你解决rsync – 有效同步100万个文件与远程服务器的选项?所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。