Linux
发布时间：2022-04-01 发布网站：大佬教程 code.js-code.com
大佬教程收集整理的这篇文章主要介绍了linux – 传输15TB的小文件，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
概述
我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的文件列表,并在另一周内传输1 TB的数据. 然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间. 我们已经同意将它们放在一边,因为我们可能不需要再次访问它.我想把它分成500 GB的块.在我开始焦油之后,我将通过ssh复制它.我使用焦油和猪,但它仍然太慢. 有没有更好的方法呢？
我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的
文件列表,并在另一周内传输1 TB的数据.
然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间.
我们已经同意将它们放在一边,因为我们可能不需要再次访问它.我想把它分成500 GB的块.在我开始焦油之后,我将通过ssh复制它.我使用焦油和猪,但它仍然太慢.
有没有更好的方法呢？我认为两台服务器都在Redhat上.旧服务器是Ext4,新服务器是XFs.
文件大小从几kb到几mb,在5TB中有2400万jpeg.所以我猜测15TB大约有600-8000万.
编辑：玩rsync,nc,tar,mbuffer和pigz几天后.瓶颈将是磁盘IO.由于数据是在500个SAS磁盘和大约2.5亿个jpeg上划分的.但是,现在我了解了将来可以使用的所有这些好工具.
我使用tar,pigz(并行gzi
p)和nc获得了非常好的结果.
源机器：
tar -cf - -C /path/of/small/files . | pigz | nc -l 9876
目的地机器：
提取：
nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here
保存档案：
nc source_machine_ip 9876 > smallstuff.tar.gz
如果你想在pigz -d之后看到传输速率只是穿过pv！
大佬总结
以上是大佬教程为你收集整理的linux – 传输15TB的小文件全部内容，希望文章能够帮你解决linux – 传输15TB的小文件所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。
