Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了rsync – 前向同步到HDFS? (或继续不完整的hdfs上传?)大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

任何人都有一个很好的建议,正确同步到HDFS? (“正向同步”与“双向同步”相反) 基本上我有大量的文件要放入HDFs.它如此之大,以至于我常常会在完成之前失去连接.我想做的只是做一个文件上传的“简历”.但是,hadoop fs -put将只重新上传整个目录(或者如果存在则进行抱怨). 任何人都有一个很好的方法来继续不完整的hdfs上传? 如果你正在运行一个足够新的Hadoop,你可以使用FUSE
任何人都有一个很好的建议,正确同步到HDFS? (“正向同步”与“双向同步”相反)

基本上我有大量的文件要放入HDFs.它如此之大,以至于我常常会在完成之前失去连接.我想做的只是做一个文件上传的“简历”.但是,hadoop fs -put将只重新上传整个目录(或者如果存在则进行抱怨).

任何人都有一个很好的方法来继续不完整的hdfs上传

解决方法

如果你正在运行一个足够新的Hadoop,你可以使用FUSE挂载hdfs并只使用rsync.

也可以构建一个仅限本地的hdfs,然后使用distcp.

大佬总结

以上是大佬教程为你收集整理的rsync – 前向同步到HDFS? (或继续不完整的hdfs上传?)全部内容,希望文章能够帮你解决rsync – 前向同步到HDFS? (或继续不完整的hdfs上传?)所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。