golang通过http端口访问hadoop

大佬教程收集整理的这篇文章主要介绍了golang通过http端口访问hadoop，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

无聊尝试一下golang连接hdfs,写了个hello world

golang包地址

https://github.com/vladimirvivien/gowfs

安装

gogetgithub.com/vladimirvivien/gowfs

写程序之前需要修改hadoop的两个配置文件

分别是

• hsdfs-site.xml 里的dfs.webhdfs.enabled

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

• core-site.xml里的hadoop.http.staticuser.user

<property>
<name>hadoop.http.staticuser.user</name>
<value>hadoop</value>
</property>

简单的例子

packagemain

import(
	"fmt"
	"log"
	"github.com/vladimirvivien/gowfs"
)

funcmain(){
	fs,err:=gowfs.NewFileSystem(gowfs.Configuration{Addr:"localhost:50070",User:"hadoop"})
	iferr!=nil{
	log.Fatal(err)
	}
	checksum,err:=fs.GetFileChecksum(gowfs.Path{Name:"/user/kafka/hello.txt"})
	iferr!=nil{
	log.Fatal(err)
	}
	fmt.Println(checksum)

	createTestDir(fs,"/user/kafka/hello1.txt")	
}

funccreateTestDir(fs*gowfs.FileSystem,hdfsPathstring){
	path:=gowfs.Path{Name:hdfsPath}
	ok,err:=fs.MkDirs(path,0744)
	iferr!=nil||!ok{
		log.Fatal("Unabletocreatetestdirectory",hdfsPath,":",err)
	}
	log.Println("HDFSPath",path.Name,"created.")
}

大佬总结

以上是大佬教程为你收集整理的golang通过http端口访问hadoop全部内容，希望文章能够帮你解决golang通过http端口访问hadoop所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。