大佬教程收集整理的这篇文章主要介绍了确定输入是 Parquet 还是平面文件,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在处理一个 Java Maven 项目,我已经到了需要确定来自 HDFS 的输入是 CSV 文件目录还是 Parquet 文件的地步。根据我的理解,我可能是错的,我相信 HDFS 将 Parquet 文件存储为目录。
我的问题是,确定这两个潜在输入之间的差异的好方法是什么,以便我可以适当地处理它们中的每一个?
您可以使用 Hadoop FileSystem API。
如果要检查 hdfsPath
是目录还是文件,请使用 getFileStatus
:
Path path = new Path(hdfsPath);
FileSystem fs = path.getFileSystem(conf);
FileStatus fileStatus = fs.getFileStatus(path);
if (fileStatus.isFile()) {
// .... logic for file
} else {
// ... logic for directory
}
要检查目录是否包含 Parquet on CSV 文件,您可以使用 listStatus
方法列出该目录下的文件,对于每个文件,您可以检查其扩展名以确定其类型({{1} } 或 .csv
)。
以上是大佬教程为你收集整理的确定输入是 Parquet 还是平面文件全部内容,希望文章能够帮你解决确定输入是 Parquet 还是平面文件所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。