大佬教程收集整理的这篇文章主要介绍了当将JSON文件读入Spark时,python – _corrupt_record错误,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
{ "a": 1,"b": 2 }
这是使用Python json.dump方法获得的.
现在,我想使用pyspark将此文件读入Spark中的DataFrame.以下文档,我在这样做
打印声明:
+---------------+ |_corrupt_record| +---------------+ | {| | "a": 1,| | "b": 2| | }| +---------------+
任何人都知道发生了什么,为什么不正确地解释文件?
{ "a": 1,"b": 2 } { "a": 3,"b": 4 } .... df.show() +---+---+ | a| b| +---+---+ | 1| 2| | 3| 4| +---+---+
以上是大佬教程为你收集整理的当将JSON文件读入Spark时,python – _corrupt_record错误全部内容,希望文章能够帮你解决当将JSON文件读入Spark时,python – _corrupt_record错误所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。