程序问答
发布时间:2022-06-02 发布网站:大佬教程 code.js-code.com
大佬教程收集整理的这篇文章主要介绍了库需要使用来自Python的Spark(PySpark),大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
如何解决库需要使用来自Python的Spark(PySpark)?
开发过程中遇到库需要使用来自Python的Spark(PySpark)的问题如何解决?下面主要结合日常开发的经验,给出你关于库需要使用来自Python的Spark(PySpark)的解决方法建议,希望对你解决库需要使用来自Python的Spark(PySpark)有所启发或帮助;
尽管我尚未对其进行测试,但从Spark
2.1开始,PyPi可以提供PySpark(通过进行安装pip
),专门用于您的情况。从文档:
解决方法
我正在使用来自Django的PySpark,并使用SparkSession连接到Spark主节点以在集群上执行作业。
我的问题是我是否需要在本地计算机上完整安装spark?所有文档都让我安装了spark,然后将PySpark库添加到python路径。我不认为我需要全部〜500mb才能连接到现有集群。我正在尝试减轻Docker容器的重量。
谢谢您的帮助。
大佬总结
以上是大佬教程为你收集整理的库需要使用来自Python的Spark(PySpark)全部内容,希望文章能够帮你解决库需要使用来自Python的Spark(PySpark)所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。