程序问答   发布时间:2022-06-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了库需要使用来自Python的Spark(PySpark)大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决库需要使用来自Python的Spark(PySpark)?

开发过程中遇到库需要使用来自Python的Spark(PySpark)的问题如何解决?下面主要结合日常开发的经验,给出你关于库需要使用来自Python的Spark(PySpark)的解决方法建议,希望对你解决库需要使用来自Python的Spark(PySpark)有所启发或帮助;

尽管我尚未对其进行测试,但从Spark 2.1开始,PyPi可以提供PySpark(通过进行安装pip),专门用于您的情况。从文档:

解决方法

我正在使用来自Django的PySpark,并使用SparkSession连接到Spark主节点以在集群上执行作业。

我的问题是我是否需要在本地计算机上完整安装spark?所有文档都让我安装了spark,然后将PySpark库添加到python路径。我不认为我需要全部〜500mb才能连接到现有集群。我正在尝试减轻Docker容器的重量。

谢谢您的帮助。

大佬总结

以上是大佬教程为你收集整理的库需要使用来自Python的Spark(PySpark)全部内容,希望文章能够帮你解决库需要使用来自Python的Spark(PySpark)所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。