PySpark 过滤元素列表，然后合并回来

大佬教程收集整理的这篇文章主要介绍了PySpark 过滤元素列表，然后合并回来，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决PySpark 过滤元素列表，然后合并回来？

我的 rdd 包含一对 IDs 和 List 项。例如，每个项目都类似于 (1,[a,b,c])。我需要对此项应用 filter。假设我不想要 List 上的 。

我目前的方法是使用 flatMapValues 将项目分解为键值对。 filter 它们并使用 groupByKey 将它们合并回 (1,[b,c])。

在我做了一些研究之后，当数据量很大时，groupByKey 似乎很糟糕。此外，似乎我正在分解 List，他们在 List 之后将其合并回来似乎是多余的。有没有办法在不破坏 array 并merge 返回的情况下完成此操作？

解决方法

rdd2 = rdd1.mapValues(lambda l: [i for i in l if i != 'a'])

大佬总结

以上是大佬教程为你收集整理的PySpark 过滤元素列表，然后合并回来全部内容，希望文章能够帮你解决PySpark 过滤元素列表，然后合并回来所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。