Spark SQL 合并

大佬教程收集整理的这篇文章主要介绍了Spark SQL 合并，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决Spark SQL 合并？

我使用 Spark sql 从表中提取了合并值。然后我将结果转换为字符串，以便我可以将该值插入到另一个表中。

但是，将 COALESCE 的列名而不是合并值插入到表中。

这些是我的 COALESCE 和 INSERT 查询，

COALESCE:
---------

val lastPartition = spark.sql("SELECT COALESCE(MAX(partition_name),'XXXXX') FROM db1.table1").toString.mkString

Result:
-------

COALESCE(MAX(partition_name),XXXXX
            20210309



INSERT:
-------

val result = spark.sql(s"""INSERT INTO db2.table2 VALUES ('col1','col2','${lastPartition}','col4')""")


Result:
--------

col1     col2                       col3                                 col4
1        John    [COALESCE(MAX(partition_name),XXXXX):string]        15313.21

在这里，我希望列 (col3) 的值为 20210309 而不是合并列名。

解决方法

val lastPartition = spark.sql("SELECT COALESCE(MAX(partition_name),'XXXXX') FROM db1.table1").head().getString(0)

大佬总结

以上是大佬教程为你收集整理的Spark SQL 合并全部内容，希望文章能够帮你解决Spark SQL 合并所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。