从列中查找最大值并根据最大值填充另一列

由于您只保留不同的值，因此您可以在窗口上使用 row_number 函数：

from pyspark.sql import Window
from pyspark.sql import functions as F

 df = spark.createDataFrame(
    [("a",),("a",("b",("c",("d",("e",)],("String",)
)

w = Window.orderBy("String")

df1 = df.disTinct().withcolumn("ID",F.row_number().over(w) - 1)

df1.show()
#+------+---+
#|String| ID|
#+------+---+
#|     a|  0|
#|     b|  1|
#|     c|  2|
#|     d|  3|
#|     e|  4|
#+------+---+

现在让我们向该数据框中添加一些行，并使用 row_number 和 coalesce 仅将 ID 分配给空行（无需获取最大值）：

df2 = df1.union(spark.sql("SELEct * from values ('f',null),('h',('i',null)"))

df3 = df2.withcolumn("ID",F.coalesce("ID",F.row_number(w) - 1))

df3.show()
#+------+---+
#|String| ID|
#+------+---+
#|     a|  0|
#|     b|  1|
#|     c|  2|
#|     d|  3|
#|     e|  4|
#|     f|  5|
#|     h|  6|
#|     i|  7|
#+------+---+

如果您也想保留重复的值并为它们分配相同的 ID，请使用 dense_rank 而不是 row_number。