大佬教程收集整理的这篇文章主要介绍了Pyspark：根据其他数据帧中的字段和时间段过滤数据帧，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
我想在 df1 中选择满足以下条件的行：
1) df1.number == df2.number
2) df1.timestamp >= df2.startdate
3) df1.timestamp <= df2.enddate
两个数据框都有不同的列，但共享数字列：
df1
| 数量 | 时间戳 |
|---|---|
| 213 | 2020-10-26T07:55:34 |
| 432 | 2020-11-26T07:55:34 |
df2
| 数量 | 开始日期 | 结束日期 |
|---|---|---|
| 213 | 2020-10-26 | 2020-10-28 |
| 432 | 2020-10-13 | 2020-11-26 |
我无法弄清楚这一点。我认为将 left-semi join 与 filter/where 子句结合使用应该可以，但它不起作用：
df3 = df1.join(df2,on=['number'],how='left_semi').where((df1.timestamp >= df2.startdate) & (df1.timestamp <= df2.enddate))
感谢任何输入！
您无法在联接后应用过滤器，因为 df2 中的列在联接后不再存在。
相反，您可以将所有条件放入连接的 on 部分：
df3 = df1.join(df2,(df1.number == df2.number) & (df1.timestamp >= df2.startdate) & (df1.timestamp <= df2.enddate),how='left_semi')
在比较之前将列转换为相同类型可能会更好，例如
import pyspark.sql.functions as F
df3 = df1.join(df2,(df1.number == df2.number) &
(F.to_date(df1.timestamp) >= F.to_date(df2.startdate)) &
(F.to_date(df1.timestamp) <= F.to_date(df2.enddate)),'left_semi'
)
import spark.implicits._
import org.apache.spark.sql.functions.to_date
val df1 = Seq((213,"2020-10-26T07:55:34"),(432,"2020-11-26T07:55:34"))
.toDF("number","timestamp")
val df2 = Seq(
(213,"2020-10-26","2020-10-28"),"2020-10-13","2020-11-26")
).toDF("number","startdate","enddate")
val df3 = df1.join(df2,df1.col("number") === df2.col("number") &&
to_date(df1.col("timestamp")) >= df2.col("startdate") &&
to_date(df1.col("timestamp")) <= df2.col("enddate"),"left_semi")
df3.show(false)
// +------+-------------------+
// |number|timestamp |
// +------+-------------------+
// |213 |2020-10-26T07:55:34|
// |432 |2020-11-26T07:55:34|
// +------+-------------------+
以上是大佬教程为你收集整理的Pyspark：根据其他数据帧中的字段和时间段过滤数据帧全部内容，希望文章能够帮你解决Pyspark：根据其他数据帧中的字段和时间段过滤数据帧所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。