大佬教程收集整理的这篇文章主要介绍了ADF Delta Copy Activity 失败,从数据湖中删除部分复制的文件,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个每小时增量加载管道,因为我有一个复制活动将数据从 sql server 复制到 datalake parquet 格式,在 For each activity:
复制活动后,我有成功/失败过程来更新控制表中的记录
我需要确保中间是否有任何复制活动失败,我需要从数据湖中删除部分复制的文件。如何在我的管道中设置该条件以选择和删除该动态文件。
提前致谢
p.s 我对这个工具很陌生,每天都在学习。
请参考以下步骤:
您可以在 Copy_DimCustomer_AC
活动后面添加一个 If condition:
If 条件表达式中,构建表达式判断 Copy_DimCustomer_AC.executionDetails.status
是否等于“Succeeded”,如果为 ture,则复制 active 成功:
@equals(activity('Copy_Dimcustomer_AC').output.executionDetails.status,'Succeeded')
真正的活动:
false active:添加一个delete active来删除文件并运行Log_failure_status_AC
:
HTH。
以上是大佬教程为你收集整理的ADF Delta Copy Activity 失败,从数据湖中删除部分复制的文件全部内容,希望文章能够帮你解决ADF Delta Copy Activity 失败,从数据湖中删除部分复制的文件所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。