程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了ConnectedStreams 暂停,直到控制流“准备好”大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决ConnectedStreams 暂停,直到控制流“准备好”?

开发过程中遇到ConnectedStreams 暂停,直到控制流“准备好”的问题如何解决?下面主要结合日常开发的经验,给出你关于ConnectedStreams 暂停,直到控制流“准备好”的解决方法建议,希望对你解决ConnectedStreams 暂停,直到控制流“准备好”有所启发或帮助;

实现此目的的规范方法是什么:

给定一个 ConnectedStreams,例如 CoFlatMap UDF,如何防止任何 处理数据流直到控制流“准备好”,所以 说话

我的特定用例如下:我有一个 CoFlatMap 函数。数据流包含需要用附加信息丰富的元素(它们带有一些空的字段)。缺失的信息取自控制流,其元素来自 kafka 源。本质上,我想要的是暂停任何处理,直到阅读完整(控制)主题。

解决方法

暂不支持暂停一个流,除非您深入研究并实现自己的操作符(不推荐)。

相反,除了 broadcast pattern 中的所有其他元素外,您还需要缓存数据流中的所有元素,直到完全加载控制流。

,

为了避免潜在地缓存来自主流的大量数据,可以使用另一种方法。通常,您使用有状态连接将丰富的数据(在您的问题中也称为“控制流”)与主数据流相结合。因此,由于您必须在连接状态下保存丰富数据,您可以在仅读取丰富数据的模式下执行工作流的初始运行。一旦您知道(例如通过计数器或 Kafka 偏移量)丰富流已完全加载到状态,您就可以获取保存点,然后以正常模式重新启动工作流。

大佬总结

以上是大佬教程为你收集整理的ConnectedStreams 暂停,直到控制流“准备好”全部内容,希望文章能够帮你解决ConnectedStreams 暂停,直到控制流“准备好”所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: