程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了为什么要为 Kafka 使用我们自己的 Offset Repository大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决为什么要为 Kafka 使用我们自己的 Offset Repository?

开发过程中遇到为什么要为 Kafka 使用我们自己的 Offset Repository的问题如何解决?下面主要结合日常开发的经验,给出你关于为什么要为 Kafka 使用我们自己的 Offset Repository的解决方法建议,希望对你解决为什么要为 Kafka 使用我们自己的 Offset Repository有所启发或帮助;

我目前正在尝试为一个项目配置 Kafka。我对偏移存储库@R_197_10367@。我知道这两个开箱即用的选项存储在 Kafka 或 Zookeeper 中,我还发现还有另一个选项(至少如果我们将 kafka 与 Apache camel 结合使用),我也可以在任何地方定义和初始化我自己的存储库文件系统。

我的问题是:是否存在存储在 Kafka 或 Zookeeper 中的偏移存储库不持久或不一致的情况?我最关心的是系统的任何部分(消费者、生产者、kafka 实例或 zookeeper 实例)意外关闭的情况。一旦这些组件重新启动,消费者是否会获得停止读取主题的偏移量?

共享卷/存储上的显式存储库是否有意义?

如果我的问题有什么不清楚的地方,请告诉我。

解决方法

您可以将偏移量存储在应用程序附近并设置一个偏移量值以开始消费来自 Kafka 的记录。这完全取决于您想做什么。

是否存在存储在 Kafka 或 Zookeeper 中的 offset 存储库不持久或不一致的情况?

一时想不起来

我最关心的是系统的任何部分(消费者、生产者、kafka 实例或zookeeper 实例)意外关闭的情况。一旦这些组件重新启动,消费者是否会获得停止读取主题的偏移量?

这取决于您的应用程序的配置。如果您的应用程序在无法连接到 Kafka 时崩溃,并且应用程序配置为从 EARLIEST 开始使用。您将开始使用该主题的最早可用记录。

如果您使用 LATEST它将从上次读取的偏移量(并提交)重新开始。

如果您想跳到保存在主题中的最新记录,您需要告诉您的消费者......

#example
//seek to end of the topic
consumer.seekToEnd();

请在 Confluent 网站和 Apache Kafka 网站上找到更多详细信息。

大佬总结

以上是大佬教程为你收集整理的为什么要为 Kafka 使用我们自己的 Offset Repository全部内容,希望文章能够帮你解决为什么要为 Kafka 使用我们自己的 Offset Repository所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签:Kafka