大佬教程收集整理的这篇文章主要介绍了ClickHouse Kafka 表引擎和恰好一次支持,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在寻找关于 Kafka table 引擎是否支持恰好一次语义的一些清晰度。 我知道 clickhouse 使用 librdkafka,并且 librdafka 从 v1.4 开始支持 EOS。最新版本的 clickhouse 使用的是 librdkafka v1.5+。使用该库是否足以确认 Kafka 表引擎支持 EOS,或者表引擎功能是否需要额外更改以支持 EOS?我从 clickhouse 文档中不清楚。
在 CH 中实施两阶段提交之前,Clickhouse 没有 EO。
https://github.com/ClickHouse/ClickHouse/issues/18668#issuecomment-752946654
顺便说一句 - 虽然 EOS 语义将保证您不会在 Kafka 端发生重复(即,即使您多次生成相同的消息,它也会被消费一次),但 ClickHouse 作为 kafka 客户端只能保证至少一次。在某些极端情况下(连接丢失等),您可以获得重复项。 我们需要在 clickhouse 端进行类似交易才能避免这种情况。
以上是大佬教程为你收集整理的ClickHouse Kafka 表引擎和恰好一次支持全部内容,希望文章能够帮你解决ClickHouse Kafka 表引擎和恰好一次支持所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。