Kafka Simulator v1.5 + v1.6 — 拉伸集群、存储与运维
7 分钟两个版本包一起发布。自由模式以 3-DC 拉伸集群和 2.5-DC 见证站集群补齐了拓扑阶梯,19 个新场景覆盖日志的生命周期(保留、压实、分层存储),以及 KRaft 控制平面和对运行中集群的运维操作。
两个版本包一起发布。自由模式以 3-DC 拉伸集群和 2.5-DC 见证站集群补齐了拓扑阶梯,19 个新场景覆盖日志的生命周期(保留、压实、分层存储),以及 KRaft 控制平面和对运行中集群的运维操作。
exactly-once、read_committed 与 last stable offset、begin/commit/abort,以及 consume–process–produce 循环。事务模块把 Kafka 最难的主题 EOS 变成可以一步步走完的东西。自由模式还新增了一种集群类型:双活。
Monedula GitOps 用纳入版本控制的清单来管理 Kafka 主题、访问权限、配额、schema、用户与 Confluent RBAC,既可以通过 CLI,也可以通过 Kubernetes operator。
复制模块登场:ISR 机制、高水位、acks=all 与 min.insync.replicas、Leader 选举,以及一次 unclean 选举究竟会丢掉什么。十二个场景,讲透 Kafka 赖以成名的那些保证。
消费者组、分配策略、静态成员资格,以及决定成员何时算作离开的两个超时。十个新场景,让 Kafka 中最容易被误解的时刻——重平衡——变成可以观看而非猜测的过程。
KIP-714 让 Kafka 客户端能够通过 OTLP 将自身指标推送到 broker。monedula-metrics-reporter 现在也会转发这些指标,与 broker SPI 指标和 Yammer 指标并列。
Kafka 最重要的经验往往藏在状态转换之中:broker 宕机前后、ISR 收缩前后。我们构建了一个基于浏览器的模拟器,让你能安全地弄坏一个集群,并准确观察它为何会做出这样的反应。
把现有的 Kafka 资产从 ACL 迁移到 Confluent RBAC 是一项风险管理工作,而非语法转换。本文介绍一套安全、可审计、可重复的迁移工作流,以及我们为此构建的工具。
为什么 Kafka 指标如此令人头疼,为什么 JMX 仪表盘常常显示不出数据,以及如何通过 OTLP 原生导出 Kafka 指标。