Kafka Simulator v1.5 + v1.6 — ストレッチクラスタ、ストレージ、運用
7 分2 つのパックを同時に。フリープレイは 3-DC ストレッチと 2.5-DC ウィットネスのクラスタでトポロジーの階段を完成させ、22 本の新しいシナリオがログのライフサイクル(リテンション、コンパクション、階層ストレージ)に加えて KRaft のコントロールプレーンと稼働中クラスタの運用を扱います。
2 つのパックを同時に。フリープレイは 3-DC ストレッチと 2.5-DC ウィットネスのクラスタでトポロジーの階段を完成させ、22 本の新しいシナリオがログのライフサイクル(リテンション、コンパクション、階層ストレージ)に加えて KRaft のコントロールプレーンと稼働中クラスタの運用を扱います。
exactly-once、read_committed と last stable offset、begin/commit/abort、そして consume–process–produce ループ。トランザクションモジュールは、Kafka で最も難しいテーマである EOS を一歩ずつ辿れるものに変えます。フリープレイにも新しいクラスタタイプ「アクティブ/アクティブ」が加わります。
Monedula GitOps は、Kafka のトピック、アクセス、クォータ、スキーマ、ユーザー、そして Confluent RBAC を、バージョン管理されたマニフェストから管理します。CLI と Kubernetes オペレーターのどちらからでも使えます。
レプリケーションモジュールが登場。ISR の挙動、ハイウォーターマーク、acks=all と min.insync.replicas、リーダー選出、そして unclean な選出が実際に何を失わせるのか。Kafka の代名詞である保証を扱う12のシナリオ。
コンシューマーグループ、割り当て戦略、静的メンバーシップ、そしてメンバーが消えたと判断する2つのタイムアウト。Kafka で最も誤解されがちな瞬間であるリバランスを、推測ではなく観察できるようにする10の新しいシナリオ。
Kafka シミュレータ v1.1 では、プロデューサーのバッチング、パーティショニング、圧縮、バックプレッシャー、リトライ、そして冪等性を扱う 10 個のシナリオを追加しました。
KIP-714により、KafkaクライアントはOTLP経由で自身のメトリクスをブローカーへプッシュできます。monedula-metrics-reporterは、ブローカーSPIメトリクスやYammerメトリクスに加えて、これらのメトリクスも転送するようになりました。
Kafka の最も重要な学びは、その遷移のなかにあります。ブローカーが落ちる前と後、ISR が縮小する前と後です。私たちは、クラスタを安全に壊し、なぜそのように反応するのかを正確に観察できるブラウザベースのシミュレータを作りました。
既存の Kafka 環境を ACL から Confluent RBAC へ移行することは、構文の変換ではなくリスク管理の取り組みです。本記事では、安全で監査可能、かつ再現性のある移行ワークフローと、そのために私たちが構築したツールを紹介します。
なぜ Kafka のメトリクスは厄介なのか、なぜ JMX ダッシュボードはしばしばデータを表示しないのか、そして Kafka のメトリクスを OTLP 経由でネイティブにエクスポートする方法。