Broker abschießen, das Netz spalten und zusehen, wie sich der Cluster erholt. v1.7 bringt das Failure Lab in den Free Play, sechs Chaos-Szenarien und einen brauchbareren Playground auf dem Handy.
Stretched clusters, MirrorMaker 2 offset translation, failover and failback - and a terminal running the real Kafka CLI tools against the simulated cluster. The DR module explains the cluster shapes free play has offered since v1.3.
Zwei Packs auf einmal. Free Play vollendet seine Topologie-Leiter mit dem 3-DC-Stretched- und dem 2,5-DC-Witness-Cluster, und 19 neue Szenarien decken den Lebenszyklus des Logs ab - Retention, Compaction, Tiered Storage - dazu die KRaft-Steuerungsebene und den Betrieb eines laufenden Clusters.
Exactly-once, read_committed und der Last Stable Offset, begin/commit/abort und die Consume–Process–Produce-Schleife. Das Transaktionsmodul macht EOS - Kafkas schwierigstes Thema - Schritt für Schritt nachvollziehbar. Free Play bekommt außerdem einen neuen Cluster-Typ: Active/Active.
Monedula GitOps verwaltet Kafka-Topics, Zugriff, Quotas, Schemas, Benutzer und Confluent RBAC aus versionierten Manifesten heraus - wahlweise über eine CLI oder einen Kubernetes-Operator.
Das Replikationsmodul kommt: ISR-Mechanik, die High Watermark, acks=all und min.insync.replicas, Leader-Wahl und was eine Unclean Election tatsächlich kostet. Zwölf Szenarien zu den Garantien, für die Kafka berühmt ist.
Consumer-Gruppen, Zuweisungsstrategien, statische Mitgliedschaft und die zwei Timeouts, die entscheiden, wann ein Mitglied verschwunden ist. Zehn neue Szenarien, die das Rebalancing - Kafkas am häufigsten missverstandenen Moment - sichtbar machen, statt es raten zu lassen.
Kafka Simulator v1.1 ergänzt zehn Szenarien zu Producer-Batching, Partitionierung, Komprimierung, Backpressure, Retries und Idempotenz.
KIP-714 ermöglicht es Kafka-Clients, ihre eigenen Metriken über OTLP an die Broker zu übermitteln. monedula-metrics-reporter leitet diese Metriken nun ebenfalls weiter, neben den Broker-SPI- und Yammer-Metriken.
Kafkas wichtigste Lektionen stecken in den Übergängen: vor und nach dem Ausfall eines Brokers, vor und nach dem Schrumpfen der ISR. Wir haben einen browserbasierten Simulator gebaut, mit dem du einen Cluster gefahrlos kaputt machen und genau beobachten kannst, warum er so reagiert, wie er reagiert.
Der Wechsel eines bestehenden Kafka-Bestands von ACLs zu Confluent RBAC ist eine Übung im Risikomanagement, keine Syntaxkonvertierung. Hier ist ein sicherer, prüfbarer, wiederholbarer Migrations-Workflow - und das Tool, das wir dafür gebaut haben.
Warum Kafka-Metriken mühsam sind, warum JMX-Dashboards oft keine Daten anzeigen und wie man Kafka-Metriken nativ über OTLP exportiert.