Kafka Simulator v1.7 - il caos e il Failure Lab
3 minUccidi broker, taglia la rete e guarda il cluster riprendersi. La v1.7 porta il Failure Lab nel free play, sei scenari di caos e un playground più usabile su telefono.
Uccidi broker, taglia la rete e guarda il cluster riprendersi. La v1.7 porta il Failure Lab nel free play, sei scenari di caos e un playground più usabile su telefono.
Stretched clusters, MirrorMaker 2 offset translation, failover and failback - and a terminal running the real Kafka CLI tools against the simulated cluster. The DR module explains the cluster shapes free play has offered since v1.3.
Due pack insieme. Il free play completa la sua scala di topologie con i cluster stirati 3-DC e 2,5-DC con testimone, e 19 nuovi scenari coprono il ciclo di vita del log - retention, compaction, tiered storage - più il control plane KRaft e le operazioni su un cluster vivo.
Exactly-once, read_committed e il last stable offset, begin/commit/abort e il ciclo consume–process–produce. Il modulo transazioni rende l'EOS - l'argomento più difficile di Kafka - qualcosa che puoi percorrere passo dopo passo. Il free play guadagna anche un nuovo tipo di cluster: attivo/attivo.
Monedula GitOps gestisce topic Kafka, accessi, quote, schemi, utenti e RBAC di Confluent a partire da manifest versionati, tramite una CLI oppure un operator Kubernetes.
Arriva il modulo di replicazione: meccanica dell'ISR, la high watermark, acks=all e min.insync.replicas, elezione del leader e cosa fa perdere davvero un'elezione unclean. Dodici scenari sulle garanzie per cui Kafka è famoso.
Gruppi di consumer, strategie di assegnazione, appartenenza statica e i due timeout che decidono quando un membro è sparito. Dieci nuovi scenari che rendono il rebalance - il momento più frainteso di Kafka - qualcosa da osservare invece che da indovinare.
Kafka Simulator v1.1 aggiunge dieci scenari che coprono batching, partizionamento, compressione, backpressure, retry e idempotenza del producer.
KIP-714 permette ai client Kafka di inviare le proprie metriche ai broker via OTLP. monedula-metrics-reporter ora inoltra anche queste metriche, accanto a quelle del broker SPI e a quelle Yammer.
Le lezioni più importanti di Kafka si nascondono nelle transizioni: prima e dopo la morte di un broker, prima e dopo che l'ISR si riduce. Abbiamo creato un simulatore basato su browser per farti rompere un cluster in sicurezza e osservare esattamente perché reagisce nel modo in cui reagisce.
Spostare un'installazione Kafka esistente dagli ACL all'RBAC di Confluent è un esercizio di gestione del rischio, non una conversione sintattica. Ecco un flusso di migrazione sicuro, verificabile e ripetibile - e lo strumento che abbiamo costruito per realizzarlo.
Perché le metriche di Kafka sono complicate, perché le dashboard JMX spesso non mostrano dati e come esportare le metriche di Kafka in modo nativo tramite OTLP.