Symulator Kafki v1.7 - chaos i Failure Lab
3 minUbijaj brokery, rozcinaj sieć i patrz, jak klaster wraca do siebie. v1.7 dodaje Failure Lab do free play, sześć scenariuszy chaosu i wygodniejszy playground na telefonie.
Ubijaj brokery, rozcinaj sieć i patrz, jak klaster wraca do siebie. v1.7 dodaje Failure Lab do free play, sześć scenariuszy chaosu i wygodniejszy playground na telefonie.
Stretched clusters, MirrorMaker 2 offset translation, failover and failback - and a terminal running the real Kafka CLI tools against the simulated cluster. The DR module explains the cluster shapes free play has offered since v1.3.
Dwie paczki naraz. Free play domyka drabinę topologii klastrami rozciągniętymi 3-DC i 2,5-DC z witnessem, a 19 nowych scenariuszy pokrywa cykl życia logu - retencję, kompakcję, tiered storage - oraz warstwę sterowania KRaft i operacje wykonywane na żywym klastrze.
Exactly-once, read_committed i last stable offset, begin/commit/abort oraz pętla consume–process–produce. Moduł transakcji sprawia, że EOS - najtrudniejszy temat Kafki - można przejść krok po kroku. Free play zyskuje też nowy typ klastra: active/active.
Monedula GitOps zarządza tematami Kafki, dostępem, limitami, schematami, użytkownikami i Confluent RBAC na podstawie wersjonowanych manifestów - przez CLI albo przez operator Kubernetesa.
Nadchodzi moduł replikacji: mechanika ISR, high watermark, acks=all i min.insync.replicas, wybór lidera oraz to, co naprawdę tracimy przy nieczystym wyborze. Dwanaście scenariuszy o gwarancjach, z których Kafka słynie.
Grupy konsumentów, strategie przydziału partycji, statyczne członkostwo i dwa timeouty decydujące o tym, kiedy członek grupy znika. Dziesięć nowych scenariuszy, dzięki którym rebalans - najczęściej źle rozumiany moment w Kafce - można obejrzeć, zamiast zgadywać.
Symulator Kafki v1.1 dodaje dziesięć scenariuszy obejmujących batchowanie producenta, partycjonowanie, kompresję, backpressure, ponawianie prób i idempotentność.
KIP-714 pozwala klientom Kafki wysyłać własne metryki do brokerów przez OTLP. monedula-metrics-reporter przekazuje teraz również te metryki, obok metryk broker SPI i Yammer.
Najważniejsze lekcje płynące z Kafki kryją się w przejściach: przed i po awarii brokera, przed i po skurczeniu się ISR. Zbudowaliśmy działający w przeglądarce symulator, dzięki któremu możesz bezpiecznie zepsuć klaster i zobaczyć dokładnie, dlaczego reaguje tak, a nie inaczej.
Przeniesienie istniejącego środowiska Kafka z ACL do Confluent RBAC to ćwiczenie z zarządzania ryzykiem, a nie konwersja składni. Oto bezpieczny, audytowalny i powtarzalny przepływ migracji - oraz narzędzie, które do tego zbudowaliśmy.
Dlaczego metryki Kafki są uciążliwe, dlaczego dashboardy JMX często nie pokazują żadnych danych i jak natywnie eksportować metryki Kafki przez OTLP.