mas.to is one of the many independent Mastodon servers you can use to participate in the fediverse.
Hello! mas.to is a fast, up-to-date and fun Mastodon server.

Administered by:

Server stats:

12K
active users

#kafka

12 posts11 participants0 posts today

ОС против Kafka: битва за map-области: история одного неочевидного лимита

Добрый день! Меня зовут Богдан, я тимлид в одном из отечественных финтехов. Сегодня я хочу поделиться нашей историей: как нам удалось, ненарочно, зашедулить падение всех нод одного из наших кластеров Kafka. В один из холодных февральских дней пришло сообщение от мониторинга с виртуальных машин кластера Kafka: «Свободное дисковое пространство достигло значения < 15%» . Было решено исследовать, нужно ли добавлять дискового пространства или же можно потюнить настройки ретеншена данных. Тут стоит немного вспомнить теорию. Как известно, в Kafka сообщения распределяются по партициям, а каждая партиция на брокере представлена набором сегментов. Число сегментов у партиций может быть разным — оно варьируется в зависимости от интенсивности записи и настроек размера сегмента. Сегмент (если упростить) — это лог-файл, в который просто пишутся данные в конец. По достижении временного предела либо его размера он ротируется: создается новый сегмент, и запись идет уже в него. Держа вышесказанное в голове, мы отправились смотреть настройки хранения сегментов в нашем кластере Kafka..

habr.com/ru/articles/900094/

ХабрОС против Kafka: битва за map-области: история одного неочевидного лимитаДобрый день! Меня зовут Богдан, я тимлид в одном из отечественных финтехов. Сегодня я хочу поделиться нашей историей: как нам удалось, ненарочно, зашедулить падение всех нод одного из наших кластеров...

Another amusing and absurd fact from the German unemployment bureaucracy is that you are not allowed to work on open-source projects while unemployed, because it's "work", and people that work don't receive unemployment benefits.

Getting a bit defensive, I argued it's less like work and more like training for getting a job, and I've been told that it's the same, if I'm taking part in training that *they* haven't provided for me, then that's also considered as reason to not being "unemployed".

Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?

Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.

habr.com/ru/articles/899670/

ХабрDevhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?Привет, Хабр! Я Алексей Рыбак, предприниматель и основатель R&D-лаборатории  DevHands , автор телеграм-канала  про System Design и Highload . В прошлом — СТО и руководитель московского...

Allerfeinste signierte #Ausleseware!

Das war ein ebenso überraschender wie toller Besuch, über den wir uns sehr gefreut haben! Am Wochenende war der Zeichner Ken Krimstein bei uns in der Sternstraße!

Gerne könnt ihr EINSTEIN IN KAFKALAND (signiert oder unsigniert, der Preis bleibt natürlich gleich) bei uns abholen oder über unseren Onlineshop bestellen. Wenn ihr möchtet, bitte *signiert* angeben! +++ Solange unser Vorrat reicht! +++

codobuch.buchkatalog.de/einste

Отказоустойчивая распределённая архитектура для UX-аналитики

UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.

habr.com/ru/articles/897798/

ХабрОтказоустойчивая распределённая архитектура для UX-аналитикиUX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при...

Настройка односторонней аутентификации (One-Way SSL) для kafka

Часто при разработке небходимо иметь на локальной машине сервер kafka с ssl аутентификацией. Надеюсь эта статья поможет быстро поднять его и приступить к разработке.

habr.com/ru/articles/897624/

ХабрНастройка односторонней аутентификации (One-Way SSL) для kafkaНастройка односторонней аутентификации (One-Way SSL) для kafka предполагает, что сервер проверяет свою подлинность перед клиентами с использованием SSL-сертификата, но клиенты не предоставляют свои...

#Österreich: Da ich voraussichtlich nur noch (beruflich) in der EU reisen werde, holte ich mir wegen dem Formfaktor erstmals einen #Personalausweis statt einem #Reisepass.

"aktuelles Passfoto": ein wenige Jahre altes Passfoto, wo ich exakt gleich aussehe, ist nicht erlaubt. Es darf maximal 6 Monate alt sein. Insofern immer brav +15€ für neue Fotos d'raufrechnen auf die 61,50€ vom #Ausweis. Ansonsten droht eine Strafe.

Der neue Ausweis wird dann ohne Einschreiben(!) per Post verschickt. 🤔

Und dann die unsägliche Diskussion über die akademischen Grade: Muss man? Soll man? Ist "Dr." gleich wie "Dr.techn."? Was ich alles dazu schon Verschiedenes gehört habe ... 🤦‍♂️

Am besten gleich die #Titelei überall weglassen bitte!