Apache Kafka — это распределенный и хорошо масштабируемый лог сообщений с открытым исходным кодом, выдерживающий огромные нагрузки. Если вы уже работаете с «Кафкой», но не погружались глубоко в принципы работы или только собираетесь, то этот доклад для вас.

В рамках доклада вспомним основные понятия и термины, поговорим о том, как эффективнее взаимодействовать с кластером «Кафки», и разберем 7 типовых ошибок при его использовании.

Поговорим об одном из злободневных кейсов в жизни многих Python-разработчиков: обработка большого кол-ва файлов нефиксированного формата, их валидация и сохранение.

Краткие вводные по решаемой задаче: файлы нефиксированной структуры; заранее неизвестные форматы всех предполагаемых файлов; требования о динамическом изменении формата без привлечения разработчиков; объем файлов от 5кк строк.

В рамках доклада расскажем о процессе разработки универсального решения, которое позволяет существенно сократить время на имплементацию в систему файлов нового формата и исключить участие разработчика в этом процессе (благодаря интерфейсу). Подробно обсудим процессы валидации, преобразования и сохранения данных. Рассмотрим разработку API для интерфейса работы с динамическим маппингом и способы адаптации системы под большие объемы данных.
‍
В рамках доклада затронем Python, Django, SQLAlchemy и Polars.

Доклад будет полезен Python-backend-разработчикам и позволит посмотреть со стороны на хорошие практики в решении прикладных задач.

S3 — международно признанный стандарт протокола объектного хранилища данных. Его поддерживает огромное количество ПО, которому нужно хранить бэкапы, файлы с данными, изображения, видео и так далее. В современной технологической компании какое-то решение, реализующее S3, — это must have.

В докладе мы вместе пройдем путь развития собственного хранилища, на который «Озону» потребовались годы. Поговорим о том, с чего вы можете стартовать в своей компании и с какими проблемами роста столкнетесь. Я расскажу о наших решениях этих проблем, об их плюсах и минусах.

Обсудим:
— быстрый старт с Minio
— зачем менять фламинго на осьминога, почему мы перешли на Ceph
— когда одного Ceph стало не хватать
— борьба за доступность: растянутые кластеры
— проблемы архитектуры Ceph и как мы нашли карибского демона