Пермь, Центр городской культуры
9 декабря 2023, 12:00
4 часа

Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python

В рамках митапа поговорим про основы и разберем типичные ошибки при работе с Apache Kafka, узнаем об эволюции архитектуры S3 в Ozon и погрузимся в магию динамического маппинга на Python для универсальной обработки файлов нефиксированной структуры. 

Организаторы и партнеры
Для кого
Митап ориентирован на практикующих backend-разработчиков и DevOps. 
Но новички также получат много полезных для себя инсайтов и смогут более осознанно подходить к выбору технологий и собственному карьерному пути.
Формат митапа
Офлайн-митап + онлайн-трансляция.
3 доклада от спикеров с возможностью задать вопросы и получить ответы.

Записи докладов

Типичные ошибки при работе с Apache Kafka
Цыкарев Алексей
Виктор Корейша
Руководитель отдела MessageBus и Storage в Ozon и ведущий замечательного подкаста о жизни в IT «Кода кода»
Apache Kafka — это распределенный и хорошо масштабируемый лог сообщений с открытым исходным кодом, выдерживающий огромные нагрузки. Если вы уже работаете с «Кафкой», но не погружались глубоко в принципы работы или только собираетесь, то этот доклад для вас.

В рамках доклада вспомним основные понятия и термины, поговорим о том, как эффективнее взаимодействовать с кластером «Кафки», и разберем 7 типовых ошибок при его использовании.
Запись доклада (ссылка на YouTube)
Магия динамического маппинга: реализация универсальной обработки файлов нефиксированной структуры на Python
Цыкарев Алексей
Никита Ильин
Backend-разработчик в Spectr
Поговорим об одном из злободневных кейсов в жизни многих Python-разработчиков: обработка большого кол-ва файлов нефиксированного формата, их валидация и сохранение.

Краткие вводные по решаемой задаче: файлы нефиксированной структуры; заранее неизвестные форматы всех предполагаемых файлов; требования о динамическом изменении формата без привлечения разработчиков; объем файлов от 5кк строк.

В рамках доклада расскажем о процессе разработки универсального решения, которое позволяет существенно сократить время на имплементацию в систему файлов нового формата и исключить участие разработчика в этом процессе (благодаря интерфейсу). Подробно обсудим процессы валидации, преобразования и сохранения данных. Рассмотрим разработку API для интерфейса работы с динамическим маппингом и способы адаптации системы под большие объемы данных.

В рамках доклада затронем Python, Django, SQLAlchemy и Polars.

Доклад будет полезен Python-backend-разработчикам и позволит посмотреть со стороны на хорошие практики в решении прикладных задач.
Запись доклада (ссылка на YouTube)
Эволюция архитектуры S3 в Ozon: от фламинго до акулы
Цыкарев Алексей
Максим Харитонов
Руководитель группы разработки Storage в Ozon
S3 — международно признанный стандарт протокола объектного хранилища данных. Его поддерживает огромное количество ПО, которому нужно хранить бэкапы, файлы с данными, изображения, видео и так далее. В современной технологической компании какое-то решение, реализующее S3, — это must have.

В докладе мы вместе пройдем путь развития собственного хранилища, на который «Озону» потребовались годы. Поговорим о том, с чего вы можете стартовать в своей компании и с какими проблемами роста столкнетесь. Я расскажу о наших решениях этих проблем, об их плюсах и минусах.

Обсудим:
— быстрый старт с Minio
— зачем менять фламинго на осьминога, почему мы перешли на Ceph
— когда одного Ceph стало не хватать
— борьба за доступность: растянутые кластеры
— проблемы архитектуры Ceph и как мы нашли карибского демона
Запись доклада (ссылка на YouTube)
Круглый стол со спикерами. Тема — «Стоит ли становиться тимлидом»
Цыкарев Алексей
Модератор
Виктор Корейша
Руководитель отдела MessageBus и Storage в Ozon и ведущий замечательного подкаста о жизни в IT «Кода кода»
Цыкарев Алексей
Олег Казаков
Технический директор в Spectr
Цыкарев Алексей
Максим Харитонов
Руководитель группы разработки Storage в Ozon
Цыкарев Алексей
Никита Ильин
Backend-разработчик в Spectr
Запись круглого стола (ссылка на YouTube)

Прошедшие мероприятия

Spectr регулярно организовывает эвенты для разработчиков: технические митапы #DevTalks и большую конференцию Ural Digital Weekend.

Органзиторы

Spectr — IT-компания, которая специализируется на разработке цифровых сервисов для бизнеса.

Разрабатываем и проектируем сервисы, которые работают со сложной бизнес-логикой, большими нагрузками и большими данными. Компетенции: Python, React, PHP, бизнес- и системная аналитика, QA, DevOps.

Активно развиваем dev-комьюнити в Перми и на Урале: делаем большую конференцию Ural Digital Weekend и серию митапов для разработчиков #DevTalks.
Организационный партнер. 

Сервисы, рейтинги и исследования Тэглайна — ключевой источник информации при выборе компаний для участия в тендерах на услуги digital-маркетинга, веб- и мобильной разработки крупнейших российских и международных клиентов
Центр городской культуры (Пермь, ул. Пушкина, 15)
+ онлайн-трансляция
9 декабря 2023
4 часа
Зарегистрируйтесь для участия!
Регистрация на мероприятие для офлайн- и онлайн-участия обязательна