Middle+ Python-разработчик

Компания "UCMG"

Ищем Middle / Middle+ Python-разработчика, который готов переключиться на Data Engineering. Предстоит строить и поддерживать Data LakeHouse — гибрид хранилища и озера данных, где важна и логика кода, и архитектура БД.

Стек

Trino + Spark + Iceberg, Airflow, Kafka, Kubernetes, S3.

Задачи

• ETL/ELT разработка: Сборка пайплайнов, создание факт-таблиц и измерений.

• Архитектура DLH: Проектирование структуры LakeHouse (Iceberg) для высокой производительности.

• Качество данных: Настройка дата-контрактов и автоматическая проверка DQ (Data Quality).

• Reliability: Мониторинг платформы и оперативное устранение аварий «под капотом».

Требования

• Python & SQL: Уверенное владение обоими инструментами.

• Database Internals: Понимание, как СУБД хранят и обрабатывают данные (индексы, партиционирование, форматы хранения).

• Data Ops: Опыт с Docker, K8s, Git и Airflow. Знание Kafka и Spark.

• Инфраструктура: Умение работать с S3, YAML/JSON и понимание CI/CD.

Будет плюсом: Опыт с Grafana, Zabbix или Prometheus.

Условия

• Сильная инженерная команда и современный стек без legacy.

• Работа в офисе (полный день).

• Прямое влияние на архитектуру данных компании.