Data Engineer (Data LakeHouse)

16 Января

Партнерские Вакансии

Компания "UCMG"

Мы ищем инженера, который любит ковыряться в данных, знает, как собрать нормальный пайплайн и держать весь DLH в порядке. Работа серьезная: много ETL, витрины, архитектура и постоянный контроль того, что под капотом.

Что нужно делать

• Собирать и развивать объекты ядра Data LakeHouse: ETL-процессы, витрины, факт-таблицы и измерения на связке Trino + Spark + Iceberg.

• Настраивать дата-контракты и следить за качеством данных.

• Проектировать архитектуру DLH, чтобы все работало быстро, стабильно и без сюрпризов.

• Контролировать общее состояние платформы и оперативно реагировать, если что-то пошло не так.

Что хотим увидеть у кандидата

• Сильный SQL и уверенный Python.

• Продвинутое понимание того, как устроены СУБД.

• Знание подходов к построению хранилищ данных как структурированных, так и неструктурированных.

• Умение работать с Docker, Kubernetes, Airflow, Kafka, Spark, а также с YAML, JSON, Git и S3.

• Базовое понимание DevOps-практик и процессов CI/CD.

• Опыт настройки мониторинга: Grafana, Zabbix, Prometheus — будет большим плюсом.