Data Engineer (Data LakeHouse)

UCMG

Город:

Ташкент

Занятость:

Полная занятость

Компания "UCMG"

Мы ищем инженера, который любит ковыряться в данных, знает, как собрать нормальный пайплайн и держать весь DLH в порядке. Работа серьезная: много ETL, витрины, архитектура и постоянный контроль того, что под капотом.

Что нужно делать

Собирать и развивать объекты ядра Data LakeHouse: ETL-процессы, витрины, факт-таблицы и измерения на связке Trino + Spark + Iceberg.
Настраивать дата-контракты и следить за качеством данных.
Проектировать архитектуру DLH, чтобы все работало быстро, стабильно и без сюрпризов.
Контролировать общее состояние платформы и оперативно реагировать, если что-то пошло не так.

Что хотим увидеть у кандидата

Сильный SQL и уверенный Python.
Продвинутое понимание того, как устроены СУБД.
Знание подходов к построению хранилищ данных как структурированных, так и неструктурированных.
Умение работать с Docker, Kubernetes, Airflow, Kafka, Spark, а также с YAML, JSON, Git и S3.
Базовое понимание DevOps-практик и процессов CI/CD.
Опыт настройки мониторинга: Grafana, Zabbix, Prometheus — будет большим плюсом.