Data Engineer (Korzinka Go)

Компания "Anglesey food"

Обязанности:

• Управление пайплайнами: Проектировать, разрабатывать и поддерживать надёжные ETL/ELT-пайплайны с использованием Apache Airflow.

• Оптимизация Lakehouse: Управлять и оптимизировать данные, хранящиеся в Lakehouse-форматах (Delta / Parquet), обеспечивая эффективное хранение и быстрый доступ к данным.

• Интеграция данных: Синхронизировать данные между PostgreSQL, ClickHouse и центральным Lakehouse для поддержки пакетной аналитики.

• Поддержка инфраструктуры: Использовать Microsoft Fabric для объединения data engineering, data science, а также Azure DevOps для управления версиями и процессами разработки.

• Взаимодействие с командами: Тесно сотрудничать с кросс-функциональными командами для интеграции Lakehouse-форматов данных в downstream-сервисы и прикладные системы

Требования:

• Опыт работы Data Engineer от 3-х лет.
  Orchestration: Практический опыт работы с Apache Airflow и PySpark для управления рабочими процессами.

• Платформы данных: Подтверждённый опыт работы с Microsoft Fabric и облачными data-платформами

• Языки: Экспертный уровень владения Python и продвинутый уровень SQL.

• Базы данных: Уверенное знание PostgreSQL (реляционная БД) и ClickHouse (OLAP / колоночная БД).

• Big Data: Сильный опыт работы с Apache Spark и PySpark (является большим преимуществом).

• Архитектура: Понимание архитектуры Lakehouse и опыт работы с открытыми табличными форматами (Delta Lake).

Условия:

• Динамичный и быстроразвивающийся бизнес с ресурсами для создания лучшего продукта на рынке Retail.
• Ежегодные премии по итогам Performance Review.
• Свободу от дресс-кода и культуру, способствующую росту и развитию.
• Партнёрские программы по обучению иностранным языкам и прокачке скиллов от Skillbox, Geekbrains и SkillFactory.
• Карта лояльности с 10% кэшбэком на покупки в сети Korzinka (первые 6 месяцев - 2%).
• Программу материальной помощи в различных жизненных ситуациях.
• Referral бонусы за рекомендации сотрудников.
• Поддержку ментора для быстрой адаптации новых сотрудников.