Middle Data Engineer

18 Октября

Партнерские Вакансии

Компания "Concurrency Development LTD"

Обязанности:

• Построение ETL-процессов с данными из различных внутренних и внешних IT-систем
• Построение эффективной системы оркестрации ETL-пайплайнов
• Веб-хуки и сверки: поддержка пайплайна приёма и обработки web-hooks
• Проектирование и оптимизация SQL-витрин
• Контроль качества данных, выявление аномалий, формирование отчетов
• Выполнение разовых загрузок и бэкфиллов

Требования:

• SQL (Postgres/аналог): CTE, оконные функции, профилирование и оптимизация запросов под большие таблицы
• Python для продакшн-скриптов и автоматизаций (pandas/pyarrow/requests/asyncio)
• Опыт в web-scraping: Playwright/Selenium/Scrapy, ротация прокси, обход антиботов и капч, инкрементальные обновления
• Опыт с веб-хуками: проектирование ingestion-пайплайнов, идемпотентность/дедупликация, ретраи, контроль целостности и задержек
• ETL/ELT-оркестрация: cron/Airflow/Prefect/dbt; инкрементальные загрузки, мониторинг и нотификации
• Работа с API и форматами: REST/GraphQL, JSON/CSV/Parquet
• Data Quality mindset: тесты/сверки, дата-контракты, разбор расхождений по денежным метрикам (bets/wins/GGR)

Плюсом будет

• Практика метрик качества данных и дата-контрактов (консистентность, полнота)
• Опыт со стеком Spark (PySpark) и Airflow, хранением в S3, профайлингом данных (ydata-profiling/Jupyter)
• Настройка мониторинга/логирования (Grafana)
• Уверенность в популярных форматах (Parquet/CSV/JSON/Iceberg)
• Опыт работы с BigQuery
• BI-инструменты (Power BI/Tableau/Metabase) для сборки дашбордов на витринах

Условия:

• Удалённая работа
• Плавающее начало дня
• Участие в быстрорастущем продукте