Администратор Apache Airflow (DWH)

15 Ноября

Партнерские Вакансии

Компания "АКИБ Ипотека-банк"

Обязанности:

• Поддержка и администрирование Apache Airflow в рамках процессов автоматизации и управления данными для корпоративного хранилища данных (DWH);
• Установка, настройка и обновление Apache Airflow;
• Управление пользователями и ролями, обеспечение безопасности и конфиденциальности данных;
• Мониторинг состояния системы, обеспечение высокой доступности и надежности Airflow;
• Управление релизами: установка обновлений, конфигурация и мониторинг новых версий ПО;
• Оперативная поддержка и решение инцидентов, связанных с работой Apache Airflow;
• Анализ причин сбоев и проблемных ситуаций, разработка предложений по их устранению и предотвращению;
• Планирование и выполнение регламентных работ по техническому обслуживанию и обновлению инфраструктуры Apache Airflow;
• Настройка репликации, резервного копирования и восстановления данных;
• Настройка и поддержка систем оповещений и уведомлений;
• Инсталляция и конфигурация необходимых программных продуктов и инструментов для стабильной работы системы;
• Взаимодействие с командами разработчиков, аналитиков и системных администраторов для обеспечения стабильной работы платформы;
• Ведение технической документации и отчетов по инцидентам, настройкам и выполненным работам.

Требования:

• Высшее образование в области информационных технологий, компьютерных наук или смежных дисциплин;
• Опыт работы с Apache Airflow или его администрирования не менее 2 лет;
• Знание архитектуры Apache Airflow, включая настройку различных исполнителей задач (Executors) и операторов (Operators);
• Опыт администрирования систем автоматизации процессов, в частности для DWH решений;
• Базовые навыки администрирования Linux/UNIX, знание командной строки и скриптинг (Bash, Python);
• Опыт настройки систем мониторинга (например, Zabbix, Grafana);
• Понимание работы с базами данных и SQL для выполнения административных задач;
• Понимание принципов работы сетей и обеспечения безопасности;
• Опыт работы с системами контроля версий (Git);
• Отличные аналитические навыки и умение решать проблемы;
• Способность работать автономно и организовывать процессы с нуля;
• Опыт разработки и поддержки технической документации;
• Ответственность и внимание к деталям.

Будет преимуществом:

• Знание и понимание архитектуры корпоративных хранилищ данных (DataVault 2.0);
• Опыт настройки ETL-процессов и управления потоками данных;
• Навыки работы с контейнеризацией (Docker) и оркестрацией контейнеров (Kubernetes, Docker SWARM);
• Опыт настройки CI/CD-процессов.