Data Engineer(Airflow/Python)

Мы — динамично развивающаяся молодая IT-компания, занимающаяся Outsource разработкой. Для расширения штата и оптимизации процессов ищем
Требования к кандидату

Основные требования:
1. Инструменты оркестрации и автоматизации:
- Хороший уровень владения Apache Airflow: опыт создания и поддержки DAGs, понимание основных операторов (PythonOperator, PostgresOperator и др.), настройка зависимостей и мониторинг выполнения задач.
- Практические навыки диагностики ошибок, работы с XCom для обмена данными и интеграции Airflow с внешними системами (базы данных, API).
2. Языки программирования и фреймворки:
- Опыт работы с Python версии 3.10 и выше.
- Практический опыт разработки веб-приложений на FastAPI.
- Знание и применение асинхронного программирования (asyncio).
- Уверенное использование SQLAlchemy 2.0 для работы с базами данных.
- Опыт работы с Celery для реализации фоновых задач.

3. Базы данных:
- Глубокое понимание PostgreSQL, включая написание сложных SQL-запросов.
- Желательно знание PostGIS для работы с геоданными (готовность изучить будет плюсом).
- Опыт работы с Redis для кэширования и управления очередями.
- Базовое понимание MongoDB и NoSQL баз данных (желательно).

4. Системы обмена сообщениями и потоковой обработки:
- Понимание принципов работы Apache Kafka и опыт его использования в проектах (желательно).

5. Архитектурные подходы:
- Понимание и практическое применение принципов DDD (Domain-Driven Design).
- Опыт внедрения Dependency Injection (DI) для управления зависимостями.
- Знание паттерна Saga для управления распределёнными транзакциями.

6. Тестирование:
- Опыт написания unit-тестов и интеграционных тестов с использованием pytest.

Дополнительные требования:
1. Общие навыки:
- Умение работать в команде, эффективно взаимодействовать с коллегами.
- Готовность к обучению и освоению новых технологий (например, PostGIS, если опыта нет).
- Внимание к деталям и высокое качество кода.

2. Методологии разработки:
- Опыт работы в Agile/Scrum командах (желательно).
- Понимание принципов CI/CD и опыт работы с инструментами автоматизации (например, GitHub Actions, GitLab CI).

3. Инструменты разработки:
- Владение Git для управления версиями кода.
- Знание Docker для контейнеризации приложений (желательно).

4. Soft skills:
- Ответственность, инициативность и способность решать задачи самостоятельно.
- Хорошие коммуникативные навыки для обсуждения технических вопросов.

Опыт работы:
- Опыт работы в роли бекенд-разработчика от 1 до 3 лет.
- Наличие успешных проектов, демонстрирующих владение указанными технологиями.

Будет плюсом:
- Опыт работы с облачными платформами (AWS, GCP, Azure).
- Знание других языков программирования или инструментов анализа данных (например, Pandas, NumPy).
- Опыт участия в open-source проектах.