Data Engineer

Мы, Search Initiative, - динамично развивающаяся компания, специализирующаяся на SEO продвижении в нише iGaming (казино, ставки). Мы работаем на западные рынки и стремимся быть самыми передовыми и успешными в нашей сфере!

Наш главный стержень — команда талантливых профессионалов, разделяющих всеобщую страсть к инновациям и стремящихся к успеху!

Сейчас мы находимся в поиске Data Engineer для разработки, внедрения и оптимизации дата-пайплайнов для поддержки аналитики и отчетности. Вы будете работать над загрузкой данных, процессами ETL/ELT, потоковой обработкой данных в реальном времени, а также обеспечивать их качество и безопасность. Сотрудничая с заинтересованными сторонами, вы будете создавать и поддерживать платформу для обработки данных, гарантируя ее производительность, масштабируемость и соответствие лучшим практикам.

Требования к кандидату :

• Степень бакалавра по компьютерным наукам, информационным системам, инженерии данных или смежной области.

• 3+ года опыта работы в должности Data Engineer, сосредоточенного на бэкэнд-разработке, включая создание и поддержку дата-пайплайнов, data warehouses и хранилищ в среде GCP.

• Опыт работы с REST API (GET, POST, PUT), Push API, а также форматами API: CSV, JSON, XML.

• Работа с GitHub.

• Высокий уровень владения SQL и знание языков программирования для обработки и автоматизации данных (например, Python).

• Опыт управления и разработки дата-пайплайнов с использованием соответствующих инструментов.

• Опыт работы с инструментами для разработки ETL-процессов.

• Знание технологий потоковой обработки данных в реальном времени.

• Опыт внедрения data lake и data warehouse.

• Знание архитектуры хранилищ данных и опыт работы с BigQuery.

• Глубокое понимание облачных сервисов для обработки данных в GCP.

• Аналитические навыки для выявления и устранения проблем в сложных дата-пайплайнах.

• Умение документировать процессы с вниманием к деталям.

• Навыки устранения узких мест в производительности пайплайнов.

• Способность объяснять технические концепции понятным языком для бизнес-пользователей.

• Хорошие коммуникационные навыки для эффективного взаимодействия с межфункциональными командами и заинтересованными сторонами.

• Желание обучаться и адаптироваться к новым технологиям и методологиям в сфере Data Engineering.

• Готовность следить за последними трендами и лучшими практиками в обработке данных, облачных вычислениях и управлении данными.

Обязанности:

• Тесное сотрудничество с аналитиками данных и другими заинтересованными сторонами для понимания требований к данным и создания решений, отвечающих бизнес-потребностям.
• Реализация процессов загрузки данных для переноса структурированных, полуструктурированных и неструктурированных данных из различных источников в datawarehouses.
• Разработка, внедрение и поддержка ETL/ELT пайплайнов для извлечения, трансформации и загрузки данных в хранилище, обеспечивая их качество, согласованность и целостность.
• Оркестрация и автоматизация дата-пайплайнов для обеспечения стабильной и надежной обработки данных.
• Реализация процессов очистки, обогащения и нормализации данных для дальнейшего анализа.
• Внедрение и управление потоковой обработкой данных в реальном времени, обеспечивая их точность и доступность для аналитики и отчетности.
• Постоянный мониторинг, устранение неисправностей и оптимизация производительности дата-пайплайнов.
• Разработка моделей данных и схем в хранилище данных с использованием техник многомерного моделирования для поддержки аналитической отчетности.
• Внедрение контроля доступа на основе ролей, шифрования и других мер безопасности для защиты конфиденциальной информации.
• Ведение детальной документации всех процессов обработки данных, пайплайнов и архитектурных компонентов.

Что мы предлагаем :

• Полная или частичная занятость;

• Удаленный формат работы.

• Конкурентную заработную плату, соответствующую вашему уровню знаний и опыта. Стабильную выплату ЗП.

• Динамичную и инновационную атмосферу в команде профессионалов.