Минск
Информационные технологии, системная интеграция, интернет... Показать еще
Python/django developer Team Lead
Определение ключевых направлений развития, приоритетов и метрик успеха для обеспечения бесперебойного и эффективного сбора данных об онлайн-присутствии и репутации брендов.
2. Управление полным жизненным циклом проектов по парсингу: от сбора требований и технического анализа до проектирования, разработки, тестирования, развертывания и поддержки сложных систем парсинга.
3. Приоритизация задач и распределение ресурсов: эффективное планирование загрузки команды, распределение проектов и задач между сотрудниками отдела, управление сроками выполнения и отчётность по статусу проектов.
4. Глубокое владение и руководство использованием библиотек xPath, BeautifulSoup4 (bs4), Requests, а также методов XPath и CSS-селекторов для точного и эффективного извлечения данных.
5. Разработка и внедрение сложных механизмов обхода защиты. Построение и оптимизация систем для противодействия блокировкам (CAPTCHA, блокировки по IP, банковсская защита), управление ротацией прокси-серверов и User-Agent для обеспечения непрерывности и анонимности сбора данных.
5. Руководство командой программистов-парсеров, обеспечение их профессионального роста, проведение индивидуальных встреч и ревью производительности.
6. Организация обучения для команды, внедрение новых технологий и методологий в области парсинга и обработки данных.
7. Создание условий для обмена знаниями, сотрудничества и мотивации внутри команды.
8. Поддержка сложных парсеров веб-сайтов для сбора структурированных данных об онлайн-присутствии и репутации брендов.
9. Использование библиотек BeautifulSoup4 (bs4) и Requests для эффективного извлечения данных с различных веб-ресурсов.
10. Применение XPath и CSS-селекторов для точного таргетирования и извлечения необходимых элементов данных с HTML/XML страниц.
11. Разработка механизмов обхода защиты от парсинга (captcha, honeypots, блокировки по IP) и управления прокси-серверами для обеспечения непрерывности сбора данных.
12. Написание оптимизированного кода на Python, обеспечивающего высокую скорость и точность сбора информации.
13. Парсинг и извлечение данных о бренде с картографических сервисов (рейтинги, отзывы, информация о компаниях).
14. Обработка больших объемов неструктурированных данных, их очистка, нормализация и
преобразование в форматы, пригодные для анализа (JSON, CSV, SQL-таблицы).
15.Составление и автоматизация формирования аналитических отчётов об онлайн-присутствии, репутации.
16. Подготовка данных для дальнейшего анализа отдела продаж.
17. Проведение регулярного мониторинга работоспособности парсеров, оперативное выявление и устранение возникающих сбоев или блокировок.
18. Рефакторинг и оптимизация существующего кода парсеров для повышения их эффективности и снижения затрат на ресурсы.
19. Разработка и поддержание документации по разработанным парсерам и структурам извлекаемых данных.