от компании (организации): DPD в России в городе (населённом пункте): Москва, Россия
в отрасли экономики "Консультирование" → "Управление проектами"
с заработной платой: по договоренности
Вакансия № 18301043 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Вторник, 3 сентября 2024 года.
Дата обновления вакансии № 18301043 на сайте Работа в Москве и Московской области (МО, Подмосковье): Воскресенье, 22 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 18301043 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Руководитель отдела разработки / Team lead (Data lake) Remote
Руководителя отдела разработки / Team lead
В департамент по управлению данными крупной логистической компании требуются специалисты для построения централизованной платформы данных. Это продуктово-ориентированная команда с функциями развития новых технологических направлений, отражающих современный подход компании к данным и их дальнейшему использованию (аналитика/BI, machine learning). Команда будет заниматься продвижением решений на базе решений MPP и их интеграции в ИТ-ландшафт Компании. У нас дружный коллектив профессионалов в области управления и обработки данных.
Мы ищем экспертов, которым предстоит генерировать идеи и разрабатывать решения, в деталях изучить и оценить нюансы MPP базы данных и стать частью команды по созданию аналитической платформы.
Задачи, которые предстоит решать:
- Создание хранилища данных и Data Lake одного из крупнейших логистических операторов России
- Разработка алгоритмов преобразования и анализа данных с использованием технологий MPP СУБД и инструментов экосистемы Hadoop для обработки больших данных
- Проведение предпроектных обследований (определение объема работ, продолжительности работ, ресурсов для их выполнения
- Самостоятельная разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в аналитическую БД и Hadoop
- Оценка кода и предложение по улучшению архитектуры и используемых инструментов в рамках стратегии развития платформы данных
- Оптимизация и настройка производительности ETL-процессов
- Оптимизация процессов, внедрение Code Review, CI/CD практик в разработку
- Документирование разработанного кода
- Руководство группой разработчиков, поиск и обучение персонала, формирование команды
- Постановка задач и контроль и выполнения внутри проектной команды
Что мы ждем от вас:
- Опыт построения распределенных систем хранения и обработки данных
- Опыт работы с Lambda архитектурой на (Hadoop, Kafka, Cassandra, GreenPlum/Vertica, PostgreSQL)
- Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, Kafka,
- YARN, Ranger, Ambari и др.)
- Отличное знание одного из языков Scala, Java, Python
- Опыт работы с NoSQL базами данных
- Опыт работы с реляционными СУБД (DB2, Oracle, MS SQL)
Будет плюсом:
- Опыт работы в командной строке Linux
- Опыт работы с инструментами CDC
- Опыт настройки процессов CI/CD
- Приветствуется опыт работы с промышленными ETL-инструментами (IBM DataStage, Informatica, ODI)
- Знание систем контроля версий (Git)
Мы предлагаем:
- Возможность удаленной работы
Откликнуться на эту вакансию: Руководитель отдела разработки / Team lead (Data lake) Remote
Предыдущая вакансия:
Вакансия № 18301035 на должность Программист 1С "Комплексной автоматизации 8.3" от компании Proff Line & Kiehl KG в городе (населенном пункте) Москва