от компании (организации): Платформа ОФД в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Управление проектами"
с заработной платой: по договоренности
Вакансия № 25169499 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Четверг, 12 сентября 2024 года.
Дата обновления вакансии № 25169499 на сайте Работа в Москве и Московской области (МО, Подмосковье): Воскресенье, 10 ноября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 25169499 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
гибкий график
Дополнительные сведения о вакансии: Team Lead Data Engineer (Big Data)
«Платформа ОФД» - продуктовая IT-компания, крупнейший в России оператор фискальных данных. Мы создаем полезные и удобные сервисы для предпринимателей.
Делаем рыночную аналитику на основе данных из магазинных чеков.
Компания резидент Сколково, входит в Экосистему Сбера.
Приглашаем на работу Руководителя отдела подготовки и сопровождения баз данных
Что у нас есть:
- Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе.
- Развитая инфраструктура: есть несколько кластеров Hadoop, мощные машины, GPU
- Команда Big Data состоящая из продуктовых менеджеров, аналитиков, ресечеров, Data Scientist и Data Engineer и т.д. .
- 80% кода мы пишем на Scala
- Оформление по ТК РФ, белая зп
- ДМС, скидки в фитнес-клубы
- Офис в 100 метрах от м. Спортивная/ МЦК Лужники.
- Комбинированный график работы (офис + дом). Гибкий график начала рабочего дня.
- Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
- Ежемесячные статус-митинги, пицца-пати за счет компании и корпоративные праздники.
Наш стек:
Hadoop, Spark, Hive, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset
Jupyterhub/PyCharm, python, стандартный python стек (pandas, numpy, sklearn, matplolib), fastext, torch, BERT, HuggingFace, MlFlow
GitLab, k8s, Docker, Jira, Confluence
Чем предстоит заниматься:
- Управление командой состоящей из 4 Data Engineer, поддержкой и оптимизацией инфраструктуры и внутренних сервисов для обработки больших объемов данных;
- Оптимизация инфраструктуры по обработке больших данных;
- Участие в Архитектуре DWH и витрин данных;
- Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala;
- Анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта
- Развивать инфраструктуру для обработки больших данных и кодовой базы Scala
- Работать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы
Откликайся, если ты:
- Не менее 3-х лет решаешь задачи в области сбора, хранения и анализа данных
- Имеешь опыт работы на позиции Team Lead не менее года;
- Опыт работы на Scala, Python (будет плюсом знание Java)
- Отлично знаешь SQL
- Применяешь в работе инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
- Будет плюсом опыт работы с Docker и k8s
Откликнуться на эту вакансию: Team Lead Data Engineer (Big Data)
Предыдущая вакансия:
Вакансия № 25169496 на должность Оператор шлифовального станка от компании ФГУП Центральный научно-исследовательский институт химии и механики в городе (населенном пункте) Москва