от компании (организации): АВИТО ТЕХ: разработка в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Web мастер"
с заработной платой: по договоренности
Вакансия № 29728197 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Воскресенье, 28 июля 2024 года.
Дата обновления вакансии № 29728197 на сайте Работа в Москве и Московской области (МО, Подмосковье): Воскресенье, 22 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 29728197 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
гибкий график
Дополнительные сведения о вакансии: Data Engineer в команду Datamart
О команде
Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы хотим построить инструмент, в котором аналитики могут самостоятельно, не прибегая помощи инженеров dwh, находить ответы в данных, проверять гипотезы и принимать бизнес-решения.
Наша цель — предоставлять платформу для решения задач, связанных с исследованиями, операционной отчетностью и продовыми интеграциями, обеспечивая изоляцию обработки и необходимый уровень доступности и качества данных.
Вам предстоит:
- отделить хранение данных от вычислений над ними: перейти от системы с единой OLAP СУБД к масштабируемому решению, разделив хранение данных и их обработку в изолированных контурах;
- повышать отказоустойчивость системы выполнения и снижать время готовности актуальных данных;
- развивать систему self-service, снижая время, необходимое на создание и изменение пайплайнов;
- развивать систему оркестрации задач, повышая надёжность, удовлетворяя новым запросам пользователей и целям отделения хранения;
- разрабатывать системы тестирования дата-пайплайнов по смыслу и перфомансу для Vertica, Trino и других движков;
- разрабатывать и дорабатывать системы оркестрации заданий;
- оптимизировать высоконагруженные дата-пайплайны и автоматизировать правила и рекомендации для их создателей.
Мы ждём, что вы:
- знаете и умеете писать на Python;
- проектировали или отвечали за компоненты различных систем;
- знаете и не боитесь применять SQL.
Будет здорово, если вы:
- работали с кластерными СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Trino и др.);
- понимаете, что такое хранилище данных;
- разбираетесь в принципе оптимизации кода, работающего с большим объёмом данных;
- работали с инструментами интеграции данных (data bricks, dbt, ksql);
- работали с инструментами оркестрации (airflow, dagster, prefect);
- работали с инструментами CI/CD.
Работа у нас — это:
- интересные и важные задачи на очень большом проекте;
- передовые технологии и подходы;
- возможность пробовать новое;
- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- развитие полезных навыков: на курсах для сотрудников можно прокачать искусство переговоров или выучить английский;
- талантливая команда, готовая поддержать ваши инициативы;
- удалёнка и замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
Откликнуться на эту вакансию: Data Engineer в команду Datamart
Предыдущая вакансия:
Вакансия № 29728193 на должность Менеджер по логистике от компании АО МЭЛ в городе (населенном пункте) Москва