от компании (организации): Яндекс в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Системная интеграция"
с заработной платой: по договоренности
Вакансия № 25613822 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Суббота, 27 июля 2024 года.
Дата обновления вакансии № 25613822 на сайте Работа в Москве и Московской области (МО, Подмосковье): Суббота, 21 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 25613822 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Инженер данных DWH в Вертикали
Мы – Вертикали, Вертикали – это 5 крупных продуктов, такие как Путешествия, Авто.ру, Недвижимость, Аренда и СМ. Эскперт.
В команде разработки аналитической инфраструктуры занимаемся полным циклом обработки данных в компании, который включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как продуктовые команды, которым нужна регулярная отчётность для принятия решений, так и эксперты в области глубокого анализа данных.
Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.
Что нужно делать:
- вести разработку ETL-процессов поставки данных;
- проектировать структуру хранения данных в разных слоях хранилища;
- выявлять неэффективные участки в существующих процессах поставки данных и оптимизировать их;
- участвовать в развитии фреймворка поставки данных;
- погружаться в данные одной или несколько прикладных бизнес-областей и становиться в них экспертом;
- сопровождать разработанные ETL-процессы.
Мы ждем, что вы:
- экспертно разбираетесь в SQL;
- имеете опыт промышленной разработки на одном из языков высокого уровня: Python, Go, Java и другие;
- понимаете устройство и архитектуру реляционных баз данных;
- проектировали DWH: слои, модели хранения данных, ETL-процессы;
- знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.
Будет плюсом, если вы:
- понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce, MPP;
- пользовались хотя бы одной MPP СУБД, например Greenplum, ClickHouse, Vertica, Teradata и т. д.;
- работали с брокерами сообщений, такими как Kafka, RabbitMQ или подобными;
- умеете работать в командной строке систем Unix-like: Linux, macOS.
Условия труда для работника на вакансии: Инженер данных DWH в Вертикали
- конкурентная заработная плата: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами;
- расширенное страхование: ДМС с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой;
- компенсация оплаты питания, а также завтраки, ланчи и снеки в офисе;
- обучение: внутренняя библиотека, курсы, конференции;
- жилищная программа;
- гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат.
Откликнуться на эту вакансию: Инженер данных DWH в Вертикали
Предыдущая вакансия:
Вакансия № 25613813 на должность Программист BI от компании Дельрус в городе (населенном пункте) Москва