от компании (организации): Группа НЛМК в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Администратор баз данных"
с заработной платой: по договоренности
Вакансия № 12928917 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Суббота, 9 ноября 2024 года.
Дата обновления вакансии № 12928917 на сайте Работа в Москве и Московской области (МО, Подмосковье): Четверг, 14 ноября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 12928917 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Data engineer/Инженер данных
Обязанности работника на вакансии: Data engineer/Инженер данных
- проектирование архитектуры, выполнение работ по развертыванию и сопровождению платформы для работы с данными (сбор, накопление, предоставление доступа)
- обеспечение отказоустойчивой работы для платформы и ее компонентов с требуемым уровнем доступности, моделирование поведения платформы при отказе различных ее компонентов;
- настройка сбора диагностических данных и метрик с платформы, настройка мониторинга (проверки доступности, пороговые значения, условия отправки оповещений);
- разработка моделей для данных, передаваемых в платформу;
- внедрение инструментов для мониторинга потоков данных и их качества, описания и хранения моделей данных;
- реализация механизмов для обеспечения высокой доступности и информационной безопасности для компонентов платформ;
- разработка нефункциональных требований к использующим платформу системам, требований к интеграции с другими системами;
- оказание консультаций для команд при проектировании архитектуры и разработке ПО с использованием платформы и ее компонентов;
- определение требований к инфраструктуре для компонентов платформы, анализ и прогнозирование утилизации вычислительных ресурсов;
- аудит работы платформы для выработки решений по оптимизации архитектуры, конфигураций ПО и инфраструктуры.
Требования к работнику на вакансии: Data engineer/Инженер данных
- Высшее техническое образование;
- опыт работы не менее 2х лет с Hadoop, Spark;
- Опыт разработки ETL/ELT-процессов (Nifi / AirFlow);
- Опыт процессинга данных c использованием Apache Spark;
- Владение SQL и алгоритмическими языками: Python / Java / Scala;
- Понимание схем Data Vault, Anchor Modeling, «звезда», OLAP-кубов, их плюсов/минусов, паттернов использования, опыт проектирования структур (баз) данных;
- Опыт работы с очередями сообщений – RabbitMQ, Kafka;
- Опыт работы с реляционными и NoSql базами данных PostgreSql, MongoDB, MySQL, Oracle, GreenPlum, Clickhouse;
- Знание и опыт использования инструментов автоматизации CI/CD: Jenkins / Gitlab CI и др.;
- Понимание принципов проектирования архитектуры информационных систем с точки зрения работы с данными;
- Понимание принципов работы с данными (построения моделей, data governance / data quality);
- Понимание методологий гибкой разработки ПО (Agile, Scrum, Kanban);
- Знание языков программирования python / go;
- являются преимуществом:
- опыт работы c командами разработки ПО;
- опыт написания сложных SQL запросов;
- понимание принципов проектирования архитектуры ПО.
Условия труда для работника на вакансии: Data engineer/Инженер данных
- возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии;
- теплая дружеская атмосфера;
- официальное оформление в соответствии с требованиями ТК РФ (срочный трудовой договор);
- ДМС;
- уровень заработной платы обсуждается индивидуально по результатам собеседования.
Откликнуться на эту вакансию: Data engineer/Инженер данных
Предыдущая вакансия:
Вакансия № 12928904 на должность Младший технический консультант от компании GlowByte Consulting в городе (населенном пункте) Москва