от компании (организации): Лаборатория Касперского в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "CRM системы"
с заработной платой: по договоренности
Вакансия № 14417689 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Вторник, 6 августа 2024 года.
Дата обновления вакансии № 14417689 на сайте Работа в Москве и Московской области (МО, Подмосковье): Вторник, 24 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 14417689 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
1–3 года
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Developer DWH (Data Engineer)
Кто мы:
Мы - команда инженеров, которая занимается развитием и поддержкой внутреннего хранилища данных в Лаборатории Касперского.Наша платформа позволяет решать важные продуктовые задачи и принимать стратегические решения в компании. Объем хранилища данных исчисляется терабайтами данных и продолжает расти. В данный момент мы расширяем архитектуру хранилища, добавляя новый слой - DataLake на базе Hadoop и Hive. Также планируем миграцию ETL процессов на Airflow. Наша команда не занимается созданием отчетности, OLAP кубами и администрированием серверов баз данных - это зона ответственности других команд. У нас Agile, работаем по Scrum. Текущий стек: MS SQL Server 2016, T-SQL, SSIS, C#, Python, Airflow, Hadoop, Hive
Вам предстоит:
- Заниматься разработкой и поддержкой ETL-процессов по загрузке данных в DWH из гетерогенных источников
- Решать задачи оптимизации ETL-процессов и структур хранения данных при работе с большими объемами данных
- Разрабатывать процессы CI/CD и мониторинга процессов обработки данных
- Разрабатывать автотесты на процессы загрузки
Мы ожидаем от Вас:
- Отличное знание SQL и опыт оптимизации запросов
- Понимание принципов работы БД и построения хранилищ данных
- Опыт работы с MS SQL Server (колоночные индексы, партиционирование)
- Опыт разработки на С# / Python
- Опыт работы с промышленными ETL-инструментами (сейчас мы используем SSIS).
Будет плюсом:
- Опыт работы с распределенными системами хранения и обработки данных (Hadoop, Hive, MPP, Spark)
- Опыт работы с очередями сообщений (RabbitMQ, Kafka)
- Опыт работы с Airflow
- Опыт работы с Docker
- Опыт работы с PowerBI
- Опыт работы с Prometheus, Grafana
Откликнуться на эту вакансию: Developer DWH (Data Engineer)
Предыдущая вакансия:
Вакансия № 14417681 на должность Работник торгового зала / Мерчендайзер в отдел овощи фрукты от компании АШАН Ритейл Россия в городе (населенном пункте) Пушкино