от компании (организации): Лаборатория Касперского в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Развитие бизнеса"
с заработной платой: по договоренности
Вакансия № 17796719 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Пятница, 20 сентября 2024 года.
Дата обновления вакансии № 17796719 на сайте Работа в Москве и Московской области (МО, Подмосковье): Суббота, 21 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 17796719 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
1–3 года
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Разработчик DWH
О команде
Мы - команда инженеров, которая занимается развитием и поддержкой внутреннего хранилища данных в Лаборатории Касперского. Наша платформа позволяет решать важные продуктовые задачи и принимать стратегические решения в компании.
Объем хранилища данных исчисляется терабайтами данных и продолжает расти. DWH реализован по методологии Кимбалла на базе MS SQL Server. ETL процессы на текущий момент реализованы на связке SQL Server Integration Services и T-SQL. Для нестандартных задач используется С#. В команде хорошо развиты процессы и инженерные практики: написание автотестов, ревью, CI, автоматизированные мониторинги.
Для автотестов у нас есть собственный фреймворк на базе библиотеки tSQLt. На текущий момент в проекте более 2 тысяч автоматизированных тестов. Для мониторинга процессов загрузки используются такие инструменты как Prometheus, Grafana, SCOM.
В команде помимо разработчиков есть:
- тестировщик, который занимается написанием автоматизированных тестов и контролирует качество разрабатываемых решений
- системные аналитики, которые работают с требованиями и взаимодействует с бизнес пользователями, поэтому разработчики могут сфокусироваться на инженерных задачах.
- архитектор, который помогает с проектированием и реализацией.
- системные администраторы, которые мониторят состояние инфраструктуры и помогают в задачах оптимизации.
Для чего вы нам нужны:
- Разработка ETL процессов на связке SSIS + T-SQL по загрузке данных в DWH из разных гетерогенных источников (базы, API, SFTP, брокеры сообщений)
- Разработка автотестов на процессы загрузки данных и развитие инфраструктуры тестирования.
- Решать задачи оптимизации ETL-процессов и структур хранения данных при работе с большими объемами данных
- Разрабатывать мониторинги за качеством данных
- Внедрение дополнительного слоя данных, реализованного по методологии DataVault
- Развитие подходов CI/CD для SSIS пакетов и баз данных, а именно внедрение механизма миграций баз данных и автоматического деплоя SSIS пакетов со всеми необходимыми настройками. Движемся в сторону деплоя на прод нажатием одной кнопки
- Помощь команде в развитии DataLake на базе Hadoop
- Поддержка и мониторинг существующих процессов загрузки данных
Мы ожидаем от вас:
- Отличное знание SQL и опыт оптимизации запросов
- Понимание принципов работы БД и построения хранилищ данных
- Опыт работы с MS SQL Server (или другими реляционными или аналитическими базами данных)
- Опыт работы с SQL Server Integration Services (или другими промышленными ETL-инструментами)
- Опыт разработки на C# / Python
- Непрерывное профессиональное развитие, к примеру: изучение новых языков программирования, онлайн курсы, контрибьюты в открытые проекты, чтение книг, блогов, подкасты и т.д.
Будет плюсом:
- Опыт работы с Docker
- Опыт работы c BIML при разработке SSIS пакетов
- Опыт работы с Airflow
- Опыт работы с брокерами сообщений (RabbitMQ, Kafka)
- Опыт работы с Prometheus, Grafana
Откликнуться на эту вакансию: Разработчик DWH
Предыдущая вакансия:
Вакансия № 17796715 на должность Pre-sale по продуктам системной интеграции (Индустрия 4.0) от компании Билайн в городе (населенном пункте) Москва