от компании (организации): Spice Agency в городе (населённом пункте): Москва, Россия
в отрасли экономики "Консультирование" → "Исследования рынка"
с заработной платой: до 570000 руб.
Вакансия № 32156706 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Суббота, 21 сентября 2024 года.
Дата обновления вакансии № 32156706 на сайте Работа в Москве и Московской области (МО, Подмосковье): Четверг, 14 ноября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 32156706 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Hadoop / Greenplum администратор (DevOps)
Ищем Hadoop / Greenplum администратора для компании в сфере финтех.
Проект
Мы строим собственное хранилище данных на базе Hadoop и Greenplum.
На ближайшие 2-3 года цели бизнеса – это рост количества аналитических продуктов (ML и BI). Задача отдела – обеспечить эффективную работу новых продуктов вместе с поддержанием текущего технологического стека.
Стек
24 машины под Hadoop (3.3.4), своя сборка на основе дистрибутива Apache BigTop, отдельно 24 машины под Greenplum.
HDFS, Ambari, Ranger, Spark (3.2.3), Delta Lake, Trino, Terraform.
Команда ?
- Hadoop администратор – 2 senior + 1 открытая позиция (на расширение отдела).
- DevOps – 12 человек.
- Руководитель отдела.
Чем предстоит заниматься
- Эксплуатация кластеров Hadoop (BigTop) в тестовых и продуктивных контурах.
- Установка, настройка и администрирование кластера Greenplum (open source).
- RnD работоспособности собственной сборки Hadoop, Greenplum.
- Сборка deb-пакетов дистрибутива (Ubuntu/Debian). Поиск багов и применение патчей в рамках проекта Apache Bigtop.
- Установка, настройка и администрирование инструментов по работе с данными – Apache Spark, Apache Airflow, Deequ, Amundsen, Atlas, MLFlow, Feast.
- Внедрение Kerberos.
- Доработка Management Pack для Apache Ambari.
- Оказание информационной поддержки дата-инженерам и аналитикам.
- Создание технической документации для внедряемых систем.
Что ожидаем от тебя
- Опыт администрирования экосистемы Hadoop (Hive, Spark, Ranger, Airflow, etc).
- Опыт администрирования кластера Greenplum.
- Опыт администрирования Linux под высокие нагрузки.
- Опыт керберизации экосистемы и настройки инфраструктуры Apache Knox.
- Опыт работы с любым современным дистрибутивом (CDH/HDP/BigTop).
- Понимание структуры проекта Apache Bigtop.
- Знание системы управления конфигурацией Ansible. Опыт с Git.
- Возможность решать поставленные задачи на Python.
- Понимание современных DevOps-концепций и подхода Infrastructure as code (Terraform).
Будет плюсом
- Понимание анатомии JVM.
- Умение развернуть железку "с нуля". Понимание PXE, Maas, cloud-init, etc.
Что готовы предложить
- Оклад + годовой бонус (ориентируемся на ваши ожидания).
- Компания входит в реестр аккредитованных ИТ компаний.
- Удаленный формат работы (в пределах РФ). При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая, Шлюзовая набережная).
- ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
- Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит – 25 тыс. рублей в год).
- Льготная ипотека (от Сбербанк), в том числе рефинансирование (ставка по ипотеке на 2 пункта ниже).
- Дополнительные дни к ежегодному отпуску (всего 31 день в году).
- Современное оборудование (техника Windows).
Как мы проводим собеседования
-
15-20 минут – общение с рекрутером.
-
60 минут – техническое интервью (google meet, видео встреча).
-
30-60 минут – софт-интервью (опционально).
-
Проверка документов 1-2 дня (анкета в электронном виде).
-
Оффер, обсуждение даты выхода на работу.
Мы стараемся как можно быстрее принимать решения.
Откликнуться на эту вакансию: Hadoop / Greenplum администратор (DevOps)
Предыдущая вакансия:
Вакансия № 32156702 на должность Охранник в поликлинику от компании ООО ЧОО БИЗНЕС СЕКЬЮРИТИ в городе (населенном пункте) Москва