от компании (организации): Лига Цифровой Экономики в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Программирование, разработка"
с заработной платой: по договоренности
Вакансия № 24765912 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Пятница, 11 октября 2024 года.
Дата обновления вакансии № 24765912 на сайте Работа в Москве и Московской области (МО, Подмосковье): Четверг, 14 ноября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 24765912 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
1–3 года
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Hadoop разработчик
Ищем разработчика hadoop на проект по оптимизации существующих функционалов единого информационного хранилища.
Твои задачи:
- Анализ текущей реализации;
- Разработка/актуализация архитектуры совместно с архитектором и аналитиком;
- Формирование комплекта проектной документации (Release Info, Admin Guide, Release Notes и пр.);
- Разработка ETL-процессов на Spark и Scala;
- Написание функционала взаимодействия с Kafka и Kubernates;
- Проведение тестирования разработанного функционала совместно с аналитиком.
Мы ждем от тебя:
- Отличное знание SQL и HQL (агрегирующие функции, оконные функции, оптимизация запросов);
- Понимание принципов работы реляционных СУБД и HDFS;
- Опыт работы с Hadoop и Hive от 1,5 лет;
- Знание архитектуры HDFS (партиционирование данных, форматы файлов, особенности хранение и т.д.);
- Знание Scala;
- Опыт работы с Apache Airflow;
- Умение работать с Git;
- Опыт работы с PostgreSQL или любой другой промышленной СУБД;
- Знание Python (на уровне написания сложных dag-ов в Apache Airflow);
- Опыт работы с детальными слоями хранилищ данных;
- Опыт внедрения промышленного функционала.
Плюсом будет:
- Опыт работы с Apache Kafka (Batch, Streaming).
Откликнуться на эту вакансию: Hadoop разработчик
Предыдущая вакансия:
Вакансия № 24765906 на должность Менеджер по продажам транспортных услуг (автоперевозки) от компании JCat.ru в городе (населенном пункте) Москва