от компании (организации): Лига Цифровой Экономики в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Web инженер"
с заработной платой: по договоренности
Вакансия № 25499192 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Понедельник, 26 августа 2024 года.
Дата обновления вакансии № 25499192 на сайте Работа в Москве и Московской области (МО, Подмосковье): Пятница, 20 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 25499192 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
1–3 года
Тип занятости:
полная занятость
График работы:
удаленная работа
Дополнительные сведения о вакансии: Разработчик Hadoop (BigData)
Проект по загрузке данных из источников в аналитическое хранилище Банка ТОП3.
Твои задачи:
- Приведение существующих ETL-потоков к целевой архитектуре и актуальным стандартам разработки;
- Реализация двусторонних интеграций с новыми источниками по API и через КШД;
- Разработка новых ETL-потоков;
- Проработка архитектуры доработок совместно с архитектором;
- Проведение функционального тестирования совместно с аналитиком;
- Подготовка проектной документации (часть от разработчика).
Что мы от тебя ждем:
- Отличное знание SQL и HQL (агрегирующие функции, оконные функции, оптимизация запросов);
- Понимание принципов работы реляционных СУБД и HDFS;
- Опыт работы с Hadoop и Hive от 1,5 лет;
- Знание архитектуры HDFS (партиционирование данных, форматы файлов, особенности хранение и т.д.);
- Знание Scala;
- Опыт работы с Apache Airflow;
- Умение работать с Git;
- Опыт работы с PostgreSQL или любой другой промышленной СУБД;
- Знание Python (на уровне написания сложных dag-ов в Apache Airflow);
- Опыт работы с детальными слоями хранилищ данных;
- Опыт внедрения промышленного функционала
Плюсом будет:
- Опыт работы с Apache Kafka (Batch, Streaming).
Откликнуться на эту вакансию: Разработчик Hadoop (BigData)
Предыдущая вакансия:
Вакансия № 25499189 на должность No-code разработчик от компании Decart IT-production в городе (населенном пункте) Москва