от компании (организации): Иннотех, Группа компаний в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Инженер"
с заработной платой: по договоренности
Вакансия № 27748440 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Четверг, 12 сентября 2024 года.
Дата обновления вакансии № 27748440 на сайте Работа в Москве и Московской области (МО, Подмосковье): Воскресенье, 22 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 27748440 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
3–6 лет
Тип занятости:
полная занятость
График работы:
удаленная работа
Дополнительные сведения о вакансии: Разработчик PySpark(Рыночные риски)
О ПРОЕКТЕ:
Приглашаем в команду Разработчика PySpark (Hadoop, Hive, Airflow) для участия в проекте по переводу системы оценки ALM-рисков на новый источник данных на экосистеме ArenaData Hadoop.
Задачи, которые мы предлагаем:
- Разработка и оптимизация ETL процессов;
- Реализация бизнес-логики в технологиях Hadoop;
- Разработка витрин данных в корпоративном хранилище данных Hadoop;
- Адаптацця имеющихся SQL-практик к технологическому стеку Hadoop;
- Участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
- Участие в проектировании системы, решение исследовательских задач по реализации функционала;
- Взаимодействие со смежными стримами по задачам команды.
Какие знания и навыки для нам важны:
- Высшее образование;
- Опыт промышленной разработки Python, PySpark на уровне Middle+;
- Знания принципов построения систем хранения и обработки данных;
- Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
- Наличие опыта работы с технологиями Hadoop (Hive, Spark, Parquet, RDD, Airflow, Artemis) - высокий приоритет;
- Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
- Опыт промышленной разработки ETL Apache AirFlow;
- Понимание методологий Agile и DevOps.
Преимуществом буду навыки:
- Опыт работы в Jira и Confluence или подобными системами;
- Опыт работы с большими данными;
- Владение инструментами Jupiter, Zeppelin;
- Знание архитектуры Hadoop и особенностей исполнения Spark и MapReduce;
- Опыт оптимизации производительности и исполнения PySpark.
Откликнуться на эту вакансию: Разработчик PySpark(Рыночные риски)
Предыдущая вакансия:
Вакансия № 27748432 на должность Руководитель управления эксплуатации ИТ-инфраструктуры / ГИП/ Teamlead infrastructure от компании ООО Сервионика в городе (населенном пункте) Москва