от компании (организации): Сбер для экспертов в городе (населённом пункте): Москва, Россия
в отрасли экономики "Информационные технологии, интернет, телеком" → "Банковское ПО"
с заработной платой: по договоренности
Вакансия № 18607803 добавлена в базу данных сайта Работа в Москве и Московской области (МО, Подмосковье): Понедельник, 19 августа 2024 года.
Дата обновления вакансии № 18607803 на сайте Работа в Москве и Московской области (МО, Подмосковье): Понедельник, 23 сентября 2024 года.
Обращаем Ваше внимание, что на момент обращения к работодателю вакансия № 18607803 может быть уже занята. Администрация сайта Работа в Москве и Московской области (МО, Подмосковье) приносит извинения за доставленные неудобства.
Требования к опыту работы:
не требуется
Тип занятости:
полная занятость
График работы:
полный день
Дополнительные сведения о вакансии: Data инженер
Sberbank Process Mining использует несколько методов процесснои? аналитики: process discovery, conformance checking.
Система имеет следующие базовые функции:
- построение моделеи? фактического процесса на основе цифровых следов журнала событии? АС с использованием специализированных алгоритмов (базовыи? алгоритм, эвристическии? алгоритм);
- использование интерактивного представления результатов анализа (граф, диаграммы, референсныи? путь) позволяет фиксировать и визуализировать изменения, рассчитывать и отображать метрики, получать данные, используя загруженные и вычисляемые аналитики;
- проведение сравнительного анализа модели процесса (с журналом событии? процесса нового периода) по метрикам, событиям и связям;
- определение факторов влияния на основе специализированных алгоритмов (XGBoost, random forest) ML-анализа данных исследуемого процесса, анализ текстов (например, комментарии сотрудников) с целью получения причин отклонения, отказов и т.п. в рамках процесса;
- экспорт результатов исследовании? в форматах pdf, png, xlsx, csv, bpmn.
Возможности системы позволяют выполнить исследование процесса, обнаружить отклонения на процессе, спрогнозировать потенциально узкие места, выполнить расчет трудоемкости для определения стоимости процесса.
Задачи:
Разработка витрин данных на стеке Hadoop/Hive/Spark
Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop
Оптимизация и настройка производительности ETL-процессов
Требования к кандидату:
Опыт создания витрин в банке(знание тех.процессов, инструментов, etc)
Наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie, HDFS, YARN), понимание парадигмы map-reduce и алгоритмов работы Spark
Уверенные знания Scala/Java/Python
Отличное знание SQL (Join`ы, агрегаты, группировки, вложенные запросы, индексы, хранимые процедуры, оконные функции).
Знание форматов данных: сsv и разновидности, json, yaml, parquet, orc.
Понимание процессов ETL, ELT; CDC.
Опыт работы с Unix shell: базовые комманды для работы с файлами и процессами (cd, cp, mv, ls, rm, grep, head, tail, tr, du, df, free, top, ps, kill, locate) - нужно для работы на кластере.
Будет плюсом:
Знания и опыт использования Apache Kafka, Apache Flink, Apache Ignite, Apache Ni-Fi;
Понимание работы со стеком DevOps будет плюсом.
Откликнуться на эту вакансию: Data инженер
Предыдущая вакансия:
Вакансия № 18607795 на должность Менеджер по продажам ипотечного кредитования от компании ПАО Промсвязьбанк в городе (населенном пункте) Москва