Data engineer (аудитор)

Описание

Мы ищем эксперта в отдел аудита корпоративного бизнеса. Наша команда работает в Корпоративной аналитической платформе, хранящей петабайты данных и реализованной на широком стеке (HBase, Hadoop, GreenPlum), мы ежедневно обрабатываем беспрецедентные объемы данных.

Обязанности

• формирование, тестирование, внедрение новых автоматизированных процедур (АПК) в рабочее место аудитора
• реинжиниринг, редизайн имеющихся АПК
• обновление и доработка скриптов на ETL-процессе
• разработка оптимизированных Spark-приложений для обработки больших объемов данных
• создание, обновление витрин данных для целей анализа и моделирования на стеке Hadoop/Greenplum
• перемещение больших объемов данных между HDFS и Greenplum
• поиск, тестирование, валидация, исследование данных
• проведение code-review
• внедрение инновационных технологий и методов аудита

Требования

• высшее образование - техническое / физико-математическое
• опыт работы с Hadoop: Apache Spark, HDFS, Hive
• глубокие знания SQL: понимание планов запроса, внутренней работы SQL-запросов, способов оптимизации запросов, оконные функции
• опыт работы с Python-стеком для работы с данными и API: Polaris, Pandas, requests, pySpark (Spark.DataFrame)
• навыки работы в CLI (Command Line Interface, Common Language Infrastructure)
• опыт работы с OLAP базами данных (Greenplum/Clickhouse)
• знакомство с концепциями оптимизации хранения и доступа к данным (партиционирование, бакетирование)
• опыт работы с Git, AngularJS, React, FastAPI, CSS, HТML
• навыки работы с BI-системами: QlikSense/Superset
• приветствуются общее представление об ML/статистических моделях
• готовность использовать ИИ в ежедневной работе

Условия

• трудоустройство согласно ТК РФ
• гарантированный доход плюс премиальное вознаграждение
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• ДМС с первого дня и льготное страхование для близких
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• корпоративная пенсионная программа
• обучение за счет компании: онлайн курсы в Виртуальной школе Сбера, возможность получить новую квалификацию
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение
• место работы: г. Санкт-Петербург, Шафировский проспект, 2