Data engineer (аудитор)

Обязанности

Мы ищем Главного эксперта в отдел аудита корпоративного бизнеса.Наша команда работает в Корпоративной аналитической платформе, хранящей петабайты данных и реализованной на широком стеке (HBase, Hadoop, GreenPlum), мы ежедневно обрабатываем беспрецедентные объемы данных. Обязанности разработка оптимизированных Spark-приложений для обработки больших объемов данных проектирование витрин данных для целей анализа и моделирования на стеке Hadoop/Greenplum перемещение больших объемов данных между HDFS и Greenplum исследование и подготовка данных проведение code-review внедрение инновационных технологий и методов аудита Требования опыт работы с Hadoop: Apache Spark, HDFS, Hive глубокие знания SQL: понимание планов запроса, внутренней работы SQL-запросов, способов оптимизации запросов опыт работы с Python-стеком для работы с данными и API: Polars, Pandas, requests навыки работы в CLI опыт работы с OLAP базами данных (Greenplum/Clickhouse) понимание принципов работы распределённых систем знакомство с концепциями оптимизации хранения и доступа к данным (партиционирование, бакетирование) опыт работы с Git навыки работы с BI-системами: QlikSense/Superset приветствуются общее представление об ML/статистических моделях готовность использовать ИИ в ежедневной работе Условия гарантированный доход плюс премиальное вознаграждение гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ ДМС с первого дня и льготное страхование для близких бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров корпоративная пенсионная программа обучение за счет компании: онлайн курсы в Виртуальной школе Сбера, возможность получить новую квалификацию реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс.руб место работы: г. Санкт-Петербург, Шафировский проспект, 2