Senior Data-инженер

Описание

• Проектирование и внедрение масштабируемых ETL/ELT-пайплайнов
• Архитектура хранения и модели данных для аналитики и ML
• Настройка мониторинга, тестов качества и процедур инцидент-менеджмента
• Ведение технической документации, код-ревью и менторство
• Оптимизация производительности и затрат в облаке
• Постановка задач data инженерам

• Образование: высшее в области информатики, математики, статистики, инженерии или эквивалентный опыт
• Опыт работы: от 3 лет (middle) в роли Data Engineer или схожих позициях
• Язык: свободное владение SQL; английский технический уровень (чтение документации)

Технические навыки

• Хранение данных: опыт проектирования и оптимизации распределенных баз данных (MSSQL, Greenplum, Clickhouse )
• ETL/ELT: разработка и поддержка ETL/ELT-пайплайнов; знакомство с Airflow, dbt, S3
• Обработка данных в реальном времени: опыт работы с потоковыми платформами (Kafka) и фреймворками (Spark Streaming, Flink) желательно
• Большие данные: опыт с Apache Spark (PySpark) или эквивалентными инструментами для batch-обработки
• Языки программирования: уверенное владение Python
• Моделирование данных: умение проектировать и опыт создания звёздных/снежинок моделей, нормализации/денормализации, дедупликации и версионирования данных (SCD)
• Качество данных: мониторинг и тестирование данных (soda core, dbt elementary, dbt tests), умение устранять проблемы с данными
• Безопасность и соответствие: управление доступом, шифрование, знание локальных требований к данным желательно

Дополнительные навыки

• Инструменты наблюдаемости: Prometheus, Grafana или аналогичные
• Контейнеризация и оркестрация: Docker
• CI/CD: опыт настройки пайплайнов для кода и деплоя данных
• Data Catalog / Metadata: опыт работы с инструментами каталогизации плюс
• Оптимизация стоимости: умение оптимизировать расходы в облаке при обработке и хранении данных

• Работа в динамично развивающейся компании с известным именем
• Гибридный график работы
• Стабильная заработная плата 2 раза в месяц, без задержек
• Ежегодная премия за высокие результаты в работе, по понятной и адекватной формуле расчета
• Официальное трудоустройство по ТК РФ
• Соц. пакет (компенсация питания, ДМС, страхование от несчастного случая)