Data Engineer

Описание

Наша компания занимается разработкой и развитием масштабной AI-системы, которая анализирует различные источники данных внутренние архивы, архивы, веб, соцсети и многое другое с целью выявления событий, акторов, геоданных и связей между ними.
Система формирует динамическую базу знаний и временные ряды для анализа корреляций, визуализации взаимосвязей и прогнозирования.

Вы будете работать с многоуровневой архитектурой данных (ETL, временные базы, векторные представления, графовые модели), участвовать в построении пайплайнов обработки и интеграции ML-моделей (NLP, NER, ASR, OCR, CV), а также создании инструментов для анализа, визуализации и поиска/

Мы решаем комплексные задачи: от построения data flow и feature store до проектирования семантических графов и оркестрации пайплайнов моделей.

Ищем опытного Data Engineer для создания и автоматизации устойчивых потоков данных и ETL-процессов с использованием современных технологий.

Обязанности:

• Интеграция данных из различных источников, построение ETL-процессов

• Разработка и настройка коннекторов для сбора и передачи данных

• Очистка, стандартизация и подготовка данных

• Формирование датафреймов и метаданных для дальнейшего анализа

• Настройка и управление потоками данных с использованием Kafka

• Автоматизация и оптимизация процессов обработки данных

Необходимый стек:

• Python (Pandas, FastAPI)

• SQL (Postgres)

• Airflow для оркестрации процессов

• Kafka для организации потоков данных

• Spark для обработки больших данных

• Docker

• Базы данных: InfluxDB, Elasticsearch

Требования:

• Опыт разработки и поддержки ETL/ELT конвейеров

• Знание архитектуры и администрирования Kafka

• Умение работать с большими данными и распределёнными системами

• Опыт работы с системами мониторинга и логирования данных

• Навыки программирования на Python и SQL

• Опыт работы с контейнерами и оркестраторами (Docker, Airflow)

• Знание основ моделирования данных и построения метаданных

Условия:

• Участие в масштабных проектах по обработке данных и автоматизации бизнес-процессов

• Работа в инновационной команде

• Содействие в развитии компании, возможность влиять на продукт и процессы компании

• Достойная, конкурентоспособная заработная плата

• Удаленная работа, редкие офлайн встречи в г.Санкт-Петербург

• Возможность профессионального развития

Уважаемые соискатели!

В связи с большим количеством поступивших откликов время обработки может быть увеличено. Просим вас отнестись к этому с пониманием.