Senior Data Engineer

Описание

Наш проект - инновационная платформа, которая объединяет передовые технологии:

• Генеративный AI создание и обработка контента;
• Компьютерное зрение распознавание изображений и видео;
• Умный поиск и анализ информации в реальном времени.

Мы ищем проактивных и увлеченных специалистов, готовых участвовать в разработке продукта.

Тебя ждет:

• Работа на переднем крае технологий совместно с научной командой;
• Возможность влиять на архитектуру и развитие системы;
• Динамичная команда единомышленников.

Задачи:

• Разработка и развитие пайплайнов подготовки датасетов для обучения и тестирования моделей детекции и сегментации изображений.
• Оптимизация процессов загрузки и хранения данных, включая работу с базами данных, файловыми системами и API.
• Взаимодействие с командой Data Science для улучшения качества данных и оптимизации процессов обучения.
• Изучение публикации, мониторинг новых перспективных подходов.

• Уверенное владение Python и основными библиотеками.
• Понимание основ алгоритмов машинного обучения, статистической обработки данных.
• Понимание принципов работы моделей детекции и сегментации изображений.
• Опыт работы с инструментами разметки датасетов (CVAT и др.).
• Опыт работы с базами данных (SQL и NoSQL).
• Опыт работы с s3 файловыми хранилищами.
• Опыт работы с Docker, Git.

Будет плюсом:

• Опыт работы с геоданными (GeoPandas, GDAL).
• Опыт руководства командой/менторство.
• Опыт работы с библиотеками PyTorch, Transformers.
• Опыт работы с DAG.
• Опыт работы с LLM.