Data Engineer (Инженер данных)

Описание

Industrial.Market инновационная B2B-платформа для промышленных компаний, холдингов и корпораций, дистрибьюторов производителей и поставщиков.

Мы помогаем своим клиентам снизить операционные издержки, сделать процесс закупки малоценных товаров более безопасным, предсказуемым и удобным.

Сегодня на Industrial.Market работает более 200 проверенных поставщиков, реализующих более 3000 заявок в месяц от клиентов крупного, малого и среднего бизнеса. С каждым днём их число растет, а мы динамично развиваемся и расширяемся.

Чем предстоит заниматься:

• проектировать и разрабатывать пайплайны данных (ETL/ELT) от источников до аналитических витрин;
• поддерживать и оптимизировать текущие процессы загрузки данных;
• интегрировать новые источники (API, базы, логи, Excel, Яндекс Метрика);
• работать с хранилищами и DWH (ClickHouse, PostgreSQL, MySQL);
• автоматизация мониторинга и контроля качества данных;
• совместно работать с аналитиками над требованиями к структуре витрин и метрикам.

Технологии (примерный стек)

• языки: Python, SQL
• источники данных: ClickHouse, PostgreSQL, MySQL, Kafka
• оркестрация: Apache Airflow / Prefect / dbt
• инфраструктура: Docker, Git, CI/CD
• инструменты BI: FineBI, Superset, Tableau (понимание принципов работы).

Что нам важно:

• уверенное владение SQL с особенностями ClickHouse;
• уверенное владение Python и понимание принципов построения ETL;
• опыт интеграции внешних API;
• опыт работы с ClickHouse или другими аналитическими СУБД;
• понимание принципов моделирования данных;
• умение работать с Git и базовыми DevOps-инструментами.

Будет плюсом:

• опыт работы в Spark
• навыки работы с dbt

  Если все перечисленное о Вас и про Вас, скорее откликайтесь на нашу вакансию, ведь у нас:

• профессиональная среда, где руководители умеют вдохновлять, а сотрудники настоящие профессионалы, увлечены тем, что делают и готовы делиться своей экспертизой;
• безграничные возможности для роста и кросс-функционального развития в крупной промышленной agile-компании;
• открытая корпоративная культура, атмосфера доверия и сотрудничества.

  А также:

• официальное трудоустройство в аккредитованную IT-компанию по ТК РФ с бессрочным трудовым договором;
• ДМС для сотрудников (включая стоматологию) и скидки на медицинскую страховку для родственников;
• доплата по больничному листу (с 1 по 10 день 100% до оклада, с 11 по 20 день 50%);
• корпоративная дисконтная программа;
• программа поддержки сотрудников и членов их семьи Добросервис (бесплатные онлайн консультации юристов, врачей, ЗОЖ-консультантов, психологов, финансовых советников).