Data Engineer
KoronatechОписание
В нашей команде дата-инженеры занимаются организацией данных и витрин для их получения. Главные потребители наших данных data scientist ы, которые занимаются поиском закономерностей, значимых признаков в данных и тренировкой моделей машинного обучения. Сейчас мы активно расширяем команду и приглашаем к сотрудничеству Дата Инженеров!
Стек: Apache Airflow, Apache Spark, Apache Kafka, Apache Flink, ClickHouse, Kubernetes, Hive, Impala, Zeppelin, HUE, Scala и Python. Задачи: проектирование и построение DWH
подготовка витрин данных для отчетности, бизнеса и дата аналитики
организация пайплайнов сбора данных от бэкендов и других хранилищ
организация пайплайна подготовки датасетов для обучения ML моделей
организация мониторинга компонентов корпоративной платформы данных
разработка ETL/ELT пайплайнов и поддержка существующих
Java8+, Scala (один из языков на хорошем уровне) знание алгоритмов и структур данных
знание SQL и принципов работы классических БД
желание развиваться в BigData и ML
Какие еще навыки будут полезны в работе:
Python
Hadoop, Spark, YARN, Hive, Impala
noSQL базы: Cassandra, Elastic
анализ данных при помощи Python-ноутбуков Jupyter, Zeppelin
работа с очередями сообщений: Kafka, Rabbit, JMS
понятная траектория роста (performance review, карьерные консультации, индивидуальная карта развития и т.д.);
обучение и развитие за счёт ресурсов компании (Учебный центр, корпоративная библиотека, оплата внешнего обучения);
социальный пакет (ДМС с первого рабочего дня, скидки от партнёров, детская программа и т.д.);
насыщенная корпоративная жизнь (радио, подкасты, кибертурнир, собственные мероприятия и участие в крупных событиях отрасли);
возможность быть преподавателем, наставником, автором корпоративного блога, спикером каждый выбирает то, что подходит именно ему;
официальное трудоустройство с первого дня, полностью белая зарплата;
удобный формат работы (удаленно или офисе/в гибридном формате).