Data engineer

Описание

Требования

Обязанности

О компании и команде

НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.
Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.

Наша команда состоит из ML и CV DS, MLOps и DE.
Мы занимаемся созданием моделей машинного обучения для реального производства.
Мы ищем ещё одного крутого инженера, желающего развиваться в направлении Data Engineering.

Чем предстоит заниматься

• Ведение актуальное документации по витринам, источникам данных;
• Построение витрин в S3 хранилище, ClickHouse;
• Интеграция с внешними сервисами (Web сервисы, БД, Kafka);
• Написание ETL пайплайнов на PySpark;
• Создание DAG-ов в Airflow;
• Визуализация результатов на дашбордах (Superset, Redash);
• Проведение код-ревью, рефакторинг Python кода;
• Развитие Web сервиса на FastAPI;
• Оптимизация PySpark кода;
• Исследование источников данных: владельцы, методы расчета, помощь DS-ам в подготовке данных;
• Внедрение DQC (Data Quality Checks).

Ожидания от кандидата

• Опыт построения витрин данных;
• Опыт настройки ETL процессов;
• Практический опыт S3, Hadoop, ClickHouse, PostgreSQL;
• Знание Superset, Redash;
• Опыт работы с PySpark, Kafka, Airflow, DBT, flyway;
• Знание языков SQL, Python, Java (опционально);
• Опыт использования FastAPI (опционально);
• Опыт работы с Docker, Kubernetes.

Условия работы

• ДМС, санаторно-курортное лечение;
• Корпоративная мобильная связь;
• Консультации юриста, психолога, финансового советника, эксперта по ЗОЖ;
• Дистанционные (телемедицинские) онлайн-консультации врачей;
• Программы комплексного медицинского обследования Check up;
• Частичная компенсация стоимости корпоративного питания;
• Корпоративный спорт: возможности занятий спортом, спортивные соревнования, семейные спортивные праздники;
• Детские новогодние подарки, детский отдых на льготных условиях;
• Ежегодная индексация зарплаты;
• Премия за достижение ключевых показателей;
• Корпоративная пенсионная программа;
• Уникальные технологические и инновационные проекты;
• Открытая корпоративная культура для новых идей и предложений;
• Высокие стандарты безопасности труда и культуры производства;
• Современное технологичное оборудование;
• Возможности для саморазвития и обучения Корпоративный и Технологический университет, электронные библиотеки, участие в конференциях, содействие в повышении квалификации, программы
  профессионального и карьерного развития, изучение иностранного языка, развитие наставничества;
• Программы поощрения сотрудников.