Data Engineer в команду SMT
#удаленка
Компания: 2ГИС
🔹Что предстоит делать:
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
- Строить отказоустойчивые пайплайны обработки и доставки данных;
- Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных;
- Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP);
- Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).
🔹Мы будем рады специалисту, который:
- Имеет 5+ лет опыта на позиции Data Engineer / Big Data Engineer;
- Отлично понимает, как работает Spark и умеет его готовить (RDD/DataFrames, Partitioning, Tuning);
- Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий, масштабируемость, latency);
- Работал с ClickHouse и знает, как «выжать» из него максимум;
- Знаком с построением дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA);
- Умеет проектировать пайплайны под отказоустойчивость, traceability и продакшеновую эксплуатацию;
- Пишет на одном из языков программирования, например, Scala
- Знает SQL и может читать логику отчетов без боли;
- Понимает, как работать с облачными хранилищами и строить отказоустойчивую delivery (AWS S3 - плюс).
Контакты: https://job.2gis.ru/software/66514/
🔥 [Подписаться на наши каналы](https://t.me/addlist/8QASR3uThEI2ZjVi) / @best_itjob / @it_rab