Data Engineer
#удаленка
Компания: Билайн
🔹Из основных задач:
- Анализ требований к витринам данных.
- Поиск и исследование источников данных для последующей интеграции.
- Оценка пригодности, качества исходных данных.
- Разработка ETL процессов на Spark.
- Оркестрация ETL процессов в Airflow.
- Проектирование баз данных.
- Создание конвейеров данных NiFi.
- Вывод отчётности в Qlick Sense.
🔹Описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
- Любит работать в команде и умеет это делать.
- Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции).
- Работал с Hive, PostgreSQL.
- Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество).
- Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron.
- Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче.
- Умеет использовать Инструменты, которые позволяют создавать интерактивные отчеты, дашборды и визуализации на основе данных - Power BI, Qlik.
- Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink.
- Интересуется Flink, пробовал применять его в проектах.
- Понимает принципы работы реляционных СУБД и HDFS.
- Понимает подходы к работе с качеством данных.
- Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.
Контакты: https://job.beeline.ru/vacancies/968e3bfe-8a1c-4897-aca4-6d4ad7ec7b5c
🔥 [Подписаться на наши каналы](https://t.me/addlist/8QASR3uThEI2ZjVi) / @best_itjob / @it_rab