Data Engineer Баланс Продавцов
#удаленка
Компания: Wildberries
🔹Что нужно делать
- Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
- Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
- Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
- Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
- Документирование разработок и решений команды
- Обеспечение поддержки решений команды
🔹Какой опыт и знания нужны
- Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
- Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
- Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
- Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
- Знание Linux на уровне пользователя и умение пользоваться терминалом
- Знание и опыт применения различных моделей данных
- Опыт разработки базового DQ, и понимание принципов его построения
- Наличие опыта базового системного и дата-анализа
- Опыт в разработке архитектурных схем и проектировании решений
- Обязателен опыт написания технической документации по решениям, которые вы разрабатывали
Контакты: https://career.wb.ru/vacancies/20397?
🔥 [Подписаться на наши каналы](https://t.me/addlist/8QASR3uThEI2ZjVi) / @best_itjob / @it_rab