Компания iStaff-it, занимающаяся кадровым аутстаффингом, подключила к проекту специалиста по DWH. Он закрыл аналитический слой и помог довести требования и модель до реализации потоков данных на Apache Spark.
Проектирование DWH с интеграцией данных из ряда источников потребовало детальной проработки требований, построения модели на Data Vault 2.0 и трансформации данных с учетом GAP-анализов. Наш специалист обеспечил четкое описание процессов, что позволило ускорить реализацию и минимизировать риски.
В процессе реализации специалист контролировал корректность потоков данных и их соответствие первоначальным спецификациям. Работая с девелоперами и архитектором, он обеспечил настройку процессов загрузки, что позволило избежать ошибок и ускорить вывод на этап эксплуатации.
В результате команда, которая приняла решение нанять разработчика по договору аутстаффинга, получила понятный набор артефактов. На них можно было опираться при реализации витрин и загрузок — без многочисленных повторных согласований по кругу.
По ходу анализа источников эксперт выявил несоответствия между данными и требованиями бизнеса. Благодаря GAP-анализу, он определил недостающие поля, слабые места в качестве данных и необходимые трансформации для корректной интеграции в DWH.
Так, у заказчика, решившего взять программиста в аренду, появился надежный «каркас» DWH, который можно наращивать без постоянных переделок модели.
Для снятия рисков часть логики проектировалась на SQL и Python (PySpark) — чтобы подтвердить маппинги и поведение преобразований до «боевых» прогонов.
Хотите усилить data-проект опытным аналитиком, инженером или архитектором данных? Наша компания занимается аутстаффингом кадров в IT! Подберем эксперта под ваш стек и задачи.