Задача
Крупный поставщик решений по аудиту энергосбережения жилых помещений поставил задачу по разработке модели данных и структуры хранилища для корпоративной BI-системы.
Особенности проекта
- Разработка модели данных DataVault и структуры хранилища данных.
- RedShift распределенная БД на фреймворке MapReduce.
- Регрессионное тестирование, проверка целостности, качества и полноты данных.
- Витрины данных для регулярной отчетности.
- Разработка моделей отчетности и анализа данных.
- Алгоритмы машинного обучения.
- Непрерывная интеграция.
Результаты
- Полный стек поверх Amazon Web Services.
- Тесное сотрудничество с командой ETL заказчика.
- Интеграция данных из крупномасштабной сервис-ориентированной корпоративной системы (CRM, продажи, биллинг, аудиторы, документооборот, пр.).
- Улучшение процессов QA для процедур ETL и согласованности данных.
