В
процессе очистки данных осуществляются проверка непротиворечивости (целостности), исключение дублирования данных, отбраковка
шумовых (случайных) данных, восстановление отсутствующих данных, приведение данных к единому формату.Подсистема загрузки ИХ создается только для MOLAP-систем. Для ROLAP-систем в процессе выполнения запросов осуществляется преобразование данных из файлов-источников. В том и другом случае требуется выполнение следующих основных функций:
сбор данных (Data Acquisition);
очистка данных (Data Cleaning);
агрегирование данных (Data Consolidation).
Сбор данных предполагает передачу данных из источников в ИХ в соответствии со схемой отображения, представленной в репозиторий.
В
процессе очистки данных осуществляются проверка непротиворечивости (целостности), исключение дублирования данных, отбраковка
шумовых (случайных) данных, восстановление отсутствующих данных, приведение данных к единому формату.
В случае необходимости агрегирования данных осуществляется суммирование итогов по заданным в репозиторий признакам агрегации.