19 октября 2012

Essbase on RAM Disk

Ни раз задавался вопросом, как можно улучшить производительность Essbase. В том числе, с его использованием на RAM Disk. Идея проста - создать виртуальный диск в памяти достаточного объема, благо планочки нынче не дороги, и закинуть на этот диск файлы кубов Essbase.

Один из наших соратников - Макс Кудряшов - поделился тестами такой реализации на промышленной базе:
Cравнили производительность RAM-диска и обычной дисковой полки. Результаты очень положительные: пересчет модели упал с 4.5 - 6 часов (в зависимости от нагрузки) до 2 часов ровно (причем буквально с точностью до пары секунд каждый раз). Даже учитывая, что практически весь пересчет идет в один поток, количество потребляемых IOPS доходило до 10K (но в основном 2-5K). Так что совсем не удивительно, что обычная полка не справляется - она в пике выдавала только под 400.
Есть конечно расчеты, которые слабо зависят от диска (в основном с использованием CREATENONMISSINGBLK ON), но агрегации и копирования данных просто летают.
Приложен график (в центре провал - было не оптимально написано правило).

Софт для создания RAM Disk - Primo Ramdisk
Параметры куба Essbase: BSO, Buffered I/O Access Mode, RLE Data Compression
Объем данных в кубе - 70 ГБ, индексный файл - 3ГБ

06 октября 2012

QlikView for Essbase

Выбирая новую BI систему взамен морально устаревающих модулей EPM, наткнулся на продукты QlikView

Платформа QlikView Business Discovery (pdf)
 

Самое интересное - эти продукты вполне соответствовали моим требованиям - поддержка Essbase (как оказалось еще и HFM) в качестве источников данных.

Описание интеграции с Essbase. Работает через Star Integration Server (SIS)


SIS способен генерить релционную "схему звезда" по всем требованиям движка QlikView Publisher


Понятно, что этот процесс можно автоматизировать:


Кроме прочего меня очень зацепила возможность mobile доступа через реализацию отображения графики на HTML5. Заявлены все популярные платформы: Android, Apple iOS, Blackberry OS. Крупные вендоры BI платформ только начинают осваивать этот рынок.

Компоненты в урезанном виде доступны в демо или триал вариантах:
ps. Занятный блог QlikView по-русски