Existe cada vez una necesidad mayor en los entornos de Business Intelligence de disponer de la información en el menor tiempo posible, ciclos de generación de datos cada vez más cortos y actualización del dato casi en tiempo real. Se habla de ‘Operational Business Intelligence (OBI)’ y de ‘Real Time Decision Support’.
Es crítico para ello hacer llegar a los entornos analíticos los datos operacionales en el menor tiempo posible. Surge la necesidad de un ‘Real Time Data Integration’.
En la optimización de estos procesos de integración de datos, tenemos que considerar tanto las fuentes origen de datos habituales (ERP’s, CRM’s, sistemas operacionales, Bases de Datos, ficheros planos, formatos Excel, XML ,etc..), como otras de naturaleza más inmediata como pueden ser colas de mensajería e información on-line accedida vía servicios webs o RSS.
Una tecnología que está permitiendo acortar estos ciclos de integración de datos es la tecnología CDC (Change Data Capture). Esta tecnología captura y almacena los cambios que se producen en los sistemas origen en tiempo real. De esta forma los procesos ETL (Extract, Transform and Load) para la provisión del Data Warehouse u ODS (Operational Data Store) sólo acceden a los datos modificados, agilizando los procesos, evitando sobrecarga de servidores y reduciendo drásticamente el volumen de datos tratados y volcados en estos procesos. De esta forma nunca se accede a las tablas maestras (salvo en cargas iniciales) reduciendo, por tanto las ventanas de ejecución de los procesos batch y evitando fallos debidos a volcados masivos de datos.
Por otra parte, se realiza un registro de control de los datos ya sincronizados.
Existen planificadores integrados que propaga los cambios periódicamente. Las herramientas de CDC de mercado, suelen ofrecer una fácil integración con las herramientas ETL de mercado, de forma que su integración en la plataforma de B. I. no es costosa.
Se trata por tanto, de una tecnología que da un paso más hacia el ‘Operational Business Intelligence’.
