Herramientas de Integración, ETLs y Pipelines de datos
Como consultores, muchas veces ingresamos a la empresa para implementar un proyecto y vemos una cantidad de factores que van surgiendo, en la tarea cotidiana, que conspiran contra un buen resultado. Analizaremos en este artículo los puntos a considerar para obtener buenos resultados...
.jpg)
Oracle Data Integrator es la herramienta de integración de datos de Oracle. Es la apuesta de Oracle en cuestiones de integración de datos y sustituye a OWB (Oracle Warehouse Builder). Forma parte de la solución OFM (Oracle Fusion Middleware) y está totalmente integrada con otras soluciones Oracle relacionadas con la gestión de datos..
Dentro de las actividades de Gestión de los Datos que realiza una organización resultan cada vez más críticos los procesos que supervisan y garantizan la calidad de los datos. El volumen de información crece constantemente en las organizaciones y disponer de almacenes de datos fiables resulta imprescindible para realizar un correcto análisis y explotación de los mismos evitando inconsistencias, conclusiones erróneas y facilitando el desarrollo de futuros sistemas basados en maestros de datos consistentes, depurados, enriquecidos y fiables. Se trata de un pilar básico dentro de las actividades de Gobierno de Dato y tal y como revela el siguiente post: Un estudio de Information Builders revela la poca calidad de los datos en las empresas, un aspecto poco cuidado por las empresas.
Por otro lado, actualmente hay situaciones coyunturales que obligan a una inversión fuerte en procesos de calidad de datos, como puede ser la fusión o compra de empresas. En estas situaciones aparece una importante necesidad de normalización, como puede ser la unificación e BBDD de clientes, empleados, productos, servicios, etc..
Existe cada vez una necesidad mayor en los entornos de Business Intelligence de disponer de la información en el menor tiempo posible, ciclos de generación de datos cada vez más cortos y actualización del dato casi en tiempo real. Se habla de ‘Operational Business Intelligence (OBI)’ y de ‘Real Time Decision Support’.
Es crítico para ello hacer llegar a los entornos analíticos los datos operacionales en el menor tiempo posible. Surge la necesidad de un ‘Real Time Data Integration’.
En la optimización de estos procesos de integración de datos, tenemos que considerar tanto las fuentes origen de datos habituales (ERP’s, CRM’s, sistemas operacionales, Bases de Datos, ficheros planos, formatos Excel, XML ,etc..), como otras de naturaleza más inmediata como pueden ser colas de mensajería e información on-line accedida vía servicios webs o RSS.
En este debate del grupo de Linkedin Master Data Management Interest Group se ha recopilado una lista de soluciones o software de MDM, que me parece interesante compartir. Desde aquí también podemos ir enriqueciendo la lista:
Al abordar un proyecto de Business Intelligence es importante la correcta valoración de la herramienta ETL que vamos a utilizar. La herramienta en base a la cual vamos a implementar nuestros procesos de abastecimiento del Datamart , Datawarehouse o estructura de almacenamiento en base a la cual posteriormente explotaremos los datos. Se trata de una pieza fundamental para el diseño, construcción y posterior evolución de nuestro sistema B.I. Analizaremos únicamente cuestiones técnicas, sin entrar a los aspectos económicos o de otra índole (licencias, acuerdos, soporte técnico, evoluciones de la herramienta, etc..). Señalar que los procesos de ETL, van muy ligados a los procesos de data profiling y de calidad de datos, que aquí no vamos a considerar.
Mostramos a continuación un resumen de capacidades de esta herramienta integrada en la suite de B.I. de Oracle incluyendo las funcionalidades incluídas en la versión 11g.
Existe también la versión standalone XML Publisher Enterprise independiente de la suite de Oracle.
Oracle BI Publisher permite publicar y distribuir informes en al ámbito del Reporting operacional empresarial con gran nivel de detalle. Estos informes pueden ser creados desde el mismo portal (editor DHTML). Cuenta con una interfaz gráfica que facilita enormemente el trabajo. A nivel de SQL, permite escribir las sentencias directamente o ayudarse de un Query Builder. Una gran ventaja de la herramienta es que el diseño del informe puede estar basado en plantillas realizadas con Microsoft Word, Excel o Adobe Acrobat.
Oracle BI Publisher ofrece también soporte para Adobe Flex, de forma que se pueden crear plantillas en Flex, formato que permite crear informes y formularios interactivos. BI Publisher separa la creación de los datos (XML) del proceso de formateo. El motor puede tratar cualquier dato XML, permitiendo la integración con cualquier sistema que genere XML, como servicios web o cualquier fuente de datos JDBC.
En muchos proyectos relacionados con las tecnologías de la información es necesario introducir datos en los sistemas. Sean nuevos o se trate de una migración de los que había en un sistema a sustituir, la carga de los datos es una de las tareas que suele dar algún que otro dolor de cabeza si no se incluye como es debido en la planificación del proyecto.
Normalmente, los problemas vienen por la idea de que “los datos entran solos en las aplicaciones”. Nada más lejos de la realidad. Alguien los tiene que seleccionar, revisar, preparar y dar de alta en el sistema nuevo. Es una tarea que requiere una planificación específica ¿Quién lo debe hacer? ¿El proveedor o el cliente? ¿Un tercero?
La información que circula internamente por las empresas es mucha y de muy diverso tipo: quiénes son los clientes, qué compran, qué día y a qué hora, cuál es el importe medio de gasto, cómo son los proveedores y la relación con ellos, y un sinfín más de datos en bruto que podrían analizarse y empaquetarse para proporcionarlos mayor valor, lo que supondría afinar en las estrategias y tener una visión más certera en la toma de decisiones.
Esta obra está bajo una licencia de Creative Commons Reconocimiento-CompartirIgual | Servicios Publicidarios | Aviso legal