Vectorwise: Una solución para Big Data

1.Introducción a Vectorwise

1.1 Presentación

Las compañías y organizaciones necesitan analizar los datos, generados por sus procesos de negocio o bien datos externos de la organización. Esta necesidad obliga a crear sus data warehouses y/o data marts. Tradicionalmente en sistemas relacionales. El mercado de las bases de datos relacionales para data warehouse y data marts, ha evolucionado rápidamente en los últimos años, encontrando diferentes tipos de soluciones.

 

1.2 Orígenes de Vectorwise

La base de datos Vectorwise de Actian Corp, tiene sus orígenes en 2003, en el proyecto X100 de Wiskunde & Informatica (CWI) de Amsterdam.

X100 fue diseñado para explotar mejor los microprocesadores x86, mediante el proceso por vectores, que permite mediante una simple instrucción aplicar la misma operación sobre diferentes datos y paralelizarlo (SIMD).

Vectorwise usa un motor columnar para almacenar los datos, pero a diferencia de otras soluciones usa la tecnología del multiproceso simétrico en paralelo (SMP), adaptado a la tecnología del procesador. Además, de tener el pipeline de acceso a los datos optimizado, para minimizar los fallos de página que encontramos en los sistemas tradicionales de bases de datos.

Todas estas características permiten olvidarnos del tuneo de la base de datos de forma manual, no necesitamos crear índices. Además de poder trabajar en los datos a máximo nivel, sin necesidad de crear datos precalculados.

 

2. Vectorwise una solución para el Big Data

2.1 La solución Vectorwise

Vectorwise, gracias a su tecnología, es más rápido que cualquier otra base de datos analítica con un hardware equivalente. Además, en los últimos, benchmark TPCH realizados ha obtenido diferentes records mundiales. Vectorwise usa un sistema de almacenamiento por columnas en lugar del tradicional sistema de por filas, de esta forma el acceso a los datos es más ágil y rápido, recuperando sólo las columnas requeridas por la consulta. Vectorwise comprime de forma automática los datos y según el tipo de datos y patrón de repetición aplica un algoritmo u otro para optimizar su funcionamiento. La ejecución en paralelo le asegura que obtenga el máximo rendimiento de su hardware.

Vectorwise es compatible con los estándares de la industria de bases de datos relacionales, incluyendo ANSI SQL y la conectividad a través de JDBC, ODBC y .Net. Además los líderes del sector en Herramientas BI suportan Vectorwise lo que le permite hacer uso del Big Data.

 

Imagen eliminada.

2.2 Beneficios de Vectorwise

El proceso por vectores, permite superar la ejecución de 100 instrucciones de forma simultánea.

Los vectores de datos se procesan utilizando la memoria caché que es más de 100 veces más rápido que el uso de memoria RAM.

La E/S y los requerimientos de almacenamiento se reduce al mínimo con la tecnología de compresión automática.

La ejecución en paralelo asegura los mejores tiempos de respuesta para una query.

Su gran rendimiento lo hace una herramienta perfecta para el Big Data.

Su rendimiento elimina la necesidad de  tuneo de la bases de datos.

La mejora en procesamiento permite a un solo servidor soportar cómodamente cargas intensivas de trabajo en Big Data, olvidándose de la creación de clusters.

Vectorwise elige automáticamente el esquema de compresión más óptimo.

Usa ANSI SQL y JDBC, ODBC o .Net para acceder a los datos.

Una infraestructura global de soporte 24/7.

Requerimientos no muy elevados de Hardware y su facilidad de uso aseguran un retorno de la inversión.

Conector con Hadoop

 

Vectorwise está disponible en plataformas de 64 bits para Windows y Linux, se puede descargar una versión de evaluación del site de Actian Corp o poniéndose en contacto conmigo.

 

Jordi Casanella, consultor en TICOUT

https://www.ticout.com

jcasanella@ticout.com

Somos los Master Reseller y Master Distributor de Actian Vectorwise y YellowfinBI para España y Portugal.