Cuando trabajamos en Hadoop, una de las tareas más habituales que nos encontraremos es mover datos desde sistemas externos a Hadoop y viceversa. El hecho de que los datos, en su organización, sean de diferente tipo y se encuentren en diferentes sitios complica el proceso de mover los datos. ¿Cómo podemos mover los datos desde una base de datos DBMS hacia Hadoop? ¿O cómo podemos mover los diferentes logs que genera mi organización a Hadoop? ¿Cómo devuelvo a mis DBMS la combinación de datos realizada mediante Hadoop y sus procesos MapReduce?

Una forma es mediante programas MapReduce programados por nosotros, esta forma puede llegar a ser costosa, por lo que necesitamos una formas más simple, y es aquí donde Sqoop entra en juego..

Si miramos alrededor nuestro, vemos que cualquier dispositivo que usamos genera datos, estos pueden ser analizados actualmente. De esta gran cantidad de datos que tenemos a nuestro alcance, sólo el 20% se trata de información estructura y el 80% son datos no estructurados. Estos últimos añaden complejidad en la forma que se tienen que almacenar y analizar.

Hadoop aparece en el mercado Big Data como una solución para estos problemas, dando una forma de almacenar y procesar estos datos..

Las compañías y organizaciones necesitan analizar los datos, generados por sus procesos de negocio o bien datos externos de la organización. Esta necesidad obliga a crear sus data warehouses y/o data marts. 

Vectorwise, gracias a su tecnología, es más rápido que cualquier otra base de datos analítica con un hardware equivalente. Además, en los últimos, benchmark TPCH realizados ha obtenido diferentes records mundiales. Vectorwise usa un sistema de almacenamiento por columnas en lugar del tradicional sistema de por filas, de esta forma el acceso a los datos es más ágil y rápido, recuperando sólo las columnas requeridas por la consulta.

El Social Media, ha sido una nueva forma de entender y hacer marketing, aportando frescura. Cuantas veces hemos contratado los servicios de un profesional concreto porque nos lo ha sugerido un amigo o porque lo hemos visto al lado de casa, hasta hace poco muchos negocios sólo podían aspirar a ofrecer servicios de forma local, con la aparición de Internet y las Redes Sociales las cosas han cambiado dando la posibilidad de ofrecerlos de forma global y ser sugeridos por cualquier persona sin importar su ubicación geográfica.

1. Introducción

Talend, es una ETL de código libre. Una ETL, es una herramienta para Extraer, Transformar y Carga los datos (Extract-Transform-Load). Mediante herramientas de este tipo, podemos hacer transformaciones en los datos, fusionar campos, aplicar cálculos de funciones sobre los campos, etc.