Hoy vamos a hacer una introducción a Apache Spark, el nuevo motor del Big Data, se trata de un framework de computación paralela enfocando especialmente hacia la ciencia de datos.

Hay que destacar que Spark lleva incluidas librerías específicas para tratar datos estructurados (SparkSQL), integración con lenguaje R (Spark R), capacidades para el streaming de datos (Spark Streaming), machine learning (MLib) y computación sobre grafos (GraphX).

Esta primera introducción es una guía para su instalación, conceptos, estructura y el primer contacto que tendremos será la implementación de un Clúster Standalone con PySpark, las aplicaciones se ejecutan como un grupo independiente de procesos en el Cluster, dirigido por el programa principal.

Pentaho ofrece soporte para una gran variedad de bases de datos NoSQL diseñadas para trabajar con un gran volumen de datos. Estas bases de datos se están convirtiendo en una tecnología fundamental en el mundo del BigData. Ofreciendo una velocidad y escalabilidad mayor que en las bases de datos estructuradas.

Pero cual deberíamos elegir para nuestros proyectos?

Por este motivo queremos testear diferentes tecnologías, ver su integración con otras herramientas,  y analizar su rendimiento. Podeis seguir las diferentes comparativas desde nuestro blog https://www.jortilles.com/blog/

En este artículo empezamos Mongodb, desde su instalación, los primeros pasos, comandos.. hasta su integración con Pentaho para realizar un informe. A continuación podeis descargaros la guía en pdf