Spark y la combinación de distintos módulos; o el presente de Big Data

Jorge López-Malla, Big Data Architect en Stratio, era el único ponente de la tarde. En una ponencia distendida y con alta carga técnica, los asistentes al Centro de Innovación BBVA de la Plaza Santa Bárbara de Madrid pudieron ver un pedacito de historia desplegarse ante sus ojos.

Si el concepto de Big Data nació en un 'paper' de Google sobre procesamiento de ficheros distribuidos en 2003, con la llegada de Hadoop en 2006 ese concepto cogería una fuerza imparable. Auspiciado por Yahoo!, Hadoop constituyó la base sobre la que las operaciones con Big Data tomarían cuerpo en unos inicios.

Spark es más reciente, y responde a un concepto de problemática más avanzado que el que pudiera tener un desarrollador en 2006 a la hora de satisfacer las necesidades que el mercado demandaba de su software.

Es por ello que López-Malla considera Spark una “evolución de Hadoop y su paradigma”. Sin embargo, lo que le diferencia de su antecesor es mucho más sencillo. Si el núcleo o 'core' de Hadoop se mejoraba, todos los módulos o “patas” que se apoyaban en él no se beneficiaban de esa mejoría. Spark cambia esto y da una ventaja radical al programador para avanzar en sus cometidos, y es que Spark tiene una única API para todo. “Ya no es el futuro, es el presente de Big Data”.

López-Malla explicó tres de los módulos más populares de Spark. Spark SQL, Spark Streaming y MILib, este último relacionado con el procesamiento de datos en tiempo real.

Puedes ver la ponencia completa, terminada con un turno de ruegos y preguntas en el vídeo incrustado más abajo.