Aprendiendo Spark

[Adrian Mendoza]

Apache Spark es una plataforma de computación en clúster diseñada para ser rápida y de uso general. Por el lado de la velocidad, Spark amplía el popular modelo MapReduce para soportar de manera más eficiente más tipos de cálculos, incluidas consultas interactivas y procesamiento de flujo. La velocidad es importante en el procesamiento de grandes conjuntos de datos, ya que significa la diferencia entre explorar datos interactivamente y esperar minutos entre consultas, o esperar horas para ejecutar su programa en lugar de minutos. Una de las características principales que ofrece Spark para la velocidad es la capacidad de ejecutar cálculos en la memoria, pero el sistema también es más rápido que MapReduce para aplicaciones complejas que se ejecutan en el disco.