Ejemplo Minimalista de Kafka y Spark
En éste tutorial veremos como ejecutar Apache Kafka y Apache Spark desde una perspectiva mínima, en dos plataformas Vagrant para entornos locales y Databricks para entornos en la Nube.
Aquí un video paso a paso de lo que se hace en este tutorial,para ambas tecnologías; Vagrant y Databricks.
Kafka y Spark usando Vagrant
Con vagrant podemos encapsular un proceso de instalación utilizando el archivo de configuración Vagrantfile y algunos archivos de configuración. El archivo Vagrantfile contiene las instrucciones para la creación de una maquina virtual con 4 nucleos virtuales y 4 GB en RAM; tambien se puede ver en las lineas 18 y 20 resaltadas en verde y amarillo respectivamente, a los archivos utilizados para instalar todo lo necesario para que nuestro ejemplo ejecute los servidores de Kafka y Jupyter Notebooks:
