Ejemplo Minimalista de Kafka y Spark
--
En éste tutorial veremos como ejecutar Apache Kafka y Apache Spark desde una perspectiva mínima, en dos plataformas Vagrant para entornos locales y Databricks para entornos en la Nube.
Aquí un video paso a paso de lo que se hace en este tutorial,para ambas tecnologías; Vagrant y Databricks.
Kafka y Spark usando Vagrant
Con vagrant podemos encapsular un proceso de instalación utilizando el archivo de configuración Vagrantfile y algunos archivos de configuración. El archivo Vagrantfile contiene las instrucciones para la creación de una maquina virtual con 4 nucleos virtuales y 4 GB en RAM; tambien se puede ver en las lineas 18 y 20 resaltadas en verde y amarillo respectivamente, a los archivos utilizados para instalar todo lo necesario para que nuestro ejemplo ejecute los servidores de Kafka y Jupyter Notebooks:
En verde podemos ver que se hace referencia al archivo “install-spark-kafka.sh” el cuan contiene el código necesario para instalar Java, Python y los paquetes necesarios para conectar los compenentes en un ejemplo de Jupyter notebooks.
En amarillo se hace referencia al archivo “start-services.sh” el cual levanta los servicios de Zookeper, Kafka y JupyterLab.
Para haceruso de el código mencionado basta con descargar el código que se encuentra en el siguiente repositorio de GitHub :
Basta con descargar el código de tu forma preferida, la mas sencilla es bajando el archivo compactado .zip:
