Ejemplo Minimalista de Kafka y Spark

Photo by Joshua Sortino on Unsplash

En éste tutorial veremos como ejecutar Apache Kafka y Apache Spark desde una perspectiva mínima, en dos plataformas Vagrant para entornos locales y Databricks para entornos en la Nube.

Aquí un video paso a paso de lo que se hace en este tutorial,para ambas tecnologías; Vagrant y Databricks.

Kafka y Spark usando Vagrant

Con vagrant podemos encapsular un proceso de instalación utilizando el archivo de configuración Vagrantfile y algunos archivos de configuración. El archivo Vagrantfile contiene las instrucciones para la creación de una maquina virtual con 4 nucleos virtuales y 4 GB en RAM; tambien se puede ver en las lineas 18 y 20 resaltadas en verde y amarillo respectivamente, a los archivos utilizados para instalar todo lo necesario para que nuestro ejemplo ejecute los servidores de Kafka y Jupyter Notebooks:

Archivo Vagrantfile usado en este tutorial

En verde podemos ver que se hace referencia al archivo “install-spark-kafka.sh” el cuan contiene el código necesario para instalar Java, Python y los paquetes necesarios para conectar los compenentes en un ejemplo de Jupyter notebooks.

En amarillo se hace referencia al archivo “start-services.sh” el cual levanta los servicios de Zookeper, Kafka y JupyterLab.

Para haceruso de el código mencionado basta con descargar el código que se encuentra en el siguiente repositorio de GitHub :

Basta con descargar el código de tu forma preferida, la mas sencilla es bajando el archivo compactado .zip:

Abel Alejandro Coronado Iruegas, Ph.D.

Father-Husband-Data Scientist-Philosopher-Entrepreneur-Professor in Data Science-MSc Stats #Scala #SatelliteImagery #Python https://www.a2bigdata.com.mx/

Recommended from Medium

Lists

See more recommendations