Big Data Portable

Photo by ian dooley on Unsplash

En este tutorial vamos a usar Vagrant para iniciar un micro clúster con HDFS y Apache Spark con tan solo 3 GB en RAM dentro de una maquina virtual aprovisionada por dicha tecnología y lo mejor de todo con solo pocos pasos y cero configuración.

Para seguir el actual tutorial es necesario que sigas el anterior donde se instalan todos los requisitos previos:

Para realizar este ejercicio me encuentro en un equipo con las siguientes características:

  • Windows 10
  • Intel(R) Core(TM) i5–7200U CPU @ 2.50GHz
  • 8 GB RAM
  • 767 GB Libres en C:\

Como ya tenemos instalado Vagrant solo hay que bajar el siguiente código:

Descarga el archivo ZIP como se ve en la figura anterior. Y extrae su contenido en donde consideres conveniente:

Para que este código funcione será necesario instalar el plugin de docker-compose a nuestra instalación de Vagrant:

vagrant plugin install vagrant-docker-compose
Instalación del plugin de docker-compose. Nota: Requiere que IPV6 se encuentre desactivado en el equipo.

Finalmente ejecutamos el siguiente comando (vagrant up) y esperamos varios minutos, eso depende de tu conexión a internet y la velocidad de tu computadora. En el caso de la coputadora que utilice de prueba tardo 50 minutos 😮. ¡Pero funciono!

Posteriormente puedes apagar el la maquina virtual sin el temor de perder lo logrado hasta aquí…

Abel Alejandro Coronado Iruegas, Ph.D.

Father-Husband-Data Scientist-Philosopher-Entrepreneur-Professor in Data Science-MSc Stats #Scala #SatelliteImagery #Python https://www.a2bigdata.com.mx/