Análisis de Desempeño Computacional del Procesamiento Distribuido de una Implementación de Bolsa de Palabras en Apache SparkTM

Abstract

Este trabajo presenta un análisis comparativo dela implementación de una representación de Bolsa de Palabras (Bag of Words- $BoW$) para el procesamiento distribuido de una colección de documentos de texto en la plataforma de proce-samiento distribuido Apache $\mathrm {S}\mathrm {p}\mathrm {a}\mathrm {r}\mathrm {k}^{\mathrm {T}\mathrm {M}}$ La implementación $\mathrm {B}\mathrm {o}\mathrm {W}$, integró tecnologías para el almacenamiento y proce-samiento distribuido como Apache $\mathrm {H}\mathrm {a}\mathrm {d}\mathrm {o}\mathrm {o}\mathrm {p}^{\mathrm {T}\mathrm {M}}$, exactamente Hadoop Distributed File System (HDFS); y Apache $\mathrm {S}\mathrm {p}\mathrm {a}\mathrm {r}\mathrm {k}^{\mathrm {T}\mathrm {M}}$, respectivamente. El clúster de computación se configuró con 17 equipos conectados entre sí, en los cuales se almacenó un conjunto de datos de 500 archivos de texto plano. Las eta-pas del algoritmo $\mathrm {B}\mathrm {o}\mathrm {W}$ fueron implementadas modularmente en Apache $\mathrm {S}\mathrm {p}\mathrm {a}\mathrm {r}\mathrm {k}^{\mathrm {T}\mathrm {M}}$ Los resultados obtenidos demostraron comportamientos positivos en términos de SpeedUp llegando a tener hasta un aumento proporcional de 4x al usar los 16 nodos del clúster, siendo la cantidad límite de nodos esclavos en los diferentes escenarios de experimentación permitiendo comparar un comportamiento con el SpeedUp teórico señalando un grado de paralelización máximo del 80% en dicho punto sugeriendo la ventaja de la computación distribuida para el procesamiento masivo de datos (Big Data). Igualmente, la experimentación permitió identificar puntos a mejorar para profundizar en posibles causas, mejoras y trabajo futuro para su aplicación en análisis de datos (Data Analytics) como apoyo a la investigación, formación y la industria.