En Dielmo, somos conocedores de la necesidad que tienen muchos de nuestros clientes de incrementar la velocidad en el tratamiento de sus datos LiDAR, debido a que cada vez más, los datos que se recogen para el análisis y presentación de resultados, tienen un mayor tamaño y los plazos de entrega requeridos son cada vez menores.
Es por ello que, en ocasiones, el tratamiento de estos datos no es ágil y los tiempos de entrega no son operativos.
Por ejemplo, para la obtención de resultados en el análisis de vegetación peligrosa cerca de líneas eléctricas a partir de datos LiDAR, tenemos unos plazos de entrega muy cortos y después de la clasificación de la nube de puntos disponemos normalmente de dos o tres días para poder realizar los cálculos y hacer un control de calidad de los resultados, por lo que el tiempo de cálculo se debe reducir al máximo.
Es por esto que, en esta industria donde los datos a procesar tienen unos tamaños cada vez mayores y unos tiempos de entrega cada vez más ajustados, aplicar nuevas técnicas de supercomputación para el procesado de datos LiDAR es una necesidad.
Como respuesta, Dielmo lanzó su proyecto de I+D interna:
Desarrollo de algoritmos de cálculo paralelizado para aumentar la velocidad de cálculo en el tratamiento de BIG DATA en su red local.
Objetivos del proyecto:
Entendiendo el reto
El reto tecnológico era y sigue siendo, uno de los más importantes dentro del área del tratamiento de la BIG DATA geoespacial.
Con la aparición de nuevos sensores de captura masiva de datos LiDAR como el Geiger-Mode desarrollado por la empresa Harris, o el LiDAR de fotón simple de Leica, los cuales permiten una captura de datos LiDAR 10 veces más rápida y 10 veces más densa, la evolución cíclica natural del sector vuelve a pasar por las 3 fases:
- Desarrollar sistemas de recogida de datos que permitan un mayor volumen de captura.
- Trabajar en la variedad de activos de información recogidos que viene como resultado del incremento en el volumen de los datos.
- Trabajar en la mejora de la velocidad de tratamiento de estos datos.
Buscando soluciones
Con este proyecto, Dielmo pretende dar solución al tercer escalón, encontrando así, una mejora escalable en la velocidad de tratamiento de sus datos. Es un avance necesario a nivel mundial, ya que actualmente, no existe ninguna API para el tratamiento, gestión y presentación de resultados específicos de datos LiDAR, con un BackEnd que controle la priorización del tratamiento de las colas de trabajo y que permita la gestión integral sobre el procesado de los datos.
Con esto en mente, los objetivos del proyecto se han centrado en encontrar respuesta a las siguientes cuestiones:
- Cómo mejorar la puesta en cola de tareas.
- Cómo cambiar prioridades o eliminar tareas de la cola en ejecución.
- Cómo comunicar a los consumidores las tareas a realizar.
- Cómo mejorar la monitorización de las tareas en ejecución.
- Cómo desarrollar algoritmos de cálculo bajo el paradigma SPMD (Single Program, Multiple Data) para aumentar la velocidad de cálculo en el tratamiento de BIG DATA dentro de la red local de la empresa.
Escalabilidad ilimitada
Este proyecto, además, tiene como objetivo conseguir una capacidad ilimitada de escalabilidad gracias al desarrollo propio de los algoritmos. De esta manera no tenemos limitaciones de licencias de software, simplemente tendríamos de añadir más hardware en caso de necesitar mas capacidad de procesado.