Mejora tu negocio de captura de datos LiDAR con automatización confiable, algoritmos personalizados y resultados precisos de alta calidad
En Dielmo, somos conocedores de la necesidad que tienen muchos de nuestros clientes de incrementar la velocidad en el tratamiento de sus datos LiDAR, debido a que cada vez más, los datos que se recogen para el análisis y presentación de resultados, tienen un mayor tamaño y los plazos de entrega requeridos son cada vez menores.
Es por ello que, en ocasiones, el tratamiento de estos datos no es ágil y los tiempos de entrega no son operativos.
Por ejemplo, para la obtención de resultados en el análisis de vegetación peligrosa cerca de líneas eléctricas a partir de datos LiDAR, tenemos unos plazos de entrega muy cortos y después de la clasificación de la nube de puntos disponemos normalmente de dos o tres días para poder realizar los cálculos y hacer un control de calidad de los resultados, por lo que el tiempo de cálculo se debe reducir al máximo.
Es por esto que, en esta industria donde los datos a procesar tienen unos tamaños cada vez mayores y unos tiempos de entrega cada vez más ajustados, aplicar nuevas técnicas de supercomputación para el procesado de datos LiDAR es una necesidad.
Como respuesta, Dielmo lanzó su proyecto de I+D interna:
Desarrollo de algoritmos de cálculo paralelizado para aumentar la velocidad de cálculo en el tratamiento de BIG DATA en su red local.
El reto tecnológico era y sigue siendo, uno de los más importantes dentro del área del tratamiento de la BIG DATA geoespacial.
Con la aparición de nuevos sensores de captura masiva de datos LiDAR como el Geiger-Mode desarrollado por la empresa Harris, o el LiDAR de fotón simple de Leica, los cuales permiten una captura de datos LiDAR 10 veces más rápida y 10 veces más densa, la evolución cíclica natural del sector vuelve a pasar por las 3 fases:
Con este proyecto, Dielmo pretende dar solución al tercer escalón, encontrando así, una mejora escalable en la velocidad de tratamiento de sus datos. Es un avance necesario a nivel mundial, ya que actualmente, no existe ninguna API para el tratamiento, gestión y presentación de resultados específicos de datos LiDAR, con un BackEnd que controle la priorización del tratamiento de las colas de trabajo y que permita la gestión integral sobre el procesado de los datos.
Con esto en mente, los objetivos del proyecto se han centrado en encontrar respuesta a las siguientes cuestiones:
Escalabilidad ilimitada
Este proyecto, además, tiene como objetivo conseguir una capacidad ilimitada de escalabilidad gracias al desarrollo propio de los algoritmos. De esta manera no tenemos limitaciones de licencias de software, simplemente tendríamos de añadir más hardware en caso de necesitar mas capacidad de procesado.
En esta primera fase, se realizó un estudio profundo del arte en cuanto a la implementación de cálculos paralelizados en el tratamiento de datos LiDAR.
Se estudiaron los algoritmos que se suelen utilizar en el procesado de datos LiDAR, para poder adaptarlos al cálculo paralelizado y una vez realizada esta revisión, se definió la arquitectura para el cálculo paralelizado y la arquitectura para la gestión de las colas de procesos.
Ya teníamos definido el ecosistema global de trabajo.
En esta segunda fase, se desarrolló el primer Worker de trabajo, es decir, el desarrollo de las tareas que el Worker debe ser capaz de realizar de forma automatizada.
Como parámetro de validación, se marcaron unos parámetros mínimos que debía ser capaz de realizar. Para ello, se desarrolló un algoritmo capaz de quitar tareas de la cola de trabajo a medida que se iban completando las que estaban en ejecución. A su vez, debía ser capaz de asignar estas tareas.
Una vez asignadas estas tareas, se definió el algoritmo, para que pudiera deserializar y recoger los parámetros de entrada.
Además, el Worker había de ser capaz de recoger los parámetros de entrada, ejecutar el algoritmo y monitorizarlo.
Por último, debía obtener el resultado de los procesos anteriores, y copiarlos a un destino marcado.
En computación, el paradigma de SPMD es una técnica habitual para lograr el cálculo paralelo de diferentes datos con un mismo programa. Es decir, una técnica que trata de separar los datos en subconjuntos más pequeños y aplicar el mismo algoritmo a cada uno de estos.
En el caso de resolución de problemas de carácter geográfico, sería el equivalente a dividir los datos a procesar en teselas, por ejemplo, de un kilómetro cuadrado (1km2) y calcular cada uno en una máquina diferente . Lo cual nos permitiría incrementar la velocidad significativamente.
En esta fase, se desarrolló una API para la gestión de colas. Esta API fue cogiendo forma a medida que se fueron realizando las pruebas de comprobación para todos los tipos de trabajo que se pueden dar: trabajos simples, complejos y secuenciales.
A continuación se realizó el testeo del BackEnd y la depuración de errores, para estabilizar el proceso conjunto, y comprobar que efectivamente, funcionaba a la perfección.
Además, en esta fase, se integraron el nuevo ecosistema de cálculo, en el sistema de producción interno de DIELMO.
Los resultados obtenidos fueron muy positivos.
Confirmamos una mejora en el cálculo de hasta 100 veces superior al habitual en empresas del sector.
Además, pudimos observar mejoras significativas en muchos otros aspectos, los cuales mencionamos a continuación:
Esto nos da un importante margen en la mejora de la eficiencia del tratamiento de datos LiDAR, que afectan a sectores tan diversos como la cartografía convencional, mantenimiento de líneas eléctricas, aplicaciones forestales, hidrología, etc.
Y no solo esto, con este proyecto, Dielmo se sitúa como la única empresa a nivel mundial, capaz de ofrecer un servicio LiDAR de tratamiento de datos mediante algoritmos de cálculo paralelizado, y con una herramienta API con un entorno visual Backend web, que permite la gestión integral del tratamiento de estos datos.
Este proyecto de investigación fué cofinanciado a través del Centro para el Desarrollo Tecnológico Industrial (CDTI) y por el Fondo Europeo de Desarrollo Regional (FEDER), proyecto: IDI-20170969 entre 2017 y 2018.
Mejora tu negocio de captura de datos LiDAR con automatización confiable, algoritmos personalizados y resultados precisos de alta calidad
Análisis LiDAR de redes de energía para detectar zonas de riesgo para nuevas líneas de fibra óptica cumplimento la normativa vigente.
Cada día las cámaras fotogramétricas son más económicas, ligeras, precisas y flexibles, lo que está permitiendo a empresas de todo el mundo comenzar en el negocio de la realización de vuelos fotogramétricos desde drones, helicópteros o aviones, hasta el punto de que el mercado ha pasado de unas pocas grandes empresas especializadas a miles de nuevos actores.
El socio en el que confiar para procesar sus datos Lidar
Para el "Desarrollo de proyectos relacionados con servicios de cartografía".
