Generación de datasets de imágenes sintéticas, análisis de resultados con CNNs y estudio de aplicación en escenarios industriales.

El objetivo del proyecto en colaboración con el grupo Antolin es la creación de un sistema capaz de automatizar el proceso de elaboración de pedidos. El sistema estará constituido por sistemas de visión y brazos robóticos encargados de elaborar "cestas" con todas las piezas necesarias para montar un pedido el cual será ensamblado por un operario. Gracias a la automatización de la generación de las "cestas" se espera poder reducir el tiempo necesario para la elaboración de los pedidos mejorando así la eficiencia del proceso.

La multitud de herramientas de agarre así como de la necesidad de un sistema de determinación de puntos de agarre se debe a la gran variedad de piezas existentes con formas y tamaños de gran variedad (1-30 cm). Esto ha obligado el desarrollo de un sistema modular capaz de adaptarse dependiendo del tamaño de la pieza. Se ha definido un primer proceso común para todas las piezas basado en YOLOv5 que permite la identificación de las piezas. Para las piezas de mayor tamaño, se ha definido un proceso adicional que parte de a salida de YOLO y es capaz de determinar el punto de agarre óptimo. Este proceso se basa en la extracción de zonas de interés con TINY YOLO y la determinación de dichos punto con un regresor.

Debido a la complejidad de los datos necesarios para entrenar las redes neuronales se ha optado por la creación de un generador de imágenes y un sistema de postprocesado que permite generar por completo el dataset deseado.

The objective of the project in collaboration with the Antolin group is the creation of a system capable of automating the ordering process. The system will consist of vision systems and robotic arms responsible for making "baskets" with all the necessary parts to assemble an order which will be assembled by an operator. Thanks to the automation of the generation of the "baskets" it is expected to be able to reduce the time needed for the preparation of the orders thus improving the efficiency of the process.

The multitude of gripping tools as well as the need for a grip point determination system is due to the great variety of existing pieces with shapes and sizes of great variety (1-30 cm). This has forced the development of a modular system capable of adapting depending on the size of the piece. A first common process has been defined for all parts based on YOLOv5 that allows the identification of the parts. For larger parts, an additional process has been defined that starts from the output of YOLO and is able to determine the optimal grip point. This process is based on the extraction of areas of interest with TINY YOLO and the determination of these points with a regressor.

Due to the complexity of the data necessary to train the neural networks, we have opted for the creation of an image generator and a post-processing system that allows the desired dataset to be completely generated.