Tratamiento y explotación de eventos en streaming para su uso como input de modelos analíticos

El principal objetivo de este proyecto es el de lograr el procesamiento de datos en real time frente al modelo tradicional en batch. Para ello, estamos trabajando un equipo completo donde las tareas están repartidas entre los distintos miembros. En este documento se analizarán las plataformas y herramientas utilizadas para la consecución de una serie de tareas de las que me encargué yo.
Son dos las tareas principales que se comentarán, además de otras tareas menores que se mencionarán en menor detalle. Estas dos tareas son el proyecto de contadores y el proceso de calidad de reclamaciones. Los contadores que hubo que desarrollar de cero fueron el de ventas y el de averías, en los cuales se hacía una recopilación de todos los eventos registrados para cada cliente y, en función del estado de dicho evento, los contadores incrementaban o decrementaban su valor. Por otro lado, el contador de reclamaciones ya estaba realizado, pero fue necesario mejorar su precisión.
La parte del proceso de calidad de reclamaciones consistía en maximizar los porcentajes de similitud entre los valores obtenidos en real time y los obtenidos en batch, tanto para la volumetría como para los diferentes indicadores. Para lograr esto, era necesario realizar trazeos exhaustivos de cada uno de los campos e implementar la logística necesaria para lograr la máxima semejanza posible al valor obtenido en batch.
Este documento abarca únicamente las tareas de las que yo me encargué en el proyecto y, al ser a largo plazo, aún quedan varios meses hasta que llegue a su fin.

The main objective of this project is to achieve real-time data processing compared to the traditional batch model. To do this, we are working a complete team where the tasks are distributed among the different members. This document will analyse the platforms and tools used to achieve a series of tasks that I oversaw.
There are two main tasks that will be discussed, in addition to other minor tasks that will be mentioned in less detail. These two tasks are the accountant project and the claims quality process. The counters that had to be developed from scratch were the sales counter and the breakdown counter, in which a compilation of all the events recorded for each client was made and, depending on the status of said event, the counters increased or decreased their value. On the other hand, the claims counter was already done, but it was necessary to improve its accuracy.
The part of the claim’s quality process consisted in maximizing the percentages of similarity between the values obtained in real time and those obtained in batch, both for volumetry and for the different indicators. To achieve this, it was necessary to carry out exhaustive traces of each of the fields and implement the necessary logistics to achieve the maximum possible similarity to the value obtained in batch.
This document covers only the tasks that I was responsible for in the project and, being long-term, there are still several months until it reaches its end.