Aplicación del Machine Learning al análisis de vibraciones

Este proyecto consiste en la exploración de posibles algoritmos de machine learning que permitan facilitar de alguna forma el trabajo de un analista de vibraciones encargado de la monitorización y mantenimiento predictivo de diversos aerogeneradores.
El proyecto parte de lo desarrollado en el trabajo “Machine Learning aplicado a la detección temprana de modos de fallo mediante técnica de vibración en turbinas eólicas” por Miguel Ángel Espinosa Sánchez para la Universidad Europea de Madrid. No obstante, se ha partido con un enfoque distinto con el objetivo de mejorar sus resultados.
El análisis de vibraciones es una técnica predictiva que permite optimizar el mantenimiento en los activos industriales y requiere de un conocimiento muy especializado, mucha experiencia y una gran cantidad de tiempo. Sin embargo, su aplicación, a pesar de ser compleja, es generalmente sistemática, por lo que se trata de una disciplina susceptible de ser parcialmente automatizada mediante técnicas como el machine learning.
Actualmente ya se ha constatado la utilidad del machine learning en este tipo de aplicaciones, aunque con conjuntos de datos más amplios y empleando en muchos casos modelos de inteligencia artificial de una complejidad que escapa al alcance de este proyecto, en el que se han buscado modelos con un compromiso aceptable entre su sencillez y eficacia que sirvan únicamente de apoyo a un analista humano. Se ha trabajado con un conjunto de datos de vibraciones en turbinas eólicas de Endesa que cuenta con escasas observaciones de fallo y se pretende calcular un parámetro que sea de utilidad para el analista de vibraciones encargado de esas máquinas.
Los datos utilizados se corresponden con espectros de frecuencia de vibración en las turbinas que no se encuentran normalizados según sus frecuencias nominales, es decir, el eje horizontal de estos se encuentra en hercios y no en múltiplos de la frecuencia nominal de cada máquina. Esto puede dificultar significativamente la aplicación del machine learning, ya que un pico que siempre se produzca en el mismo múltiplo de la frecuencia nominal, será siempre el mismo a ojos de un analista de vibraciones, aunque dicha frecuencia cambie con el tiempo y el pico se mueva. Por este motivo la primera parte del trabajo ha consistido en la exploración de técnicas que permitiesen efectuar esta normalización. En primer lugar, se ha intentado mediante el cálculo aproximado de la frecuencia nominal de cada máquina por extrapolación, utilizando unos picos de frecuencia cuyo múltiplo correspondiente es conocido. En segundo lugar, se ha experimentado con un método sencillo e inspirado en el método de Monte Carlo, que consiste en probar muchos valores de frecuencia nominal para cada máquina con la mayor resolución posible hasta dar con el valor más cercano al real. Ambos métodos han resultado fallidos debido principalmente a la baja resolución en los datos de frecuencia, lo cual impide obtener una precisión razonable en este tipo de aproximaciones.
En cuanto a la metodología de machine learning, se han implementado y evaluado múltiples modelos de support vector machine, una técnica relativamente sencilla y de entrenado rápido que funciona especialmente bien en problemas de alta dimensionalidad y es muy resistente al sobreajuste, y de red neuronal, una técnica más compleja y efectiva que es vulnerable al sobreajuste. Prácticamente todos los modelos desarrollados proporcionan buenos resultados, sin embargo, tratándose de fallos en turbinas eólicas, lo más importante es mantener un recall o sensibilidad elevada en la predicción de fallos para evitar falsos negativos. Los dos mejores modelos teniendo esto en cuenta son:
• Un modelo de SVM lineal que alcanza en promedio un recall de fallo de 99% manteniendo su ROC-AUC a 98,5%. Además, sus resultados presentan baja variabilidad cuando se ajusta el modelo a distintos subconjuntos aleatorios de los datos.
• Un modelo simple de red neuronal convencional que también alcanza en promedio un recall de fallo de 99%, pero un ROC-AUC total cercano al 99,9%. Sin embargo, los resultados fluctúan apreciablemente en función del subconjunto aleatorio con el que se entrene el modelo.
Dado que los modelos lineales generalizan mucho mejor y son más fáciles de implementar, se ha considerado el modelo SVM lineal como el mejor candidato para ser implementado en el proceso real, al menos mientras no se introduzcan modos de fallo significativamente diferentes a los considerados en el conjunto de datos original.

This project consists in the exploration of machine learning algorithms to facilitate the work of a vibration analyst in charge of the monitorization and predictive maintenance of several wind turbines.
The project is based on the work developed in the project "Machine Learning aplicado a la detección temprana de modos de fallo mediante técnica de vibración en turbinas eólicas" by Miguel Ángel Espinosa Sánchez for the Universidad Europea de Madrid. However, a different approach has been followed with the objective of improving its results.
Vibration analysis is a predictive technique that allows the optimization of industrial asset maintenance and requires highly specialized knowledge, a lot of experience and a great deal of time. However, its application, despite being complex, is generally systematic, therefore being a discipline that can be partially automated using techniques such as machine learning.
Currently, the usefulness of machine learning in this type of application has already been confirmed, although with broader and more complete data sets and in many cases using artificial intelligence models of a complexity that is beyond the scope of this project, in which models have been considered based on their compromise between simplicity and effectiveness and designed only to serve as support to a human analyst. The wind turbine vibration dataset used is from Endesa and has very few observations of failure. The main goal is to build an algorithm that provides some kind of parameter that is useful for the vibration analyst in charge of these machines.
The data corresponds to vibration frequency spectra that are not normalized according to each turbine’s nominal frequency, which means the horizontal axis of these is in hertz and not in multiples of the nominal frequency of each machine. This adds unnecessary difficulty to the application of machine learning, since a peak that always occurs at the same multiple of the nominal frequency, will always be the same in the eyes of a vibration analyst, even if said frequency changes over time, making the peak move. For this reason, the first part of the project has consisted in exploring techniques that allow this normalization to be carried out. First, it has been tried by means of the approximate calculation of the nominal frequency of each machine by interpolation, using certain frequency peaks of which the corresponding multiple is known. Second, a simple method inspired by the Monte Carlo method has been implemented, consisting in testing many nominal frequency values for each machine with the highest possible resolution until the closest value to the real one is found. Both methods have been unsuccessful mainly due to the low resolution in the frequency data, which makes it difficult to obtain reasonable precision through this kind of approximations.
Regarding the machine learning methodology, multiple models have been implemented and evaluated. First, several support vector machine models, a relatively simple and fast to train technique that works especially well in high-dimensionality problems and is highly resistant to overfitting. Second, several neural networks, a more complex and effective technique that is vulnerable to overfitting. In the case of neural networks, anti- overfitting measures such as dropouts or weight decay regularization have been experimented with. Most of the models provide good results, however, when it comes to wind turbine faults, it is of maximum priority to keep highest fault recall possible in order to avoid false negatives. Taking this into account the best two models are:
• A linear SVM model that reaches a 99% in fault recall, while maintain a one vs rest ROC-AUC score of 98,5%. In addition, its results show low variability when the model is trained with different random partitions of the data.
• A simple model of neural network that also reaches a 99% fault recall but a 99,9% in one vs rest ROC-AUC score. Nonetheless, results fluctuate considerably depending on the random partition used to train.
Given that linear models excel in terms of generalization and are easier to implement, the linear SVM model has been considered as the best candidate to be implemented in the real process provided no significantly different fault cases are introduced.