Creation of Complex Test Scenarios for Automated Vehicles by Means of Machine Learning

El objetivo de este trabajo es la creación de situaciones complejas para vehículos automatizados mediante Machine Learning. Para lanzar estos vehículos al mercado es necesario que sean probados en situaciones de tráfico real, lo cual es caro y peligroso. Las pruebas actuales son demasiado simples y con el objetivo de evitarlas, las situaciones del tráfico han de ser filtradas de acuerdo a su complejidad. Complejidad es un término con muchos significados y definiciones. Encontrar una definición que se aplique al tráfico es uno de los objetivos de este trabajo. Además, la medida de la complejidad puede ser usada para generar escenarios difíciles. Los escenarios elegidos transcurren en una autopista que sigue las normas alemanas para su construcción. En ella se incluyen algunos participantes del tráfico y, usando Machine Learning en MATLAB (concretamente un algortimo double deep q-learning para Reinforcement Learning). En primer lugar, los parámetros del modelo son obtenidos, y luego el modelo o agente es entrenado para obtener la sucesión de eventos y acciones que producen la situación del tráfico más compleja de acuerdo con la medida creada. El agente entrenado es simulado en nuevas situaciones y la medida de la complejidad que obtiene no resulta tan buena como el máximo valor posible. Paralelamente, otro modelo es entrenado en Python, demostrando que este lenguaje de programación es más eficiente en términos de tiempo necesario y episodios totales de entrenamiento incluso usándolo en un ordenador de peores características. En conclusión, los agentes de MATLAB presentan un desempeño peor cuando son simulados en escenarios con más actores y el uso de Python parece más adecuado

The purpose of this Thesis is the creation of complex situations for automated vehicles by means of Machine Learning. To launch these vehicles on to the market they need to be tested in real-life traffic situations, which is not only expensive but also dangerous. The current tests are far too simple, and with the objective of avoiding them and creating better ones, traffic situations must be filtered according to their complexity. Complexity is an ambiguous term that has many interpretations and definitions. Finding one definition that suits traffic scenarios is one of the objectives of the present work. In addition, this measure for complexity can be used to generate complex situations in different scenarios. The scenarios of choice occur in a three-way highway following the German regulations. There, some traffic participants are included and using machine learning in MATLAB, specifically a double deep q-learning algorithm for Reinforcement Learning. First the parameters of the model are inferred, and then the model or agent is trained to obtain the most difficult succession of events according to the previous measure of complexity. The trained agent is simulated in new scenarios for it and the complexity measure that it obtains in them is not as good as the maximum value possible. In parallel, another model is trained in Python, showing that the training in this programming language is more efficient in terms of time of training, even with lower computational power. In conclusion, the MATLAB agents show a poor performance when simulated in scenarios with added vehicles and the Python approach seems more adequate due to the reduced time to train.