Efficient Deep Neural Network Architectures for Classification of Emotional Reactions to Artistic Paintings

El objetivo de este proyecto es crear un clasificador que prediga la emoción evocada por una pintura artística. Primero, se emplean redes neuronales convolucionales para construir el clasificador, utilizando la técnica de “aprendizaje por transferencia”. Una red VGG16, entrenada previamente con un conjunto de datos muy numeroso de imágenes reales, se toma como punto de partida, y se vuelve a entrenar con nuestro conjunto de datos de cuadros (aproximadamente 3,000). Este modelo obtiene una precisión de alrededor del 57% en el “test set”. A continuación, se construye un clasificador basado en características "extraídas a mano". Se diseña un sistema para extraer 13 características globales (relacionadas con el color, la textura y el brillo) de cada cuadro. Estas características se introducen a un clasificador simple, que proporciona una precisión del 56%, resultados cercanos al modelo basado en VGG16. El principal factor limitante para los modelos es la reducida cantidad de datos de entrenamiento.
Debido a la cantidad limitada de datos etiquetados de manera fiable, se entrenan Redes Neuronales Generativas Adversarias para generar nuevas pinturas artísticas, con el objetivo de utilizarlas para entrenar el clasificador. Esto representa un desafío interesante en sí mismo. Se diseñan tres arquitecturas diferentes: una arquitectura sencilla diseñada desde cero, una arquitectura compleja diseñada desde cero y una arquitectura DCGAN, extraída de la literatura. Aunque las imágenes generadas no son realistas, presentan algunos patrones interesantes, y el proceso proporciona información útil para trabajo futuro.

The goal of this project is to create a classifier that predicts the emotion evoked by an artistic painting. First, Convolutional Neural Networks are used to build the classifier leveraging Transfer Learning. A VGG16 network, pretrained with a very large dataset of real images, is then retrained with our dataset of paintings (approximately 3,000). This model obtains an accuracy of around 57% in the test set. Then, a classifier is built based on “hand-engineered” features. A system to extract 13 global features (related to color, texture and brightness) is designed. These features are fed to a simple classifier, that provides an accuracy of 56%, nearly as good results as the VGG16-based model. The main limiting factor for the models is the small amount of training data.
Due to the limited amount of reliably labeled data, Generative Adversarial Networks are used to generate novel artworks, with the goal of using them for training of the classifier. This represents a relevant channel in and off itself. Three different architectures are tried: a custom-made shallow architecture, a complex custom-made architecture, and a DCGAN architecture, extracted from the literature. Although the generated images are not realistic, they do present some interesting patterns and provide insights for future research.