Rearchitecture of data pipeline and analytical analysis to measure the success of an internal Amazon platform

Durante un periodo de 6 meses realizaré unas prácticas internacionales como Business Intelligence Engineer en Amazon en Luxemburgo. Estas prácticas tendrán lugar en Operaciones, trabajaré en uno de los productos que dan soporte tecnológico al transporte: ATFIMAR, “Analytical Tool for Internal Metrics and Reviews”. Se trata de una herramienta de Business Intelligence descriptivo desarrollado end-to-end donde equipos de Operaciones de Amazon pueden encontrar métricas fiables, coherentes y precisas para tomar decisiones basadas en datos. ATFIMAR ofrece tanto las herramientas necesarias para crear nuevas métricas y como diferentes interfaces para visualizar las mismas. Mi labor será la de aportar visibilidad sobre el uso producto a través del diseño de KPIs, dashboards y data pipelines. Todo esto a través de tres proyectos.

El primer proyecto tiene lugar en medio de la transición de una antigua a una nueva interfaz de usuario de ATFIMAR. En este proyecto diseño las métricas adoption y attainment en la propia herramienta para medir el uso de la nueva interfaz y la transición de la antigua a la nueva página web.

El segundo proyecto ofrece visibilidad sobre el uso de las herramientas que ofrece ATFIMAR para crear métricas. Por un lado se diseñan KPIs generales que informan sobre el uso genérico que se hace de las herramientas de creación de métricas y por otro lado KPIs que informan sobre el uso de nuevas funcionalidades lanzadas para crear métricas. Estas métricas se hacen finalmente visibles a través de Amazon QuickSight.

En el último proyecto se realiza el diseño de una data pipeline que recopila información del uso de una nueva interfaz de usuario para crear métricas. Amazon Pinpoint captura los eventos que suceden en la página web, Amazon S3 almacena la información original, AWS Glue transforma esta información en formato semiestructurado a formato estructurado y finalmente se hace accesible en Amazon Redshift. Esta última herramienta permite ejecutar consultas SQL de forma optimizada y conectar con diferentes soluciones de BI. Definiendo correctamente los eventos de la página web y la información que contiene cada uno diseñamos las métricas que finalmente plasmaremos en un dashboard en Amazon QuickSight.

For a period of 6 months I will be doing an international internship as a Business Intelligence Engineer at Amazon in Luxembourg. This internship will take place in Operations, I will work on one of the products that provide technological support to transportation: ATFIMAR, "Analytical Tool for Internal Metrics and Reviews". It is a descriptive Business Intelligence tool developed end-to-end where Amazon Operations teams can find reliable, consistent and accurate metrics to make data-driven decisions. ATFIMAR offers both the necessary tools to create new metrics and different interfaces to visualize them. My job will be to provide visibility into product usage through the design of metrics, dashboards and data pipelines. All this will be done through three projects.

The first project takes place in the middle of the transition from an old to a new ATFIMAR user interface. In this project I design adoption and attainment metrics in the ATFIMAR tool itself to measure the usage of the new interface as well as the transition from the old to the new interface.

In the second project I provide visibility on the use of ATFIMAR tools to create metrics. I design and implement general metrics measuring the use of the builder tools and also more specific metrics about the use of new functions launched for builders. These metrics are finally made visible through Amazon QuickSight.

Finally, a data pipeline is designed to collect information of the use of a new user interface to create metrics. Amazon Pinpoint captures the events that occur on the web page, Amazon S3 stores the original information, AWS Glue transforms this information from semi-structured to structured format and finally it is made accessible in Amazon Redshift. This last tool allows to execute SQL queries in an optimized way and to connect with different BI solutions. By correctly defining the events of the web page and the information contained in each one, we design the metrics that we will finally capture in a dashboard in Amazon QuickSight.