Cómo enseñar a la inteligencia artificial a decir ‘no estoy seguro’

El ‘machine learning’, o aprendizaje automático, emplea grandes cantidades de datos para realizar predicciones sobre lo que puede ocurrir en el futuro, basándose en patrones extraídos de ejemplos del pasado. No obstante, para cada una de estas predicciones existe siempre un determinado grado de mayor o menor certeza, que puede disminuir cuando los datos de los que se parte son especialmente complejos.

En este contexto, están surgiendo nuevas iniciativas que tratan de paliar el problema haciendo que los algoritmos sean capaces de capturar la incertidumbre dentro de sus predicciones para, en el caso de no ser capaces de ofrecer una información precisa, poder mostrar una respuesta que refleje la posible ambigüedad.

Este es el enfoque que se ha planteado en una nueva investigación realizada por un equipo de la Factoría de Inteligencia Artificial de BBVA, en colaboración con la Universidad de Barcelona, y cuyos resultados han sido presentados en la conferencia NeurIPS en Vancouver (Canadá), una de las citas de ‘machine learning’ de mayor reputación a nivel científico. La solución planteada por los investigadores ha sido desarrollar un método que permite incluir en el modelo de ‘machine learning’ la incertidumbre presente en la variable que se está tratando de predecir, de manera que el resultado ofrecido se ajuste con mayor precisión a la realidad o incluso indique cuando, sencillamente, no es capaz de realizar una predicción suficientemente ajustada.

Lidiar con la incertidumbre

“El problema es que normalmente este tipo de sistemas no nos ofrecen información sobre la incertidumbre que subyace en su proceso de predicción”, explica Axel Brando, científico de datos de la Factoría de IA de BBVA y uno de los autores de la investigación. Es decir, están entrenados para ofrecer siempre una única solución, incluso cuando puede haber distintas opciones igualmente probables y, por tanto, se puede estar perdiendo una información crucial. “Por defecto, la mayoría de los sistemas predictivos no pueden ofrecer un ‘no lo sé’ o ‘no estoy seguro’ como respuesta, tal y como se suelen diseñar”, añade. El investigador explica que esta situación es problemática a la hora de aplicar modelos predictivos a escenarios de riesgo, en los que el coste de tener errores en las predicciones es suficientemente elevado como para que sea preferible no realizar predicciones automáticas, “ya que el sistema sabe que muy probablemente no acierte”.

“Cuando desarrollamos un sistema predictivo automático, sabemos que un determinado porcentaje de las predicciones resultantes serán erróneas, por lo que la mayoría de algoritmos predictivos de este tipo intentan ofrecer un valor que minimice el error”, explica Brando. Esto ocurre porque, ante escenarios complejos, normalmente se tiende a asumir una serie de restricciones como manera de simplificar la realidad que se está tratando de modelar o representar. Por ejemplo, se asume que la distribución de los datos que se quiere predecir tienen una distribución normal y, por tanto, que existe una simetría en los datos.

"La mayoría de los sistemas predictivos no pueden ofrecer un ‘no lo sé’ o ‘no estoy seguro’ como respuesta, tal y como se suelen diseñar”

En este punto, los autores se cuestionan: “¿Es más importante predecir siempre con el error más bajo posible, o es preferible predecir selectivamente y sólo cuando confiemos por anticipado en que el error va a ser pequeño?”, plantea Brando.

En esta línea, la solución propuesta por el equipo de científicos ha sido el diseño de un modelo de ‘deep learning’ que es capaz estimar cómo de compleja es la distribución de las posibles predicciones a realizar. Gracias a esto, la persona que tomará la decisión posteriormente a partir de los resultados podrá tener una visión más completa para decidir qué valor es más conveniente tratar de predecir. “Nuestro objetivo es transmitir una información a la persona que vaya a trabajar con el modelo para que pueda conocer la fiabilidad de cada posible predicción. Teniendo en cuenta este enfoque, podemos desarrollar modelos analíticos que son capaces de abstenerse de realizar una predicción si ésta no es suficientemente confiable”, añade Brando.

Predicción de gastos más precisa

Abordar el modelado de la incertidumbre es fundamental en cualquier sistema predictivo que entrañe cierto nivel de riesgo y, por esta razón, se trata de una aproximación científica clave para el diseño de cualquier producto o servicio en el sector financiero. De hecho, la problemática está adquiriendo una gran relevancia entre la comunidad científica, y ha sido uno de los temas que mayor interés ha despertado en las últimas ediciones de NeurIPS.

La problemática, así como la solución planteada por los investigadores, se puede ilustrar recurriendo a un ejemplo real de aplicación en el sector financiero, como es la predicción del gasto mensual.

Los datos de gasto mensual de un cliente pueden utilizarse para representar el histórico de gastos de cada cliente como una serie temporal, donde el primer valor corresponde al gasto acumulado del primer mes, el segundo punto al gasto acumulado del segundo mes, y así sucesivamente. En este contexto, es posible crear un sistema predictivo que, dado el histórico de varios meses de gastos de un cliente, pueda predecir cuánto gastará el próximo mes. Tal y como puede observarse en la figura anterior –y como también ocurre en muchos problemas de la vida real–, dado un mismo histórico de gastos, cada usuario podría actuar de forma distinta en el futuro. La pregunta es: ¿cuál de estos posibles gastos mostraría el sistema predictivo?

En efecto, todas las opciones de gasto que se ven en la figura son escenarios posibles, por lo que ofrecer como resultado un único valor numérico no tiene sentido en este problema. Pero además, al observar la distribución de estas posibles predicciones, es posible ver que, para éste caso concreto, los resultados se organizan en tres grupos diferenciados –aspecto que puede reconocerse al observar los tres picos que forman la distribución en la imagen–.

Por lo tanto, en este caso, conocer esta distribución (o patrón multimodal) es esencial, ya que aporta información clave y muy útil para adaptar la predicción, y de la que no se dispondría si no hubiéramos modelado la incertidumbre de forma flexible. Además, al tener la propiedad de ser flexible, el modelo desarrollado permite detectar la distribución de las predicciones sin fuertes restricciones.

Con este ejemplo se esboza una posible aplicación del modelado de la incertidumbre. No obstante, para conocer los aspectos técnicos de este trabajo, se puede consultar este vídeo-resumen de tres minutos, leer el artículo científico presentado en la conferencia o experimentar de forma individual con la implementación del modelo propuesto en el artículo (UMAL; Uncountable Mixture of Asymmetric Laplacians), en distintos problemas de acceso públicos.

El modelaje de la incertidumbre es una línea de investigación activa en la Factoría de Inteligencia Artificial del BBVA, desarrollada por José A. Rodríguez Serrano y Axel Brando, co-autores del trabajo presentado en NeurIPS. “Esta línea de trabajo representa un gran ejemplo de cómo nuestro enfoque de investigación pragmática y orientada a los retos analíticos de BBVA ha generado un resultado utilizable por los equipos que trabajan en ofrecer mejores productos y servicios a nuestros clientes”, explica Rodríguez, director de la investigación. De hecho, los resultados y conclusiones ya se están transfiriendo al diseño de nuevos productos y servicios basados en datos en los que BBVA trabaja actualmente.