Una tesis de Deusto enseña a la inteligencia artificial a decir 'no lo sé' cuando se enfrenta a imprevistos

Mediante algoritmos capaces de detectar situaciones desconocidas en tiempo real y evitar así el exceso de confianza de la IA
 

En la fotografía vemos dos gráficos que pertenecen a la propia tesis de Marcos Barcina. En el cuadro de la izquierda, se muestra un gráfico del closed-set classiifier y bajo el cuadro de la derecha pone Open set classifier.

17 September 2026

Bilbao

En un mundo cada vez más automatizado, la inteligencia artificial (IA) toma decisiones críticas en campos que van desde la ciberseguridad hasta la medicina o la conducción autónoma. Sin embargo, la inmensa mayoría de las herramientas actuales tienen una debilidad estructural: están diseñadas bajo el supuesto de entornos cerrados, es decir, escenarios predecibles donde todas las categorías de datos con las que interactuarán ya estaban contempladas durante su entrenamiento.

¿Qué ocurre cuando uno de estos sistemas se topa en el mundo real con una situación, un objeto inédito? ¿Algo que desconoce y para lo que no ha sido entrenado? En lugar de reconocer su ignorancia, la IA tiende a cometer el error de asignar el dato desconocido a una de las categorías que ya conoce y lo hace, además, mostrando un alto nivel de confianza. Si, por ejemplo, solo ha sido entrenado para conocer perros y gatos y le aparece un león, lo clasificará como perro o gato. Este desafío es el que aborda la tesis doctoral de Marcos Barcina Blanco, titulada ‘Open-World Machine Learning and the Management of the Unknown: A Review and New Perspectives’.

La investigación sienta las bases conceptuales y metodológicas para dotar a la IA de la capacidad de gestionar lo desconocido, mediante un marco conceptual denominado ‘Managing the Unknown in Machine Learning’ (MUML), que establece una base para que los sistemas de IA puedan detectar lo que desconocen y adaptarse a entornos cambiantes.

El peligro de la sobreconfianza en entornos abiertos
Hasta ahora, cuando un programa de clasificación se enfrenta a un entorno abierto y le llega una información inédita, el programa la interpreta erróneamente como si perteneciera a su base de conocimiento previa.

Este fenómeno se agrava cuando la información no se analiza en bloques estáticos, sino en flujos continuos de datos en tiempo real (en ‘streaming’). En estos escenarios dinámicos, las reglas del entorno pueden cambiar constantemente y el riesgo de mala clasificación aumenta.

Para solucionar esta limitación, la primera aportación técnica de la tesis desarrolla un marco híbrido de trabajo en tiempo real. Este algoritmo delimita estrictamente el espacio que ocupan los datos conocidos utilizando técnicas de agrupamiento (clustering) y una medida matemática basada en la entropía (el grado de incertidumbre). Gracias a este mecanismo, cuando el sistema procesa información que cae fuera de sus zonas de certeza, no intenta adivinar a ciegas, sino que la marca al instante como una ‘clase desconocida’, reduciendo así las clasificaciones erróneas por exceso de confianza.

Saber diferenciar entre un fallo puntual, una novedad y una tendencia

La tesis de Barcina investiga además un dilema habitual en el análisis de datos en directo: la confusión entre distintas formas de anomalías. En la práctica, cuando una IA detecta un dato extraño, la causa no siempre es la misma. Puede tratarse de un simple error aleatorio en un sensor, de la aparición de una categoría completamente nueva que conviene aprender, o de una deriva progresiva de los datos debido a cambios en el entorno.

Los métodos tradicionales suelen confundir estos fenómenos entre sí, pero en esta tesis, el investigador ha diseñado un sistema basado en estructuras de grafos flexibles que analiza la topología local de los datos. Esta herramienta permite a la IA discernir entre tres tipos de fenómenos anómalos:
-Valores atípicos (outliers), que son observaciones aisladas o alejadas del comportamiento habitual que el sistema debe ignorar para no contaminar su aprendizaje.
-Nuevas clases desconocidas, es decir, categorías inéditas pero coherentes que el sistema debe aislar y caracterizar para aprenderla progresivamente.
-Deriva de características (Feature Drift) o cambios graduales o persistentes en los datos que recibe el sistema debido a una evolución de las condiciones del entorno a los que el modelo debe reajustarse.

Hacia una IA más consciente de sus propios límites
Los experimentos empíricos presentados en la investigación, realizados sobre decenas de conjuntos de datos sintéticos y complejos casos de prueba reales, han mostrado ventajas de estos nuevos algoritmos frente a los convencionales. Los métodos desarrollados obtienen mejores tasas de acierto y reducen de forma notable la confusión ante situaciones inesperadas.

En el plano práctico, las aportaciones de esta tesis doctoral contribuyen al desarrollo de soluciones de IA más fiables, capaces de gestionar situaciones nuevas y cambiantes en el mundo real. Al reducir la necesidad de que el software tenga que ser apagado y reentrenado manualmente desde cero cada vez que surge una novedad, se avanza hacia una nueva generación de tecnologías autónomas, robustas y, sobre todo, capaces de reconocer cuándo se encuentran ante algo que no conocen.