La inteligencia artificial es a veces poco fiable

Los grandes modelos de lenguaje de inteligencia artificial son cada vez menos fiables. Es la conclusión de un estudio de la Universitat Politècnica de València, ValgrAI y la Universidad de Cambridge, que publica la revista Nature.

Los recientes avances en inteligencia artificial (IA) han generalizado el uso de grandes modelos de lenguaje en nuestra sociedad, en ámbitos como la educación, la ciencia, la medicina, el arte o las finanzas, entre otros muchos.

El trabajo revela una tendencia “alarmante”: en comparación con los primeros modelos, y atendiendo a ciertos aspectos, la fiabilidad ha empeorado en los modelos más recientes (GPT-4 en comparación con GPT-3, por ejemplo).

"Nuestro trabajo concluye que los modelos suelen ser menos precisos en tareas que los humanos consideran difíciles, pero no son precisos al 100% ni siquiera en tareas sencillas"

Según explica José Hernández Orallo, investigador del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la UPV y de ValgrAI, una de las principales preocupaciones sobre la fiabilidad de los modelos de lenguaje es que su funcionamiento no se ajusta a la percepción humana de dificultad de la tarea.

En otras palabras, existe una discordancia entre las expectativas de que los modelos fallen de acuerdo a la percepción humana de dificultad en la tarea y las tareas donde realmente los modelos fallan.

“Los modelos pueden resolver ciertas tareas complejas de acuerdo a las habilidades humanas, pero al mismo tiempo fallan en tareas simples del mismo dominio. Por ejemplo, pueden resolver varios problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma”, apunta Hernández-Orallo.

En 2022, Ilya Sutskever, el científico que está detrás de algunos de los mayores avances en inteligencia artificial de los últimos años (desde la solución de Imagenet hasta AlphaGo) y cofundador de OpenAI, predijo que “quizá con el tiempo esa discrepancia disminuya”.

"Pueden resolver varios problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma”

Sin embargo, el estudio del equipo de la UPV, ValgrAI y la Universidad de Cambridge demuestra que no ha sido así. Para demostrarlo, investigaron tres aspectos clave que afectan a la fiabilidad de los modelos de lenguaje desde una perspectiva humana.

LA 'ZONA SEGURA'

El estudio constata una discordancia con la percepción de dificultad. “¿Fallan los modelos donde las personas esperamos que fallen? Nuestro trabajo concluye que los modelos suelen ser menos precisos en tareas que los humanos consideran difíciles, pero no son precisos al 100% ni siquiera en tareas sencillas. Esto significa que no existe una “zona segura” en la que se pueda confiar en que los modelos funcionen a la perfección”, apunta la investigadora del Instituto VRAIN de la UPV, Yael Moros Daval.

De hecho, el equipo del Instituto VRAIN UPV, ValgrAI y la Universidad de Cambridge asegura que los modelos más recientes básicamente mejoran su rendimiento en tareas de alta dificultad, pero no en tareas de baja dificultad, “lo que agrava la discordancia de dificultad entre el rendimiento de los modelos y las expectativas humanas”, añade Fernando Martínez Plumed, investigador también de VRAIN UPV.

RESPUESTAS INCORRECTAS

El estudio descubre también que los modelos de lenguaje recientes son mucho más propensos a proporcionar respuestas incorrectas, en vez de evitar dar respuesta a tareas de las que no están seguros.

“Esto puede llevar a que los usuarios que inicialmente confían demasiado en los modelos, luego se decepcionen. Por otra parte, a diferencia de las personas, la tendencia a evitar proporcionar respuestas no aumenta con la dificultad. Por ejemplo, los humanos suelen evitar dar su opinión en problemas que superan su capacidad. Esto relega a los usuarios la responsabilidad de detectar fallos durante todas sus interacciones con los modelos”, añade Lexin Zhou, miembro del equipo de VRAIN que ha participado también en este trabajo.

“Hemos comprobado que los usuarios pueden dejarse influir por prompts que funcionan bien en tareas complejas pero que, al mismo tiempo, obtienen respuestas incorrectas en tareas sencillas”

ENUNCIADOS EFICACES

¿La eficacia de la formulación de las preguntas se ve afectada por la dificultad de las mismas? Esta es otra de las cuestiones que analiza el estudio de la UPV, ValgrAI y Cambridge, que concluye que es posible que la tendencia actual de progreso en el desarrollo de modelos de lenguaje y de mayor comprensión de una variedad de órdenes no libere a los usuarios de preocuparse en hacer enunciados eficaces.

“Hemos comprobado que los usuarios pueden dejarse influir por prompts que funcionan bien en tareas complejas pero que, al mismo tiempo, obtienen respuestas incorrectas en tareas sencillas”, añade Cèsar Ferri, coautor también del estudio e investigador de VRAIN UPV y deValgrAI.

SUPERVISIÓN HUMANA, INCAPAZ

Además de estos hallazgos sobre aspectos de la falta de fiabilidad de los modelos de lenguaje, los investigadores han descubierto que la supervisión humana es incapaz de compensar estos problemas.

Por ejemplo, las personas pueden reconocer las tareas de alta dificultad, pero siguen considerando con frecuencia que los resultados incorrectos son correctos en esta área, incluso cuando se les permite decir “no estoy seguro”, lo que indica un exceso de confianza.

"Es necesario un cambio fundamental en el diseño y desarrollo de la IA de propósito general, sobre todo para las aplicaciones de alto riesgo"

ChatGPT, LLaMA Y BLOOM

Los resultados fueron similares para múltiples familias de modelos de lenguaje, incluidos la familia GPT de OpenAI, LLaMA de pesos abiertos de Meta, y BLOOM, una iniciativa totalmente abierta de la comunidad científica.

Los investigadores han constatado además que los problemas de discordancia de dificultad, falta de abstención adecuada y sensibilidad al prompt siguen siendo un problema para las nuevas versiones de las familias populares como los nuevos modelos o1 de OpenAI y Claude-3.5-Sonnet de Anthropic.

“En definitiva, los grandes modelos de lenguaje son cada vez menos fiables desde el punto de vista humano, y la supervisión del usuario o usuaria para corregir errores no es la solución, ya que tendemos a confiar demasiado en los modelos y somos incapaces de reconocer resultados incorrectos a diferentes niveles de dificultad. Por ello, es necesario un cambio fundamental en el diseño y desarrollo de la IA de propósito general, sobre todo para las aplicaciones de alto riesgo, en las que la predicción del desempeño de los modelos de lenguaje como la detección de sus errores son primordiales”, concluye Wout Schellaert, investigador del Instituto VRAIN UPV.