Un estudio de Apple encontró evidencia, a través de diferentes pruebas, de que las respuestas aparentemente inteligentes que dan los grandes modelos de lenguaje (LLM, por sus siglas en inglés) basados en IA son “poco más que una ilusión”.
En un artículo publicado en el servidor de preimpresión arXiv, los investigadores descubrieron, luego de probar varios LLM, que estos no fueron capaces de realizar un razonamiento lógico genuino.
Enfoque de Apple sobre los LLM basados en IA
En los últimos años, muchos LLM como ChatGPT han evolucionado hasta el punto de que muchos usuarios han comenzado a preguntarse si poseen una verdadera inteligencia.
Partiendo de esta premisa, el equipo de Apple estableció que la respuesta se encontraba en la capacidad de un ser inteligente, o máquina, de comprender los matices presentes en situaciones sencillas. Para ello, se requiere de un razonamiento lógico.
Uno de esos matices es la capacidad de separar la información pertinente de la que no lo es.
Por ejemplo, si un niño le pregunta a su padre cuántas manzanas hay en una bolsa y al mismo tiempo señala que varias son demasiado pequeñas para comer, tanto el niño como el padre comprenderán que el tamaño de las manzanas no tiene nada que ver con la cantidad de ellas presentes. Esto se debe a que ambos poseen habilidades de razonamiento lógico.
En este nuevo estudio, los investigadores pusieron a prueba la capacidad de varios LLM para comprender realmente lo que se les preguntaba, pidiéndoles indirectamente que ignoren la información que no es pertinente.
¿Qué arrojó el estudio?
En sus pruebas, los investigadores formularon a los LLM cientos de preguntas que ya se habían utilizado antes para evaluar sus capacidades, pero también incluyeron un poco de información no pertinente.
Descubrieron que esos “datos basura” eran suficientes para confundir a los grandes modelos de lenguaje y hacer que dieran respuestas incorrectas (o incluso sin sentido) a preguntas que ya habían respondido correctamente.
Según los investigadores de Apple, esto demuestra que los LLM basados en IA no comprenden realmente lo que se les pregunta, sino que reconocen la estructura de una frase y luego dan una respuesta basada en lo que han aprendido mediante algoritmos de aprendizaje automático o machine learning.
También notaron que la mayoría de los LLM que probaron “muy a menudo” contestaron con respuestas que parecían correctas, pero que tras una revisión más detallada, descubrieron que no lo eran, como cuando se les preguntó cómo se sentían sobre algo y obtenían respuestas que daban a entender que la IA se creía capaz de tal comportamiento.
No dejes de leer: Cinco grandes retos que plantea la IA a la industria audiovisual
Sigue nuestras redes sociales y se parte de nuestra comunidad