Los modelos de lenguaje no reproducen bien cómo el cerebro usa el orden de las palabras

Cambiar el orden de las mismas palabras puede cambiar por completo el sentido de una oración. “El perro mordió al hombre” y “el hombre mordió al perro” contienen el mismo vocabulario, pero describen situaciones muy distintas. Un estudio publicado en eLife examinó cómo se refleja esa diferencia en el cerebro y en los modelos de lenguaje de gran escala. La comparación encontró que los modelos captan parte de la información aportada por el orden de las palabras, aunque mucho menos que el cerebro humano cuando ese orden define quién hizo qué.

El equipo trabajó con 30 participantes que leyeron 108 oraciones mientras se registraba su actividad cerebral mediante resonancia magnética funcional de 7 teslas. Las frases se diseñaron para separar dos elementos que suelen aparecer mezclados: las palabras presentes y las relaciones entre ellas. Así, los investigadores podían contrastar oraciones que compartían casi todos sus términos, pero intercambiaban los papeles de sus protagonistas, con otras que cambiaban vocabulario sin alterar tanto la estructura.

Después compararon los patrones de actividad de regiones cerebrales vinculadas al lenguaje con las representaciones internas producidas por ocho modelos basados en transformers y por otros modelos computacionales. Para ello no buscaron una correspondencia palabra por palabra, sino semejanzas entre pares de oraciones: si dos frases resultaban parecidas o diferentes para las personas, ¿ocurría algo comparable dentro del modelo?

Los transformers superaron a modelos que ignoran por completo la posición de las palabras. Sin embargo, su ajuste fue menor cuando las oraciones exigían distinguir relaciones estructurales, como quién realiza una acción y quién la recibe. Los modelos diseñados expresamente para incorporar esas relaciones rindieron mejor en esa comparación. El resultado no implica que un chatbot sea incapaz de usar la gramática ni que una resonancia permita medir de forma directa la comprensión; muestra, en una prueba concreta, que producir texto fluido y organizar el significado de una oración como lo hace el cerebro no son la misma cosa.

La diferencia importa tanto para la neurociencia como para la evaluación de la inteligencia artificial. Las semejanzas entre modelos y actividad cerebral pueden aportar pistas útiles, pero no bastan por sí solas para concluir que ambos sistemas resuelven el lenguaje del mismo modo. El estudio empleó una muestra relativamente pequeña y oraciones muy controladas, por lo que no permite extender sus conclusiones a toda conversación cotidiana ni a todos los modelos existentes. Aún así, ofrece una manera más exigente de preguntar qué aspectos del significado captan los sistemas de IA y cuáles siguen dependiendo, en gran medida, de relaciones que las personas extraen con facilidad.