Casi todos los principales #chatbots de #InteligenciaArtificial muestran signos de #deteriorocognitivo... sorprendente.
Un estudio publicado en The BMJ evaluó las habilidades cognitivas de los principales modelos de lenguaje (LLMs), como ChatGPT y Gemini, utilizando la prueba MoCA, diseñada para detectar deterioro cognitivo y signos tempranos de demencia. Los resultados revelaron que todos los modelos presentaron signos de deterioro cognitivo leve, especialmente en tareas de habilidades visuoespaciales y funciones ejecutivas.
ChatGPT 4o obtuvo el puntaje más alto (26/30), seguido por ChatGPT 4 y Claude (25/30), mientras que Gemini 1.0 obtuvo el más bajo (16/30). Aunque los chatbots tuvieron buen desempeño en tareas como memoria, atención y lenguaje, fallaron en pruebas como el dibujo de un reloj y la interpretación de escenas visuales complejas.
Estos hallazgos subrayan una debilidad significativa en los modelos actuales de IA, limitando su capacidad para reemplazar a médicos en contextos clínicos. Los autores concluyen que, si bien los neurólogos no serán reemplazados pronto por estos modelos, podrían enfrentar el desafío de tratar "pacientes virtuales" con signos de deterioro cognitivo.
Lo dicho, resulta sorprendente que se haya realizado este estudio y que el BMJ lo publique. En cualquier caso, estas herramientas también tienen "alucinaciones" que sería otra variante de antropomorfización para explicar sus resultados.
Dayan R, Uliel B, Koplewitz G.
Age against the machine-susceptibility of large language models to cognitive impairment: cross sectional analysis.
BMJ. 2024 Dec 19;387:e081948. doi: 10.1136/bmj-2024-081948
https://lnkd.in/d3KY5GAV
