Un cambio de paradigma para la evaluación de capacidades

De hacer preguntas específicas a analizar un texto narrativo con IA

Si se quiere evaluar qué aspectos de un cuerpo de conocimiento en particular (mecánica del auto, prevención de la corrupción, manejo de la fotocopiadora) es dominado o ha adquirido competencias un grupo grande de entrevistados (digamos 500 personas), el único recurso existente hasta ahora había sido entrevistarlos o encuestarlos. La entrevista, si bien es cierto es técnicamente viable, es muy costosa en tiempo y dedicación, e involucra muchos recursos que generalmente no están disponibles en las organizaciones. La encuesta, por otro lado, si bien viabiliza parcialmente la evaluación masiva, puesto que se puede evaluar automáticamente en un formulario respondido con opciones múltiples, muchas veces reduce la explicación de lo que realmente domina el entrevistado.

Veamos algunos ejemplos. Digamos que queremos evaluar qué tanto una persona conoce del funcionamiento del sistema eléctrico de un auto. Se tiene el siguiente conocimiento previo.

Si se formulara una o varias preguntas que intenten evaluar las competencias mediante casos, se podría generar los siguientes ejemplos.

Sin embargo, en la modalidad de entrevista, generalmente el procedimiento es como sigue.

En una entrevista convencional, luego los evaluadores tendrían que transcribir la entrevista, si ha sido registrada en audio, luego tendrían que leer la transcripción, interpretarla y evaluar si las competencias se demuestran en el texto de la persona. Por ejemplo, se podría generar una tabla similar a la siguiente.

Sin embargo, hacer este análisis es muy costos en tiempo y recursos si se trata de grupos masivos de evaluados.

Aquí es donde interviene la inteligencia artificial. Hagamos el experimento de hacer la evaluación en el ChatGPT. El prompt que generamos es el siguiente.

Adjuntamos a continuación la respuesta del GPT a este prompt.

Obviamente faltan algunos detalles en la especificación de cada competencia para que el GPT tenga ciertos criterios a tomar en cuenta para, por ejemplo, no sólo decir que es verdad ("True") o no, sino que pueda calificar de manera variada un grado de cumplimiento. También se puede usar el Fine Tuning como un recurso. Pero dado que este es un ejemplo general, se puede alentar el uso del ChatGPT como una herramienta totalmente al alcance, que incorporada a un ciclo repetitivo en Python (por ejemplo) brinda una enorme capacidad de evaluación de grupos masivos de personas a quienes se quiere medir competencias.