Conceptos claves sobre la evaluación en procesos de acreditación internacional

El aseguramiento de la calidad en educación superior es el proceso de generar confianza en que la provisión de educación cumple con las expectativas sociales o por lo menos cubre unos estándares mínimos institucionales, nacionales o internacionales. Un proceso fundamental del aseguramiento de la calidad es la 'evaluación' que tiene por objetivo garantizar la calidad y la mejora continua de las instituciones y de los programas académicos. Pero es importante comprender que el concepto de 'evaluación', que usamos en castellano, se entiende y se expresa de manera distinta en otras regiones del mundo.

Con este artículo pretendo compartir algunos conceptos y reflexiones que han vuelto a surgir en discusiones recientes sobre la evaluación de la calidad académica. Para ilustrar este artículo, uso los conceptos que Darla Deardorff explica al inicio de su libro Demystifying Outcomes Assessment for International Educators, libro que recomiendo para los que están interesados en profundizar en la evaluación de los resultados en contextos internacionales. Pero, antes de empezar, me gustaría precisar lo siguiente: el concepto de evaluación al que se hace mención no se refiere al proceso de calificar o asignar una nota (cuantitativa) al estudiante.

En mi experiencia en procesos de acreditación internacional, he tenido que aprender a distinguir enfoques de evaluación diversos que responden a necesidades diferentes, pero que ciertamente son complementarios. Por ejemplo, en sistemas educativos anglosajones, la Evaluación se concibe en dos procesos diferenciados: Assessment y Evaluation. Incluso, he podido verificar que, dependiendo del país, ambos términos pueden diferenciarse o usarse indistintamente.

El Assessment alude al proceso de recopilación, revisión y uso sistemático de la información sobre el aprendizaje de los estudiantes. El Assessment de los resultados es información recopilada de cada estudiante como evidencia de que se lograron los objetivos de aprendizaje establecidos en un curso o o en un programa. El Assessment da cuenta de los cambios que han ocurrido en los estudiantes - en términos de conocimientos, habilidades, conciencia, comportamientos y saber hacer - como resultado de completar un proceso formativo.

El Evaluation alude al proceso de recopilar la información de una cohorte de estudiantes de un curso o varios cursos, pero reportándola a nivel del programa académico en relación con los objetivos de aprendizaje. La evaluación individual de los estudiantes se recopila de manera consolidada para informar sobre la efectividad del diseño curricular, las políticas educativas, los métodos de enseñanza, entre otros aspectos del programa académico.

Entonces, mientras que el Assessment se refiere a la recopilación y análisis de datos sobre el rendimiento de los estudiantes para mejorar el aprendizaje y la enseñanza, el Evaluation se centra en juzgar la efectividad de los programas académicos y su cumplimiento con los estándares establecidos. Esta distinción es importante para asegurar que se comprende adecuadamente el alcance de los estándares de calidad de las agencias acreditadoras y responder adecuadamente a estos requerimientos. En la siguiente tabla, describo algunos puntos de diferenciación entre ambos conceptos.

Ahora bien, diferenciar ambos procesos de evaluación es el primer paso hacia la comprensión del sistema de aseguramiento de la calidad donde conceptos se articulan y complementan. Para clarificar este punto, apelo a otro concepto clave en el aseguramiento de la calidad: Backward Design o diseño inverso. Es una metodología de diseño curricular que comienza con la identificación de los resultados de aprendizaje deseados. En lugar de empezar con las actividades y contenidos, la metodología se enfoca primero en lo que los estudiantes deben saber y ser capaces de hacer al final del curso. El primer paso es identificar los resultados de aprendizaje deseados (lo que está directamente conectado con el Assessment), luego, se determina las evidencias más adecuadas para medir el logro de los resultados de aprendizaje por parte de los estudiantes y, finalmente, se planifican las experiencias de aprendizaje y las actividades con las cuales los estudiantes alcanzarán los resultados de aprendizaje.

En la siguiente imagen, se muestra el ciclo de calidad del proyecto Tuning para ejemplificar el diseño inverso. Se empieza por la definición del perfil de la titulación o egreso y la definición de los resultados de aprendizaje, y en sentido de las manecillas del reloj, sigue la construcción de la estructura curricular y el contenido, la selección de los enfoques de enseñanza y aprendizaje, y la selección de los tipos de evaluación. Hasta este punto del diseño e implementación curricular, es que se desarrolla el Assesment. Luego viene la evaluación y mejora del programa sobre del ciclo de desarrollo dinámico de calidad. Esto último es en donde se realiza el Evaluation. Obsérvese que en el centro de la imagen se representa el ciclo de mejora continua.

Una vez que se tiene claridad sobre ambos términos, es importante considerar los siguientes conceptos para la revisión de los estándares de calidad de las agencias acreditadoras relacionados con el proceso de Enseñanza - Aprendizaje y el proceso de Aseguramiento de los Aprendizajes (Assurance of Learning):

• Goals (metas) son declaraciones amplias (macroexpectativas) sobre lo que los estudiantes sabrán y podrán hacer al finalizar un curso o programa. Los Goals son generalmente demasiado amplios para ser mensurables. En el contexto colombiano, los Goals pueden aproximarse a la descripción del perfil de egreso.

• Objectives (objetivos) son un conjunto de declaraciones concretas y específicas (microexpectativas) sobre el aprendizaje y el desempeño de los estudiantes que conducen al logro de la meta y son medibles. El Objective se aproxima al concepto de resultado de aprendizaje
• Learning Outcomes se definen como las expectativas declaradas de lo que los estudiantes aprenderán (lo que saben y son capaces de hacer, como resultado de un proceso de aprendizaje ), y esas expectativas, a su vez, guían el currículo, la enseñanza y especialmente la evaluación. Darla Deardorff menciona que los Goals y Objectives pueden considerarse como Outcomes (resultados), y los Objectives y Outcomes a menudo se usan indistintamente.
• Formative Assessment (evaluación formativa) se refiere a los esfuerzos de evaluación continuos a lo largo del tiempo y a lo largo de un curso, programa o experiencia formativa, donde se recopila información para mejorar el aprendizaje de los estudiantes. La evaluación formativa puede tomar la forma de tareas de aprendizaje y a menudo brinda más oportunidades para brindar retroalimentación directa a los estudiantes. Los profesores utilizan la evaluación formativa para comprender en qué punto del proceso de aprendizaje se encuentran los estudiantes, corregir percepciones erróneas y comprender las brechas en el aprendizaje de los estudiantes que aún pueden abordarse.
• Sumative Assessment (evaluación sumativa) se refiere a la información de la evaluación recopilada al final de un curso, programa o experiencia formativa, a menudo utilizada para demostrar lo aprendido (resultados). La evaluación sumativa a menudo ocurre en forma de prueba o demostración final, y los estudiantes pueden considerarlas como “de alto riesgo”. A menudo, hay pocas oportunidades de brindar retroalimentación directa a los estudiantes, y el propósito es más ver cuánto aprendieron los estudiantes en el final de un curso o experiencia y responder a esta pregunta: ¿Qué diferencia se hizo? La evaluación sumativa puede medir el rendimiento de los estudiantes
• Quantitative Assessment (evaluación cuantitativa) se refiere a la información a la que se le puede asignar un valor numérico. A menudo se considera que la información cuantitativa proporciona información sobre la amplitud del contexto del Assessment.
• Qualitative Assessment (evaluación cualitativa) se refiere a información que involucra descripciones verbales, ya sea orales o escritas. La información cualitativa a menudo proporciona conocimientos más ricos sobre la profundidad del contexto del Assessment.
• Direct Assessment (evaluación directa)es una evidencia real del aprendizaje de los estudiantes, generalmente elegido a través del trabajo y desempeño del estudiante en un curso o experiencia formativa. Esta evaluación puede incluir artículos, proyectos, pruebas y observaciones. La evaluación directa es a menudo de naturaleza cualitativa. 
• Indirect Assessment (evaluación indirecta) se refiere a las percepciones del aprendizaje de los estudiantes, por ejemplo, ¿qué creen los estudiantes que aprendieron como resultado de su participación en un curso o experiencia? La evaluación indirecta se recopila con mayor frecuencia a través de encuestas de autoevaluación, entrevistas y grupos focales, frecuentemente antes y/o después de una experiencia de aprendizaje. La evidencia indirecta puede ser cuantitativa (puntuaciones de encuestas ) o cualitativa.
• Rubrics (rúbricas) representan un conjunto predeterminado de criterios, generalmente en distintos niveles de logro, que se utilizan para evaluar el trabajo o el desempeño de los estudiantes. Las rúbricas suelen contener descripciones de los criterios de cada nivel (denominados rúbricas analíticas, mientras que las rúbricas holísticas evalúan el desempeño a través de múltiples criterios en un metanivel) y pueden conectarse a un sistema de puntos por nivel o criterio con el fin de asignar una calificación.
• Portfolios (portafolio) son mecanismos para recopilar el trabajo de los estudiantes a lo largo de un curso, experiencia formativa o, incluso, toda una carrera estudiantil. El portafolio generalmente consiste en una plataforma o programa electrónico donde los estudiantes recopilan y almacenan sus trabajar. El trabajo reunido - como artículos, blogs, fotografías, vídeos, proyectos; e incluso evaluación de pares, demuestra el aprendizaje del estudiante y, generalmente, se evalúa mediante el uso de rúbricas. Los estudiantes participan en la autorreflexión sobre el trabajo recopilado, dado que sin evaluación ni reflexión, los portafolios siguen siendo simplemente una colección de trabajos.

En la siguiente imagen, a modo de ejemplo, se muestran los instrumentos, técnicas y medios para el Assessment of Learning (Evaluación del aprendizaje) que se pide describir y evidenciar en los informes requeridos por las acreditadoras, sean estas nacionales o internacionales.

La comprensión de los conceptos usados en los procesos de acreditación internacional es importante para asegurar que no solo se cumplen con los requisitos de la acreditación, sino que también se diseñan programas académicos más coherentes y efectivos, asegurando que todos los componentes del currículo estén alineados con los objetivos de aprendizaje y los estándares de calidad internacionales.

Finalmente, al respecto del Assessment, creo pertinente cerrar esta publicación con los 7 mitos que Darla Deardorff describe al inicio del libro, como una invitación para reflexionar sobre lo que entendemos por evaluación en nuestros contextos educativos.

• Mito 1: Las encuestas de inicio y salida de un proceso de aprendizaje son suficientes para el Assessment.
• Mito 2: Está bien simplemente empezar a recopilar información y luego decidir qué hacer con los resultados.
• Mito 3: Existe una mejor herramienta para evaluar los resultados en los programas educativos internacionales.
• Mito 4: Es mejor desarrollar el programa primero y luego incluir la evaluación.
• Mito 5: La evaluación lo puede una persona o una oficina.
• Mito 6: una herramienta estandarizada puede servir para todos.
• Mito 7: El Assessment de resultados es lo mismo que el Evaluation de un programa.