Los altibajos de mi experiencia con las preguntas tipo test como práctica de evocación

Durante años he trabajado con preguntas de respuesta muy corta. Llamémoslas «preguntas básicas», y tienen este aspecto:

Con el efecto test (y la práctica de evocación) en mente, las he utilizado como preguntas para iniciar una clase, para resumir los puntos clave de una explicación, como deberes, y como trabajo para los alumnos cuando he ausentado. Hice verdaderos esfuerzos para que funcionara, y pasé un tiempo considerable rumiando el mejor diseño para las preguntas tipo test (ver este post).

Recientemente, los datos que había recopilado indicaban un patrón tan interesante, que desenterré algunos datos anteriores para que me ayudaran a reflexionar sobre el uso y los efectos de las preguntas tipo quiz de respuesta corta. En este artículo compartiré los datos y algunas de mis interpretaciones.

Todos los datos que mostraré proceden de mis cursos de Biología del Bachillerato Internacional (16-18 años), y de tres cohortes diferentes. La carga de contenidos de estos cursos es ultra pesada. Como incentivo para que los alumnos se mantuvieran al día, realizaba quizes al inicio de una clase (en los que se evaluaban contenidos previamente tratados) y recogía datos una vez a la semana. Los alumnos tenían acceso a las preguntas y respuestas. ¿Por qué empecé a recopilar datos? Porque era fácil y pensé que podría decirme algo sobre el aprendizaje de los alumnos, y quizá algo interesante.

Las preguntas se eligieron al azar (principalmente porque no tuve tiempo de elegirlas), y se recopilaron a partir de las que se encuentran aquí (preguntas básicas de 2016-23). Como se puede ver, el número total de preguntas es alto, y fueron diseñados en torno a la guía oficial del curso y los esquemas de los criterios de puntuación de los examenes oficiales.

Los datos que aparecen a continuación no proceden de experimentos estrictamente controlados. No había grupos de control, y existe una variación natural entre los estudiantes (incluido el esfuerzo de estudio). Otra cuestión que se puede mencionar es el método de los quiz. Sin embargo, aunque puede haber grandes diferencias en la aplicación de los quiz entre los profesores, el resultado deseado de llevar a cabo los quiz es el mismo: que los estudiantes recuerden las respuestas.

La tendencia actual de utilizar preguntas básicas en Inglaterra (tal y como yo la percibo en las redes sociales) se basa en la suposición de que si los alumnos recuerdan estos datos, sabrán más, liberando la memoria de trabajo para comprender más, tener más éxito y, por tanto, estar también más motivados. Entonces, ¿saber las respuestas de los cuestionarios les ayudó a mejorar su rendimiento en los exámenes?

Empecé a recopilar los datos hacia el final de un curso de biología IB (lo cual es de dos años de duración), así que para este primer conjunto de datos, el tamaño de la muestra es pequeño: sólo cuatro semanas y, por tanto, cuatro quizes.

Para empezar, recogí los datos con el objetivo de seguir el progreso de mis alumnos. A continuación se muestra un gráfico con el porcentaje medio de aciertos de los quiz y su puntuación oficial en Biología del BI.

R2 es una medida de correlación: 1,0 es una correlación perfecta, mientras que 0,0 es ninguna correlación. En este caso, la correlación entre la nota media de los quiz y la de los exámenes es muy baja.

La correlación es muy baja, pero también lo es el tamaño de la muestra. Al final del curso, el contenido ya cubierto es alto, y el número de preguntas que se les hicieron fue bajo. Pero podemos ver algunas tendencias interesantes.

Hay un grupo de estudiantes que obtuvieron puntuaciones bastante diferentes en los quiz —un 60% de media, frente a un 85-90% de media—, pero obtuvieron una puntuación final similar en el curso (en torno a 50). También hay un grupo de estudiantes que obtuvieron puntuaciones muy altas en los cuestionarios (por encima del 80% de media), pero que obtuvieron resultados muy diferentes en la puntuación final (desde 50 hasta 90).

Los resultados me interesaron lo suficiente como para seguir tomando datos de con otras clases del mismo curso de biología. El siguiente conjunto de datos procede de una muestra de 24 y 32 pruebas (las 32 incluyen las 24 anteriores) que tuvieron lugar en el primer y segundo año del curso, respectivamente.

En los gráficos de abajo hay tres comparaciones. El promedio general en los quiz se compara con el simulacro de examen del primer año (mayo), el simulacro de examen del segundo año (noviembre) y la nota final de los exámenes oficiales de mayo. Entre el primer simulacro de examen y el segundo, los estudiantes estaban realizando el trabajo del curso, por lo que no hubo clases de teoría, ni quiz. Después del segundo simulacro de examen se realizaron pruebas adicionales, de ahí los diferentes tamaños de las muestras.

Ahora encontramos una mayor correlación entre conocer las respuestas de las preguntas básicas y sus resultados en los exámenes. La relación más fuerte se encuentra en el último gráfico, en el que un alumno se salta la tendencia, pero en general parece haber una relación positiva. Y esto tiene sentido, porque en los exámenes de Biología del IB es necesario responder con detalles y vocabulario técnico para tener éxito, y conocer detalles adicionales debería permitir a los alumnos descifrar preguntas más complejas.

Sin embargo, lo que separa a los mejores de los peores resultados oficiales del IB son sólo entre 15 y 20 puntos porcentuales en los quiz. Los alumnos con peores resultados en los quiz (excepto el atípico) seguían respondiendo correctamente a más del 70% de las preguntas, a pesar de la gran carga de contenidos. Esos estudiantes aún sabían muchas de esas respuestas. Está claro que hay mucho más en juego que el simple saber las respuestas a las preguntas básicas. Y esto se puede ver más claramente con la siguiente cohorte.

Con esta clase, el tamaño de la muestra es menor, pero incluye 17 cuestionarios a lo largo de 17 semanas. Todos los cuestionarios se realizaron durante el primer año de enseñanza. La razón por la que dejé de recoger los datos fue porque dejé de hacer los quiz. Explicaré por qué en un minuto. Aquí están los gráficos:

Esta vez, las correlaciones son mucho más bajas y sólo apuntan a una relación positiva. En el primer simulacro de examen, la mayoría de los alumnos acertaron la mayoría de las preguntas de los quiz (en torno al 80%). Pero el hecho de que supieran o no las respuestas a las preguntas me decía poco sobre su capacidad en los exámenes. En el primer simulacro de examen, algunos alumnos obtuvieron una media superior al 80% en los quiz, pero por debajo del 20 en el examen. Y ello a pesar de que las preguntas estaban diseñadas en torno al curso del IB.

Otra observación interesante es que los alumnos que menos entendían mejoraron en el segundo año a pesar de que los quiz habían terminado en el primer año. El patrón general persiste en los resultados de los exámenes oficiales, lo que demuestra cierta validez en los simulacros de examen que diseñé (la correlación R2 para el simulacro de examen de mayo con el resultado oficial fue de 0,68, y de 0,69 para el segundo simulacro de examen).

¿Qué podemos deducir de estos datos? En primer lugar, en las tres cohortes, saber las respuestas a las preguntas básicas —o conocer los detalles especificados para los conceptos del curso— no parece ser un factor dominante en el éxito de los estudiantes a la hora de demostrar su comprensión en los exámenes.

Aunque para una cohorte la correlación era más claramente positiva, seguía mostrando que conocer muchos detalles es importante, pero no suficiente. Entonces, ¿qué pasó con la última cohorte y por qué decidí dejar de hacer los cuestionarios?

Hay otro factor que creo que a menudo se pasa por alto en el debate sobre la importancia de la práctica de evocación y el recuerdo de conocimientos. Se trata de la concepción que tienen nuestros estudiantes del aprendizaje —de la comprensión— en nuestra asignatura. Esto se debe a que nuestros estudiantes son agentes adaptativos y no meros consumidores de nuestras explicaciones o nuestros cuestionarios.

Al mismo tiempo que recogía los datos cuantitativos mostrados anteriormente, también me esforzaba por obtener datos cualitativos sobre cómo se sentían los estudiantes con respecto a su aprendizaje y al curso. Fue un esfuerzo constante a través de conversaciones y correos electrónicos periódicos. Lo que descubrí fue que los quiz, a pesar de los éxitos, no motivaban a mis alumnos.

Aunque en general estaban motivados para sacar buenas notas, los quiz parecían afectar negativamente a su visión de la biología como asignatura. Los alumnos estaban más inclinados a ver la biología como un aprendizaje memorístico, y eso no les gustaba. Y esto acabó afectando a su forma de aprender y de concienciarse: cómo organizaban su atención en las clases y a qué prestaban atención.

Esto demuestra por qué tenemos que evaluar críticamente la eficacia de las suposciones pedagógicas. Tenemos que sondear siempre el sistema y reflexionar sobre lo que surge de las interacciones entre el profesor, los alumnos, el plan de estudios y el contexto. Y por eso animo a otros profesores a guardar datos para comprobar sus suposciones, ya sean cuantitativos o cualitativos.

Aunque hay pruebas que apoyan la práctica de la evocación en los laboratorios, también tenemos que comprobar cómo interactúan los quiz en las ecologías reales del aula. La práctica de la evocación es importante, pero no significa que tengan que ser preguntas de respuesta muy corta. Pueden ser preguntas más enriquecedoras integradas a lo largo de la lección. Cada asignatura, curso y contexto tiene sus necesidades, por lo que su aplicación variará por muchas razones.

Yo dejé de hacer cuestionarios en mi clase, pero no tiré las frutas frescas con las prodridas. Las preguntas básicas permanecen en mis cursos, pero en un nicho más matizado, debido a las lecciones que he aprendido.

Las escribo principalmente como herramienta de planificación para pensar realmente en lo que voy a enseñar y condensarlo en preguntas. Y sigo fomentándolas como herramienta de repaso. Mis alumnos también aprecian mucho tener una copia impresa, ya que establece el nivel de conocimientos del curso: el vocabulario técnico y la profundidad de la explicación mecanicista.

Así que mis alumnos utilizan las preguntas para repasar (como práctica de la evocación), normalmente cerca de los exámenes. Y así es como yo lo prefiero, porque mi prioridad es establecer una cultura de aprendizaje que ayude a los estudiantes a entender qué es la comprensión en mi asignatura. Qué significa comprender y explicar.

Sin esto, me he dado cuenta de que los alumnos estudian solo las preguntas de los exámenes, y entonces pueden pasar cosas malas. En mi clase, ahora las llamo «preguntas de conocimientos básicos» o «preguntas básicas» para ayudarles a ver que no son más que conocimientos básicos. Además, durante el curso me esfuerzo para que —cuando mis alumnos empiecen a autoevaluarse— lo hagan en busca de la comprensión, no sólo del recuerdo.

Hay una diferencia entre los estudiantes los estudiantes que reciben preguntas al azar, y los autorregulados que aprovechan el efecto test —y la práctica de la evocación— con un propósito.

Entonces, ¿con qué he sustituido los quiz en mis clases?

He probado con preguntas básicas en dos lugares principales: como preguntas (aleatorias) al inicio de una clase y como preguntas (no aleatorias) para resumir puntos clave después de una explicación.

Ambas se han convertido en actividades en las que los alumnos pueden desempeñar un papel más activo en su aprendizaje y revelarme más de lo que piensan. Esto permite que surjan bucles de retroalimentación más sólidos en la clase, y puedo juzgar mejor dónde emplear mi tiempo y la dirección que debo seguir.

Para empezar las clases, ahora prefiero comenzar con algún tipo de actividad de predicción o resolución de problemas, que prepare el conocimiento previo, lo recupere y les permita formarse una idea de lo que es relevante en el concepto a aprender. Véase este post para ver un ejemplo.

Y para los resúmenes dentro de las lecciones, utilizo la autoexplicación, una de las ocho estrategias de aprendizaje generativo de Fiorella y Mayer (2015). Esta actividad consiste en que los alumnos se expliquen a sí mismos los conceptos como si se lo estuvieran explicando a un compañero que se ha perdido una lección (no solo releyendo). Durante este tiempo, los estudiantes se dan cuenta por sí mismos de la información incompleta, y dedico un tiempo a responder y discutir sus preguntas.

Por último, para recopilar datos sobre el progreso de los alumnos —y para que la evaluación formativa produzca bucles de retroalimentación más allá de las preguntas y el diálogo orales—, paso a las preguntas abiertas y novedosas, formulando preguntas del tipo "¿Qué pasaría si...?", y las evalúo en función de mi propia taxonomía de la comprensión.

Todas estas actividades crean una necesidad de explicación —una necesidad de ver un modelo explicativo— en lugar de simplemente corregir respuestas cortas. Si te ha gustado esta entrada del blog, échale un vistazo a mi libro. Descarga el capítulo 1 aquí—Edición española—English Edition—o lee mis otros posts. Tengo otro post sobre la resolución de problemas que se puede encontrar aquí.

Christian Moore-Anderson (sobre mí)

@CMooreAnderson (Blue Sky)

@CMooreAnderson (X)

References

Fiorella, L., and Mayer, R. 2015. Learning as a Generative Activity: Eight learning strategies that promote understanding. UK: Cambridge University Press.