El efecto halo en las calificaciones

Sigo leyendo Pensar rápido, pensar despacio de Daniel Kahneman. Él ha presentado el factor halo, que más o menos viene siendo lo que comúnmente conocemos como primera impresión.

Kahneman cuenta que fue víctima del efecto halo cuando calificaba los trabajos de sus alumnos y lo que hizo para evitar esto (pgs. 114 - 115):

En los comienzos de mi carrera de profesor, puntuaba trabajos de examen de los alumnos de la manera convencional. Corregía de una vez la prueba escrita en un cuaderno y leía todos los trabajos del alumno uno tras otro al tiempo que los puntuaba. Luego obtenía el total y continuaba con el siguiente alumno. Eventualmente notaba que mis evaluaciones de los trabajos en cada cuaderno eran sorprendentemente homogéneas. Empecé a sospechar que mis puntuaciones manifestaban un efecto halo, y que la primera pregunta que puntuaba tenía un efecto desproporcionado en la calificación total. El mecanismo era simple: si había dado una puntuación alta a la primera respuesta, concedía al alumno el beneficio de la duda siempre que encontraba luego una frase vaga o ambigua. Esto parecía razonable. Seguramente un alumno que había hecho bien el primer trabajo no cometería un error estúpido en el segundo. Pero había un serio problema con mi manera de proceder. Si un alumno había escrito dos trabajos, uno bueno y otro flojo, terminaría con diferentes calificaciones finales dependiendo de qué trabajo leyera primero. Había dicho a mis alumnos que los dos trabajos eran igual de importantes, pero no era verdad: el primero tenía mucha mayor repercusión en la puntuación final que el segundo, lo cual era inaceptable.

Entonces adopté un nuevo procedimiento. En vez de leer los cuadernos uno tras otro, leí y puntué las respuestas de todos los alumnos a la primera pregunta para luego ir a la siguiente. Me aseguré de anotar todas las puntuaciones al dorso de la página del cuaderno con el fin de que no estuvieran (inconscientemente) sesgadas cuando leyera el segundo trabajo. Poco después de emplear el nuevo método, observé algo desconcertante: la confianza en mis calificaciones era mucho menor que antes. El motivo era que frecuentemente experimentaba una inquietud que era nueva para mí. Cuando estaba decepcionado con el segundo trabajo de un alumno e iba al dorso de la página del cuaderno a poner una puntuación baja, ocasionalmente descubría que había puesto una puntuación alta al primer trabajo del mismo alumno. También advertí una tentación a reducir la discrepancia cambiando la calificación que todavía no había escrito, y me encontré difícil de seguir la simple regla de no ceder nunca a aquella tentación. Mis notas de los trabajos de un único alumno a menudo variaban dentro de un rango considerable. La falta de coherencia hizo que me sintiera inseguro y frustrado.

...

Al dejar que la primera pregunta me influyera tanto a la hora de evaluar las siguientes, me ahorraba la disonancia de encontrar al mismo alumno respondiendo muy bien unas preguntas y mal otras. La incómoda incongruencia que se me reveló cuando pasé al nuevo procedimiento era real; reflejaba lo inadecuado de utilizar una sola pregunta como medida de lo que el estudiante sabía y la escasa fiabilidad de mi puntuación.