¿De qué color es el caballo blanco de San Martín?

¿Qué opción es la correcta en cada una de estas preguntas? 

1. Tempor
2. Fringilla
3. Iaculis
4. Ullamcorper

1. Etiam eu nisi
2. Neque sit amet
3. Sed suscipit
4. Donec molestie, purus ac faucibus dapibus, lectus enim convallis dui, vel hendrerit massa nulla id tellus.

1. Aliquet
2. Suscipit
3. Donec
4. Nullam

Qué te apuesto a que en estas preguntas elegiste las opciones "b", "d" y "a" (respectivamente).

¡Bravo! ¡Son las correctas!

¿Cómo hiciste? ¿Sos experto/a en ese contenido?

Seguro que no…

¿Y entonces…?

Es que hay exámenes que orientan por demás a quienes los responden, ¿viste? Y los llevan a elegir la opción correcta aun desconociendo totalmente el contenido que se evalúa. 

En este post

• Te cuento qué buscamos al evaluar, y por qué necesitamos que nuestros exámenes no ofrezcan pistas.
• Me meto de lleno en el caso de los exámenes Multiple Choice, y analizo por qué no son tan fáciles de redactar como parece (si es que nos interesa evaluar sólo aprendizajes, claro).
• Te comparto algunas estrategias para solucionar los clásicos defectos de redacción que llevan a los alumnos a la respuesta correcta, casi sin pensar. ¡Con ejemplos reales!

¿Repartís las cartas?

Vayamos por partes

…diría Jack, el Destripador.

¿Para qué evaluamos?

Gran pregunta gran.

Evaluamos para detectar el cumplimiento o no de los objetivos de aprendizaje que hayamos planteado. O, en otros términos, la presencia o ausencia de determinados aprendizajes.

Y para eso, necesitamos construir un instrumento de evaluación (un examen) que sea válido, es decir, que evalúe lo que pretendemos evaluar con él (Camilloni, 1998). 

Y acá nos vamos aproximando al meollo de este post.

Vayamos al grano

(¡No me aprieten, soy un grano!)

Tenemos que garantizar que los exámenes que elaboramos evalúen aprendizajes y nada más.

Que no ofrezcan pistas ni trampas innecesarias que impidan que los alumnos expresen lo que aprenden, y que interfieran en nuestra interpretación de sus respuestas.

¿Parece fácil?

Veamos el caso de los exámenes Multiple Choice, que es lo que nos convoca en este post.

Evaluar con Multiple Choice

Los archiconocidos exámenes Multiple Choice contienen preguntas en las que los alumnos deben elegir la respuesta correcta entre varias opciones dadas.
 
En su estructura clásica, cada ítem o pregunta Multiple Choice contiene:

• Un núcleo con una pregunta o consigna 
• Varias opciones de respuesta, entre las que una es correcta, y las restantes son incorrectas. A las opciones incorrectas se las llama “distractores”.

(Ya viste ejemplos al comienzo del post, por si sos de otro planeta y no los conocías.)

El asunto es que…

¿Qué puede tener de difícil redactar una pregunta con su respuesta correcta, y pensar otras respuestas incorrectas? 
Así dicho, suena fácil.

Sin embargo, no lo es. 

Construirlos correctamente requiere de mucho tiempo y dedicación, sobre todo si buscamos evaluar algo más que el mero recuerdo de datos. 

Solemos cometer 2 tipos de errores:

• Nos vemos envueltos en redacciones complejas, ambiguas, que no explicitan claramente qué es lo que queremos saber, o incluso terminamos colocando –involuntariamente, claro- más de una opción correcta, complicando la decisión del alumno al momento de responder (y la corrección del examen). (De esto hablamos acá.)
• Pero en el otro extremo, caemos en formulaciones obvias, que gritan a los cuatro vientos cuál es la respuesta correcta, aun sin que nos demos cuenta. (Esto es lo que nos convoca en este post.)

¿En serio?

Si. 

Como te digo una cosa te digo la otra.

Tenemos que encontrar ese equilibrio que nos permita ser claros en lo que queremos evaluar, sin por eso sugerir por demás cuál es la respuesta correcta.

¿Cómo hacemos?

Examinemos con cara de póker

Hay algunos defectos típicos de los exámenes que hacen posible que los alumnos respondan correctamente a la pregunta con facilidad, desconociendo la temática evaluada. 

¿Cómo? 

Los invitan a que se sirvan de otros elementos (que los redactores dejaron ahí) para acercarse a la respuesta correcta.

En algunos casos, se trata de pistas que parecen tener un cartel con flechas luminosas dirigidas hacia una de las opciones, diciendo “¡es ésta!”. Y en otros casos, hay carteles similares pero advirtiendo “¡ésta no es!”.

Con cualquiera de estas pistas, disminuye la dificultad del ítem y éste deja de representar (al menos, en parte) un verdadero problema para resolver con lo aprendido.

Veamos algunas de esas pistas que sería deseable evitar, analizando ejemplos reales (algunos levemente adaptados para que sean comprensibles por todos)…

• Distractores absurdos, fácilmente descartables 

Como ya dijimos, en su estructura clásica un ítem Multiple Choice se compone de un núcleo y varias opciones, entre las cuales una (sólo una) es correcta, y las demás –los distractores- son (necesariamente) incorrectas. 

El problema es que muchas veces, en la búsqueda de generar distractores claramente incorrectos, nos alejamos tanto de la opción correcta que los distractores terminan siendo absurdos y, fácilmente descartables, como en este ejemplo:

1. La ingestión exagerada de alimentos          
2. La interferencia durante el aprendizaje*   
3. La estatura                      
4. El peso

Si los alumnos pueden descartar fácilmente los distractores absurdos, aumentan las chances de que acierten por azar. Es decir, cuando las opciones entre las que elegir son 4, hay un 25% de chance de acertar la respuesta correcta por azar. Si es posible descartar fácilmente 2 de ellas (por absurdas), queda un 50% de chance de elegir la opción correcta de entre las 2 que quedaron. Y si quedara una sola… ni te digo.

Y es que, idealmente, los distractores deben ser elegidos entre los errores habituales que surgen durante las etapas de aprendizaje, de manera que permitan evaluar al momento del examen si los alumnos logran discriminar entre lo correcto y lo incorrecto entre cuestiones similares: saber, por ejemplo, que la Revolución de Mayo fue en 1810, y no en 1808 ni en 1816… 

Por eso, si ésas son confusiones frecuentes, debemos elegirlas como distractores, para confirmar si el alumno ha logrado superarlas y –ahora sí- sabe el dato correcto. (Lo mismo puede aplicarse, claro, a objetivos ligados a la comprensión, la interpretación, y otras demandas cognitivas). No tendría ningún sentido colocar como distractor algo que los alumnos jamás confundirían con la opción correcta (como que la Revolución de Mayo fue en 2015), porque se caería de maduro que “¡ésa no es!”.

Si las opciones incorrectas ni siquiera le resultan una alternativa a considerar, podríamos decir que están de más, ya que no fomentan que el alumno tenga que discernir… Sería lo mismo no ofrecerlas, y dejar únicamente la opción correcta… lo cual no serviría para nada.

Pero, en cambio, si ofrecemos opciones que el alumno deba sopesar y decidir cuáles descarta, contribuimos a que se produzca un aprendizaje en el mismo momento del examen… o, al menos, se afiance o se ponga a prueba lo aprendido. Cada opción debe ser un problema a ser resuelto (“¿qué factor influye en el olvido”?). 

Por eso decimos que los distractores cumplen una función fundamental: gradúan la dificultad del ítem. 

¿Lo habías pensado así?

• Pistas gramaticales

Esto es algo mega-frecuente. 

Quien redacta el ítem suele escribir primero el núcleo y a continuación la respuesta correcta. Y recién después piensa en algunas opciones incorrectas para completar…

¿Qué suele pasar? Que sólo la opción correcta se corresponde gramaticalmente con el núcleo. Mirá este ejemplo:

1. Virus
2. Hongo
3. Bacteria*
4. Parásito

El núcleo del ítem es una frase a completar, que termina con un artículo femenino (“una…”), lo cual da a entender que la respuesta correcta deberá ser un sustantivo femenino. La única opción que cumple este requisito es la "c", que es la correcta.

Cling, caja.

Para evitar este defecto, cada opción debe poderse leer directamente a continuación del enunciado. ¿Cómo? En el ejemplo, podemos a) elegir todas opciones con palabras femeninas, o b) sacar la palabra “una” del enunciado (dejar que termine en “es…”) y agregar los artículos en todas las opciones (“un virus”, “una bacteria”, etc.).

Listo el pollo.

• Repeticiones de palabras

En estos casos, la aparición de una misma palabra, frase o incluso parte de una palabra (como un prefijo), tanto en el enunciado como en la respuesta correcta, puede hacer que los alumnos acierten la respuesta correcta aun desconociendo el contenido. 

Mirá este ejemplo:

1. Fisicoquímico
2. Térmico
3. Biológico*
4. Químico 

Aun desconociendo el término “biopilas”, probablemente cualquiera de nosotros asuma que un prefijo “bio” se corresponde con algo biológico, ¿no? Entonces, entre las opciones dadas, ¿no elegiríamos todos la opción "c”?

¿Cómo solucionarlo?

Acá, como siempre, tenemos que preguntarnos cuál era el objetivo a evaluar, y, más precisamente, qué elementos esperamos que los alumnos distingan para poder decir que hubo aprendizaje. 

Probablemente lo que me interesa evaluar es si el alumno sabe que “biopilas” es un tipo de tratamiento de suelos (y no un tipo de batería o pila, por ejemplo).

Entonces podría preguntar en el núcleo “¿qué es biopilas?” y dar opciones de distintas cosas “biológicas” (porque asumo que se cae de maduro que se trata de algo de esa dimensión).

• Respuesta correcta más extensa

¿A quién no le ha pasado?

Como decía recién, cuando redactamos un ítem tendemos a prestar más atención a la respuesta correcta que a los distractores. Entonces nos “esmeramos” y redactamos respuestas correctas exteeeeensas, que incluyen material instructivo adicional, información entre paréntesis, advertencias, datos y datitos, etc. Y… somos docentes… Deformación profesional ;)

En definitiva, generamos opciones más específicas o más completas que las opciones incorrectas. 

Mirá:

1. Un rey español
2. Un marinero portugués
3. El que descubrió la India
4. Un navegante, cartógrafo, almirante, virrey y gobernador general de las Indias al servicio de la Corona de Castilla, famoso por haber realizado el denominado descubrimiento de América, en 1492.*

En este ejemplo, aún si desconociéramos quién fue Cristóbal Colón, probablemente elegiríamos la última opción, ¿no?

Es que sería poco probable una situación opuesta: que alguien invente un distractor así de extenso y complejo, y que en cambio coloque como respuesta correcta una opción corta y simple. ¡Así que vamos con la “d”!

¿Cómo solucionarlo?

Podemos optar por: a) acortar la opción extensa, o b) agregar datos a las opciones cortas, para que queden todas homogéneas. Y voilà. Estamos listos.

• Pistas lógicas

Este caso es un poco más complicado de entender.

Acá pasa que un subgrupo de las opciones ofrecidas son -en conjunto- exhaustivas, es decir, cubren todas las posibilidades de un determinado fenómeno. Por lo tanto, una de esas opciones es necesariamente correcta, pudiéndose descartar la/s opción/es restante/s (que estaba/n fuera de es/e subgrup/o, ¿n/o? je/je).

1. Hay más hombres que mujeres
2. Hay más mujeres que hombres*
3. Hay igual cantidad de mujeres y hombres
4. Hay 40% de hijos de inmigrantes

En el ejemplo, la composición de una población cualquiera (tomando en este ejemplo simplificado la distinción biológica binomial hombre-mujer) tiene más hombres, o tiene más mujeres, o tiene igual cantidad. No hay otras posibilidades. Por lo tanto, una de esas opciones debe ser verdadera. La opción restante, que refiere a otra temática, debe ser por lo tanto incorrecta (ya que –por definición- sólo puede haber una opción correcta), y se la puede descartar con los ojos cerrados. 

¿Cómo solucionarlo?

¿Por qué no dejar directamente las 3 opciones del subgrupo exhaustivo? (Total, la otra no aporta ningún grado de dificultad…). 

Si esto no es posible (por exigencias institucionales de ofrecer 4 opciones, por ejemplo), quizás podríamos dejar 2 opciones de ese subgrupo (una de ellas correcta), o solo la correcta, y agregar otras opciones variadas sobre la misma temática. 

• Términos absolutos en las opciones 

Las opciones con términos absolutos (nunca, siempre, solamente…) tienen menos posibilidades de ser verdaderas que otras expresadas de manera menos absoluta. 

Sólo en fenómenos propios de las ciencias exactas es posible afirmar algo tan tajantemente: siempre 2+2=4. En otros ámbitos de la vida, es difícil utilizar términos tan absolutos y que aun así las frases parezcan verosímiles, como pasa en el siguiente ejemplo:

1. Los alumnos nunca vienen motivados
2. Siempre es difícil motivar a los alumnos
3. Contagiar la pasión por el conocimiento siempre logra motivar
4. La falta de motivación puede deberse a diversas causas*

Las 3 primeras opciones de este ejemplo difícilmente son verdaderas. ¿Los alumnos nunca vienen motivados? Bueno, algunas veces sí… ¿Siempre es difícil motivar a los alumnos? Bueno, siempre-siempre no… 

Este tipo de opciones no parecen verdaderas, aun para quien no domina el contenido.

¿Por qué pasa? Muchas veces caemos en estas formulaciones cuando intentamos que nuestros distractores sean completamente incorrectos… Para que no quede ninguna duda de que lo son, incluimos términos absolutos, convirtiéndolos en poco plausibles y, por lo tanto, en pistas para los alumnos.

¿Cómo solucionarlo? 

Lo obvio: sacar esos términos absolutos. 

Pero ojo: si todo lo convertimos en relativo (“a veces…”, “puede deberse a…”) ¡todo se vuelve posible! Y entonces tenemos más de una opción correcta.

Este es uno de los motivos por los que, cuando evaluamos habilidades de orden superior, en particular en ciencias sociales, usar Multiple Choice resulta complicado (y hasta poco producente).

¿Y si mejor optamos por otro tipo de instrumento?

• Opciones que engloban a otras

Cuando utilizamos como opción “todas las anteriores”, facilitamos que el alumno la elija con sólo saber que 2 de las otras opciones son correctas. 

¿Cómo, cómo?

1. China
2. Japón
3. Georgia
4. Todas las anteriores*

En este ejemplo, es probable que el alumno reconozca las dos primeras opciones (China y Japón) como pertenecientes a Asia, y la tercera le resulte menos evidente o incluso totalmente desconocida. Aun así, elegirá sin dudar la opción englobante -la "d"-: sabiendo que puede haber sólo una opción correcta, y reconociendo que tanto la "a" como la "b" son verdaderas, necesariamente debe marcar como opción correcta la que engloba a la demás, sin siquiera tener que considerar la tercera opción. No sería posible elegir una opción individual: si eligiera “China” implicaría que considera que Japón no está en Asia, y lo mismo a la inversa.

Va la última, de cajón.

¿Cómo solucionarlo?

Esta es fácil: colocar todas opciones individuales, entre las que sólo una sea correcta. 

Ah, pero esto era justamente lo que se nos venía complicando en todos los casos, ¿no?

Al final, no era tan sencillo como parecía…

(Me encanta tener razón…)

Evaluando la evaluación

¿Por qué usamos Multiple Choice?

Por lo general, los elegimos porque tanto su administración como su corrección son sencillas, rápidas, y requieren de pocos recursos calificados. Sacamos fotocopias, juntamos a todos los alumnos en un aula con una persona controlando, y en un rato recogemos todos los exámenes. Y un rato más tarde los tenemos corregidos (con más o menos tecnología de por medio). 

El problema es que, como vimos, esa agilidad del durante y el después no es tal al momento de consturir los exámenes, si es que queremos hacerlo bien. 

Como vimos, la validez de construcción de estos exámenes suele ser limitada, sobre todo cuando buscamos evaluar con ellos algo más que el recuerdo de datos…

Cuando detectamos que estamos frente a dificultades como las que describí más arriba, muchas veces volvemos a la “comodidad” de preguntas más sencillas que evalúan información fáctica… dando el mensaje (equivocado, a mi entender) de que eso es lo que es importante aprender. La evaluación guía el aprendizaje. 

¿Y entonces qué hacemos?

Es una decisión compleja, que debe tomarse en el marco de cada situación concreta.

Pero cuidar la construcción de los exámenes para no dar pistas es un gran primer paso, ya que nos va a permitir evaluar mejor. 

 

PD: Si te interesa profundizar en cómo mejorar los exámenes que elaborás (evitando éstos y otros defectos), escribime para sumarte al próximo Taller.

Referencias

• Camilloni, A. (1998) “La calidad de los programas de evaluación y los documentos que lo integran”. En: Camilloni, A., Litwin, E y otros: La evaluación de los aprendizajes en el debate didáctico contemporáneo. Edit. Paidós. Bs. As. 
• Camilloni A. (1985) "Las funciones de la evaluación". En Revista Entorno virtual - Lecturas y recursos. CBC - UBA, Mimeo.
• Castro, C. (1998) Instructivo para la confección de ítem de pruebas estructuradas. En: Programa de Formación de Formadores en Ciencias de la Salud. Módulo 6. Volumen III. Asociación Amigos de la Facultad de Medicina. Buenos Aires.
• National Board of Medical Examiners (2005) Cómo construir preguntas de Selección Múltiple para Ciencias Básicas y Ciencias Clínicas. Tercera edición. (Versión en inglés: www.nbme.org/about/publications.asp). 
• Palés-Argullós, J. (2010) ¿Cómo elaborar correctamente preguntas de elección múltiple? Viguera Editores SL 2010. EDUC MED 2010; 13 (3): 149-155 Barcelona.

Y vos, ¿cuántas pistas dejás en tus Multiple Choice?