Evaluando con matrices de comprobación


La evaluación, probablemente uno de los temas más relevantes para cualquier docente y al mismo tiempo de los más controvertidos. ¿Algún día nos pondremos de acuerdo en qué, cómo, cuándo y para qué evaluar? Probablemente no, así que como el paciente no tiene cura mejor lo dejamos morir. Fin de la entrada y a otra cosa.

Es broma ;-).

Este artículo no es otro de esos que pretenden decirte cómo debes evaluar. Ni pontificar sobre si las rúbricas molan o son un tostón que los "buenos" profesores no necesitan. Tampoco voy a tratar de convencerte de las bondades de la evaluación a ojímetro (ahora evaluación holística, que siempre viste más), como se ha hecho toda la vida, o de recurrir en su lugar a métodos analíticos que en ocasiones parecen requerir del cálculo diferencial para obtener al final un numerito que lo resuma todo. Ni de cómo ponderar el uso de ambas estrategias. Y mucho menos voy a atreverme a elucubrar sobre en qué contextos y medida deberían combinarse las evaluaciones sumativa y formativa. De ningún modo. Honestamente, no me veo capacitado en absoluto para hacer nada de lo anterior, así que mejor se lo dejo a otros que de esto saben más que yo.

Tan solo voy a explicar cómo suelo evaluar (en ocasiones, ni siquiera siempre), para a continuación introducir, y de esto va realmente el artículo, una plantilla de hoja de cálculo que a mi me ahorra faena. Y además trataré de comentar ciertos detalles de su diseño que quizás te resulten de interés si estás en modo de aprendizaje permanente (yo diría que casi todos los estamos) de esta sorprendente navaja suiza que son las hojas de cálculo. Bueno, con lo de sorprendente quizás me haya venido un poco arriba, pero cuando en ocasiones piensas que lo sabes casi de todo de su manejo y llega alguien para demostrarte lo contrario, de un modo brillante e insospechado, te das cuenta de que algo de eso hay.

Bien, pues ya lo tenemos todos claro. A ello.

Hablemos de vacas: del ojímetro a las rúbricas.

Me voy a mojar un poco: Haciendo un símil vacuno, yo soy de los que piensan que antes de pesar la vaca hay que darle de comer. Dicho de otro modo, el esfuerzo empleado en diseñar y ejecutar un sistema de evaluación creo que tiene que ser proporcional al destinado a propulsar el propio proceso de aprendizaje y, por supuesto, coherente con él. No estoy descubriendo América, por supuesto otra vez.

Pero eso no quiere decir en modo alguno que haya que renunciar al uso de herramientas diseñadas para tratar de reducir sesgos a la hora de evaluar, herramientas que además nos pueden servir para facilitar a nuestros alumnos pistas concretas que les permitan enfocar su esfuerzo hacia lo que realmente es importante... y nosotros esperamos de ellos.

Lo ideal sería que pudiéramos identificar los diversos aspectos que evidencian el desempeño de un alumno en un contexto y tarea determinados y caracterizar sus grados de cumplimiento, así como su ponderación. Espera, eso es una rúbrica (pues claro). Cuantos más aspectos y niveles establezcamos mejor nos lo pasaremos ¿no? Pero hacerlo de modo exhaustivo y totalmente inequívoco, tocando todos los palos (aspectos) y procurando que no quede margen a la hora de interpretar cada uno de los descriptores de maestría establecidos para ellos probablemente arrojará una tabla larga como un día sin pan. ¿Y sabes qué? Que seguro que nos habremos dejado algún aspecto. Y los descriptores seguirán siendo interpretables en mayor o menor medida. Como diría Roy Batty si esto fuera la escena final de Blade Runner, he visto rúbricas que no creeríais. No hace falta liberar bajo la lluvia una paloma antes de morir para ser consciente de que incluso las más detalladas (hablo ahora de rúbricas, no de palomas) suelen ser difícilmente objetivables para cualquiera que no sea su creador. Y probablemente también para él pasado el tiempo.



También hay quien dice que la evaluación basada en rúbricas excesivamente detalladas favorece que el alumno desarrolle estrategias para aprobar, más que para aprender. Discutible, como casi todo en educación.

Entonces, si conseguir una rúbrica perfecta es francamente difícil, por no decir otra cosa, y encima me va a llevar un buen rato tratar de aproximarme a ella, tiempo que podría dedicar a preparar mejores materiales, atender a mis alumnos de un modo  más individualizado o tomarme una horchata (no solo de #EdTech vive el profe 3.0), parece razonable quizás rebajar expectativas un pelín y mover el potenciómetro dar de comer vaca vs. pesar vaca un poquito hacia la izquierda.

¿Pesamos la vaca o le damos de comer? Yo no dibujo ni medio bien, todo el mérito es de AutoDraw.

¿A ojímetro entonces? Pues tampoco. Afortunadamente, entre evaluar por que yo lo valgo y las rúbricas hay muchos cachivaches útiles, por ejemplo las modestas listas de comprobación binarias (sí / no), que además pueden supervitaminarse y pasar a ser ponderadas si somos amantes del detalle.

Pero, personalmente, como más cómodo me encuentro es utilizando algo a lo que seguro alguien ya puso nombre en un pasado primordial y que yo denomino matriz de comprobación. No tiene mucho misterio. Se trata de una simple rúbrica descafeinada en la que todos los aspectos a evaluar tienen el mismo número de niveles de competencia, siendo sus descriptores las frecuencias con la que se aprecian en el trabajo del alumno. Ya es cosa del gracejo de cada uno a la hora de identificar y (re)formular los distintos aspectos a evaluar que todo encaje de modo aceptable.

Resumiendo, ¿por qué matrices de comprobación? Porque dotan al proceso de evaluación de cierta rigurosidad sin exigir una especificación detallada de esas huellas de competencia estructuradas en niveles. Porque me aportan cierto orden mental sin exigirme un gran esfuerzo de diseño. Porque encajan con mis esquemas mentales cuando me pongo en modo evaluación. Por todo ello, para mi (repito, para mi) son una solución de compromiso muy aceptable.

¿Y qué pinta tienen? Pues esta, por ejemplo:
Matriz de comprobación para una actividad de investigación comercial en un módulo de FP.

Once elementos a valorar (filas A - K) y ponderación variable en función de la frecuencia o intensidad que se atribuye a cada una de las afirmaciones. Incluso podemos mimetizar fácilmente el funcionamiento de una simple lista de comprobación ponderada, si lo consideramos oportuno (aquí en F y G). Evidentemente, la valoración con un instrumento como este sigue adoleciendo de una importante componente subjetiva. Pero, ¿qué herramienta nos permite despojarnos totalmente de ella?

https://docs.google.com/spreadsheets/d/15oOF4qMpbam2Gn_CfTFQTZkq6IH8XdsZTsqsvKB2B2Q/template/previewBien, ahora que queda definido el artilugio, veamos cómo montar una hoja de cálculo que nos haga la vida más fácil a la hora de calificar. Adelanto que no vamos a autoevaluar. Ni a coevaluar. En mi opinión no siempre es necesario hacerlo. En cualquier caso para eso ya tenemos Corubrics (y otros). Lo que vamos a montar es algo de andar por casa que a mi me hace el apaño. Veamos si a ti también.

La hoja de cálculo de ejemplo utilizada a lo largo de lo que viene la tienes aquí. Ábrela, haz clic en el botón Utilizar plantilla y ponla junto a este ventana en mosaico para seguir las indicaciones del artículo.

Construyendo una matriz de comprobación con hojas de cálculo de Google.

Cada actividad evaluable mediante una matriz de comprobación deberá contar con su propia hoja de cálculo con varias pestañas (4), que numeraremos siguiendo el flujo natural del proceso de evaluación:
  1. Definición de parámetros del modelo.
  2. Calificación de cada alumno de acuerdo con la matriz de comprobación.
  3. Revisión de la nota resultante.
  4. Vistazo a los gráficos de resumen, a ver cómo ha ido la cosa en general.


Evidentemente el modelo propuesto es eso, solo una propuesta. Seguro que puedes adaptarlo a tus propias necesidades y mejorarlo. Si es así, sería estupendo que lo compartieras con el mundo en la sección de comentarios de aquí abajo.

1. Parámetros.

En la hoja parámetros definiremos los aspectos a evaluar y las puntuaciones correspondientes. En mi plantilla he dejado espacio para 20 elementos, pero esto (como casi todo en el modelo) es ajustable, por supuesto.


Mi gradación cualitativa está formada por los descriptores (casi) nunca, a veces, a menudo y (casi) siempre. Cuatro niveles no parecen gran cosa, pero a mi me valen. Si necesitas más, adelante.

La suma de las puntuaciones de la columna correspondiente al nivel más alto debe ser 10. Colocaremos un semáforo en la celda A2 que se chivará si esta condición no se cumple (fondo rojo o verde, dependiendo del caso) mediante dos sencillas reglas de formato condicional.

2. Evaluación.

Como su nombre nos hace sospechar, en esta hoja es donde realizaremos la evaluación de los alumnos, asignando descriptores de frecuencia a cada aspecto a valorar (columnas).


En la versión incrustada de esta hoja que ves aquí arriba no se aprecia, pera cada celda en la que consignamos un descriptor dispone de un desplegable para facilitar su selección (Datos → Validación de datos). La lista de valores para el selector se alimenta desde las celdas C1:F1 de la hoja 1.Parámetros. Lamentablemente la expresión C1:1, que representa a todas las celdas desde la C1 a la derecha, no es admitida como intervalo válido, por lo que si añadimos más niveles nos veremos en la obligación de editarla a mano.


También se utiliza formato condicional para colorear cada celda en función del descriptor asignado. Eso se podría haber conseguido de modo inmediato con una definición como la que se muestra:


Eso no obstante no es óptimo, puesto que tenemos que escribir manualmente cada uno de los valores sobre los que se verifica la coincidencia al diseñar las reglas de formato condicional. ¿Qué pasa si los valores se modifican en la hoja de parámetros? Pues que deberemos editar las expresiones de formato de modo consecuente. La solución pasa por utilizar fórmulas personalizadas en dichas expresiones. Pero, ¡un momento! ¡Estas tan solo admiten referencias a celdas situadas en la misma hoja! A grandes males, grandes remedios:
  1. Insertamos una fila en la parte superior de la hoja (fila 1).
  2. Escribimos en B1 la fórmula =ARRAYFORMULA('1.Parámetros'!C1:1) para recuperar los valores del rango que nos interesa desde la hoja de parámetros. Dejamos el rango abierto por la derecha para que la expresión siga funcionando correctamente si añadimos más niveles (columnas) a la matriz de comprobación y se los traiga a la hoja 2 sin rechistar. Los posibles valores seleccionables se encontrará ahora en el rango B1:1 de la hoja 2, concretamente B1:E1, puesto que tan solo contemplamos cuatro en nuestra matriz de comprobación actual.
  3. Escondemos la fila 1 para que no moleste.
  4. Utilizamos ahora expresiones como esta para definir el formato. Cuidadín con los ($), son necesarios para que el formato condicional basado en nuestra fórmula personalizada se aplique correctamente a todo el intervalo de celdas que usamos para calificar.

Los encabezados de cada columna de la tabla de evaluación se toman de modo análogo de la columna B de la hoja de parámetros mediante una función que los transpone al vuelo, convirtiendo así el vector columna en fila. De este modo pasan de tener una disposición vertical en la hoja 1 a otra horizontal en la hoja 2:

=TRANSPONER('1.Parámetros'!B3:B)

Así, cualquier criterio que añadamos a la matriz de comprobación en la hoja de parámetros será también  transportado (y transpuesto) en el acto como encabezado en la hoja de evaluación, expandiéndola hacia la derecha automáticamente según sea necesario y aplicando los criterios de validación y formato condicional que hayamos prefijado.

Por último, los colores alternos en la distintas filas de la tabla se han logrado mediante el comando Formato → Colores Alternos, que no merece mayor atención.

3. Resultados.

Ya hemos evaluado a cada alumno. Ahora queremos saber qué nota ha obtenido en la actividad. Vayamos a la hoja 3.Resultados. En ella reproducimos una tabla similar a la construida en la hoja de evaluación pero en esta ocasión ya con las calificaciones numéricas obtenidas a partir de las puntuaciones establecidas en la matriz de comprobación definida en la hoja de parámetros.


Poblamos la fila de encabezados (1) del mismo modo que en la hoja anterior utilizando la función TRANSPONER().

Invocamos a los alumnos presentes en la hoja de evaluación con otra estupenda fórmula matricial en la celda A2:

=ARRAYFORMULA('2.Evaluación'!A3:A)

Y llega el momento de convertir calificaciones cualitativas (frecuencia) en numeritos gracias a la información recogida de la matriz de comprobación de la hoja 1 y a los descriptores establecidos en la tabla de evaluación de la hoja 2. La fórmula necesaria es innegablemente marciana, así que antes de sintetizarla tratemos de sistematizar los pasos necesarios en plan pseudoalgorítmico.

Veamos. Receta para transformar el descriptor utilizado para calificar un determinado aspecto en su valor numérico correspondiente:
  1. Identificar el nº de columna en el que se situá el descriptor en la matriz de comprobación de la tabla de parámetros.
  2. Buscar en la matriz de comprobación la fila en la que se encuentra el aspecto evaluado.
  3. Recuperar el valor numérico situado el nº de columnas a la derecha a partir de la celda en la que se ha localizado el aspecto evaluado.
¿A que no parece ya tan difícil? Si piensas un poco en (2) y (3) estarás de acuerdo conmigo en que esto tiene un aroma inconfundible a BUSCARV(). Pero también necesitaremos echar mano de la función COINCIDIR() para solventar (1).

Venga, sin anestesia:



Si le echas un vistazo a la formula utilizada en la plantilla que te he facilitado hace ya un buen rato comprobarás que realmente es un poco más rebuscada. Su funcionamiento es esencialmente el mismo, pero la he potenciado mediante la función ARRAYFORMULA() para convertirla en matricial. De este modo se expande tanto hacia abajo como a la derecha ella solita, cual virus mutante, para aplicarse diligentemente a todos los alumnos y criterios que tengamos en la tabla. Además, gracias a la función SI.ERROR() dejamos en blanco las celdas correspondientes a alumnos que no han sido calificados. Si estás pensando que esto es para los muy osados probablemente estés en lo cierto. Aunque también lo es que he visto fórmulas aún más oscuras y ofuscadas que esta.

En efecto, la expresión de marras se escribe una sola vez (celda C2) y llena la tabla automágicamente. Sí, las fórmulas matriciales son la caña de España, aunque a menudo parecen tener vida propia.

La de cosas que se llegan a hacer con tal de no arrastrar las fórmulas...

Lo peor ya ha pasado.

Para calcular la calificación final de cada uno de los alumnos, suma de las puntuaciones parciales de cada uno de los aspectos evaluados, podemos emplear esta simple expresión:

=SUMA(C2:2)

...y arrastrar hacia abajo. O de nuevo tirar de ARRAYFORMULA(). Cuando la conoces no puedes vivir sin ella.

Puedes consultar cómo lo he resuelto echándole un vistazo a la celda B2 de la hoja 3.Resultados de mi plantilla.

Te dejo como ejercicio tratar de conjurar una expresión matricial que realice el cálculo sin requerir la suma explícita de celdas mediante el operador (+). Pista: entran en juego la multiplicación de dos matrices, una de ellas realmente un vector columna repleto de unos... Si lo intentas probablemente te topes con cierto inconveniente que afea un poco el resultado. Y hasta aquí puedo leer.

Para cerrar este apartado, un gotitas más de formato condicional, en esta ocasión mediante una escala de colores, para destacar visualmente la nota final de cada alumno.

4. Gráficos.

El trabajo duro ya está hecho. Vamos a montar ahora un pequeño cuadro de mandos que presente gráficamente los resultados generales en la actividad.


Los tres gráficos obtienen su información directa o indirectamente de la hoja 3. 

El superior no tiene mayor enjundia. Los dos situados en la parte inferior muestran la distribución de notas, a modo de histograma, pero agrupadas en intervalos en lugar de contabilizando valores únicos. Para ello, ambos se nutren de los datos contenidos en K18:K23 (valores) y M8:M23 (etiquetas para los intervalos).


Los valores inicial (cerrado) y final (abierto) de cada intervalo se pueden escoger mediante sendos desplegables, de nuevo se recurre a la validación de datos. La correspondiente etiqueta para el gráfico se construye mediante una sencilla función de concatenación (&), ocultándose su columna posteriormente puesto que no aporta nada en la hoja por si misma. Los colores de las celdas de recuento y quesitos del gráfico se han establecido manualmente para que las primeras sirvan de leyenda al segundo.

El recuento del número de alumnos que han obtenido calificaciones pertenecientes a cada intervalo corre de cuenta de una expresión basada en la función CONTAR.SI.CONJUNTO(), que a diferencia de CONTAR.SI() admite múltiples criterios de comparación, y que opera sobre el rango que contiene las notas de los alumnos en la hoja de resultados (3). Para conseguir inyectar referencias a celdas en la especificación de los criterios (en estas funciones no son otra cosa que cadenas de texto) se utiliza nuevamente el operador de concatenación (&).



En el caso del último intervalo a contabilizar, los parámetros en el interior de la función CONTAR.SI.CONJUNTO de la fórmula anterior deben quedar del siguiente modo para no dejar fuera a un alumno con una calificación de 10 (un crack, vamos), cerrando también el intervalo por la derecha con un "<=":

'3.Resultados'!$B$2:$B;">=" & I23;'3.Resultados'!$B$2:$B;"<=" & J23

Otra opción válida, aunque quizás no muy estética, podría ser mantener la fórmula intacta y simplemente seleccionar como valor máximo alguno superior a 10 en ese último intervalo, a sabiendas de que estos son abiertos por la derecha. De este modo la fórmula de recuento queda uniforme.

Y se acabó.

Gracias por llegar hasta aquí. Como de costumbre, la caja de comentarios de esta entrada es ahora tuya.

Comentarios

  1. Buenísima propuesta y con formato inusualmente currado. Solo añadiría la posibilidad de meter los datos de los alumnos en otra hoja con sus correos y poder enviarles los resultados por correo con un script, al estilo https://docs.google.com/spreadsheets/d/1F7vAqpGs9_nS6-WgWYCD_5ivaaHcFxlQd2IYX0cT6ek/copy

    ResponderEliminar
    Respuestas
    1. Muchas gracias, Alberto. Personalmente llevo las notas de la hoja de cálculo a la tarea de Classroom que he usado para desplegar la actividad (a mano) y desde ahí gestiono el feedback, pero realmente sería bueno que el alumno recibiera por correo su calificación desglosada para cada aspecto evaluado de modo automático. Es muy buena idea, me la apunto como mejora.

      Eliminar
  2. Lo bueno de este diseño es que puedes usarlo para aplicarlo a las respuestas de un formulario (utilizando técnicas que has contado en anterior post) y ya te valdría como lo que no querías contar ;-), autoevaluación, evaluación de pares, ...
    Si usas GClassroom ya tienes todas las calificaciones juntas, pero para los que no las usan sería interesante la función importrange para reunir todas las evaluaciones en una hoja que podría funcionar como panel de control de la evaluación y desde la que se podrían emitir informes de evaluación.
    Pero eso ya lo dejamos para la siguiente ¿no? ;-)

    Por cierto, la entrada con la discusión sobre listas de cotejo vs matriz de comprobación vs rúbrica demuestra la diferencia entre la teoría de evaluación y la práctica de la evaluación.
    Afortunadamente los "teóricos" (fans y trolls) de la educación y la evaluación no se pasarán por aquí porque se les terminaría el chollo en Twitter.

    ¡Buen trabajo, Pablo! Seguiré aprendiendo aquí.

    ResponderEliminar
    Respuestas
    1. El mensaje anterior aparece como anónimo y no era mi intención.

      Eliminar
    2. Gracias, Pedro. Es posible que más adelante le vuelva a meter mano al modelo para añadirle alguna que otra funcionalidad. Un placer tenerte como lector de este espacio.

      Eliminar
  3. Muchas gracias por tan generoso aporte, he iniciado algunas adaptaciones y voy a emplear esta excelente matriz en algunas tablas que he creado, pero no con fórmulas tan avanzadas. Mi reto es poder tener una matriz que permita cambiar rápidamente los criterios y continuar con el envio personalizado para cada estudiante, no solo de la nota sino del detalle de su evaluación. Además de poder exportar la nota a la libreta de calificaciones de todo el curso. Si lo consigo lo compartiré.

    ResponderEliminar
    Respuestas
    1. Gracias también a ti, Gino. No dejes de compartir tus resultados.

      Eliminar
  4. Gracias Pablo por tu esfuerzo en compartir con los demás esta aportación tan interesante, me pongo ya mismo a probarla.

    ResponderEliminar
  5. Muchas gracias, Pablo. No la había podido explorar hasta ahora pero me gusta mucho. Destaco en positivo que al definir los parámetros no se usan porcentajes, se expresa todo en decimales, además visualizando el 10 que es la nota tope. Este gran detalle de no tener que estar pensando en porcentajes, ni pesos, ayuda mucho. La mayoría de las veces, lo más sencillo es lo más grande.

    ResponderEliminar
  6. Inmaculada, JL: gracias a vosotros por pasar un rato leyéndome.

    ResponderEliminar

Publicar un comentario