EVALUACIÓN (Parte 3)

PROCESO DE EVALUACIÓN. EJEMPLOS PRÁCTICOS.

Para poder realizar todo el proceso de evaluación, os propuse realizar un examen del primer módulo formativo de este curso ("Programación de las acciones formativas") así como la rúbrica de evaluación del mismo, teniendo en cuenta que los alumnos tienen 30 minutos para la evaluación.

PASOS A SEGUIR: A continuación, se indica un ejemplo de cómo sería el proceso para realizar la evaluación del  módulo.

1. OBJETIVOS ESPECÍFICOS: Lo primero que debemos repasar son los objetivos específicos del módulo formativo, ya que son los aprendizajes que deben haber adquirido los alumnos para lograr el objetivo general, la meta de aprendizaje.

2. ¿QUÉ PREGUNTAS DEBEMOS HACERNOS PARA SABER SI HAN LOGRADO DICHOS OBJETIVOS? Es tan sencillo como convertir esos objetivos a preguntas. Este paso solo se realiza para que se comprenda si somos capaces de responder a dichas preguntas con las pruebas de evaluación realizadas al alumnado. Iremos "chequeando" si hemos tenido todo en cuenta.

3. RELEVANCIA DE LOS OBJETIVOS ALCANZADOS: ¿Todos los objetivos específicos tienen la misma relevancia? ¿Tendrán todos el mismo peso en la evaluación final? ¿O hay algunos objetivos a los que vamos a otorgarles mayor valor de puntuación en la evaluación? En este caso, se ha puesto mayor ponderación a los objetivos generales y específicos puesto que son el eje por el que nos vamos a guiar en todas las acciones formativas. Si no sabemos identificar ni redactar cuál es nuestra meta de aprendizaje ni los pasos para llegar a ella el resto del proceso de enseñanza-aprendizaje no estará en coherencia. Esto es importante que el alumno lo conozca para que ponga más esfuerzo y atención a lograr estos objetivos dentro de su aprendizaje. 

4. EVALUACIÓN DEL MODULO: ¿Cómo se va a evaluar? En este curso, el módulo se evalúa de la siguiente forma: 70% nota (TEST + CASO PRÁCTICO) que se realizan al final del módulo y el 30% nota (PRUEBA TEÓRICA + PRUEBA PRÁCTICA +  PARTICIPACIÓN) que se realizan a lo largo del módulo. Una vez que se tiene claro cómo se va a evaluar y cuándo, se procede a realizar las diferentes pruebas. En este caso, os propuse realizar vuestro propio examen en el cual los alumnos disponían de 30 minutos para hacerlo. Veamos los 3 ejemplos de examen que hicisteis:

EJEMPLO 1: "Realizado por el grupo de los superprofes"

PUESTA EN COMÚN: ¿Qué posibles mejoras se podrían proponer?

• ¿INDIVIDUAL O GRUPAL? Al preguntar si era un examen individual, tras un pequeño debate entre los miembros del grupo, finalmente se decidió que el examen teórico se haría individual y el caso práctico se haría por parejas. Esta decisión no debe tomarse el mismo día del examen, se debe pensar con antelación y pensando cuál es el motivo por el cuál se realiza de esta manera. Por lo general, los exámenes finales siempre suelen ser individuales, mientras que los parciales o dentro de la evaluación continua o la evaluación formativa sí que suele ser interesante la agrupación por parejas o por grupos de 3/5 personas. Además, os comentaba que en este caso el problema es que si empiezan haciendo la parte individual habrá alumnos que terminen antes que otros y no podrán continuar con el caso práctico porque no tengan "pareja asignada". Por lo que les tocaría esperar. Por otro lado, se tendrían que "mover" de unos sitios a otros para que puedan ponerse juntos en el caso de que se quieran unir a aquellos que antes terminen. Prestad atención a todos estos detalles antes de proponer una evaluación de este tipo. 

• ¿SE PUEDEN UTILIZAR LOS APUNTES O MIRAR EL ORDENADOR? Esto debe quedar claro desde el principio. No puede ser que a mitad del examen se diga que sí pueden mirar en el ordenador si hay alguna duda. Existen exámenes que podemos dejar que los alumnos utilicen todos los materiales que deseen pero previamente debemos pensar bien qué tipo de examen hacemos. Este tipo de exámenes (donde se permite que los alumnos utilicen todo el material) suelen ser para la elaboración de un caso práctico o resolución de un problema con ideas propias o para una WebQuest o investigación. Un ejemplo sería: elaborar una programación didáctica de un curso de formación de desarrollo propio. En este caso, lo que más interesa saber es cómo redacta por sí mismo cada uno de los elementos de la programación (objetivos, contenidos, metodología, recursos...). Por lo que, podríamos dejar que el alumno pueda consultar información. La teoría se puede preguntar en otro examen diferente (tipo test, preguntas abiertas, etc.). 

•  ¿CÓMO SE REDACTAN LAS PREGUNTAS? ¿SON CLARAS Y CONCISAS?  Vimos que algunas de estas preguntas no quedaban claras y habría que reformularlas. Por ejemplo, la primera pregunta "¿Qué pasos seguirías para localizar un curso? Si lo que se pretendía es que la persona indicara la página del INCUAL deberíamos dar más información para que la respuesta no sea "buscar en google". Podría ser: ¿Qué página consultarías si deseas obtener más información sobre un certificado de profesionalidad? También os comentaba que hay que tener cuidado con las palabras que se utilizan, no podemos decir "esqueleto" de una programación. Se debería cambiar por ejemplo por la palabra "elementos". Por último, debemos tener cuidado con preguntar por contenidos que nos son propios del módulo, me refiero a la pregunta ¿Para qué sirve la actividad del one minute paper? Esta pregunta estaría mejor ubicada en el módulo de impartición en donde se vieron con más detalle todas las dinámicas y actividades que se pueden realizar en una clase.

• ¿LAS PREGUNTAS ME SIRVEN PARA CONOCER SI LOS ALUMNOS ALCANZARON LOS OBJETIVOS ESPECÍFICOS DEL MÓDULO? Aquí viene el trabajo de "chequear" aquellas preguntas que surgieron de los objetivos específicos planteados antes. Es una manera de cotejar si mis indicadores de evaluación están observando y midiendo aquello que previamente planteé en mis objetivos. En este examen vimos que había preguntas que al no hacerlas a los alumnos no teníamos datos suficientes para evaluar esta parte.

• ¿CUÁNTOS PUNTOS VALE CADA PREGUNTA? ¿SE QUITAN PUNTOS POR FALTAS DE ORTOGRAFÍA O GRAMÁTICA? ¿QUÉ CRITERIOS SE SIGUEN DE EVALUACIÓN PARA PUNTUAR EL EXAMEN? En este caso, el grupo decidió que se iba a dar 5 puntos al examen teórico y 5 puntos al examen práctico. Dentro de cada pregunta se dio un peso a cada una. Todo esto tiene que aparecer dentro del examen para que el alumno conozca cómo se le va a evaluar y qué puntuación tiene cada uno de los apartados. La rúbrica de la evaluación que se hizo para este examen en el grupo de superprofes fue la siguiente:

• Al haber mezclado diferentes pruebas e indicadores dentro de la misma rúbrica el contenido no da mucha información que nos pueda servir para evaluar. El examen teórico y el examen práctico se merecían una rúbrica por separado puesto que vamos a evaluar indicadores diferentes en cada caso.

• Es preferible no utilizar términos como "algunas ocasiones, bastantes, escasos, constantes" puesto que son palabras cualitativas. Aquí os propuse un ejercicio para pasar estos conceptos a un número cuantitativo para hacer consciente el hecho de que la palabra "bastante" puede significar un dato para un profesor y otro diferente para el alumno. Os dije: "Un alumno ha cometido bastantes errores ortográficos en un examen que ocupa un folio por una cara". ¿Cuántos errores ha cometido?" Las respuestas variaron de 3 a 15 errores. Esto indica que puede haber una gran diferencia cuando un dato cualitativo se trata de convertir en un dato cuantitativo dependido de la persona que interprete el dato. Por eso, es mejor a la hora de evaluar no utilizar palabras como "bastantes, pocos, muchos, escasos, etc.".  

•  En cuanto a la presentación, vocabulario y ortografía, os pregunté ¿esto cómo lo vais a calificar? ¿vais a quitar puntos si tiene faltas de ortografía? ¿cuántos puntos vais a quitar? ¿vais a dar puntos extra a quien tenga todo el examen sin faltas de ortografía? Os comentaba que cuando estudié la carrera de pedagogía no se corría ningún examen que tuviera más de 3 faltas de ortografía. Se avisaba antes del examen y todos éramos conscientes de la importancia de no cometer errores ortográficos. Toda esta información se debe informar siempre al alumno para que conozca cómo se le va a evaluar.

EJEMPLO 2: "Realizado por el grupo A"

PUESTA EN COMÚN: ¿Qué posibles mejoras se podrían proponer?

• PUNTUACIÓN: En este caso decíamos que si cada pregunta va a tener una puntuación diferente le facilitaríamos más al alumno indicar detrás de cada pregunta los puntos máximos que puede obtener en lugar de indicarlo en las instrucciones por número de pregunta tal como se ha hecho. 

• ¿CÓMO SE REDACTAN LAS PREGUNTAS? ¿SON CLARAS Y CONCISAS?  Vimos que algunas de estas preguntas no quedaban claras y habría que reformularlas. Por ejemplo, la primera pregunta "Redacción de un objetivo general". No queda claro si lo que se pretende es que el alumno defina cómo se redacta un objetivo general o que él mismo redacte un ejemplo de lo que sería un objetivo general. La pregunta 5 también quedaba confusa, no se entiende muy bien qué se espera del alumno ¿Hay que indicar cuál es el objetivo del concepto "aprendizaje" o qué tipos de objetivos existen...? Por otro lado, ya se preguntó por el objetivo general, volver a realizar otra pregunta en donde también se hable de lo mismo pero de una forma diferente es mejor no hacerlo. Cuidado con hacer preguntas que no se corresponden con el módulo. En este caso, la pregunta de la normativa APA se vio en el módulo formativo 2, cuando se elaboraron las unidades didácticas. NO SUPONER NADA. Al preguntar al grupo ¿porqué no se hicieron preguntas de objetivos específicos, cuando era un concepto clave dentro del módulo? la respuesta fue que si un alumno sabe cómo redactar un objetivo general también sabe cómo redactar un objetivo específico. ¿Esto es cierto? En realidad no. Porque partimos de la premisa que el alumno sabe que ambos se redactan con un verbo en infinitivo, pero no le hemos preguntado por la diferencia entre ambos y por la necesidad de coherencia entre los objetivos específicos y el objetivo general. Así que, no supongáis nada que no se haya preguntado.

• ¿LAS PREGUNTAS ME SIRVEN PARA CONOCER SI LOS ALUMNOS ALCANZARON LOS OBJETIVOS ESPECÍFICOS DEL MÓDULO? Aquí viene el trabajo de "chequear" aquellas preguntas que surgieron de los objetivos específicos planteados antes. En este caso también faltaron preguntas que hicieran referencia a los objetivos planteados:

• RÚBRICA DE EVALUACIÓN: No se puede incluir dentro de una rúbrica el tiempo de realización del examen como un indicador de calidad. Además porque el examen tiene un tiempo límite (en este caso era de 30 minutos). Nunca dejaremos que un alumno se quede más de 1 hora haciendo el examen tal como se indica en la rúbrica. Cuidado nuevamente con usar palabras que no sean objetivas en cuanto a la calificación. Por ejemplo: ¿qué diferencia hay entre "impecable" y "bien redactado"? Si se tiene en cuenta la ortografía indicar cómo se va a evaluar dentro del examen (si tiene una falta, dos o más de 3, tal como se indica en la rúbrica).

EJEMPLO 3: "Realizado por el grupo de las Águilas"

PUESTA EN COMÚN: ¿Qué posibles mejoras se podrían proponer?

• ¿CÓMO SE REDACTAN LAS PREGUNTAS? ¿SON CLARAS Y CONCISAS?  Vimos que algunas de estas preguntas no quedaban claras y habría que reformularlas. Por ejemplo: en la primera pregunta no quedaba claro si se refería al objetivo general del curso o la parte que impartió cada uno en el curso. Lo mejor hubiera sido preguntar por el objetivo general del curso. Por otro lado, al utilizar la palabra "unidad curricular" dio lugar a confusión. Esta pregunta hacía alusión a la parte que impartió cada uno, pero no todos han impartido aún ese curso, por lo que aquellos que no tenían asignado aún un contenido no supieron qué responder. La tercera pregunta también dio lugar a confusión. Tras la puesta en común se propuso cambiar esta pregunta por: ¿Qué elementos deben tenerse en cuenta a la hora de elegir una determinada dinámica o actividad de clase dentro de una acción formativa? (número de alumnos, perfil del alumno, infraestructura del aula, recursos disponibles).

• ¿LAS PREGUNTAS ME SIRVEN PARA CONOCER SI LOS ALUMNOS ALCANZARON LOS OBJETIVOS ESPECÍFICOS DEL MÓDULO? Aquí viene el trabajo de "chequear" aquellas preguntas que surgieron de los objetivos específicos planteados antes. En este caso, a pesar de haber sido un examen de tan solo 3 preguntas, sin embargo se abarca un poco más que los anteriores en cuanto a los objetivos marcados, aunque se dejan algunos fuera.

• RÚBRICA DE EVALUACIÓN: Si vamos a dar la rúbrica a los alumnos para que puedan conocer cómo se les va a evaluar en el examen, cuidado con dar las respuestas a las preguntas dentro de la misma. 

TUTORÍAS - REVISIÓN DE EXAMEN:

Hicimos un role playing para simular una situación de un alumno que quiere hacer la revisión de un examen para ver cómo se afrontan estas situaciones. Os comentaba la importancia de hacer bien todo el proceso para que la revisión de la nota sea lo más objetiva posible. Si tenemos claros qué objetivos deberían alcanzar los alumnos y cómo vamos a medirlos y calificarlos, el proceso de tutorías para revisar la nota del examen, debería ser algo que no conllevara mayor complicación.

El problema suele venir cuando no quedaron claras las preguntas, ni la ponderación del examen, ni porqué se otorgaban más o menos puntos a una determinada pregunta.

Los exámenes tipo test son mucho más objetivos y no vamos a tener mayor problema pero las pruebas abiertas debemos realizarlas para que su valoración sea lo más objetiva posible y atendiendo a los objetivos específicos marcados previamente en el curso.