Inspiraciones gamifimaster (1) – Avaluar experiències d’ABJ

Les inspiracions gamifimàster són una col·lecció d’idees o recursos que poden resultar inspiradors en el moment d’implementar el joc o la gamificació en un entorn d’aprenentatge.

Aquest primer lliurament mostra quina eina fem servir per tal d’avaluar processos de creació d’experiències d’ABJ.

Las inspiraciones gamifimáster son una colección de ideas o recursos que pueden resultar inspiradores en el momento de implementar el juego o la gamificación en un entorno de aprendizaje.

Esta primera entrega muestra qué herramienta utilizamos para evaluar procesos de creación de experiencias de ABJ.

Versió en català

Una de les tasques que l’alumnat del gamifimàster ha de fer és crear una experiència d’ABJ on, a més, han de dissenyar o transformar un joc. La meva experiència en classes de creació de jocs a Enti (o de gamificació a Euses) és que costa molt trobar una forma d’avaluar que permeti donar un retorn que construeixi coneixements, afavoreixi la mentalitat de creixement i que faci venir ganes de millorar-ho. Al gamifimàster he utilitzat un model de rúbrica que incorporarà unes quantes millores en aquesta propera edició.

Un dia en un dels capítols de Cult of Pedagogy on la Jennifer Gonzalez conversava amb la Jarene Fluckiger, que és professora de la Universitat de Nebraska. Allà vaig descobrir el concepte de rúbrica d’un sol punt. Em va cridar l’atenció perquè en processos de creació normalment tinc el problema que és molt difícil preveure exactament totes les casuístiques diferents que es poden portar a terme.  A la darrera edició del gamifimàster vaig fer una primera versió d’aquesta rúbrica (a l’apartat de millores, ja explico com ho portaré a terme en aquesta edició).  

Fuckifer (2010) explica que el punt central de la rúbrica d’un sol punt és respondre a tres preguntes: cap on hem d’anar? On som? I com puc arribar fins on he d’anar? Per tal d’aconseguir-ho requereix que el retorn sigui qualitatiu i que l’autoavaluació o l’avaluació entre iguals de l’alumnat (aquest darrer aspecte és que el que milloraré enguany).   

Com és la nostra rúbrica?

La rúbrica resultant és aquesta:

1 – Valoració quantitativa 

Aquesta rúbrica té diferents aspectes. 

  1. Conceptes. El primer que faig és definir quins són els conceptes que cal tenir en compte en el disseny d’una experiència d’ABJ, i en el disseny o adaptació d’un joc per a assolir l’objectiu que es pretén. Aquest concepte està definit com el nivell màxim d’assoliment d’aquest punt. D’aquesta forma ja s’estan donant eines que orienten cap a on crear.  
  2. Percentatge. Tal i com és habitual, es proposa un percentatge per a cadascun dels conceptes. En el cas del disseny d’aquesta proposta, el pes està definit en funció de què s’ha proposta en el material de treball teòric.  
  3. Nivells. I per cadascun dels conceptes s’estableixen quatre nivells (de novell a expert). 

La rúbrica no diu què vol dir cadascun dels nivells. La quantitat de variables de cadascun dels aspectes és tan variada que no es poden establir d’entrada. Evidentment per tal de poder establir una resposta ben aterrada, és necessari buscar una valoració qualitativa. 

Open Tours, donde analizamos el fenómeno de la inmigración con pateras en el Mediterráneo a partir de un juego de mesa creado para la ocasión. Esta imagen corresponde a la versión hecha en PlayingCards.
Autoría: Anna Castells, Jordi Piquero y Ignacio Vicario

2 – Valoració qualitativa   

Al costat de la rúbrica quantitativa hi havia una altra on apareixen els mateixos conceptes i només dos espais al costat de cadascun: 

  • Em pregunto. Mentre estàs valorant la proposta et surten un munt de preguntes o propostes que poden enriquir la proposta. En aquest espai s’escriuen cadascuna d’elles de forma que es centren en exemples concrets de la proposta que està valorant).
  • M’agrada. En aquest espai s’escriuen aquells aspectes que destaquen especialment i que es considera que cal mantenir o potenciar en una noca edició de l’activitat.

3 – I la valoració oral

Però encara hi ha un altre aspecte a tenir en compte. Per tal de donar un feedback ben acurat, es grava un vídeo capturant la pantalla amb el treball escrit i/o la rúbrica on s’explica de paraula tot el que queda escrit a la rúbrica qualitativa. Per fer-ho, normalment utilitzo Screencast-O-matic.

Què destaca d’aquesta proposta?

  • Aquesta avaluació dona una visió general de tot. Les valoracions numèriques tenen sentit perquè estan argumentades de forma qualitativa i, sobretot, el número que surt té sentit per a l’alumnat. 
  • Totes les valoracions qualitatives tenen sentit perquè donen informació sobre què cal mantenir i què cal millorar. Seria ideal que aquest retorn donés lloc a una conversa (això va passar en alguns casos on alguns alumnes van decidir prendre la valoració i incorporar els comentaris per millorar la proposta). 
  • Per altra banda, el fet que no s’han definit d’entrada cadascun dels nivells, permet donar un retorn molt personalitzat i centrar-se en exemples concrets. 
  • Ara, cal tenir en compte que això es pot fer si el treball és en grup ja que cal dedicar una estona llarga a cadascuna de les propostes.
Timeline – Content Manager. Propuesta para formación en recursos humanos. Autoría: Lluís Lillo.

I què milloraré en la propera edició

Ja he comentat que aquesta eina que he utilitzat per avaluar experiències d’ABJ és només una primera prova. Per a l’edició d’aquest any incorporaré un parell de millores: 

  • La rúbrica d’un sol punt que explica Fluckiger en el seu article (2010) contè un procès de reflexió per part de l’alumnat on es descriu el nivell màxim d’assoliment i es demana que sigui ells mateixos que diguin quins aspectes creuen que han de millorar, quines evidències creuen que mostren que encara no s’ha asollit i en quins aspectes s’ha anat més enllà del que es demanava. Aquesta eina servirà per autoavaluar-se. 
  • Evidentment, la rúbrica podria podria estar construïda de forma col·laborativa amb l’alumnat d’aquest any o d’anys anteriors. D’aquesta els conceptes i el pes de cadascun pot estar molt més relacionat amb el que s’està portant a terme. El que faré, de moment, és un manual (o un video) on s’explica de forma inicial cadascun dels conceptes que apareixen a la rúbrica. Encara que estan definits en el material i s’expliquen a classe, permeten afavorir tenir en compte cadascun mentre l’alumant està plantejant el disseny de la proposta.  
  • I per últim elaboraré una eina (pot ser una baralla de cartes feta amb PlayingCards) que serveixi per fer preguntes a les propostes dissenyades per tal que donin resposta al que es vol aconseguir.

El #gamifimaster es el Màster en joc, gamificació y tecnologia aplicats a l’educació d’Enti – UB

Aquí pots llegir tots els articles sobre #inspiracionesgamifimaster.


Versión en español

Una de las tareas que el alumnado del gamifimaster tiene que hacer es crear una experiencia de ABJ donde, además, han de diseñar o transformar un juego. Mi experiencia en clases de creación de juegos a Enti (o de gamificación a euse) es que cuesta mucho encontrar una forma de evaluar que permita dar un retorno que construya conocimientos, favorezca la mentalidad de crecimiento y que haga venir ganas de mejorarlo lo. Al gamifimàster he utilizado un modelo de rúbrica que incorporará varias mejoras en esta próxima edición.

Un día en uno de los capítulos de Cult of Pedagogy donde Jennifer Gonzalez conversaba con Jarene Flückiger, que es profesora de la Universidad de Nebraska . Allí descubrí el concepto de rúbrica de un solo punto. Me llamó la atención porque en procesos de creación normalmente tengo el problema que es muy difícil prever exactamente todas las casuísticas diferentes que se pueden llevar a cabo. En la última edición del gamifimàster hice una primera versión de esta rúbrica (en el apartado de mejoras, ya explico como lo llevaré a cabo en esta edición).

Fuckifer (2010) explica que el punto central de la rúbrica de un solo punto es responder a tres preguntas: ¿hacia dónde tenemos que ir? Dónde estamos? Y como puedo llegar hasta donde tengo que ir? Para lograrlo requiere que el retorno sea cualitativo y que la autoevaluación o la evaluación entre iguales del alumnado (este último aspecto es que lo que mejoraré este año).

¿Cómo es nuestra rúbrica?

La rúbrica resultante és esta:

1 – Valoración cuantitativa

Esta rúbrica tiene diferentes aspectos.

  • Conceptos. Lo primero que hago es definir cuáles son los conceptos a tener en cuenta en el diseño de una experiencia de ABJ, y en el diseño o adaptación de un juego para alcanzar el objetivo que se pretende. Este concepto está definido como el nivel máximo de consecución de este punto. De esta forma ya se están dando herramientas que orientan hacia donde crear.
  • Porcentaje. Tal y como es habitual, se propone un porcentaje para cada uno de los conceptos. En el caso del diseño de esta propuesta, el peso está definido en función de que se ha propuesta en el material de trabajo teórico.
  • Niveles. Y para cada uno de los conceptos se establecen cuatro niveles (de novato a experto).

La rúbrica no dice qué significa cada uno de los niveles. La cantidad de variables de cada uno de los aspectos es tan variada que no se pueden establecer de entrada. Evidentemente para poder establecer una respuesta bien aterrizada, es necesario buscar una valoración cualitativa.

S.O.S. – Dilemas morales de un Guardavidas – Experiencia de ABJ a partir de un juego de cartas sobre dilemas morales.
Autoría: Albert Solé y Victor Fernández.

2 – Valoración cualitativa

Junto a la rúbrica cuantitativa había otra donde aparecen los mismos conceptos y sólo dos espacios al lado de cada uno:

  • Me pregunto. Mientras estás valorando la propuesta te salen un montón de preguntas o propuestas que pueden enriquecer la propuesta. En este espacio se escriben cada una de ellas de forma que se centran en ejemplos concretos de la propuesta que está valorando).
  • Me gusta. En este espacio se escriben aquellos aspectos que destacan especialmente y que se considera que es necesario mantener o potenciar en una noca edición de la actividad.

3 – Y la valoración oral

Pero aún hay otro aspecto a tener en cuenta. Para dar un feedback muy cuidadoso, se graba un vídeo capturando la pantalla con el trabajo escrito y / o la rúbrica donde se explica de palabra todo lo que queda escrito en la rúbrica cualitativa. Para ello, normalmente utilizo Screencast-O-matic.

¿Qué destaca de esta propuesta?

  • Esta evaluación da una visión general de todo. Las valoraciones numéricas tienen sentido porque están argumentadas de forma cualitativa y, sobre todo, el número que sale tiene sentido para el alumnado.
  • Todas las valoraciones cualitativas tienen sentido porque dan información sobre que hay que mantener y qué hay que mejorar. Sería ideal que este regreso diera lugar a una conversación (esto pasó en algunos casos donde algunos alumnos decidieron tomar la valoración e incorporar los comentarios para mejorar la propuesta).
  • Por otra parte, el hecho de que no se han definido de entrada cada uno de los niveles, permite dar un retorno muy personalizado y centrarse en ejemplos concretos.
  • Ahora, hay que tener en cuenta que esto se puede hacer si el trabajo es en grupo ya que hay que dedicar un rato largo en cada una de las propuestas.
Preguntas esenciales que catalizan la propuesta “El juego de rol y el uso de la lengua” – Autoria Sheila Moreno

¿Y qué mejoraré en la próxima edición?

Ya he comentado que esta herramienta que he utilizado para evaluar experiencias de ABJ es sólo una primera prueba. Para la edición de este año incorporaré un par de mejoras:

  • La rúbrica de un solo punto que explica Flückiger en su artículo (2010) contiene un proceso de reflexión por parte del alumnado donde se describe el nivel máximo de logro y se pide que sea ellos mismos que digan qué aspectos creen que deben mejorar, qué evidencias creen que muestran que todavía no se ha asollit y en qué aspectos se ha ido más allá de lo que se pedía. Esta herramienta servirá para autoevaluarse.
  • Evidentemente, la rúbrica podría podría estar construida de forma colaborativa con el alumnado de este año o de años anteriores. De esta los conceptos y el peso de cada uno puede ser mucho más relacionado con el que se está llevando a cabo. Lo que haré, de momento, es un manual (o un video) donde se explica de forma inicial cada uno de los conceptos que aparecen en la rúbrica. Aunque están definidos en el material y se explican en clase, permiten favorecer tener en cuenta cada uno mientras fichas individuales está planteando el diseño de la propuesta.
  • Y por último elaboraré una herramienta (puede ser una baraja de cartas hecha con PlayingCards) que sirva para hacer preguntas a las propuestas diseñadas para que den respuesta a lo que se quiere conseguir.

El #gamifimaster es el Máster en juego, gamificación y tecnología aplicados a la educación de Enti – UB

Puedes leer todos los artículos sobre #inspiracionesgamifimaster aquí

Bibliografia

Fluckiger, J. (2010). Single Point Rubric: A Tool for Responsible Student Self-Assessment. Teacher Education Faculty Publications, 5.