miércoles, 23 de marzo de 2011

elearning y los informes

Hasta ahora he hablado de muchos temas pero todavía no he hablado de los informes. Con planes de formación de cierto volumen, necesitamos tener la información agregada para no naufragar en un mar de datos.

Voy a presentar indicadores que pueden servirnos. Esto no significa que tengan que estar todos o que no falten.

1. Estado del curso/plan de formación/convocatoria.
  • Alumnos Convocados.
  • Alumnos Baja.
  • Alumnos Activos.
Aquí tenemos cuantos se nos han caído por el camino. A parte del análisis cuantitativo, necesitamos saber cuales son las causas.

2. Estado de los alumnos. Con los alumnos activos,
  • No iniciado.
  • Iniciado.
  • Finalizado.
Dentro de los finalizados.
  • Superado.
  • No superado.
Hasta aquí lo normal. Un análisis un poco más profundo nos indicaría, por ejemplo

3. Tiempos de estudio
  • Tiempo de estudio Scorm.
  • Tiempo de estudio en el curso.
El primero es el tiempo acumulado en  lecciones Scorm mientras que la segunda es el tiempo acumulado  en las lecciones, desde que se loga el alumno en la plataforma de formación hasta que hace logout del curso o timeout la plataforma.

Los sesgos que nos podemos encontrar son: Tiempo de estudio en el curso si no registra alguna sesión puede ser menor que el real, mientras que en el tiempo de estudio en el curso (incluye foros, lectura de pdf, visionado de videos etc. que estén asociados al curso pero no como lesson, suele ser mayor que el real pues si dejamos el ordenador encendido pero sin actividad, por ejemplo, me llaman por teléfono y no estoy atendiendo el curso o no cierro la sesión este puede ser más alto.

4. Evolución del curso
  • Desarrollo del curso. Porcentaje de tiempo consumido desde que empezó el curso. No es lo mismo que al tercer día haya iniciado el 60% del curso que a falta de 3 días.
  • Análisis longitudinal. Se pueden hacer varios, pero el más simple es con la frecuencia de análisis adecuada al tiempo del curso, por ejemplo, semanalmente, una comparativa del estado de los alumnos en el curso. Además se puede asociar también las fechas de las comunicaciones de dinamización del curso.
  • Predicción. A partir de distintas variables, se puede generar predictores sobre cómo será la evolución del curso, cómo su grado de finalización. Con planes de varios miles de alumnos y cierto histórico, a partir del 20% de desarrollo del curso se puede predecir con muy bajo error.
5. Evaluación
  • Si tenemos la calificación final de los alumnos, crear la curva de calificaciones, la tabla de centiles... para poder comparar la posición de unos alumnos con otros.
  • Si lo tenemos disponible, promedio de grado de satisfacción del alumno

6. Actividades colaborativas
Depende de los registros que nos de la plataforma, pero al menos podremos sacar algunos datos como % de alumnos que participan, ratio de intervenciones/alumnos total.

Seguro que se me olvida un montón de indicadores, ¿Cuáles echas en falta?

4 comentarios:

  1. ¿Qué haces con los alumnos iniciados que no avanzan al ritmo adecuado y que no responden a las actividades de dinamización? ¿En qué momento prevés si serán baja o conseguirán finalizar su curso?¿Los incluyes en el mismo informe o es preferible hacerles un seguimiento por separado?

    ResponderEliminar
  2. Intentaré responder a las tres preguntas.

    - Si van más rezagados y no responden a la dinamización no hay muchas solución. Generalmente comunicarme con ellos, hacerles la foto de la situación y ofreceme a ayudarles. Imagino que como todos.
    - Depende del modelo matemático pero es una cuestión de % de curso, actividad y peso asignado a cada actividad. Aunque la predicción es por alumno se toma como referencia grupal, pues un alumno puede no hacer nada hasta el final y otro empezar muy fuerte y luego dejarlo. Recomiendo tomar muchos datos y ver como se comportan en ese colectivo o en ese curso.
    - La última pregunta no la he entendido bien. Las bajas y los finalizas tienen que ser verdaderos, no probables, por lo que yo hago un informe con los datos ciertos y, en ese informe, muy cerquita cómo preveo que quedará si todo sigue así. Es decir, mi colectivo de análisis son los baja reales, en cuanto sus causas y todos los activos en el curso. Además, como la bruja Lola, hago una predicción sobre cuales serán los resultados finales.

    ResponderEliminar
  3. Excelente, Luís, publicar sobre este tema. ¿Como cruzas y mezclas indicadores sociales y colaborativos con los más tradicionales? Me estoy volcando sobre este tema, ya tengo modelos definidos pero el tema está todavía bastante poco desarrollado como para estar seguros... :)

    ResponderEliminar
  4. Hola Marcello. Perdona no haberte contestado antes. Puedes meterle medidas cuantitativas, cualitativas o mezcla. ¿Debe un alumno participar y colaborar en un curso?
    ¿Y qué valoración le pongo?. Es complicado pero el sentido común nos ayudará. Todo depende del diseño, objetivos y estrategias de un curso.

    Si los aspectos colaborativos son apoyo y son voluntarios, como tales así se quedan. Es como quien escribe en el blog de notas de un curso scorm. Eso es lo que se lleva.

    El siguiente nivel es la obligatoriedad. Si es obligatorio participar en las actividades colaborativas podemos tomar las siguientes medidas:
    - Participación SI/NO.
    - Nº aportaciones/registros/...
    - Tiempos.
    - ...

    Calidad de las aportaciones. Cambiamos de ámbito y no vamos al cuali. Sólo lo puede medir el tutor/experto/...

    En definitiva. O medimos al peso o medimos la calidad de las aportaciones o la calidad a partir de unos mínimos de aportaciones...

    En cuanto a la relación indicadores sociales / indicadores de formación como en botica.

    Tengo cursos en los que el contenido scorm es un mínimo necesario pero no suficiente, siendo la actividad colaborativa la que decide y al contrario.

    En su momento estuve generando indicadores de evalación de mayor complejidad y la limitación que encontré se centraba en que tenía pocos datos de la parte colaborativa y me dificultaba los cálculos.

    Desde hace un tiempo mis esfuerzos se centran en generar un indicador que me permita predecir, a partir de patrones de comportamiento de los alumnos, la probabilidad que finalice un curso para adaptar la dinamización de los curso.

    Hace un año con gran cantidad de alumnos conseguí que el predictor se desviase menos del 5% cuando los alumnos llevaban la cuarta parte del curso.

    ResponderEliminar