elearning y el plan de acción

Hoy, revisando unos contenidos, he tenido  una idea tonta para los cursos.

No invento nada si un curso tiene un prework y un postwork. Tampoco si el curso tiene un plan de acción en el que asumo unos compromisos a cumplir en unas fechas concretas.

Bien, se trata de un módulo de plataforma o un contenido scorm en el que el alumno escribe sus compromisos y se asocia fechas de cumplimiento. El curso tiene una serie de avisos por correo electrónico en hitos porcentuales y una auto-valoración de su actuación. Incluso, el alumno podría volver a acceder a contenidos específicos relacionados con sus compromisos para reforzar los aprendizajes.

Seguro que esto ya existe, pero yo no lo conozco asociada a formación. Muchas veces queremos hacer cambios y mejoras pero el día a día nos come. Un buen sistema de recordatorios de fechas y recuerdo de contenidos podría mejorar la transferencia al puesto de trabajo.

elearning y los informes

Hasta ahora he hablado de muchos temas pero todavía no he hablado de los informes. Con planes de formación de cierto volumen, necesitamos tener la información agregada para no naufragar en un mar de datos.

Voy a presentar indicadores que pueden servirnos. Esto no significa que tengan que estar todos o que no falten.

1. Estado del curso/plan de formación/convocatoria.

• Alumnos Convocados.
• Alumnos Baja.
• Alumnos Activos.

Aquí tenemos cuantos se nos han caído por el camino. A parte del análisis cuantitativo, necesitamos saber cuales son las causas.

2. Estado de los alumnos. Con los alumnos activos,

• No iniciado.
• Iniciado.
• Finalizado.

Dentro de los finalizados.

• Superado.
• No superado.

Hasta aquí lo normal. Un análisis un poco más profundo nos indicaría, por ejemplo

3. Tiempos de estudio

• Tiempo de estudio Scorm.
• Tiempo de estudio en el curso.

El primero es el tiempo acumulado en  lecciones Scorm mientras que la segunda es el tiempo acumulado  en las lecciones, desde que se loga el alumno en la plataforma de formación hasta que hace logout del curso o timeout la plataforma.

Los sesgos que nos podemos encontrar son: Tiempo de estudio en el curso si no registra alguna sesión puede ser menor que el real, mientras que en el tiempo de estudio en el curso (incluye foros, lectura de pdf, visionado de videos etc. que estén asociados al curso pero no como lesson, suele ser mayor que el real pues si dejamos el ordenador encendido pero sin actividad, por ejemplo, me llaman por teléfono y no estoy atendiendo el curso o no cierro la sesión este puede ser más alto.

4. Evolución del curso

• Desarrollo del curso. Porcentaje de tiempo consumido desde que empezó el curso. No es lo mismo que al tercer día haya iniciado el 60% del curso que a falta de 3 días.
• Análisis longitudinal. Se pueden hacer varios, pero el más simple es con la frecuencia de análisis adecuada al tiempo del curso, por ejemplo, semanalmente, una comparativa del estado de los alumnos en el curso. Además se puede asociar también las fechas de las comunicaciones de dinamización del curso.
• Predicción. A partir de distintas variables, se puede generar predictores sobre cómo será la evolución del curso, cómo su grado de finalización. Con planes de varios miles de alumnos y cierto histórico, a partir del 20% de desarrollo del curso se puede predecir con muy bajo error.

5. Evaluación

• Si tenemos la calificación final de los alumnos, crear la curva de calificaciones, la tabla de centiles... para poder comparar la posición de unos alumnos con otros.
• Si lo tenemos disponible, promedio de grado de satisfacción del alumno

6. Actividades colaborativas

Depende de los registros que nos de la plataforma, pero al menos podremos sacar algunos datos como % de alumnos que participan, ratio de intervenciones/alumnos total.

Seguro que se me olvida un montón de indicadores, ¿Cuáles echas en falta?

Proyectos e-learning: La calidad tiene un precio.

¿Te gustaría tener trillizos? Nunca, es una locura. ¿Por qué te inseminas de tres?.

Tengo miopía y me voy a operar los ojos ¿Los dos a la vez? Sí hombre, si no sale mucho más caro y nunca pasa nada.

Ejemplos como estos nos encontramos todos los días. A mitad de los 90 me recreaba dando clases en las que preguntaba la diferencia entre eficacia y eficiencia. La eficiencia se define como la consecución de los objetivos optimizando los recursos utilizados.

Hay momentos en los que lo importante es asegurar conseguir los objetivos, dejando a un lado los costes, pues las pérdidas de no conseguirlo son enormes (eficacia).

Cuando se lanza un proyecto e-learning de grandes dimensiones, tienes que asegurar que todo lo que haces lo haces bien. Suelo explicar a mis colaboradores que nos manejamos con la idea "Bien a la primera", que se tarda todo el tiempo necesario en asegurar que no cometeremos fallos (de vez en cuando los hay). Si mandas un mail a 5000 personas, no pasa nada por generar un proceso de revisión de varias personas. En caso de error, ¿Cuanto trabajo cuesta responder al 10% que contesta? ¿Cuanto esfuerzo cuesta ganarse la credibilidad?.

Al principio, los medios no deben ser ilimitados, pero sí generosos. Luego se va optimizando. La versión inversa, intentar conseguir la eficiencia desde el principio, pocas veces funciona, obligando a poner medios extraordinarios y con prisas que generan un aumento desproporcionado de los costes.

Hace unos meses operaron a una amiga de cataratas. Casualmente primero operan un ojo y luego el otro. Qué prefieres ¿no tener hijos o tener trillizos? Si la respuesta es no tener hijos, no te insemines de 3. Tras visitar el Hospital de Parapléjicos de Toledo, pocas veces tengo prisa con el coche.

La evaluación de la formación subvencionada e-learning según Kirkpatrick

Un tema que me apasiona es la evaluación de la formación y voy a escribir un poco sobre las posibilidades de evaluación de los cursos gratis e-learning que subvenciona la administración.

Hace unos meses, diseñamos una metodología de evaluación de los cursos e-learning para un Plan Avanza siguiendo el modelo de los 4 niveles de Kirkpatrick. Por otro lado, cuando trabajaba en consultoría para empresa, tuve la suerte de trabajar en un proyecto en el que se medía como la formación afectaba a la rotación y a las ventas en la empresa.

Tipos de Formación

Disponemos de cursos gratis subvencionados por dos motivos:

• Formación para desempleados.
• Formación para ocupados.

 En la formación para desempleados se invierte dinero en formación para que los estudiantes tengan mayores posibilidades de empleo o aumentar la empleabilidad.

En la formación para ocupados se invierte dinero en formación para que los trabajadores de un sector estén más preparados y aumentar la competitividad del sector. Eso debe favorecer la carrera laboral de los trabajadores o, al menos, el mantenimiento del puesto de trabajo.

En cualquiera de los modelos tiene unos objetivos finalistas y medibles, tanto individual como colectivamente.

El modelo de Evaluación

Aunque hay muchos más modelos me voy a basar en el Modelo de evaluación de Kirkpatrick y sus 4 nivel.

1. Reacción. Satisfacción de los alumnos con el curso.
2. Aprendizaje. Grado de aprendizaje de los alumnos en el curso.
3. Conducta o comportamientos. Mide el grado en el que se ha trasferido lo aprendido al puesto de trabajo.
4. Resultados. Mide el impacto de la formación según los indicadores del cuadro de mando.


Cómo evaluar los cursos gratuítos subvencionados con fondos públicos

El término es amplio y no abarca todo el universo de cursos, pero generalizandoesta es la situación.

1. Reacción.
Los cursos tienen un amplio cuestionario de satisfacción del curso. La administración tiene información sobre que opinan los alumnos/usuarios/clientes sobre el servicio que se le ha dado. Es la dimensión mejor medida.

¿Cómo se hace en e-learning?
Test de satisfacción o reacción colgado en la plataforma.

Diferencia entre empleados y desempleados.
Metodológicamente es similar.

2. Evaluación.
Sorprendentemente, hay cantidad de fondos públicos que no evalúan esta dimensión, con lo que no podemos medir la calidad real de los cursos. Decimos que un curso tiene unos objetivos de aprendizaje y no medimos si se cumplen. Lo más parecido que se mide es la asistencia al curso. Los indicadores que algunos organismos están utilizando son el % avance en el curso y el tiempo en plataforma. Esto sustituye la firma de asistencia de los presenciales.

¿Cómo se mide en e-learning?
Aunque hay múltiples métodos, los métodos más simples son:

• Examen final. Cuestionario cerrado de multiples alternativas con única respuesta correcta.
• Pre-post. Se mide el conocimiento de partida y el de salida para conocer el grado de conocimientos adquiridos.

Diferencia entre empleados y desempleados.
Metodológicamente es similar.


3. Conducta o comportamiento.
Cuando tratamos la transferencia al puesto de trabajo, tenemos grandes dificultades con los empleados e imposibilidad en desempleados. Sería relativamente fácil con la formación bonificada. En cualquier caso, sería viable realizar una evaluación post y comprobar las mejoras.

¿Cómo se mide en e-learning?
Directamente es muy complejo, pues se trata de ver como se comporta en el puesto de trabajo. Tras un periodo de tiempo, por ejemplo 6 meses, se puede utilizar un simulador, casos prácticos, cuestionarios de autoevaluación del alumno. Muchas de estas actividades se pueden realizar a través de plataforma.

Diferencia entre empleados y desempleados.

Aquellas actividades que implican actividad son susceptibles de evaluarse para ambos colectivos. Si los desempleados siguen en la misma condición, los cuestionarios que miden su aplicación no tienen sentido.


4. Resultados
Los resultados son medibles en la formación para empleados y desempleados respecto a los objetivos de la subvención y suelen ser más complejos en la formación bonificada. Si un plan de formación de oferta tiene como objetivo aumentar la competitividad del sector y la información previa y posterior se conocen lo tenemos muy fácil. Comparar si a aumentado o disminuido y en qué grado.

Si formamos a desempleados todavía más, porque el objetivo es que la formación sirva para conseguir empleo y la administración dispone de la información.

Imaginemos. Formamos a 100.000 desempleados y al cabo de 6 meses medimos cuandos de ellos están trabajando. Eso lo comparamos con los datos de aquellos que no han realizado formación y veremos cuanto aumenta o disminuye e incluso cuando cuesta. De esta forma veremos si es la medida más rentable o hay otras en las que se debería invertir.