Student Experience: cómo mejorar la experiencia de aprendizaje en la universidad

aprendiendo inteligencia artificial

Donostia. 2021

¿Cómo calificarías tu experiencia de aprendizaje en la universidad? ¿Sabrías explicar qué hace que estés más satisfecho o satisfecha con un profesor?

Cuando hablamos de experiencias, es complicado poner nombres y apellidos a nuestras sensaciones. Además, estas sensaciones de una persona pueden ser muy diferentes a las de otra, y no es fácil encontrar patrones comunes. Sin embargo, todos/as somos capaces de recordar con cariño a algún/a profesor/a de nuestra etapa preuniversitaria, una persona que nos transmitió algo diferente al resto.

¿No sería ideal tener claro qué es lo que hace que ese profesor/a nos haya generado una experiencia positiva? ¿No sería útil que ese/a profesor/a (y el equipo de coordinación) tuviera esto en cuenta como un factor crítico para medir su desempeño?

Y, seamos claros. Además de la experiencia, valoramos mucho el resultado final del proceso. La motivación extrínseca de la evaluación final es un factor muy relevante, por lo que, ¿no sería importante conocer qué es lo que hace que un/a profesor/a mejore los resultados académicos de un grupo? De esta forma, no solo tener un grupo contento, sino un grupo que ofrece su mayor potencial. Y, estando la universidad tan cerca del mercado laboral, esto es si cabe más importante que en otras etapas formativas.

Por qué nos hemos metido en esto

Cuando empezamos a pensar en estas preguntas, creíamos que la mayoría ya tendrían respuesta. Pero medir la experiencia universitaria no parecía ocupar un lugar central en el debate público. Y los rankings parecían prestar más atención a los MBA que a la satisfacción del alumnado.

Así que desde Saturdays.AI Bilbao un equipo formado por dos estudiantes universitarios (Gorka Legarreta Ibarra y Rubén García Pedrejón) y un servidor, profesor universitario, (Iñaki Fernández López-Zuazo) nos pusimos manos a la obra. Los tres, por motivos obvios, queremos mejorar tanto la experiencia como los resultados académicos. Desde mi perspectiva como profesor, me irrita que todo el mundo dé por hecho que conoce la mejor forma de enseñar. Por eso decidimos buscar conclusiones basadas en datos, en vez de añadir una opinión más.

Ninguno de los 3 teníamos experiencia en programación, pero a fuerza de practicar, practicar, y practicar (y un poquito de controlC+controlV, todo hay que decirlo) hemos llegado a alguna conclusión interesante.

Si eres estudiante, ¿quieres saber qué puedes pedir a tu universidad para mejorar tu experiencia y tus resultados?

Si eres profesor/a universitario/a ¿preparado/a para conocer los elementos en los que más tienes que enfocarte para mejorar tu desempeño profesional?

El dataset

Sin datos no hay paraíso, y ha sido complicado hacerse con una buena base de datos, que contuviera información suficiente para llegar a conclusiones de interés. Una universidad ha cedido amablemente un dataset, anonimizando cualquier atributo de caracterización, e introduciendo multiplicadores a algunos atributos para evitar su identificación. Estos cambios no han afectado en ningún caso al resultado del proyecto, pues ambos dataset (el original y el modificado) arrojan las mismas conclusiones. Por último, aunque en este análisis se han utilizado los comentarios aportados por los alumnos/as en el dataset, se han borrado posteriormente, pues contenían información que hacía fácil identificar a profesores/as y situaciones concretas.

Este dataset contiene información sobre más de 20.000 encuestas de satisfacción realizadas al alumnado desde febrero 2015 a diciembre 2020. Se ha completado la información de la encuesta con datos identificativos del profesor/a que impartía la asignatura y de la nota media del grupo.

Entrando al detalle, la información que más se trabajará a lo largo del dataset es:

Respuestas a las preguntas concretas de satisfacción: Se evalúa el conocimiento del/a profesor/a, su manera de explicar, la metodología que utiliza en el aula y el feed-back que da. Por último, se le da una nota general.

Nota media: Se ha realizado una media de todo el grupo que responde a la encuesta. Es decir, un registro no contiene la nota que ha sacado el alumno/a en la evaluación, sino la nota media de todo el grupo al que pertenece

Datos identificativos del profesor/a y su asignatura: Sexo, edad, campus donde trabaja habitualmente, tipo de asignatura que imparte…

EDA: Cuánta razón tenían…

En las primeras sesiones de Saturdays.AI siempre se menciona la importancia de la limpieza de datos, y que es una tarea que lleva más del 80% del tiempo de casi cualquier proyecto. Sinceramente, parecía una exageración, pero quizás hemos llegado al 90% 🙂

Para no liarnos demasiado en este punto, estas han sido las mayores transformaciones:

• Eliminación de registros con NaN: Como la base de datos era grande, optamos por conservar solo los registros completos en vez de imputar los valores que faltaban.
• Foco en un grado en particular: Teníamos información de varios grados, pero la información del resto de ellos era parcial, y además no disponíamos de sus notas, claves para el proyecto. Por lo que decidimos centrarnos en un solo grado.
• Homogeneización y eliminación de atributos: En un año concreto se pasó a la codocencia, con tres docentes por aula. El alumnado evaluaba a los tres, lo que trajo algunos problemas para homogeneizar el dataset. Los resolvimos con mucho esfuerzo y tesón. 🙂
• Categorización de atributos: Para mejorar posteriores análisis se categorizaron las respuestas a las preguntas de satisfacción (con el Net Promoter Score) y las notas. En la satisfacción categorizamos en detractores (0 a 6) pasivos/neutros (7 y 8) y promotores (9 y 10). En las notas: suspensos (0 a 4,9) aprobados (de 5 a 7,9) y sobresalientes (8 a 10).

Explorando los datos: reafirmando intuiciones

Con el dataset preparadito para trabajar en él, empezamos con un Heatmap para conocer la correlación entre todas las variables:

La metodología presenta la mayor correlación con la valoración global del profesorado, seguida de cerca por las explicaciones y el feedback; el conocimiento percibido muestra la menor. Esto sugiere que saber mucho no basta para ofrecer una buena experiencia de aprendizaje. También observamos una correlación entre conocimiento y explicaciones. Son asociaciones en esta muestra, no pruebas de una relación causal.

También exploramos cómo variaban las valoraciones según el sexo y la edad del profesorado:

En esta muestra, el profesorado más joven recibió, en general, mejores valoraciones. Las diferencias entre sexos fueron pequeñas, aunque las mujeres mayores de 55 años obtuvieron mejores puntuaciones que los hombres de la misma edad. Estas diferencias descriptivas no demuestran que la edad o el sexo determinen la calidad docente.

Por último, queríamos saber si, más allá de la edad, lo relevante era la antigüedad del/a profesor/a en la universidad. El profesorado está ordenado según su entrada en la facultad, por lo que bastaba con plotear este orden respecto a la nota de satisfacción.

Pues sí, parece que los nuevos fichajes tienen menos puntuaciones negativas que los/as veteranos/as del lugar. Eso sí, les cuesta más llegar al 10.

Ahora que tenemos ya algunas ideas sobre el dataset, pasamos a los modelos.

De aprendizaje supervisado a no supervisado, aderezado con NLP de preescolar

Trabajamos con cuatro enfoques de modelado y un análisis de texto, cada uno con un objetivo.

-Regresión lineal: Para poder predecir la satisfacción general si contamos con los 4 ítems de satisfacción, y conocer la importancia de cada uno de ellos.

-Asociación: Para conocer qué atributos se “mezclan” más con otros.

-Árboles de decisión: Para clasificar de forma sencilla a promotores/detractores/neutros.

-Clustering: Para identificar la relación entre nota y satisfacción, y lo más importante, describir los grupos de profesores/as que se forman.

-NLP: Para conocer qué comentarios se repiten más según la satisfacción y la nota del grupo.

Regresión lineal

Escogimos las 4 variables de satisfacción como variables independientes, y la satisfacción general como la variable dependiente del modelo. Suponíamos, vistas las correlaciones, que íbamos a tener buenos resultados.

Con regresión Ridge obtuvimos un score de 0,67. El texto original lo llamó «accuracy», pero no documentó la métrica de regresión utilizada, por lo que no debe interpretarse como un 67% de predicciones correctas. También analizamos la importancia relativa de las variables. Cualquier mejora del modelo tendría que evaluarse sin ajustar los resultados a los datos de test.

En nuestro modelo, la valoración de las explicaciones fue la variable con mayor peso. Es una pista útil para orientar mejoras docentes, aunque el modelo no demuestra por sí solo que cambiar las explicaciones vaya a causar una mejora en los resultados.

Asociación

Para explorar la relación entre las notas del grupo y las valoraciones del profesorado, aplicamos el algoritmo Apriori. Estas son las asociaciones con lift mayor que 1: combinaciones que aparecen con más frecuencia de la esperada si las variables fueran independientes.

La asociación con mayor lift y confianza vinculaba «sobresaliente» con «promotor». En esta muestra, los grupos con notas medias sobresalientes tendían a valorar muy positivamente al profesorado; la relación inversa no era tan clara. Tampoco podemos deducir que unas notas bajas impliquen mala docencia.

Para profundizar más en qué es lo que hace que ese profesor/a tenga promotores o detractores, empezamos con los decision trees.

Decision Trees

La primera prueba que hicimos fue con una profundidad de 2, para empezar a visualizar los primeros resultados.

El árbol volvió a señalar las explicaciones como un factor importante para distinguir promotores de detractores o neutros. La metodología y el feedback también aparecieron en sus reglas. Son patrones exploratorios que pueden orientar preguntas, no recetas que garanticen mejores valoraciones.

Pero bueno, el score del árbol es de 0.35, así que hay que coger el resultado con cierto escepticismo.

Al ampliar la profundidad a 5, aparecieron nuevas variables y el score subió a 0,45. Una observación interesante fue que, cuando el feedback recibía una valoración baja pero el conocimiento percibido era alto, aumentaba la proporción de promotores.

Visto todo esto, vamos a centrarnos en cómo son los/as profesores/as según la satisfacción de los/as alumnos/as y las notas que ponen.

Clustering

Aplicamos K-Means y seleccionamos una solución de seis clústeres. Después representamos la relación entre notas y satisfacción:

Tenemos 6 grupos diferenciados, pero vamos a poner el foco en 3 de ellos:

• Profesorado con solo detractores, independientemente de la nota media del grupo: en esta muestra, el perfil incluía docentes mayores de 55 años del oeste de Gipuzkoa, con conocimientos bien valorados pero metodologías peor valoradas por el alumnado. Este perfil describe un clúster concreto; no permite generalizar sobre el profesorado de esa edad.
• Profesores/as que solo tienen promotores, aunque sus grupos tienen notas medias inferiores a 6: el perfil incluía docentes de entre 35 y 55 años que impartían finanzas, procedentes del este de Gipuzkoa y bien valorados por sus conocimientos. El feedback recibía peores valoraciones. Esto invita a investigar su relación con el aprendizaje, pero no demuestra que explique las notas del grupo.
• Profesores/as que tienen promotores mayoritariamente y cuyos grupos tienen notas medias de al menos 7: en esta muestra eran menores de 35 años, impartían estrategia y recibían valoraciones positivas sobre sus conocimientos y explicaciones.

Para profundizar algo más en cómo clasificar a estos profesores, vamos a darle un poco al NLP.

NLP

Como suele ocurrir, llegamos a la fase final con pocas energías. El procesamiento del lenguaje natural (NLP) es un campo amplio, así que empezamos por algo sencillo: contar las frases más repetidas sobre aspectos que convenía mantener. Agrupamos los comentarios según la valoración del profesorado y las notas de cada grupo, y obtuvimos estas observaciones.

En el caso de los detractores, los comentarios giran en torno al trabajo en equipo. Vamos, que lo positivo de la asignatura han sido sus compañeros/as de clase más que la propia clase. En cambio, los comentarios más repetidos con los promotores ensalzan al profesor/a: su conocimiento, formas diferentes de dar clase, buen feedback a todos los trabajos…

Al agrupar las respuestas por nota, los comentarios positivos de los grupos con suspensos se centraban sobre todo en los materiales aportados. En los grupos con sobresalientes aparecían más referencias a la disposición del profesorado: atención, actitud, motivación y ganas de ayudar.

Vamos acabando: 3 grandes conclusiones

• La claridad de las explicaciones mostró una asociación importante con la satisfacción.
• En esta muestra, los grupos que valoraban mejor al profesorado tendían a obtener mejores resultados, aunque la asociación no demuestra causalidad.
• La actitud y la disposición del profesorado destacaron en los comentarios de los grupos con mejores notas.

No son conclusiones reveladoras que nos hagan ganar el nobel de educación, y puede que no sean extrapolables a otras universidades y contextos. Pero al menos ya hay una base por dónde empezar, y aunque ahora lo complicado sea precisamente cómo mejorar esas explicaciones o la actitud, los profesores/as ya sabemos dónde incidir, y los alumnos/as qué exigir 😉

Si tuviéramos que cerrar con una conclusión final, sería precisamente la importancia de la actitud. Es el comentario más repetido, con diferencia, en el caso de los grupos con notas sobresalientes. Ya no es cuestión de que estén más o menos satisfechos, sino de que obtienen mejores resultados. Y aunque mejores calificaciones no equivalen necesariamente a un mejor desarrollo futuro, nos surgen dos preguntas de cierre.

Como profesores/as, o desde la coordinación: ¿Se hacen los esfuerzos suficientes para mejorar la actitud y disposición del profesorado hacia los/as alumnos/as? ¿Puede más la burocracia o la experiencia del estudiante?

Como alumnos/as: ¿Hasta qué punto existe actitud hacia el aprendizaje? ¿Cuánta responsabilidad tiene el profesor en motivarnos? ¿No sería más lógico venir motivados/as de casa?

Líneas futuras

Todavía queda mucho por hacer…

• Un buen análisis NLP, más allá de contar las frases más repetidas. Mucho potencial para extraer el valor a más de 4.000 comentarios.
• Clustering: se podría mejorar tanto el clustering hecho al profesorado, como introducir nuevas variables del alumnado para hacer un nuevo clustering.
• Y más allá de la programación, implementar un sistema “close the loop” para tomar acciones y decisiones en base a los resultados de las encuestas. Que lleven a proyectos accionables.

Cierre

En el siguiente enlace de GitHub encontrarás el dataset y los diferentes notebooks utilizados en el proyecto.

Si quieres ver la presentación que se hizo del proyecto, la tienes por aquí.

Y para acabar, un agradecimiento a todo el equipo de Saturdays.AI Bilbo. De estar contando filas en un Excel hemos pasado a un proyecto presentable, nada habría sido posible sin la comunidad. Mila esker denoi!

Gracias a Rubén García Pedrejón. 

Repositorio

En el siguiente repositorio se encuentra el código usuado para desarrollar esta aplicación: https://github.com/SaturdaysAI/Projects/tree/master/Donostia/Donostia2021/StudentExperience-ResultsAI-main

¡Más inteligencia artificial!

Saturdays.AI acerca la IA a más personas a través del aprendizaje en comunidad y de proyectos con impacto social. Nuestro lema es AI4ALL IS AI4GOOD.

Explora los cursos disponibles

Conoce la comunidad de Saturdays.AI

Abrir vídeo o recurso