Nuevos datos de tecnología y aprendizaje según PISA 2018

Ahora que se está preparando el nuevo curso en un entorno de incertidumbre, muchos se preguntan qué papel debería jugar la tecnología en el aula. Para ayudar a dar una respuesta, este artículo analiza un importante conjunto de datos extraídos de la última prueba PISA, publicada en diciembre de 2019 por la OCDE.

Para los que no lo sepan, la prueba PISA mide a nivel global el rendimiento de los alumnos de 15 años en pruebas estandarizadas de Matemáticas, Lectura y Ciencias. Lo que hace que estas pruebas nos den resultados útiles es que aportan más que una nota numérica, ya que PISA pregunta a alumnos, padres, directores, profesores sobre una serie de cuestiones que guardan relación con las actitudes, los comportamientos y los recursos que se utilizan en el proceso educativo. Además, una encuesta opcional sobre uso de tecnología pregunta más específicamente sobre su uso, tanto en el aula, como en casa.

Así, en 2018, más de 340 000 estudiantes de 51 países hicieron esta encuesta, por lo que se obtuvo un conjunto de datos muy útiles. Algunas preguntas que podemos responder gracias a estos datos son:

  • ¿Cuánto se usa la tecnología en el aula?
  • ¿Qué alumnos obtienen más beneficios de su uso?
  • ¿Cuál es el tiempo óptimo de uso tanto en clase como en casa?
  • ¿Cómo varían los resultados entre países y regiones?

A partir de otros estudios previos, se sabe que el “cómo” se utiliza la tecnología es el factor crucial para determinar su eficacia. Los datos de PISA se centran más en el “cuánto” se usa y en la intensidad de su uso, y no tanto en el contexto pedagógico de cada clase.

A partir del análisis de datos extraídos de PISA 2018 se han observado 5 hallazgos clave, que analizaremos más detenidamente posteriormente:

  • El tipo de dispositivo usado importa. Algunos dispositivos están asociados a peores resultados de aprendizaje.
  • La región donde se estudia es importante. El uso de tecnología está asociado con mejores resultados en los Estados Unidos más que en otras regiones mundiales.
  • Depende de quién utiliza la tecnología. La tecnología en manos del profesor está asociada a mejores resultados que puesta en manos del alumnado.
  • La intensidad de uso de la tecnología. Tanto los que la utilizan de forma intensa como los que no la utilizan para nada obtienen mejores resultados que aquellos que la utilizan de forma moderada. 
  • El nivel del propio sistema educativo. Se observa que en los sistemas de bajo rendimiento, el uso de la tecnología se asocia con peores resultados.

Estos resultados provienen de un único conjunto de datos, que es la prueba PISA, por lo que deben ser interpretados con cautela y teniendo en cuenta otros estudios relevantes. Sin embargo, estos datos sugieren que los sistemas educativos que quieran mejorar se lo tienen que pensar dos veces si quieren implementar las nuevas tecnologías el curso que viene. No parece suficiente la idea de meter dispositivos en el aula y esperar que todo mejore de la noche a la mañana.

¿Qué se puede aprender de los resultados PISA?

Los datos de PISA tienen sus limitaciones. Por ejemplo, estos datos se recogen a partir de alumnos de Secundaria (15 años), y los hallazgos pueden no ser aplicables a alumnos más pequeños o de universidad.

Además, PISA solo recoge datos de un momento puntual, no hace un estudio longitudinal en el tiempo, por lo que solo se puede hablar de correlación (no causalidad) entre la tecnología y los resultados de aprendizaje. Además, el uso de la tecnología tiene otros efectos, tanto positivos como negativos, que PISA ni puede, ni se centra en medir.

Pero dicho esto, PISA ofrece resultados muy útiles y valioso. Los exámenes de PISA se centran en tareas que requieran entender y aplicar conceptos e ideas, más que en preguntar sobre datos memorizados y aislados. Además, el hecho de que se haga a nivel global ayuda a tomar una visión general de lo que realmente sucede en los sistemas educativos.

Como hemos dicho antes, los datos de PISA han permitido encontrar 5 hallazgos importantes, que analizaremos más detalladamente a continuación. 

HALLAZGO 1: El tipo de dispositivo que se utilice varía el resultado de aprendizaje.

Estos resultados se han obtenido tras controlar el origen socioeconómico del alumnado y el tipo de escuela (pública-privada o urbana-rural) y muestran un nivel de confianza del 95%.

La evidencia sugiere que algunos dispositivos funcionan mejor que otros en el aula. Por ejemplo, el uso de proyectores y ordenadores con acceso internet en el aula está correlacionado con mejoras equivalentes a un curso académico por encima (es decir, que los sistemas con esta tecnología obtienen aproximadamente unos 40 puntos más en PISA). 

Pero, por otro lado, si los alumnos usan ordenadores portátiles y tablets en el aula obtienen peores resultados que aquellos que no los usan. Para los ordenadores portátiles, su efecto varía depende de la asignatura: por ejemplo, en Matemáticas consiguen empeorar los resultados, mientras que en Ciencia no parecen tener efectos significativos.

En el caso de las tablets, está bastante más clara la cosa: en todas las asignaturas, los alumnos que las utilizan muestran un retraso de hasta medio año académico con aquellos que no las usan. 

Todos estos datos se pueden ver en la siguiente imagen:

Captura de pantalla 2020-07-06 10.38.49.png

Otros dispositivos tienen un efecto más neutral. De forma general, no existen diferencias significativas entre alumnos que usan ordenadores de sobremesa o pizarras digitales con aquellos que no los usan.

HALLAZGO 2: El país donde se estudie importa.

Si miramos más detenidamente a los resultados en lectura, que era el tema principal de PISA 2018, se puede observar que la relación entre tecnología-resultados varía bastante según el país o región. Por ejemplo, en todas las regiones del mundo salvo en EEUU, los alumnos que utilizan portátiles en clase obtienen entre 5 y 12 puntos menos que los alumnos que no los usan. En EEUU sucede lo contrario, los alumnos que usan portátiles puntúan 17 puntos más que aquellos que no lo usan. Parece ser que allí se usan de manera distinta estos dispositivos al resto del mundo. Quizá esta diferencia esté relacionada con la curva de aprendizaje que se desarrolla a medida que profesor y alumno se acostumbran a trabajar con el ordenador. Tengamos en cuenta que en EEUU el 71% de alumnos dicen utilizar ordenadores en clase, mientras que en el resto del mundo la media es del 37%.

Se observa algo similar en el caso de las pizarras digitales. Mientras que en todo el mundo parece que tienen efectos negativos, en algunos países de Europa que no pertenecen a la UE, sí que aumentan la puntuación. Pero en este caso, no se puede atribuir a que las pizarras se usen en mayor porcentaje.

En la siguiente imagen se pueden ver estos datos:

Captura de pantalla 2020-07-06 10.40.06

HALLAZGO 3: Depende de si la tecnología la usa el maestro o los alumnos.

De manera global, se observa que los mejores resultados en Lectura ocurren cuando el profesor es el que utiliza el dispositivo. También hay pequeños beneficios en el área de Ciencias cuando tanto maestro como alumnos utilizan tecnología. Pero si son exclusivamente los alumnos los que utilizan los dispositivos, se observa un descenso significativo en los resultados a nivel mundial. 

En este tema también existen diferencias entre regiones. Estos son los resultados de EEUU en el examen de Lectura:

  • Efectos positivos si la tecnología la utiliza solo el maestro, o maestro junto a alumnos.
  • Efectos negativos en el caso de que sean solo los alumnos quienes utilicen dispositivos (medio curso por debajo).

En Europa se mantiene el efecto positivo si es solo el maestro quien utiliza tecnología, pero en el caso de usarlos maestro y alumnos el efecto es negativo.

A modo de curiosidad: los resultados de España en Lectura fueron los únicos a nivel mundial que no se contabilizaron por ser “inverosímiles”.

Captura de pantalla 2020-07-06 10.58.02.png

Podemos ver estos datos en la siguiente imagen:

Captura de pantalla 2020-07-06 a las 10.41.45.png

HALLAZGO 4: La intensidad de uso afecta a los resultados.

Cuando PISA habla de “intensidad de uso” se refiere al tiempo de uso de la tecnología tanto en el aula como en casa. Los resultados dejan ver un escenario un tanto polarizado: tanto los alumnos que utilizan tecnología a diario, de forma continuada, como los que no la utilizan para nada obtienen buenos resultados. Los peores resultados los obtienen los alumnos que la utilizan de forma puntual. Curiosamente, los alumnos con mejores resultados indican que el tiempo óptimo de uso de tecnología es tanto “nada en absoluto” como “más de 60 minutos” por semana para cada asignatura. Esto sucede en todas las regiones, independientemente del estatus socioeconómico. En ninguna región se observa que un uso moderado (menos de 1 hora semanal) está asociado con mejores resultados.

Además, también existen diferencias entre asignaturas. Por ejemplo, en Matemáticas el tiempo óptimo de uso para los mejores resultados es “nada en absoluto” para todos los países. Pero cuidado, estos resultados no diferencian si el tiempo de uso de tecnología es en el aula o en casa. Veamos ahora más detalladamente.

Si nos fijamos en el uso de la tecnología solamente en casa, los resultados varían bastante por regiones. Existen buenos resultados tanto para el no-uso como para el uso moderado e intenso de la tecnología. Una interpretación de esto es que los alumnos necesitan familiarizarse con la tecnología antes de empezar a utilizarla. Por ejemplo, a la hora de escribir una redacción, un alumno que no esté acostumbrado a teclear, estará más atento a dar a las teclas correctas que al propio contenido, por lo que sus resultados serán peores que un alumno que sabe teclear perfectamente.

Estos datos vienen recogidos en la siguiente gráfica:

Captura de pantalla 2020-07-06 a las 10.42.42

Hallazgo 5: El nivel del propio sistema educativo afecta al resultado.

En el caso de la Lectura, en Asia, Latinoamérica y Europa, los alumnos que utilizan dispositivos en sus clases de Lengua obtienen peor puntuación que aquellos que no usan (puntuación equivalente a ir medio curso por detrás). El caso se agrava en regiones como África y Oriente Medio, donde llegan a perder hasta un año académico si usan dispositivos. En EEUU, el uso de dispositivos está asociado a un efecto beneficioso en la puntuación de los alumnos.

Estos datos se pueden observar en la siguiente imagen:  

Captura de pantalla 2020-07-06 a las 10.43.36.png

A nivel de países, se observa que aquellos que tienen un sistema educativo de nivel medio-bajo muestran una peor correlación tecnología-resultados. En todos los países de este perfil, los estudiantes con puntuación más alta en PISA afirman dedicar un total de cero minutos al uso de tecnología. En cambio, en los países con sistemas educativos de perfil medio y alto este aspecto es más variado.  Veamos algunos ejemplos:

En países educativo de gran éxito como Estonia y China Taipei, los mejores alumnos no utilizan tecnología, pero en otros como Japón, EEUU y Australia la utilizan más de una hora semanal. Estos datos sugieren que los sistemas educativos más avanzados logran buenos resultados independientemente del uso de la tecnología, mientras que aquellos países con peores sistemas educativos no se ven beneficiados de su uso, si no perjudicados.

¿Cuáles son la implicaciones para alumnos, profesores y sistemas?

Teniendo una vista global de todos estos resultados, se puede decir que existe una relación cambiante y variada entre la tecnología y los resultados de aprendizaje, en función de cómo se use, qué dispositivos se utilicen y la región geográfica en la que se implante.

Estos datos no permiten extraer sólidas relaciones causales, pero sí ofrecen ciertas hipótesis que, en consonancia con la literatura existente y con el propio trabajo de campo en diferentes escuelas  pueden ayudar a explicar estos resultados.

Veamos algunas conclusiones importantes de los autores del artículo:

Lo primero de todo es que la tecnología debe ser utilizada correctamente para ser efectiva. No es suficiente con solamente “añadir tecnología” como si fuera el ingrediente milagroso que falta en el sistema. Su uso debe empezar buscando cumplir objetivos de aprendizaje concretos, y la selección del software que se utilice se debe hacer teniendo en cuenta el currículo escolar. Los profesores necesitan apoyo para adaptar sus clases, y se debe evitar que los alumnos sean los únicos que utilicen los dispositivos.

Teniendo en cuenta las respuestas de los directores de escuelas en PISA, se observa que los mejores resultados se obtienen cuando en un centro existe un número suficiente de dispositivos con internet de alta velocidad, con un software adecuado y con servicio de apoyo online, y los profesores están bien formados y tienen tiempo suficiente para integrar la tecnología en sus clases. Esto se cumple para todos los tipos de colegio, independientemente del estatus socioeconómico y su localización.

En segundo lugar, la tecnología debe estar al servicio del contexto en el que se implanta. Uno de los hallazgos más sorprendentes es el grado diferente con el que la tecnología afecta a los resultados en función de la región geográfica que se evalúe. Introducir una nueva estructura tecnológica en un sistema que no está avanzado puede ser más perjudicial que beneficioso, porque se consume mucho tiempo y energía en aprender a utilizar la tecnología mientras que el tiempo de instrucción se ve reducido. 

En estos contextos, un ejemplo que ha funcionado es el de Bridge International Academies. Es una fundación que trabaja en África y en lugar de equipar a cada niño con un ordenador, lo que hace es darle a cada profesor un lector electrónico donde pueden consultar lecciones ya preparadas para sus clases. En los países más avanzados, la decisión a tomar suele ser más compleja, debido a la variabilidad de contextos escolares.

En tercer lugar, la tecnología presenta una curva de aprendizaje. No es casualidad que en los países que llevan más tiempo utilizando la tecnología sus resultados sean mejores. Estados Unidos es el país con el sistema más maduro en cuanto a educación tecnológica, y esto permite a las empresas crear software específico que se integra dentro del currículo escolar. Algo similar le sucede a los alumnos. Aquellos que no son diestros en el uso de tecnología gastan más tiempo aprendiendo a utilizarla que utilizándola para aprender.

A la vista de todos estos datos, los autores sugieren que los centros que quieran introducir nuevas tecnologías deben tener un enfoque comprensivo, tener en cuenta los datos disponibles y utilizar la tecnología de forma inteligente si quieren conseguir ganancias en el aprendizaje. Así, los mejores resultados se dan cuando se cumplen las siguientes condiciones:

  • Cuando los esfuerzos se dirigen en asegurar que todos los dispositivos e infraestructuras cumplen con su propósito (que haya una buena conexión a internet, por ejemplo).
  • Cuando el software utilizado es efectivo y sigue el currículo. 
  • Cuando los docentes están formados y tienen tiempo para adaptar sus clases a la tecnología disponible.
  • Cuando los estudiantes tienen suficiente interacción con la tecnología para usarla de forma efectiva.

Dicho esto, los autores indican que, aunque el aprendizaje online y la tecnología cumplen un servicio valioso, y más durante estos tiempos de pandemia, esto no significa que deban implementarse de forma acrítica para el próximo curso.


88x31

Traducción y adaptación personal elaborada a partir del artículo original (aquí)

2 comentarios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s