Los límites de la Inteligencia Artificial ponen en jaque los exámenes en línea

El especialista en evaluación educativa Eduardo Backhoff Escudero advierte sobre las limitaciones de la inteligencia artificial y los sistemas de supervisión remota (proctoring)

La promesa parecía sencilla: evaluar a miles de aspirantes desde sus casas, utilizar inteligencia artificial para vigilar sus movimientos y sonidos y sustituir con tecnología la compleja logística de reunirlos en instalaciones universitarias.

Pero hay algo que ningún sistema de supervisión remota puede controlar por completo: lo que ocurre fuera del campo de visión de la cámara.

Un teléfono colocado detrás de una computadora, una cámara en otra habitación, la posibilidad de que otra persona responda las preguntas desde un espacio que el sistema no alcanza a observar o una red de aspirantes que memoriza y filtra reactivos pueden poner en entredicho la seguridad de una prueba aplicada desde casa.

Para Eduardo Backhoff Escudero, especialista en evaluación educativa e integrante de la Comisión Técnica que analiza el proceso de ingreso a la Universidad Nacional Autónoma de México (UNAM), la discusión que deja la reciente controversia sobre los exámenes en línea va mucho más allá de una institución.

La pregunta es qué deben hacer las universidades que utilizan o pretenden utilizar estos mecanismos para garantizar que los resultados de sus exámenes de admisión sean confiables.

Y su conclusión es tajante: “El peor lugar para hacer un examen de admisión de alto impacto y de gran escala es hacerlo en casa”.

La cámara tiene un límite

Los sistemas conocidos como proctoring utilizan inteligencia artificial para supervisar al aspirante durante la prueba. De acuerdo con Backhoff, presidente de Métrica Educativa, A.C., se apoyan fundamentalmente en dos canales: el visual y el auditivo.

La cámara observa el rostro, los ojos y los movimientos dentro de su campo de visión, mientras el sistema de audio puede identificar sonidos o voces en el entorno. El problema está precisamente en aquello que queda fuera de ese campo.

“Si tú pones un celular pegado atrás de tu laptop, es decir, atrás de la cámara, pues tú no estás viendo nada”, explica.

El estudiante podría recibir información desde otro dispositivo colocado fuera del encuadre o utilizar una cámara adicional para transmitir las preguntas hacia otra persona encargada de resolverlas.

Pero la vulnerabilidad no depende únicamente de dispositivos ocultos. La trampa también puede organizarse. El riesgo aumenta cuando una prueba se aplica a miles de personas durante diferentes turnos y utiliza preguntas iguales o similares.

Backhoff comenta que un aspirante podría memorizar algunos reactivos durante su examen y posteriormente compartirlos o venderlos a quienes presenten la prueba después. El fenómeno puede escalar si existen grupos organizados para obtener preguntas.

“Imagínate cuánto dinero vale una pregunta a miles de estudiantes”, plantea.

Por ello, el especialista considera indispensable utilizar diferentes versiones y aleatorizar tanto el orden de las preguntas como el de las respuestas.

“En la medida en que tú no hagas eso, en esa medida es más fácil para alguien burlarlo”, advierte

.No todo lo que detecta la IA es una trampa

La otra cara del problema son los llamados falsos positivos: situaciones en las que el sistema identifica como sospechosa una conducta que en realidad no constituye una irregularidad.

Backhoff expone el caso de una vivienda pequeña donde conviven varias personas, niños y mascotas. El estudiante puede no tener control sobre el ruido del tráfico, los ladridos de un perro, la entrada de un familiar a la habitación o cualquier otro acontecimiento cotidiano.

También existen condiciones personales que pueden provocar movimientos involuntarios, dificultades para mantener la atención o tics que una máquina podría interpretar erróneamente como una señal de alerta.

A ello se suma la preocupación por la privacidad, pues estos sistemas pueden recopilar datos biométricos como imágenes del rostro, ojos y voz.

El costo de la comodidad

Backhoff conoce el desarrollo de los exámenes digitales desde hace décadas. Su experiencia comenzó con evaluaciones realizadas por computadora, pero bajo esquemas presenciales. Ahí encuentra una diferencia fundamental: en un examen presencial, la institución controla el espacio, identifica a los aspirantes, supervisa las condiciones de aplicación y puede responder ante una eventualidad.

En una prueba desde casa, buena parte de ese control desaparece.

Para las universidades, el modelo remoto tiene ventajas evidentes: requiere menos infraestructura, menos personal y reduce la complejidad logística de reunir a miles de aspirantes.

“Es fácil, más barato y menos trabajo”, reconoce. Pero existe una contraparte: “La contra es que es más inseguro”, sostiene.

La tecnología no sustituye la supervisión

Para Backhoff, el debate tampoco debería convertirse en una discusión de “inteligencia artificial contra seres humanos”. La tecnología puede apoyar la vigilancia, pero no garantizar por sí sola la integridad de una evaluación de alto impacto.

“Cada vez que hay una manera de controlar, hay otra o dos maneras de burlar”, afirma.

Por ello, las instituciones deben combinar tecnología con controles humanos y mecanismos que permitan garantizar que la persona que presenta el examen sea realmente quien responde. Entre las medidas están la aplicación presencial, distintas versiones del examen, la aleatorización de reactivos y respuestas, controles de identidad y supervisión humana.

La otra lección: transparencia

Para Backhoff, la crisis también deja una enseñanza institucional: la importancia de transparentar los resultados y reconocer cuando existe un problema. En su opinión, la UNAM tuvo la capacidad de hacer públicos sus resultados y reconocer que existía un problema que debía ser atendido.

“Algo bueno que decir de la UNAM es eso: tuvo la capacidad de publicar los resultados y también la valentía de decir: ‘nos equivocamos, hubo aquí un problema’”.

El cuestionamiento ahora es qué harán las demás universidades. Porque el futuro de los exámenes de admisión no necesariamente pasa por abandonar la tecnología. Pasa por reconocer sus límites y entender que la facilidad de aplicarlo desde casa no puede estar por encima de la certeza académica.

Temas: