Navegar na pandemia: avaliação digital em Brunel

Contexto

A Universidade Brunel de Londres é uma universidade multidisciplinar intensiva em investigação e, com mais de 17 000 estudantes e 2500 funcionários de todo o mundo, é uma das instituições mais diversificadas do Reino Unido. Os últimos dois anos têm sido «interessantes»; tal como outras instituições, a Brunel teve de agir rapidamente para mitigar o impacto da pandemia de COVID-19 e dos confinamentos nacionais na aprendizagem, no ensino e na avaliação, e garantir que os estudantes pudessem continuar ou concluir os seus estudos conforme planeado.

Conseguir isso foi facilitado pelo facto de já dispor de uma plataforma de avaliação digital; a Brunel utiliza o WISEflow desde 2015/16 em vários departamentos. No entanto, foi ainda assim uma grande tarefa transferir quase todos os exames para o formato online na primavera de 2020.

À medida que se estabelece um novo «normal», a Professora Mariann Rand-Weaver, Vice-Reitora para a Educação, e Robyn Fitzharris, Diretora Executiva da Vice-Reitoria, refletem sobre a adaptabilidade da avaliação digital e sobre a forma como os dados dos exames foram utilizados para monitorizar a igualdade e orientar a resposta às questões relacionadas com o bem-estar dos estudantes.

Resposta inicial

«Quando o primeiro confinamento no Reino Unido foi anunciado em março de 2020, faltava um mês para o primeiro exame, marcado para 20 de abril. Embora já utilizássemos o WISEflow há vários anos, apenas 20% dos alunos tinham experiência com exames digitais. No entanto, todo o pessoal e os alunos estavam familiarizados com o WISEflow devido à entrega de trabalhos, e tomámos a decisão de que os exames à distância seriam realizados em formato de livro aberto. Não era o momento de apresentar aos nossos alunos um navegador de bloqueio! Em vez disso, alterámos os tipos de perguntas e realizámos exames com duração semelhante à planeada, a fim de neutralizar o facto de os alunos terem acesso a notas, livros e vários navegadores da Web.»

«Foram levantadas preocupações antes e durante o processo, tanto por parte do pessoal como dos alunos. Estas dúvidas diziam respeito principalmente à disponibilidade de equipamento — computadores portáteis, Wi-Fi e espaços tranquilos — e, por isso, tornou-se claro que teríamos de fazer mais do que simplesmente transferir os exames para o formato online.»

Monitorização diária dos exames

«Como a maioria dos nossos exames manteve a duração original, refletimos cuidadosamente sobre como mitigaríamos a situação de alunos que não cumprissem o prazo de envio e nos inundassem com chamadas em pânico. Ainda recebemos algumas dessas chamadas, mas ao definir um intervalo de tempo “oculto” no WISEflow, evitamos que os alunos fossem desligados por tempo esgotado caso houvesse um problema no momento do envio.»

«Embora estivéssemos preocupados com o impacto de problemas técnicos e considerássemos que um prazo limite rígido teria sido injustamente prejudicial para os alunos, não queríamos que estes obtivessem uma vantagem injusta. Ao monitorizar todos os exames, constatámos que apenas cerca de 10% dos envios se atrasaram, na sua maioria enviados poucos minutos após o prazo e, por isso, sem motivo de preocupação. Os alunos que enviaram mais tarde foram acompanhados através do registo de exames do WISEflow para compreender se as suas alegações de problemas técnicos eram reais. A abordagem pragmática adotada pela Brunel revelou-se muito útil, e a possibilidade de utilizar o rasto digital foi fundamental para garantir que ninguém tirasse partido do sistema.»

Avaliação do engajamento dos estudantes utilizando o WISEflow api

«O monitorização diária também foi utilizada para determinar quantos alunos estavam a realizar exames — tendo, com razão, dado aos alunos a opção de adiar os seus exames para mais tarde no ano, estávamos, no entanto, preocupados com o facto de que, se um grande número o fizesse, isso teria um grande efeito em cadeia a nível operacional. Os dados da API do WISEflow permitiram-nos acompanhar diariamente a participação nos exames, identificando padrões específicos por diferentes grupos de alunos. Combinando isto com informações mais abrangentes sobre os alunos, comparámos aqueles que realizaram exames com aqueles que não o fizeram e questionámos se não teriam conseguido aceder às avaliações (pobreza digital?), e se deveríamos ser proativos no contacto para lhes prestar apoio.»

«Embora disponhamos de formas de medir os níveis de desvantagem, tais como o rendimento familiar, continuamos a ter dificuldade em encontrar dados fiáveis numa base evolutiva. Mas sabemos que muitos dos nossos alunos são provenientes de zonas carenciadas de Londres — 25% a 30% provêm de algumas das zonas mais desfavorecidas do Reino Unido.»

Apoio baseado em dados

«Ficámos satisfeitos por constatar que uma elevada percentagem de estudantes (~87%) conseguiu aceder e concluir com sucesso os exames a partir de casa em maio de 2020. No entanto, os dados de participação, analisados por características dos estudantes, revelaram que os estudantes com deficiência, os estudantes adultos e aqueles provenientes de zonas desfavorecidas eram menos propensos a realizar exames no semestre da primavera. Entrámos em contacto proativamente com estes estudantes, o que nos ajudou a definir o apoio adicional implementado para o período de exames de agosto (e subsequentes), como espaços tranquilos reserváveis, aumentos nos fundos de apoio a situações de dificuldade e mais computadores portáteis disponíveis para empréstimo.»

«Uma análise das qualificações académicas revelou apenas pequenas flutuações nos resultados de classificação destes grupos, o que consideramos que valida a nossa abordagem em relação à forma como apoiámos os estudantes durante um período muito difícil. Continuaremos a monitorizar os dados de participação no futuro para garantir que os nossos métodos de avaliação não prejudicam, por natureza, grupos específicos de estudantes.»

Precipitar a mudança

«Alguns docentes aproveitaram a oportunidade do formato de exame à distância e com consulta de livros, imposto pelas circunstâncias, para repensar a avaliação. Por exemplo, a tradicional redação de três horas utilizada em Política e História foi substituída por um exame prolongado (ou trabalho reduzido) de 24 a 48 horas, permitindo a formulação de perguntas mais abrangentes. Outras inovações incluem a concessão de seis a sete horas aos alunos para pesquisarem e integrarem informações de diversas fontes, a fim de responderem às perguntas.»

«O que estes dois exemplos têm em comum é que representam avaliações autênticas; no futuro, poderá ser concedido aos alunos um dia para redigirem relatórios ou apresentarem alguma análise. Estes novos formatos estão, portanto, mais próximos das experiências da vida real do que ficar fechado numa sala durante três horas com caneta e papel! Ser forçado a fazer as coisas online e à distância abriu as nossas mentes para o que é possível e para o reconhecimento de que fazer as coisas de forma diferente pode ser melhor. E os alunos também estão otimistas — encaram as avaliações digitais com naturalidade e afirmaram gostar de trabalhar nos seus portáteis — essencialmente, qual é o problema?»