Navegar na pandemia: avaliação digital em Brunel
Contexto
A Universidade Brunel de Londres é uma universidade multidisciplinar intensiva em investigação e, com mais de 17 000 estudantes e 2500 funcionários de todo o mundo, é uma das instituições mais diversificadas do Reino Unido. Os últimos dois anos têm sido «interessantes»; tal como outras instituições, a Brunel teve de agir rapidamente para mitigar o impacto da pandemia de COVID-19 e dos confinamentos nacionais na aprendizagem, no ensino e na avaliação, e garantir que os estudantes pudessem continuar ou concluir os seus estudos conforme planeado.
Conseguir isso foi facilitado pelo facto de já dispor de uma plataforma de avaliação digital; a Brunel utiliza o WISEflow desde 2015/16 em vários departamentos. No entanto, foi ainda assim uma grande tarefa transferir quase todos os exames para o formato online na primavera de 2020.
À medida que se estabelece um novo «normal», a Professora Mariann Rand-Weaver, Vice-Reitora para a Educação, e Robyn Fitzharris, Diretora Executiva da Vice-Reitoria, refletem sobre a adaptabilidade da avaliação digital e sobre a forma como os dados dos exames foram utilizados para monitorizar a igualdade e orientar a resposta às questões relacionadas com o bem-estar dos estudantes.
RESPOSTA INICIAL
«Quando o primeiro confinamento no Reino Unido foi anunciado em março de 2020, faltava um mês para o primeiro exame, marcado para 20 de abril. Embora já utilizássemos o WISEflow há vários anos, apenas 20% dos alunos tinham experiência com exames digitais. No entanto, todo o pessoal e os alunos estavam familiarizados com o WISEflow devido à entrega de trabalhos, e tomámos a decisão de que os exames à distância seriam realizados em formato de livro aberto. Não era o momento de apresentar aos nossos alunos um navegador de bloqueio! Em vez disso, alterámos os tipos de perguntas e realizámos exames com duração semelhante à planeada, a fim de neutralizar o facto de os alunos terem acesso a notas, livros e vários navegadores da Web.»
«Foram levantadas preocupações antes e durante o processo, tanto por parte do pessoal como dos alunos. Estas dúvidas diziam respeito principalmente à disponibilidade de equipamento — computadores portáteis, Wi-Fi e espaços tranquilos — e, por isso, tornou-se claro que teríamos de fazer mais do que simplesmente transferir os exames para o formato online.»
«Divulgámos um programa de empréstimo de computadores portáteis, para tentar atenuar as desvantagens dos estudantes em toda a Universidade; no entanto, considerámos que era necessário fazer mais para proteger os estudantes. Por isso, tomámos a decisão de permitir que os estudantes adiassem os exames, sem necessidade de aprovação. Isto proporcionou flexibilidade aos estudantes e reduziu o peso dos exames iminentes, num contexto externo em constante mudança e repleto de desafios.»
MONITORIZAÇÃO DIÁRIA DOS EXAMES
«Como a maioria dos nossos exames manteve a duração original, refletimos cuidadosamente sobre como mitigaríamos a situação de alunos que não cumprissem o prazo de envio e nos inundassem com chamadas em pânico. Ainda recebemos algumas dessas chamadas, mas ao definir um intervalo de tempo “oculto” no WISEflow, evitamos que os alunos fossem desligados por tempo esgotado caso houvesse um problema no momento do envio.»
«Embora estivéssemos preocupados com o impacto de problemas técnicos e considerássemos que um prazo limite rígido teria sido injustamente prejudicial para os alunos, não queríamos que estes obtivessem uma vantagem injusta. Ao monitorizar todos os exames, constatámos que apenas cerca de 10% dos envios se atrasaram, na sua maioria enviados poucos minutos após o prazo e, por isso, sem motivo de preocupação. Os alunos que enviaram mais tarde foram acompanhados através do registo de exames do WISEflow para compreender se as suas alegações de problemas técnicos eram reais. A abordagem pragmática adotada pela Brunel revelou-se muito útil, e a possibilidade de utilizar o rasto digital foi fundamental para garantir que ninguém tirasse partido do sistema.»
AVALIAÇÃO DO ENGAJAMENTO DOS ESTUDANTES UTILIZANDO O WISEflow API
«O monitorização diária também foi utilizada para determinar quantos alunos estavam a realizar exames — tendo, com razão, dado aos alunos a opção de adiar os seus exames para mais tarde no ano, estávamos, no entanto, preocupados com o facto de que, se um grande número o fizesse, isso teria um grande efeito em cadeia a nível operacional. Os dados da API do WISEflow permitiram-nos acompanhar diariamente a participação nos exames, identificando padrões específicos por diferentes grupos de alunos. Combinando isto com informações mais abrangentes sobre os alunos, comparámos aqueles que realizaram exames com aqueles que não o fizeram e questionámos se não teriam conseguido aceder às avaliações (pobreza digital?), e se deveríamos ser proativos no contacto para lhes prestar apoio.»
«Embora disponhamos de formas de medir os níveis de desvantagem, tais como o rendimento familiar, continuamos a ter dificuldade em encontrar dados fiáveis numa base evolutiva. Mas sabemos que muitos dos nossos alunos são provenientes de zonas carenciadas de Londres — 25% a 30% provêm de algumas das zonas mais desfavorecidas do Reino Unido.»
APOIO BASEADO EM DADOS
«Ficámos satisfeitos por constatar que uma elevada percentagem de estudantes (~87%) conseguiu aceder e concluir com sucesso os exames a partir de casa em maio de 2020. No entanto, os dados de participação, analisados por características dos estudantes, revelaram que os estudantes com deficiência, os estudantes adultos e aqueles provenientes de zonas desfavorecidas eram menos propensos a realizar exames no semestre da primavera. Entrámos em contacto proativamente com estes estudantes, o que nos ajudou a definir o apoio adicional implementado para o período de exames de agosto (e subsequentes), como espaços tranquilos reserváveis, aumentos nos fundos de apoio a situações de dificuldade e mais computadores portáteis disponíveis para empréstimo.»
«Uma análise das qualificações académicas revelou apenas pequenas flutuações nos resultados de classificação destes grupos, o que consideramos que valida a nossa abordagem em relação à forma como apoiámos os estudantes durante um período muito difícil. Continuaremos a monitorizar os dados de participação no futuro para garantir que os nossos métodos de avaliação não prejudicam, por natureza, grupos específicos de estudantes.»
PRECIPITAR A MUDANÇA
«Ser obrigados a realizar atividades online e à distância abriu as nossas mentes para o que é possível e para o reconhecimento de que fazer as coisas de forma diferente pode ser melhor»
«Alguns docentes aproveitaram a oportunidade do formato de exame à distância e com consulta de livros, imposto pelas circunstâncias, para repensar a avaliação. Por exemplo, a tradicional redação de três horas utilizada em Política e História foi substituída por um exame prolongado (ou trabalho reduzido) de 24 a 48 horas, permitindo a formulação de perguntas mais abrangentes. Outras inovações incluem a concessão de seis a sete horas aos alunos para pesquisarem e integrarem informações de diversas fontes, a fim de responderem às perguntas.»
«O que estes dois exemplos têm em comum é que representam avaliações autênticas; no futuro, poderá ser concedido aos alunos um dia para redigirem relatórios ou apresentarem alguma análise. Estes novos formatos estão, portanto, mais próximos das experiências da vida real do que ficar fechado numa sala durante três horas com caneta e papel! Ser forçado a fazer as coisas online e à distância abriu as nossas mentes para o que é possível e para o reconhecimento de que fazer as coisas de forma diferente pode ser melhor. E os alunos também estão otimistas — encaram as avaliações digitais com naturalidade e afirmaram gostar de trabalhar nos seus portáteis — essencialmente, qual é o problema?»
OLHANDO PARA O FUTURO
«Consideramo-nos afortunados por termos tido uma plataforma de avaliação digital quando a pandemia surgiu — o WISEflow permitiu-nos continuar a avaliar os alunos de forma pontual, quando apropriado; realizar exames à distância para os alunos que estavam familiarizados com esse formato; e monitorizar o que se passava quase em tempo real. Através desta experiência, evoluímos enquanto instituição — os exames em 2020/21 foram praticamente inexistentes — e, embora tenha havido um regresso a alguns exames em papel e caneta no último período de exames (maio de 2022), a maioria das disciplinas está a utilizar o WISEflow — remotamente ou no campus.»
«As nossas experiências ao longo dos últimos dois anos destacaram as muitas vantagens dos exames digitais. «Apostámos» quando utilizámos o WISEflow pela primeira vez, e foi isso que tivemos de fazer novamente em maio de 2020 — para mim, isto tem sido vantajoso, pois, de outra forma, a adoção dos exames WISEflow teria sido lenta. O mérito deve ser atribuído ao nosso pessoal, que esteve à altura do desafio! A principal desvantagem tem sido a má conduta dos estudantes daí resultante (plágio e conluio) e, embora tenhamos utilizado o software de comparação facial do WISEflow, isto, na nossa opinião, não é uma solução. Também não consideramos que a supervisão seja um caminho que queiramos seguir e, no futuro, é provável que recorramos a exames supervisionados no campus, onde o acesso aos recursos tem de ser controlado.»
«Quem poderia imaginar, quando iniciámos a nossa relação com a UNIwise em 2015 e planeámos a nossa orientação futura, que isso seria tão importante para lidar com uma pandemia cinco anos mais tarde?»
COMENTÁRIO FINAL
«Quem poderia imaginar, quando iniciámos a nossa relação com a UNIwise em 2015 e planeámos a nossa direção futura, que isso seria significativo para lidar com uma pandemia cinco anos mais tarde? Muitas instituições de ensino superior tiveram de utilizar os seus ambientes virtuais de aprendizagem (VLE) para realizar exames, uma vez que essa era a sua única opção, enquanto nós dispúnhamos de uma plataforma de avaliação dedicada que também nos permitiu monitorizar e mitigar o impacto nos estudantes.»
«Os exames são, normalmente, atividades curtas e de grande importância. A informação que recolhemos durante o processo de avaliação digital identificou questões relacionadas com esses exames específicos; no entanto, os dados revelam a necessidade de pensar de forma mais abrangente — descobrimos que as apresentações, por exemplo, suscitam o mesmo tipo de preocupações aos estudantes: problemas com o Wi-Fi e a falta de espaços tranquilos, por exemplo.»
«Os dados ajudaram a Brunel a refletir sobre o tipo de apoio necessário aos alunos no que diz respeito a todo o ensino e aprendizagem, e não apenas a avaliações específicas. A experiência foi realmente esclarecedora nesse sentido — devemos estar sempre a pensar em como a avaliação pode ser melhor e mais equitativa para todos os nossos alunos.»
PERGUNTAS FREQUENTES
Um projeto-piloto ajuda a identificar necessidades, testar fluxos de trabalho e confirmar que a solução escolhida se adequa aos requisitos institucionais.
Através de sessões de formação, exames simulados, comunicação clara e estruturas de apoio, garantindo que todas as partes interessadas se sentissem à vontade com o novo sistema.
A plataforma permite o tratamento digital de avaliações escritas, áudio e orais, possibilitando gravações, feedback estruturado e fluxos de trabalho seguros para o envio de trabalhos.
QUER ENTRAR EM CONTACTO COM UM ESPECIALISTA?
Entre em contacto connosco e marque uma demonstração para saber mais sobre como a UNIwise pode apoiá-lo na sua jornada de avaliação digital.