Avaliação digital durante o coronavírus: o que os nossos dados mostram sobre a forma como as instituições de ensino superior lidaram com a pandemia

A utilização da avaliação digital nas instituições de ensino superior da Europa tem vindo a crescer gradualmente ao longo da última década, à medida que a tecnologia se desenvolveu; no entanto, para muitas instituições, a transição para a avaliação digital fazia parte de um plano quinquenal, algo que seria abordado lentamente e no futuro. Mas então a pandemia da COVID-19 surgiu e virou estes planos de cabeça para baixo: as universidades tiveram de agir rapidamente, comprimindo o que poderia ter demorado dois ou três anos em dois ou três meses.

Pela nossa parte, em resposta à pandemia e para apoiar a integridade da avaliação, a UNIwise introduziu a supervisão remota no WISEflow através da utilização de IA e de imagens dos participantes. Os nossos dados mostram que mais de 250 000 estudantes foram avaliados através de exames supervisionados remotamente durante os meses de abril, maio e junho, o que é impressionante, tendo em conta que a funcionalidade só foi introduzida no início de abril. Expandimos também a nossa equipa para garantir que poderíamos apoiar os clientes existentes e novos durante este período – no total, o número de avaliações utilizando o WISEflow aumentou mais de 51% durante a pandemia, em comparação com o mesmo período de 2019 – e começámos a trabalhar com 14 novos clientes.

Os dados da WISEflow demonstram como a avaliação digital cresceu nos últimos sete anos

Avaliar ou não avaliar

Durante o confinamento da primavera de 2020, as instituições de ensino superior depararam-se com o mesmo desafio: cancelar as avaliações sumativas ou realizá-las online. A maioria das instituições optou pela segunda opção, quer optando por alterar o mínimo possível e transpor as avaliações sem consulta de papel e caneta para o formato digital, quer optando por redesenhar a avaliação de modo a que assumisse uma forma alternativa.

Os nossos dados mostram que a opção escolhida parece depender de vários fatores. O primeiro é o nível anterior de digitalização da instituição. Quanto mais digitalizada e experiente em avaliação digital, menos inclinada a instituição parecia estar a utilizar exames à porta fechada ou supervisionados. Isto torna-se claro quando analisamos os dados dos nossos clientes dinamarqueses e noruegueses. Na Dinamarca, o número de exames e tipos de fluxo utilizados foi muito semelhante em 2019 e 2020, o que indica que a pandemia não alterou os tipos de avaliação utilizados – o que não significa, evidentemente, que tudo tenha decorrido como habitualmente para o pessoal e os estudantes. Os utilizadores noruegueses têm tradicionalmente dado maior ênfase à supervisão e à segurança da avaliação, com mais de 40 000 fluxos realizados utilizando o nosso navegador bloqueado em 2019. Em contrapartida, em 2020, as instituições norueguesas passaram a adotar avaliações a partir de casa, o que constitui uma mudança extraordinária, sinalizando que utilizaram os seus muitos anos de experiência com a avaliação digital e o impulso da pandemia para redesenhar as suas avaliações, em vez de replicarem a experiência com papel e caneta.

Por outro lado, os nossos dados revelam que as instituições que anteriormente dependiam mais de avaliações em papel se mostraram mais inclinadas a transpor essas avaliações para um formato online semelhante. O segundo fator que influenciou a forma como as instituições optaram por realizar as suas avaliações foi o nível de autonomia institucional. Dispunham de liberdade legislativa e as suas avaliações eram monitorizadas por organismos profissionais e/ou reguladores? Aqui, podemos recorrer a dados sobre o Reino Unido e a Europa Continental para ilustração. No Reino Unido, os testes estruturados de escolha múltipla constituíam a forma predominante de avaliar os alunos.

Houve também uma grande utilização da supervisão remota no Reino Unido; isto pode ser parcialmente atribuído a alguns dos nossos novos clientes, que utilizaram a supervisão de forma extensiva, mas o facto é que mais de 50% de todos os fluxos no Reino Unido entre janeiro e o final de julho de 2020 utilizaram a supervisão remota. Muitos dos nossos novos clientes em 2020 eram da Europa Central, onde as instituições tinham anteriormente utilizado avaliações em papel e caneta e, por isso, durante a pandemia, transpuseram os seus exames para o formato online de forma a assemelharem-se o mais possível às avaliações em papel e caneta. Quase todas as avaliações na Alemanha, Bélgica e França foram realizadas utilizando a supervisão remota. A legislação nacional desses países, especialmente na Alemanha, também influenciou o tipo de avaliações utilizadas

Os dados demonstram como a pandemia de 2020 afetou os tipos de fluxo que as instituições utilizaram nas suas avaliações

Lições aprendidas

A implementação em grande escala em instituições na Alemanha, França e Bélgica provou que o que antes levava anos pode ser gerido em semanas, com algumas instituições, como a IÉSEG, a disporem de apenas três semanas entre a assinatura do contrato e a realização do seu primeiro exame. Parece que a necessidade é realmente a mãe da invenção!

Durante a pandemia, houve, compreensivelmente, um foco renovado na segurança, com preocupações quanto ao grau de vigilância que a supervisão remota implicava – o que é vigiado, quem está a vigiar e onde são armazenados os dados? As instituições tiveram de lidar com estudantes muito expressivos e preocupados, particularmente na Alemanha e em França, na fase inicial. Houve também preocupações após o período de avaliação, nas instituições que optaram por não utilizar a supervisão remota, quanto à «facilidade» de fazer batota em alguns tipos de avaliação, com alguns estudantes a afirmarem que sentiram que tinham de fazer batota, pois suspeitavam que todos os outros o estavam a fazer durante os exames de livro aberto. Isto continua a ser um desafio para as instituições no futuro. Além disso, havia de se considerar os aspetos legais do tratamento, armazenamento e utilização de dados sensíveis, e as autoridades locais de proteção de dados demonstraram um interesse crescente nos procedimentos institucionais. Assim, para apoiar as instituições, colaborámos com especialistas para elaborar uma Avaliação de Impacto sobre a Proteção de Dados (DPIA) como parte integrante do processo de integração. Foram também feitas atualizações ao Acordo de Tratamento de Dados (DPA) e à Política de Retenção de Dados (DRP), como consequência direta do tratamento de dados biométricos e sensíveis.

Por fim, a primavera também revitalizou e reacendeu as discussões sobre a importância do feedback – observámos um aumento na utilização de anotações, comentários e rubricas no semestre passado –, provavelmente porque muitos estudantes não puderam participar nas atividades diárias no campus. Isto serve como um bom lembrete para todos nós de que a avaliação representa um ponto-chave na aprendizagem de um estudante, não apenas para testar o que sabem, mas para oferecer feedback que perpetue e aprofunde essa aprendizagem.