Avaliação digital na Universidade de Brunel

Após quatro anos de utilização do WISEflow, a Professora Mariann Rand-Weaver, Vice-Reitora da Universidade Brunel de Londres, reflete sobre a avaliação digital e o seu futuro.

Escrito pela Professora Mariann Rand-Weaver, Vice-Reitora (Educação), Universidade de Brunel, Londres

Contexto

À medida que integramos a última faculdade a utilizar o WISEflow, atingimos um marco que merece ser celebrado. Concluímos com sucesso o percurso desde a prova de conceito em 2015/16 até à adoção em toda a instituição em 2019/20, e o WISEflow é agora a plataforma de avaliação da Universidade para trabalhos de curso sumativos (realizados no tempo livre dos estudantes com um prazo alargado) e exames (avaliações presenciais, com limite de tempo e supervisionadas). Aprendemos muito nos últimos quatro anos – sendo a lição mais importante que nada substitui a experiência.

Crescimento

Aumentámos o total de submissões de 642 em 2015/16 para 51 258 em 2018/19, e o número de exames de um para 156 estudantes para 79 exames para mais de 2700 estudantes no mesmo período (Figura 1). Isto significa que mais de 20% dos estudantes realizaram um exame digital Bring Your Own Device (BYOD) durante o último ano letivo.

Esta conquista pode ser atribuída ao entusiasmo e à disponibilidade do corpo docente, do pessoal profissional e da direção para se envolverem numa colaboração interinstitucional, com o objetivo de demonstrar como a tecnologia pode melhorar as práticas para alunos e funcionários e realizar com sucesso exames de grande importância. Estamos, portanto, orgulhosos de termos sido reconhecidos com o Prémio de Colaboração para a Excelência no Ensino (CATE) da Advance HE em agosto de 2019; este prémio nacional é atribuído a equipas que tenham tido um impacto comprovado na aprendizagem e no ensino.

Figura 1. Infográfico que ilustra o crescimento dos exames BYOD na Universidade Brunel de Londres

Reflexões

Este marco representa também uma oportunidade para fazer um balanço e refletir sobre três questões fundamentais:

Estamos satisfeitos com as versões digitais dos exames em papel e caneta?
Como é que a tecnologia pode ser integrada na avaliação, e não apenas utilizada como um meio de documentar respostas?
Como é que a pedagogia, em vez da eficiência, pode tornar-se o motor para explorar o uso da tecnologia na avaliação?

Preparar os jovens para carreiras de sucesso significa prepará-los para um futuro digital, e a tecnologia pode ajudar-nos a avaliar de forma significativa as aptidões, capacidades e competências necessárias para ter sucesso nos locais de trabalho do século XXI.

O que limita a adoção da avaliação digital?

Talvez seja surpreendente que o setor do ensino superior a nível global não esteja mais avançado nesta jornada, tendo em conta que os exames digitais são utilizados há mais de 20 anos. Tal pode dever-se, em parte, aos fatores impulsionadores – por exemplo, um foco exclusivo na eficiência administrativa. Os aspetos técnicos e de segurança podem constituir, por si só, fatores de perturbação suficientes e, uma vez resolvidos, há pouca vontade de introduzir novas perturbações. O corpo docente é frequentemente avesso aos riscos percebidos associados a avaliações mais ousadas; afinal, está sujeito às avaliações dos alunos. Embora todas estas razões possam ter o seu peso, a verdade é provavelmente que poucos de nós que agora utilizamos exames digitais planeámos para além da implementação e da expansão, uma vez que estas tarefas são, por si só, bastante significativas.

Arild Raaheim e colegas (2019) forneceram uma visão sobre quais são as barreiras à utilização inovadora de exames digitais na Noruega e, curiosamente, as respostas mais frequentes relacionavam-se com a falta de conhecimento sobre como as avaliações poderiam utilizar um formato digital e sobre alternativas às perguntas de desenvolvimento. Isto levanta questões sobre a viabilidade de esperar que o corpo docente, cuja maioria não pertence a uma geração nativa digital, possua os conhecimentos especializados necessários para desenvolver exames pós-papel. Um relatório recente do JISC sobre a utilização da tecnologia no ensino sugeriu que a literacia digital entre o corpo docente era inferior ao que talvez pudéssemos esperar; é provável que fosse ainda mais baixa se as avaliações fossem tidas em conta.

Talvez devêssemos contentar-nos com exames digitalizados em papel e caneta; afinal, estamos a colher os benefícios de uma melhor gestão administrativa e da redução do consumo de papel. Não há exigências incómodas para o corpo docente, que pode continuar a definir os mesmos tipos de perguntas que no passado, nem desafios à prática atual – podemos permanecer na nossa zona de conforto enquanto obtemos alguns benefícios da digitalização.

Será isto suficiente?

Mas será que tal posição é sustentável? Já nos encontramos num mundo conectado e digital, onde a informação está facilmente disponível e é a capacidade de saber o que fazer com essa informação, de ver novas conexões e de a transformar em novos conhecimentos que será valorizada e atraente para os empregadores. Com tanta informação ao nosso alcance, os testes de memória já não são um conceito valorizado. O Times Higher Education publicou um artigo no início deste ano que apelava a avaliações mais autênticas — claramente possíveis num ambiente de exames digitais.

Na Brunel, temos a ambição de utilizar exames digitais para avaliar de formas que não são possíveis com exames em papel e caneta; de definir tarefas sofisticadas que desafiem os estudantes a demonstrar o que sabem fazer e a aplicar conhecimentos a tarefas autênticas, alinhadas com as competências e capacidades de que os nossos estudantes necessitarão para carreiras de sucesso.

Estamos apenas a dar os primeiros passos na jornada dos exames pós-papel, em que o uso da tecnologia é parte integrante da questão, a tal ponto que já não é possível recorrer ao papel e caneta caso surja um problema técnico durante o exame. Embora isto seja um ato de fé (não existe um plano de contingência fácil), é também uma evolução natural assim que se alcança um certo grau de familiaridade com o software. Para nós, a funcionalidade de lista branca do WISEflow, que permite o acesso a documentos ou aplicações definidos, ajudou a ultrapassar limites; por exemplo, foi pedido aos nossos alunos que analisassem e visualizassem dados numa folha de cálculo contendo mais de 1000 linhas de informação; ou que concebessem um protótipo de jogo com base num briefing do cliente. Estes exemplos demonstram como é possível criar tarefas de exame que avaliem a criatividade, um atributo altamente valorizado pelos empregadores, uma vez que haverá uma variedade de formas de abordar tais avaliações.

Olhando para o futuro

Percorremos um longo caminho nos últimos quatro anos, mas estamos apenas a começar a enfrentar o desafio de integrar a pedagogia e a tecnologia para gerar valor real para os nossos alunos. Os pioneiros académicos são importantes para o próximo passo da nossa jornada de avaliação digital, pois mostram-nos o que é possível e demonstram que práticas inovadoras podem estar ao alcance de todo o pessoal. Estamos agora a olhar para o exterior em maior medida do que antes e a encontrar inspiração do outro lado do mundo (literalmente!) – o projeto e-Exams (2016), financiado pelo governo australiano, visa transformar os exames nas universidades australianas através da utilização de exames digitais BYOD, e os seus relatórios e recursos são valiosos para quem está a dar os primeiros passos.

Os exames digitais BYOD têm o potencial de transformar a avaliação e impulsionar a mudança curricular, desde que as instituições forneçam a liderança académica, o investimento em formação e as oportunidades de partilha de boas práticas que serão necessárias. Embora a responsabilidade de levar isto por diante recaia firmemente sobre as instituições, uma abordagem colaborativa com os fornecedores tem o potencial de criar uma revolução na avaliação – o rasto deixado pelos milhares de submissões digitais poderá ser uma fonte rica de informação sobre como a avaliação pode ser utilizada para a aprendizagem, bem como sobre a própria aprendizagem. Vamos fazer com que o futuro aconteça!

PERGUNTAS FREQUENTES

Como é que o WISEflow irá melhorar a experiência de exame digital para os estudantes? Os alunos obtêm uma interface de exame mais intuitiva e consistente, melhor acesso a materiais e feedback, e uma configuração técnica estável para exames remotos e no local. Isto ajuda a reduzir o stress e melhora a clareza ao longo de todo o processo de avaliação.

Que benefícios operacionais terão os formadores e o pessoal administrativo? O WISEflow reduz significativamente o trabalho manual ao automatizar a criação de exames, atribuição de funções e fluxos de dados através da integração com o STADS. Isto reduz o risco de erros administrativos e liberta o pessoal para se concentrar na qualidade académica em vez de tarefas repetitivas.

O que faz do WISEflow uma escolha fiável para exames digitais e no local seguros? O WISEflow suporta o ciclo de vida completo do exame, desde a criação até à classificação, ao mesmo tempo que oferece uma segurança robusta para ambientes de exame supervisionados no local. As integrações e os fluxos de trabalho seguros asseguram que tanto os alunos como o pessoal podem confiar na plataforma durante as avaliações de alto risco.

Como é que a UNIwise assegura uma transição suave de outras plataformas? a UNIwise fornece um processo de integração estruturado, integração técnica, formação e suporte contínuo para reduzir o risco e garantir uma transição perfeita.

Qual é o objetivo de executar um piloto antes da implementação total?

Um projeto-piloto ajuda a identificar necessidades, testar fluxos de trabalho e confirmar que a solução escolhida se adequa aos requisitos institucionais.

Quais são os benefícios de consolidar os sistemas de avaliação digital numa única plataforma? uma solução unificada melhora a eficiência, cria processos consistentes e permite a mobilidade entre instituições. Torna mais fácil para os estudantes e funcionários trabalharem em todos os campi e assegura que as novas funcionalidades beneficiam todo o sector;

Como foi assegurada a adoção por parte do pessoal e dos estudantes?

Através de sessões de formação, exames simulados, comunicação clara e estruturas de apoio, garantindo que todas as partes interessadas se sentissem à vontade com o novo sistema.

Como é que o WISEflow suportou novos formatos de exame?

A plataforma permite o tratamento digital de avaliações escritas, áudio e orais, possibilitando gravações, feedback estruturado e fluxos de trabalho seguros para o envio de trabalhos.

Avaliação digital na Universidade de Brunel - quatro anos depois e olhando para o futuro