Caminhando para uma melhor análise de dados do aprendizado

Há uma alegoria do Budismo que descreve como quatro homens cegos são levados até um animal que nunca encontraram antes. Sentindo o animal com suas mãos, cada homem descreve o que eles "veem". Um diz que é muito parecido com uma corda. Outro que é menos parecido com uma corda e mais parecido com um tronco de árvore. Outro diz que não estão nem próximos e que de fato é uma parede gigante e macia. Um quarto diz que não é uma parede, e, sim, uma cortina de tecido pesado.

É claro, cada um deles descreve apenas uma parte de um animal muito grande: um elefante.

A moral da história é que as pessoas tendem a interpretar o mundo com base em uma experiência por vezes limitada. E geralmente nós nos calamos e acabamos não considerando as diferentes interpretações dos outros, mesmo que, no final, só possamos estar corretos cumulativamente.

Eu me senti muito como um daqueles homens cegos (apesar de chegar a uma moral muito diferente), ao fazer parte de uma equipe que está investigando mais a fundo a análise de dados no aprendizado nos últimos 18 meses. Nós conversamos com mais de 30 instituições nos Estados Unidos, Austrália, Reino Unido e Europa, aprendendo o que eles estão fazendo com esse dados e discutindo nossas ideias para o Canvas Analytics 2 (e além).

É relativamente fácil dizer o que é a análise de dados no aprendizado — qualquer que seja o seu ponto de vista. Para alguns, ela é interpretada como uma maneira de tornar os alunos responsáveis pelo trabalho requerido para ganhar uma nota. Ou talvez ela seja uma maneira de prever o comportamento do usuário para que você possa intervir de uma maneira mais imediata. Ou uma maneira de identificar os projetos de curso e as práticas técnicas mais efetivas. Ou uma maneira de representar o ensino e o aprendizado aos agentes (professor ou aluno) e a objetivos meta-cognitivos.

Esses são todos os projetos de análise de dados no aprendizado ou práticas que ouvimos e lemos sobre o que está acontecendo hoje. Mais complexo ainda é dizer o que a análise de dados no aprendizado será uma vez que tenhamos uma imagem completa da fera — ou seja, como os diferentes projetos com diferentes metas desenvolvem e produzem resultados ao longo do tempo?

Nós tivemos uma conversa sobre a análise de dados no aprendizado durante um painel em um de nossos CanvasCon na Scandinavia (palestrantes incluídos) e coloco aqui alguns pontos que podem ser úteis: 

Jane James da Universidade de Birmingham, está trabalhando com a utilização de dados e análise para entender e catalisar o uso da tecnologia enquanto "suaviza" sua terminologia, para que seja mais acessível aos professores e alunos.

John de Maria de Stiftelsen Viktor Rydbergs Skolor, está trabalhando na otimização de dados no ensino para professores, como um meio de melhor capacitá-los e direcioná-los à um aperfeiçoamento instrutivo, principalmente com a finalidade de assegurar que cada aluno esteja engajado em sua iniciativa de transformação digital.

Eric Slaats da Fontys ICT, está entregando dados e análise aos alunos para possam se beneficiar, na medida em que continuamos transformando as convenções de ensino e aprendizado. Fontys ICT também está buscando informações sobre dados pessoais e ambientais mais amplos -- "tudo que pudermos obter em nossas mãos" -- para entender as influências externas do meio sobre o aprendizado.

O que aprendemos a partir deste painel, além do fato de que a análise do de dados no aprendizado é de fato uma fera muito grande? Para mim, há quatro principais pontos de destaque:

1.O docente precisa suportar suas metas e se comprometer com elas em qualquer projeto de análise de dados e poder usar esse dados a seu favor, em busca de um melhor ensino. Muitos docentes têm um medo legítimo de que os dados possam ser usados para descapacitá-los e monitorá-los ou mesmo representar de forma errada a aplicação do ensino, com a apresentação de dados incompletos ou imprecisos. De fato, em algumas versões da alegoria do elefante, o homem cego chega a pensar que os outros são mentirosos e isso cria uma divisão no grupo.

2. Alunos são muitas vezes ignorados nessas conversas, exceto quando são o objeto de análise do aprendizado e das ações que podemos tomar. Porém, se considerarmos de fato os dados dos alunos e se quisermos que eles se tornem não apenas objetos do ensino, mas sim aprendizes com reflexões, auto instruídos e motivados, devemos ouví-los em primeiro lugar.

3. Administradores e conselheiros acreditam que a análise de dados do aprendizado pode ajudá-los a executar suas tarefas melhor ao pontuar pessoas ou cursos que merecem mais atenção. Os dados e a análise -- se realizados de forma abrangente -- podem dar uma visão mais imediata sobre como os alunos estão se saindo e também maneiras de replicar as melhores práticas dos professores. Cabe ao tecnólogo tornar esses dados facilmente acessíveis e "seguros" no contexto de cada um dos problemas entre professor e aluno destacados acima.

4. Cultura é importante, tanto a cultura de ensino e aprendizado local dentro da instituição quanto a cultura educacional da região ou país. Em alguns departamentos, a visão dos supervisores e líderes das instituições de ensino é a norma; em outros departamentos, o docente possui mais liberdade acadêmica para trabalhar e obter sucesso. Em alguns países, avaliações frequentes são a norma; em outros essa frequência não acontece, embora a interação e opinião do aluno possa ser alta.

Embora a análise de dados do aprendizado tenha feito progresso em pequenos mas significativos (como por exemplo prever se um aluno será aprovado ou reprovado em um curso ou poder recomendar um conteúdo específico), nós ainda não sabemos por completo o que uma análise mais abrangente desses dados podem nos informar efetivamente. Esse estudo precisará comprovar seu valor ao combater desafios muito maiores com o tempo, para cada modelo de dados. Isso significa que devemos planejar pesquisas de longo prazo, que consistam de muito teste e erro, construção e desconstrução, para maiores conclusões. 

Há um risco real de que modelos ainda imaturos e não testados previamente podem ter consequências para professores e alunos. Como o homem cego na alegoria do elefante, isso significa que muitos de nós devemos trabalhar em conjunto e compartilhar nossas experiências, resultados, e mesmo preconceitos para entender esta estranha fera da análise de dados no aprendizado.

Nós também devemos equilibrar a necessidade de desenvolvimento iterativo — incluindo teste e erro — com sensibilidade e cuidado para com as pessoas às quais pretendemos servir. É aí que divergimos do homem cego — certamente, queremos um entendimento verdadeiro de algo novo, grande e empolgante. Mas, nós não fazemos análise de dados do aprendizado apenas para melhorar o nosso entendimento sobre o ensino online: o realizamos para apoiar os alunos e professores que servimos. 

Continue aprendendo,

Jared Stein 
VP de Estratégia de Ensino Superior, Instructure

Experimente a Versão Gratuita do Canvas por tempo ilimitado e veja como ele facilita o ensino e o aprendizado. Visite: www.canvaslms.com/brasil e faça seu cadastro para utilizar o Canvas, LMS aberto e com integrações que o auxiliam na sala de aula.