Avaliação escolar e web 2.0

Por profjc

Uso de planilhas compartilhadas na web 2.0 como ferramentas pedagógicas auxiliares

O processo de avaliação escolar é extremamente complexo e implica em análises qualitativas e quantitativas da aprendizagem dos alunos. Por essa razão a avaliação acaba se tornando muitas vezes, na prática cotidiana da sala de aula, um processo ultra-simplificado que consiste apenas em “dar notas” para os alunos de acordo com a percepção subjetiva da “qualidade do aluno”. Assim, muitas vezes a avaliação se resume a uma “opinião quantificada” (traduzida em uma escala de 0 a 10) que classifica os alunos em uma ordem que vai do “pior” (menor nota) ao “melhor” (maior nota).

O objetivo desse artigo não é o de discutir metodologias, critérios e objetivos da avaliação (desses temas eu tratarei no meu blog “Aprendendo a Ensinar“), mas sim o de apresentar uma ferramenta web 2.0 simples e eficaz para a análise estatística dos resultados quantitativos da avaliação: as planilhas de cálculo do GoogleDocs.

A vantagem de usar uma planilha de cálculo para a análise das notas dos alunos está no fato de que ela nos dá diversas medidas estatísticas sem nenhum esforço de cálculo e de forma praticamente instantânea. A análise dessas medidas nos permite compreender melhor o universo dos nossos alunos e dá melhores rumos para nossas intervenções no processo de ensino e aprendizagem.

A sugestão de uso de planilhas do GoogleDocs vem do fato de que elas não exigem nenhum software instalado no seu computador além do próprio sistema operacional e do navegador necessário para acessar as páginas da internet. Além disso, as planilhas do GoogleDocs podem ser compartilhadas com seus alunos (no formato de “visualização apenas”), de maneira que eles podem acessar suas notas e estatísticas a partir de qualquer computador conectado à internet.

Para que a estatística e as ferramentas da web 2.0 que usaremos nesse artigo possam nos ajudar nessa tarefa, será necessário que as notas dos alunos tenham uma relação direta com sua aprendizagem e que não tenham sido obtidas de forma subjetiva apenas. Exemplos de notas diretamente relacionadas à aprendizagem efetiva dos alunos, são exames como o Saeb (Governo Federal) e o Saresp (Governo de SP). Você não precisa chegar a esse nível de sofisticação para poder medir a aprendizagem de seus alunos e, de qualquer forma, as medidas estatísticas que serão apresentadas servirão para a análise de qualquer conjunto de notas; mas, lembre-se de que “se as notas não refletem a aprendizagem real dos alunos, então as conclusões que poderemos tirar delas também podem não ser corretas“.

Quantificando a aprendizagem

O primeiro passo para análise das notas dos alunos consiste, obviamente, em obter essas notas. Como trabalharemos com “números” será preciso também que essas notas sejam numéricas (e não “conceitos”, como A, B, C ou “regular”, “bom”, etc.). Se você utiliza conceitos (dados não numéricos) em suas avaliações, então crie uma tabela de correspondência que lhe permita transformar esses conceitos em números para poder compará-los (algo como: A = 10, B = 8, C = 6, D = 4, etc.).

Entendendo as medidas estatísticas

As medidas estatísticas que usaremos têm uma interpretação matemática e uma interpretação pedagógica correspondente. Nossa ênfase nesse artigo será a interpretação pedagógica.

Além disso, as medidas estatísticas serão usadas para analisar o conjunto de notas de uma classe (ou várias classes de uma mesma série) e não de cada aluno individualmente.

Por fim, embora a escala de notas seja arbitrária, suporemos a seguir que essa escala vai de 0 a 10.

Média aritmética simples: essa é a medida estatística mais simples e comumente utilizada por muitos professores. “Média” aqui não significa apenas a nota final que se obtém para o aluno ao longo de um dado período, mas sim a nota média da classe (ou das classes). Matematicamente falando, a média é um valor central de uma distribuição ao redor do qual se encontram os valores da distribuição.

Em uma classe a média aritmética simples indica o valor em torno do qual as notas dos alunos oscilaram. Por exemplo, se a média de uma classe é 7,5 isso significa que ou todos os alunos tiveram essa nota ou parte deles teve uma nota acima dessa e outra parte abaixo. A média aritmética simples, por si só, não fornece muitas informações comparativas entre os alunos, mas dá uma boa indicação da forma como os alunos reagiram à aprendizagem.

Uma média alta (como 8, por exemplo) pode tanto significar que os alunos aprenderam bastante sobre o que lhes foi ensinado quanto pode significar que sua avaliação foi subdimensionada (fácil demais). Da mesma forma, uma média baixa (como 3, por exemplo) pode significar que os alunos não aprenderam o suficiente em relação ao esperado, mas pode também significar que sua avaliação foi superdimensionada (muito difícil).

Se sua avaliação foi bem dimensionada, então a média da classe dá realmente uma boa idéia de como a aprendizagem se deu no período considerado e em conformidade com os objetivos pretendidos nesse período. Supondo que esse seja o caso, uma média alta significa que você pode:

• acelerar um pouco mais o ritmo de suas aulas;
• complementar mais os conteúdos e aprofundar melhor os itens curriculares;
• propor atividades mais desafiadoras no sentido de consolidar as habilidades e competências que estão sendo trabalhadas.

Já uma média baixa significa que:

• você deve rever o ritmo das aulas e as dinâmicas que está utilizando;
• reforçar os conteúdos com abordagens mais contextualizadas;
• repensar seus objetivos e suas ferramentas de avaliação;
• desenvolver atividades de recuperação para a turma.

Moda: é uma medida estatística que indica o valor (ou os valores) mais frequêntes em um conjunto de dados. Um conjunto de notas de uma classe pode ter uma única moda ou várias. Comumente temos uma única moda (ou, no máximo, duas).

Por exemplo, se a moda de uma classe é 6, isso significa que a nota que aparece mais vezes é o 6 ou, equivalentemente, que mais alunos tiveram nota 6 do que qualquer outra nota.

Do ponto de vista pedagógico é interessante observar quais foram as semelhanças entre os itens avaliados nesses alunos que tiveram uma nota igual à moda da classe. Isso pode nos indicar se alguns dos itens avaliados foram compreendidos da mesma forma pela maioria desses alunos ou não. Quando muitos alunos têm rendimentos semelhantes sob algum aspecto avaliado, isso significa que o impacto da sua metodologia de ensino foi grande.

Fazer essas comparações de item por item avaliado entre todos os alunos da classe é mais complicado e trabalhoso e leva a conclusões muito parecidas com as que se obtém comparando-se apenas os alunos que “estão na moda”; é por isso que selecionar para uma análise mais detalhada apenas os alunos com nota igual à moda da classe é mais eficiente do que analisar todos os alunos da classe.

Exemplificando ainda mais: se a maioria dos alunos que tiveram nota igual à moda da classe acertaram (ou erraram) uma determinada questão, isso significa que o item avaliado nessa questão foi bem compreendido (ou não, se erraram esse item) pela maioria dos alunos.

Mediana: a mediana é uma medida estatística que divide uma distribuição de valores em duas partes iguais, ou seja, no caso de uma distribuição de notas a mediana indica a nota que divide a sala em duas metades: a metade que tirou notas acima desse valor e a metade que tirou notas abaixo desse valor.

A mediana nos permite estimar melhor do que a média aritmética simples se uma determinada classe teve ou não um bom resultado na avaliação. Por exemplo: uma mediana baixa significa que mais da metade da classe teve um resultado ruim.

Assim como no caso da média, e em conjunto com aquela, voce pode analisar os resultados da aprendizagem da classe e decidir melhor quais procedimentos devem ser tomados em função desses resultados. Na prática, a média aritmética simples, a moda e a mediana costumam ser valores não muito diferentes em classe mais homogêneas em relação à aprendizagem, mas podem diferir razoavelmente em classes muito heterogêneas (que são bastante comuns no cotidiano da escola pública ).

Distribuição assimétrica negativa

O gráfico ao lado ilustra uma situação em que a classe é heterogênea e a maioria dos alunos obtiveram boas notas. Veja que, nesse caso, os alunos com notas baixas têm resultados realmente muito ruins em relação à maioria da classe. Esse tipo de distribuição de notas chama-se “Distribuição assimétrica negativa”.

Distribuição assimétrica positiva

Já o caso ilustrado por esse outro gráfico (“Distribuição assimétrica positiva”) mostra a situação oposta, onde a maioria dos alunos obteve notas ruins, muito embora a média da classe tenha sido boa. Isso ilustra como apenas a análise da média aritmética pode nos levar a conclusões incorretas sobre o comportamento estatístico das notas de uma classe.

Desvio padrão: é uma medida de dispersão dos dados que nos dá uma boa idéia sobre o quanto os valores do conjunto de dados se afastam da média aritmética simples. Quanto maior o desvio padrão de um conjunto de dados, mais diferentes eles são uns dos outros ou, equivalentemente, mais eles diferem da média aritmética.

Em uma classe, se o desvio padrão é pequeno (entre 0 e 1,5) isso significa que a classe é bastante homogênea no que diz respeito a resposta à aprendizagem. Se o desvio é alto (acima de 1,5) isso quer dizer que você tem alunos que estão respondendo de forma bastante diferente à sua avaliação e, consequentemente, à aprendizagem.

Classes mais “homogêneas” exigem uma atenção menor do professor com relação às dinâmicas de ensino, pois ou estão quase todos respondendo bem ao processo de ensino e aprendizagem (se a média for alta), ou estão quase todos respondendo de forma insatisfatória. Classes mais heterogêneas (com desvio padrão alto) exigem mais dinâmicas diversificadas que possibilitem atingir tanto aos alunos que estão respondendo bem quanto aos que estão encontrando mais dificuldades.

O desvio padrão também nos permite selecionar os alunos que precisam de uma “atenção especial”, quer porque não estão tendo seu potencial todo bem explorado, quer porque estejam apresentando grandes dificuldades de aprendizagem. Essa seleção pode ser feita separando a classe em três grupos:

1. grupo dos alunos com potencial subaproveitado: aqueles cujas notas estão acima da soma da média com o desvio padrão. Por exemplo, se a média da classe é 6 e o desvio padrão é 2, então os alunos com notas acima de 8 (ou seja, 6 + 2) merecem uma atenção maior para poderem desenvolver ainda mais o seu potencial;
2. grupo dos alunos com grandes dificuldades: aqueles cujas notas estão abaixo da diferença entre a média e o desvio padrão. Por exemplo, se a média da classe é 6 e o desvio padrão é 2, então os alunos com notas abaixo de 4 (ou seja, 6 – 2) precisam de uma atenção maior para que possam acompanhar a aprendizagem dos demais;
3. grupos dos demais alunos: grupo dos alunos cujo potencial está correspondendo de uma maneira satisfatória e sem destaque às dinâmicas de ensino utilizadas e aos objetivos propostos. Por exemplo, se a média da classe é 6 e o desvio padrão é 2, então os alunos com notas acima de 4 (ou seja, 6 – 2) e abaixo de 8 (ou seja, 6 + 2) são aqueles que não precisam de uma atenção maior no momento.

Uso e interpretação de correlações estatísticas

Correlações estatísticas: são medidas que estabelecem o grau de “relação” entre dois conjuntos de valores. Por exemplo, se fizermos um levantamento das alturas e dos pesos dos alunos, a correlação entre altura e peso nos diz até que ponto as pessoas mais altas da classe são também mais pesadas (ou não). Os valores de correlação entre dois conjuntos de dados variam de (-1) até (+1).

• Correlações negativas significam relações inversas, ou seja, um conjunto de dados responde negativamente ao outro. Por exemplo, se a correlação entre participação nas atividades de aula e a nota de prova for negativa, isso significa dizer que os alunos que mais participam das atividades de aula são os que têm as menores notas nas provas (o que não esperamos que aconteça em um caso real);
• Correlações positivas significam uma relação direta entre dois conjuntos de valores. Por exemplo, esperamos que a correlação entre as notas de atividades e de provas seja positiva;
• Correlações nulas ou muito baixas significam que um conjunto de valores não apresenta nenhuma relação importante com o outro. Por exemplo, se a correlação entre a nota de atividades e a nota de provas for nula ou próxima de zero, isso quer dizer que não há nenhuma relação significativa entre participar das atividades da aula e conseguir boas notas em provas.

Quando mais distantes de zero, maior a correlação (positiva ou negativa) e quanto mais próximo de zero menor a correlação entre dois conjuntos de valores.

As correlações entre diferentes itens de avaliação nos permitem perceber as relações que existem entre esses itens e que medidas podemos tomar para fortalecer ou enfraquecer essas relações. Por exemplo, se muitos alunos entregam trabalhos e tarefas, mas não há uma correlação forte (próxima de 1) entre as notas de atividades e as notas de provas, então isso quer dizer que eles podem não estar realmente fazendo as tarefas, e sim copiando-as uns dos outros. Isso nos levaria a propor tarefas em que os alunos não poderiam copiar dos outros.

É importante notar também que as correlações, do ponte de vista estritamente matemático, não têm que representar relações de “causa-efeito” necessariamente, isto é, não garantem que um item esteja afetando o outro. Mesmo assim, verifica-se na prática escolar que existe uma “causalidade” bastante frequênte quando as correlações são fortes.

Implementando e usando as estatísticas

Para implementar todos esses cálculos em uma planilha de dados e tê-la à disposição on-line para quando quiser, basta criar uma planilha no GoogleDocs. Como muitos professores têm dificuldades em lidar com fórmulas de cálculo em planilhas, eu estou compartilhando uma planilha “pública” que pode ser baixada para seu computador em qualquer formato de planilha que o GoogleDocs permita exportar (como xls, por exemplo).

Para ver a planilha de exemplo, acesse a planilha no link a seguir e visualize a planilha “Estatisticas-JC“. Essa planilha de exemplo tem 30 alunos fictícios, mas baixando o arquivo da planilha você poderá apagar os alunos do exemplo e acrescentar os seus alunos reais, até o limite de 50. Não é necessário fazer login no GoogleDocs nem para visualizar e nem para baixar essa planilha.

Cálculo da média bimestral e estatísticas da classe.

(*) Infelizmente o processo de conversão do GoogleDocs para “xls” leva à perda da formatação condicional que mostra notas abaixo de 5 em texto com cor vermelha. Para corrigir isso, quando fizer novamente o upload da planilha para sua pasta, abra a planilha no GoogleDocs e selecione todas as células de notas, vá ao menu “Formato”, submenu “Alterar cores com as regras…”, selecione o item “Menor que”, digite o valor 5, clique na caixa “texto” e selecione a cor vermelha. Clique em “Salvar regras” e pronto!

A planilha de exemplo permite que você use até quatro itens de avaliação diferentes para compor a média bimestral do aluno:

1. Nota de frequência;
2. Nota de atividades;
3. Nota de provas;
4. Nota de avaliação.

Cada um desses itens pode ter um peso diferente e esses pesos podem ser alterados na planilha (colunas da direita). Para usar apenas um dos itens de avaliação, coloque “zero” nos pesos dos demais itens. A própria planilha traz algumas informações sobre como usá-la.

Essa planilha também implementa as correlações entre alguns dos itens de avaliação. Assim, se você usar mais de um item de avaliação poderá verificar se os itens que utiliza possuem alguma correlação.

Uma vez baixada a planilha de exemplo para o seu computador, você pode usá-la se tiver o programa Excel (da Microsoft) ou o Calc (do BrOffice) instalado ou, alternativamente, pode baixá-la e depois fazer o upload da planilha novamente para o GoogleDocs, na sua conta do Google, e usá-la online.

E na prática, isso funciona mesmo?

Sim, funciona! Eu venho usando planilhas de cálculo como ferramentas auxiliares no gerenciamento do processo de ensino e aprendizagem há anos e recentemente tenho usado a web 2.0 (GoogleDocs, mais especificamente) para publicar, divulgar e compartilhar minhas planilhas de notas.

Atualmente uso um sistema de avaliação que conta com as mesmas quatro categorias de itens de avaliação mostradas na planilha de exemplo (frequência, atividades, provas e participação). Cada um desses itens de avaliação é compartilhado em uma planilha e todas as notas geradas a partir dessas planilhas são totalizadas na planilha de médias bimestrais de forma automática.

Assim, ao fazer a chamada nominal em classe, usando meu notebook (conectado à internet via wireless), em tempo real o pai do aluno pode saber se seu filho(a) está presente em minha aula, poderá saber qual é a nota de frequência dele(a) (e as demais notas calculadas até o momento) e o impacto disso na sua média bimestral. A identidade dos alunos é preservada visto que seus nomes não aparecem na planilha (apenas seus números de identificação interna na escola constam na planilha e somente a escola, os alunos e seus pais podem identificá-los dessa forma).

Esta planilha de exemplo que estou compartilhando e oferecendo para download (no GoogleDocs) é muito parecida com a planilha que estou usando esse ano com meus alunos.

Ainda que você não pretenda usar uma planilha como essa que estou mostrando como modelo e fornecendo para download, a sugestão que deixo nesse artigo é no sentido de explorar e fazer bom uso do potencial que as planilhas eletrônicas de cálculo oferecem, bem como da possibilidade de compartilhá-las on-line, tornando a avaliação mais transparente e menos subjetiva.

Por fim, outro ponto igualmente interessante e importante, mas que não foi explorado nesse artigo, diz respeito ao uso de gráficos na análise das avaliações. Essas planilhas (e os softwares que usamos para gerá-las: Excel, Calc, GoogleDocs, etc.) fornecem a possibilidade de criarmos gráficos a partir dos dados. Os gráficos são ferramentas poderosas por terem caráter visual e nos permitirem análises qualitativas rápidas. Devo voltar a esse tema em breve, em outro artigo. Por hora é só.

-22.751082 -47.365647

Fonte: http://professordigital.wordpress.com/2010/06/26/avaliacao-escolar-e-web-2-0/