Post de Mariza Abreu*
No site do MEC hoje (27.10.11), há três matérias tratando da elaboração das questões para o Banco de Itens do Inep/MEC, o pré-teste de questões e a utilização da Teoria da Resposta ao Item, a conhecida TRI, na análise das provas. Ou seja, tentando explicar porque houve pré-teste de itens presentes nos cadernos de provas do Enem, que gerou o vazamento de questões, cancelamento de provas etc.
Na avaliação educacional no Brasil, a TRI passou a ser utilizada a partir de 1995 no Saeb – Sistema de Avaliação da Educação Básica, com provas de Língua Portuguesa e Matemática aplicadas numa amostra de escolas públicas e privadas, em turmas de 4ª e 8ª séries de Ensino Fundamental e 3ª série do Ensino Médio.
Essa avaliação é do sistema, e não do aluno. Não há resultado, leia-se, nota, para o aluno, não há consequências individuais para os estudantes. Avalia-se o sistema por meio dos alunos, mas não diretamente os alunos. Dessas avaliações não decorre a aprovação ou reprovação dos estudantes ao final de cada série ou etapa letiva.
Trata-se de avaliar o sistema, ou seja, o nível de aprendizagem dos alunos e dos fatores internos e externos à escola que interferem nessa aprendizagem, por meio de questionários respondidos por alunos, professores, diretores e sobre as condições de funcionamento das escolas preenchidos pelos aplicadores das provas, pessoas de fora da comunidade escolar.
A aplicação da TRI é essencial como metodologia de análise dos itens, que permite a comparabilidade dos resultados de provas aplicadas a grupos de alunos diferentes, mas que constituem populações estatisticamente comparáveis. Entretanto, para que essa comparabilidade de resultados seja cientificamente viável, é necessário que as questões da prova sejam previamente testadas em populações semelhantes às que serão avaliadas, pois, não só é preciso assegurar a qualidade dos itens, mas também é necessário que a cada habilidade cognitiva a ser avaliada correspondam questões de nível fácil, médio e difícil, e essa classificação somente pode decorrer da pré-testagem. Por fim, a comparabilidade entre os resultados das provas aplicadas em anos consecutivos é assegurada pela repetição de determinado número de questões, chamados os itens-âncora, razão pela qual a prova de um ano não pode ser totalmente divulgada, pois algumas questões devem ficar guardadas para serem utilizadas na prova do próximo ano.
Portanto, é perfeitamente compreensível a utilização da TRI em avaliações de sistema, e não de aluno, como o Saeb, a Prova Brasil e avaliações estaduais, como o Saers.
Entretanto, outro tipo de avaliação, com sentido inverso, são as que avaliam o aluno, com nota e conseqüências individuais, e só indiretamente avaliam o sistema. Nesse caso, enquadram-se o ENCCEJA que certifica os indivíduos no nível dos Ensinos Fundamental e Médio, o ENEM, os vestibulares, assim como os concursos públicos.
Como entender uma avaliação com nota individual e uma conseqüência individual do porte de um vestibular, ou seja, acesso a uma vaga num curso de graduação de uma universidade federal com questões pré-testadas? Dá pra imaginar o vestibular da UFRGS com questões pré-testadas em algum colégio de Ensino Médio do Rio Grande do Sul no ano anterior ao da sua aplicação?
Além disso, como explicado em entrevista reproduzida neste blog (Resultados do Enem não são amostra estatística, afirma Ruben Klein), apesar da aplicação da TRI, os resultados do Enem não podem ser comparados de um ano para outro porque os alunos que fazem a prova não são uma amostra estatística da totalidade dos concluintes do Ensino Médio no país, na medida em que a inscrição para a prestação desse Exame é individual e voluntária.
Enfim, considerando a pré-teste de itens do Enem e seu caráter de vestibular unificado, não era de esperar que esse problema de vazamento de itens viesse a ocorrer? Não têm razão os estudantes quando, com fundamento nos problemas verificados nas três edições do novo Enem, iniciam mobilização no país reivindicando a volta da antiga finalidade do Enem, para a qual foi instituído pelo governo do PSDB, e a volta dos vestibulares de cada instituição de educação superior? Não estarão certos os estudantes brasileiros?
*Ex-secretária da Educação do Rio Grande do Sul
Nenhum comentário:
Postar um comentário