Perícia feita no Inep indica fragilidades no processo de pontuação das medidas de provas do Enem 2016

Análise foi solicitada pelo MPF para averiguar diferença de resultados em avaliações com datas distintas; Exame foi marcado por ocupações escolares naquele ano. Instituto diz que ainda não foi notificado. Enem 2016 foi realizado nos meses de novembro e dezembro
Divulgação/Ari de Sá
Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) analisou avaliações do Exame Nacional do Ensino Médio (Enem) 2016, realizado em duas datas, e constatou fragilidades no processo de pontuação das medidas da prova.
O motivo da perícia, contratada pelo Ministério Público Federal (MPF) em Uberlândia (MG) após ação judicial, foi verificar se o fato de as duas aplicações do Enem 2016 terem números muito diferentes de candidatos influenciou no resultado final, e se isso prejudicou os alunos da segunda aplicação.
Em 2016, por causa das ocupações estudantis, o exame foi aplicado duas vezes: a primeira em 5 e 6 de novembro, com a participação de 5,8 milhões de alunos, e a segunda em 3 e 4 de dezembro, em que fizeram as provas menos de 170 mil candidatos.
Em nota, o Inep informou ao G1 que não foi notificado oficialmente sobre qualquer resultado a respeito da perícia, que foi realizada entre os dias 5 e 9 de fevereiro deste ano, nas dependências do instituto.
“O Inep conta com a consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica de avaliações e exames em larga escala e tem total segurança quanto à metodologia que, desde 2009, é adotada no Enem – reconhecida nos âmbitos nacional e internacional, e se pronunciará quando for devidamente notificado”, diz o texto.
“Vale registrar que, independentemente do seu conteúdo, o referido laudo representa uma opinião isolada”, concluiu a assessoria de comunicação do instituto.
Em laudo, perícia relata fragilidades em Enem 2016
Reprodução/MPF
Resultado da perícia
A perícia foi realizada por Tufi Machado Soares que é professor do Departamento de Estatística e do Programa de Doutorado e Mestrado em Educação, e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora (UFJF).
O perito, que atuou como membro do conselho científico do Enem e é especialista em Teoria da Resposta ao Item (TRI), metodologia usada no exame, teve acesso a informações sigilosas no Inep e produziu um laudo com 207 páginas.
Neste documento, enviado à reportagem pelo MPF, o perito relata fragilidades no processo de pontuação das medidas do Enem que poderiam prejudicar a comparabilidade dos resultados produzidos para duas provas diferentes.
No laudo, os pontos de fragilidade encontrados, por ordem de importância, foram:
Número de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem;
Tamanho das amostras de calibração em alguns pré-testes;
Precisão com que os resultados do Enem são reportados ao público;
Ausência de informações para o público sobre a qualidade dos testes e das medidas.
Além disso, o laudo mostra que ambos os testes nas disciplinas de Ciências Humanas e Ciências da Natureza apresentam mesmos níveis de precisão em praticamente todos os níveis de proficiência. Nesse sentido, então, os testes foram praticamente equivalentes, embora a prova da segunda aplicação de Ciências da Natureza tenha sido um pouco mais fácil.
O perito diz no texto que a maioria das diferenças encontradas ocorreu nas disciplinas de Linguagens e Códigos e na de Matemática, sendo que na primeira houve vantagem dos candidatos da 1ª prova e, na segunda, dos candidatos da 2ª prova. As menores diferenças observadas ocorrem em Ciências da Natureza.
No entanto, o Tufi Soares ressalva que não é possível realizar uma análise de comparabilidade para todos os casos, individualmente, nas dimensões do Enem.
“Cada caso precisaria ser analisado individualmente e, provavelmente, não se chegaria a uma conclusão definitiva na maioria”, diz o perito no laudo.
No documento, o professor também faz sugestões de mudanças na forma de confecção e divulgação da prova.
O G1 entrou em contato com o perito nesta sexta-feira (20), para saber mais informações sobre o resultado da perícia. Por telefone, ele disse que não pretende se manifestar até a realização de uma audiência pública, qu ainda será agendada pelo MPF.
Alunos reclamam de incoformismo com as notas resultantes da primeira e da segunda aplicação do exame de 2016
Roberto Araujo/G1
Próximos passos
O procurador da República, Leonardo Macedo, responsável pelo inquérito civil que apura irregularidades referentes à adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia para o Inep e para estudantes que manifestaram que foram lesados pelo teste.
“O laudo é extenso e não tem uma conclusão única. O primeiro passo foi encaminhar essa perícia aos principais interessados e vamos dar um prazo para análise de todos. Depois disso, vamos marcar uma audiência pública onde todos poderão colocar o ponto de vista referente ao assunto e só depois o MPF vai analisar como agir”, explicou o procurador.
Segundo o MPF, ainda não há previsão para realização desta audiência. “Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, analisar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções”, concluiu Macedo.
Aplicações do Enem
Normalmente, o adiamento do Enem ocorre todos os anos, mas afeta apenas alguns milhares de estudantes, por motivos externos que impedem a aplicação do exame, como queda de energia no local de provas. Nesses casos, os candidatos ganham o direito de participar de uma nova aplicação durante a semana. É a mesma prova para pessoas privadas de liberdade, por isso a aplicação é conhecida como Enem PPL.
Em 2016, porém, a onda de ocupações estudantis em escolas públicas em 23 estados e no Distrito Federal fez o Ministério da Educação adiar a aplicação do Enem para mais de 270 mil candidatos, o que inviabilizaria uma segunda aplicação durante a semana. Por isso, o Enem 2016 teve três aplicações. Na época, o Ministério da Educação (MEC) assegurou que haveria isonomia nas avaliações dos candidatos, independentemente do momento em que fizessem as provas.
Apesar do grande número de candidatos afetados pelo adiamento, o total deles representou menos de 5% dos mais de 8 milhões de inscritos. Na primeira aplicação, pouco menos de 6 milhões de candidatos fizeram as provas, com uma abstenção de 30%. Já na segunda aplicação, do Enem adiado, a abstenção subiu para 40%.
Enem 2016 foi realizado em duas datas devido ocupações nas várias escolas de todo país
Denny Cesare/ Estadão Conteúdo
Reclamação dos candidatos afetados
A investigação do MPF sobre o Enem 2016 teve início após a divulgação dos resultados das provas em janeiro de 2017. Na ocasião, estudantes de todo país procuraram o Ministério Público relatando inconformismo com as notas resultantes da primeira e da segunda aplicações do exame. Eles haviam feito a segunda aplicação da prova.
De acordo com o MPF, uma análise das notas dos candidatos que fizeram a reclamação mostrou grande diferença, quando os resultados eram comparados com os de candidatos da primeira aplicação. O procurador Leonardo Macedo explicou que alunos que fizeram a primeira prova tiveram notas maiores. Ele alega que o motivo suspeito é a metodologia da TRI.
“Nessa TRI, é considerado o número de candidatos. É necessário levar em conta as diferenças do percentual de ‘treineiros’ participantes de cada aplicação, na maior abstenção da segunda aplicação em relação à primeira e no tipo de candidato participante dos locais das provas da segunda aplicação”, explicou o MPF na ação.
O Enem 2016 teve uma aplicação extra devido às ocupações estudantis; na segunda aplicação, abstenção foi maior e número total de alunos que fizeram a prova foi menor
G1 
Cronologia do caso
3 de outubro de 2016: Uma onda de ocupações estudantis em escolas e universidades começou no Paraná e se espalhou pelo Brasil. Os estudantes protestavam contra uma série de medidas, principalmente a reforma do ensino médio e a PEC 241. O Enem 2016 estava marcado para os dias 5 e 6 de novembro, e parte dessas escolas ocupadas seria usada pelo governo federal como locais de provas.
19 de outubro de 2016: Um levantamento do MEC afirmou que ocupações em 181 escolas do Brasil comprometiam o Enem para 95 mil alunos.
27 de outubro de 2016: Um levantamento divulgado pela União Brasileira dos Estudantes Secundaristas (Ubes) mostra que havia 1.154 ocupações em escolas, institutos e universidades estaduais, federais e municipais em pelo menos 21 estados e no Distrito Federal.
4 de novembro de 2016: Na véspera da primeira aplicação do Enem 2016, o MEC anunciou o adiamento do exame em 364 locais de prova. Segundo o governo, esses alunos fariam o exame nos dias 3 e 4 de dezembro.
5 e 6 de novembro de 2016: A primeira aplicação do Enem 2016 é realizada com abstenção de cerca de 30%. Cerca de 5,8 milhões de pessoas fizeram essas provas.
3 e 4 de dezembro de 2016: O Inep realiza a segunda aplicação do Enem. No total, 277.657 pessoas estavam inscritas para essas provas (273.524 porque foram afetadas pelas ocupações e 4.133 porque, em seus locais de prova, houve algum imprevisto que impediu a aplicação do Enem). A abstenção dessa aplicação foi de cerca de 40%, o que quer dizer que o universo de estudantes que realizou estas provas foi de cerca de 166 mil.
18 de janeiro de 2017: O Inep divulga os resultados do Enem 2016. Porém, estudantes que fizeram a segunda aplicação reclamaram que não tiveram acesso à nota. No dia seguinte, o Inep afirmou que um erro técnico fez com que o resultado de 20 mil candidatos ainda não tivesse sido inserido no sistema.
janeiro de 2017: Procurado por diversos candidatos da segunda aplicação do Enem, que se sentiram prejudicados por notas que eles consideraram mais baixas que a de candidatos da primeira aplicação, o Ministério Público Federal começou a investigar a suspeita de que a discrepância no número total de estudantes fazendo cada versão da prova pudesse ter prejudicado o grupo menos numeroso. De acordo com a ação civil pública protocolada em dezembro, o MPF passou meses em contato com o Inep e o MEC para avaliar a denúncia. Segundo o MPF, o Inep considera que a isonomia do exame não foi ferida pela existência de duas aplicações do Enem em 2016.
setembro de 2017: Ainda de acordo com o Ministério Público Federal, o Inep aceitou conceder a um especialista na metodologia da Teoria de Resposta ao Item o acesso aos dados sigilosos dos desempenhos dos estudantes para realizar uma perícia e verificar se de fato o número total de candidatos afetou o resultado deles no exame. A ação afirma, porém, que o perito viajou até Brasília para realizar a perícia, mas foi barrado pelo Inep.
7 dezembro de 2017: Sem conseguir acesso aos dados para realizar a perícia, o Ministério Público Federal ingressou na Justiça com uma ação civil pública para solicitar o acesso, e com outra ação na qual denuncia diretoras do Inep por improbidade administrativa. O motivo da segunda ação é o desperdício de dinheiro público com a viagem realizada pelo perito até Brasília. A Justiça julgou o processo extinto, pois o MPF não conseguiu demonstrar nenhum indício de má-fé na hipótese sob análise.
15 de dezembro de 2017: O Inep afimou em nota que não negou o acesso aos dados sigilosos para uma perícia solicitada pelo MPF sobre os resultados da edição 2016 do Exame Nacional do Ensino Médio. Segundo o Inep, o perito não apresentou as identificações necessárias para que pudesse ter acesso aos dados.
Entre 5 e 9 de fevereiro de 2018: a perícia contratada pelo MPF foi realizada em dados sigilosos do Inep.
Outras ações
A aplicação do Enem 2016 em duas datas foi alvo de reclamação do MPF também no Ceará. Na época, o órgão solicitou a suspensão e o cancelamento do exame, mas a Justiça Federal negou os pedidos e alegou que “apesar da diversidade de temas que inafastavelmente ocorrerá com a aplicação de provas de redação distintas, verifica-se que a garantia da isonomia decorre dos critérios de correção previamente estabelecidos”, conforme a decisão.