Como chutar na prova do Enem: matemático explica a metodologia TRI

Especialista na metodologia do Enem, Tadeu da Ponte, professor e coordenador dos processos seletivos do Insper, já adianta que a Teoria de Resposta ao Item (TRI), a metodologia usada nas provas, tem um sistema “antichute” desenhado para detectar quando o estudante provavelmente não sabe a resposta correta, mas acerta mesmo assim.

Ele destacou, porém, alguns momentos em que chutar entre as cinco alternativas – ou entre duas ou três, após um primeiro filtro – é a melhor opção.

Veja abaixo como funciona a TRI e quando confiar na sorte para garantir pontos nas provas deste domingo:

Segundo Tadeu, que também é o fundador da empresa de avaliação Primeira Escolha, e membro do comitê técnico de pesquisa do Portal Iede, o propósito da TRI é criar uma medida para avaliar a proficiência de uma pessoa em uma determinada área do conhecimento. Ele explica que ela existe porque essa proficiência está “dentro da pessoa” (em termos técnicos, isso é chamado de “traço latente”). Por isso, é preciso testar a reação dela para observar o quanto ela sabe. “Se eu pudesse olhar para alguém e saber o que ela sabe de matemática, ela não precisaria fazer prova”, diz ele.

Os outros vestibulares usam a metodologia tradicional, na qual cada acerto equivale a um ponto. No Enem, o número de acertos não é o único critério para definir o total de pontos de cada candidato. Outras variáveis são levadas em conta, como quais questões o candidato acertou.

“Não estou querendo saber exatamente quantas questões a pessoa acerta. Isso é um meio para chegar no objetivo final, que é medir a proficiência em matemática e a de ciências da natureza, que são as próximas”, explicou o especialista.

“Eu não tenho apenas a quantidade, eu tenho também quais questões o aluno acertou e quais questões ele errou de matemática. E as questões também têm um nível de exigência cognitiva, de proficiência, na mesma escala que a gente mede a proficiência do aluno.”

Para elaborar uma prova do Enem, o Instituto Nacional de Estudos e Pesquisas Estatísticas Anísio Teixeira (Inep) buscar questões que já foram criadas e estão no chamado Banco Nacional de Itens. Todas as provas de 45 questões incluem um número equilibrado de questões de nível baixo, médio e alto para testar as proficiências de todos os candidatos.

“Então as 45 questões do Enem são questões de nível 400, de nível 500, de nível 410, de nível 600. O mais importante é que tenham questões distribuídas ao longo de cada escala”, diz Tadeu.

Tadeu dá como exemplo um candidato que teve nota 738 na prova de matemática do Enem:

Segundo o especialista, é possível fazer uma analogia entre a prova do Enem e uma corrida de obstáculos, mas onde cada obstáculo tem uma altura diferente. Se um atleta é capaz de pular acima de um obstáculo de 40 centímetros, então ele também consegue saltar outro obstáculo mais baixo, de 10 centímetros. Mas, se ele não salta acima de 40 centímetros, é impossível que ele salte um obstáculo de 80 centímetros.

É aí que entra em ação o sistema “antichute”, diz o matemático. Tecnicamente, trata-se de uma aplicação da chamada teoria da probabilidade: ao contrário dos obstáculos, cada questão do Enem tem sempre uma resposta correta entre cinco alternativas. Por isso, sempre existe uma probabilidade de que qualquer candidato possa acertar qualquer questão, apenas escolhendo uma alternativa ao acaso.

“Posso conseguir acertar uma questão que está muito acima da minha proficiência máxima. É como se eu conseguisse fazer uma mágica e dar um salto muito alto”, compara ele.

“No entanto, quando você olha a frequência com que isso acontece, é muito pequena”, ressalta. Com a teoria da probabilidade, ele explica que é possível determinar quando um aluno está acertando uma questão muito fora da sua faixa de proficiência.

“E essas probabilidades vão funcionar como dosador da razoabilidade daquele acerto dentro da faixa de proficiência daquele aluno.” Ou seja: considerando o histórico de acertos e erros em todas as 45 questões, é possível calcular qual é a probabilidade de que um desses acertos seja um chute, e não a confirmação de que o aluno sabe a resposta.

Quando a suspeita de chute é alta, o sistema da TRI vai dar pontos ao candidato pelo acerto, mas não tantos pontos quanto para outro candidato que acertou a mesma questão. Aqui, novamente, o que diferencia os dois candidatos é quais questões cada um acertou na prova toda.

É para isso que serve o “dosador” da probabilidade de o acerto estar atrelado à proficiência: quando essa probabilidade é baixa, a pontuação pelo acerto também tem impacto baixo.

Veja alguns exemplos do que pode acontecer:

1. Dois candidatos acertam as mesmas questões fáceis e medianas, e erram as mesmas questões difíceis: Ambos ficam exatamente com a mesma nota
2. Dois candidatos acertam as mesmas questões fáceis e medianas, mas um deles chuta e acerta uma questão difícil: O candidato que acertou a questão difícil vai ter alguns décimos a mais na nota do que o outro
3. Dois candidatos acertam as mesmas questões fáceis e medianas, mas um deles errou uma questão bem mais fácil do que seu nível de proficiência: O candidato que errou essa questão fácil vai ter apenas alguns décimos a menos na nota do que o outro
4. Dois candidatos acertam as mesmas questões fáceis e medianas, mas um deles conseguiu acertar uma questão um pouco mais difícil do que o seu nível de proficiência: Nesse caso, o candidato que acertou essa questão pode ter um salto maior na nota

Tadeu dá como exemplo um aluno de nível 700 acerta uma questão de nível 710 ou 715. “O que a TRI vai entender? Que é bastante provável que na verdade ele não chutou, e sim a proficiência verdadeira dentro dele é um pouco maior do que a do outro candidato. Então o salto dele vai ser maior, ele vai avançar 15, 20 pontos.”

Segundo o especialista, sempre que o candidato estiver entre as alternativas de chutar ou deixar em branco, a resposta é: vale a pena chutar.

E dá para chutar bem? Tadeu da Ponte dá algumas dicas:

• Atenção às questões mais fáceis

Apesar de o candidato que erra só uma questão fácil, mas mostra proficiência mais alta, não ser tão penalizado pelo erro, Tadeu explica que isso não acontece se ele for descuidado e errar muitas questões simples. Nesse caso, a TRI pode entender que a proficiência dele é mais baixa.

• Atenção às questões do seu nível

Quando o candidato se depara com uma questão que parece desafiadora, mas não impossível para o conhecimento dele, vale a pena se debruçar sobre ela para tentar chegar à resposta correta, ou chutar entre menos alternativas, depois de eliminar outras por exclusão. Afinal, um acerto de uma questão de um nível de proficiência um pouco mais alto garante mais pontos do que o de uma questão muito mais difícil, porque pode fazer a TRI entender que aquele não foi um chute.

• Tem alguma alternativa mais frequente?

Segundo ele, o objetivo da metodologia é justamente garantir que alguns critérios se mantenham justos, inclusive a frequência das alternativas. Uma análise feita pelo G1 com todas as respostas corretas de quatro gabaritos oficiais do Enem aplicados nos últimos anos mostra que a frequência de cada uma das cinco alternativas varia entre 18,9% e 21,1% do total, o que indica equilíbrio entre elas. Por isso, na dúvida, recorrer a uma letra porque ela aparece mais no gabarito não deixa de ser outro palpito sem base científica.