Mesa: indicadores e testes para fraudes e respostas não coerentes
Gravado no evento VIII Conbratri · 1 h 32 min de gravação
Sobre o conteúdo
A mesa-redonda intitulada "MESA: INDICADORES E TESTES PARA FRAUDES E RESPOSTAS NÃO COERENTES", realizada durante o VIII Conbratri, reúne pesquisadores para debater os avanços teóricos e aplicados na detecção de anomalias em dados de avaliações em larga escala. O encontro enfatiza a necessidade de zelar pela qualidade da informação estatística, considerada insumo essencial para subsidiar políticas públicas e decisões na educação básica brasileira.
Na primeira apresentação, são discutidos casos reais de tentativas de fraude e manipulação em certames e avaliações, ressaltando que as práticas se tornaram cada vez mais tecnológicas. O palestrante defende a transição de um modelo puramente reativo de investigação — dependente de estranhamento e denúncias — para um modelo preditivo apoiado em índices estatísticos. São revisados índices de similaridade e cópia baseados em respostas incorretas idênticas e em respostas idênticas gerais, além da importância de sanear bases de dados identificando respostas não motivadas ou ao acaso, especialmente diante do Novo Enem e das regras de repasse do Novo Fundeb atreladas ao Saeb.
Na segunda exposição, o foco volta-se à avaliação da coerência de respostas individuais em itens dicotômicos. É feita uma revisão de estatísticas consolidadas na literatura psicométrica, como os índices de Guttman, van der Flier, Sato, Harnisch e Linn, e Kane e Brennan, seguida da apresentação de uma nova estatística fundamentada em regressão isotônica não paramétrica. São apresentados estudos de simulação comparando o desempenho dessas abordagens por meio de curvas ROC para padrões de fraude e respostas aleatórias, bem como uma aplicação com dados reais de uma prova de Língua Portuguesa.
Por fim, é discutido o custo computacional exigido para o cálculo desses índices em grandes bases de examinandos, sugerindo o uso de computação paralela e GPUs. A sessão inclui a apresentação complementar de um Índice de Coerência de Resposta (ICR) sob a ótica da Teoria da Resposta ao Item e aborda dúvidas da audiência sobre a viabilidade e adaptação dessas metodologias em testes adaptativos informatizados.
O que é abordado
- Abertura e apresentação da mesa
- Contextualização de fraudes em exames e avaliações
- Modelo preditivo e índices estatísticos de detecção de fraudes
- Demandas futuras: Novo Enem e Novo Fundeb
- Estatísticas de coerência individual e regressão isotônica
- Simulações e aplicação a dados reais de avaliação
- Desafios computacionais e o Índice de Coerência de Resposta (ICR)
- Perguntas da plateia, testes adaptativos (CAT) e encerramento
Dúvidas que o conteúdo responde
Qual é a principal diferença proposta entre a investigação tradicional de fraudes e o modelo preditivo?
O modelo tradicional é reativo, dependendo de estranhamentos, denúncias ou apurações policiais posteriores à ocorrência. O modelo preditivo utiliza técnicas e índices estatísticos sobre a matriz de respostas para monitorar padrões anômalos de forma sistemática e antecipada.
Por que respostas não motivadas ou ao acaso afetam a avaliação educacional?
Respostas incoerentes geram ruído na calibração de parâmetros dos itens e na estimação das proficiências, distorcendo médias escolares e municipais e prejudicando a precisão de indicadores como o Ideb.
Como foi avaliado o desempenho das estatísticas de coerência apresentadas no estudo de simulação?
O desempenho foi mensurado por meio da área sob a curva ROC (Receiver Operating Characteristic), comparando a taxa de verdadeiros positivos e falsos positivos para diferentes tipos de examinandos aberrantes, como fraudadores e respondentes aleatórios.
É viável aplicar indicadores de detecção de fraudes em Testes Adaptativos Informatizados (CAT)?
Sim, embora o teste adaptativo torne a cópia de respostas mais complexa devido aos testes individualizados. Nesses casos, os métodos são especialmente promissores para diagnosticar incoerências de resposta ou desvios em tempo real durante a convergência do algoritmo de aplicação.
Assuntos
Palestrantes

Antonio Eduardo Gomes
Palestrante
Professor Associado, Departamento de Estatística, Universidade de Brasília Bacharel em Estatística e Matemática (Universidade de Brasília) Mestre em Estatística (Universidade Estadual de Campinas) PhD em Estatística (University of Washington, Seattle, EUA)
Eduardo Carvalho Sousa
Palestrante

Heliton Tavares
Coordenador(a)
Outros conteúdos deste evento
Gravados no evento VIII Conbratri
Mesa: o Programa de metas do Ideb: avaliação e perspectivas
Gravado no evento VIII Conbratri
A mesa-redonda debate o histórico, os resultados recentes e o futuro do Programa de Metas do Ideb no Brasil. Os participantes discutem as limitações do índice atual,…
Ver resumo e capítulosMesa: correção computadorizada de questões abertas
Gravado no evento VIII Conbratri
A mesa-redonda discute abordagens de inteligência artificial e processamento de linguagem natural aplicadas à avaliação de questões abertas e redações. Elias Silva de Oliveira…
Ver resumo e capítulosMesa: avaliacao em meio digital
Gravado no evento VIII Conbratri
A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…
Ver resumo e capítulosSessao de abertura do VIII Conbratri
Gravado no evento VIII Conbratri
A sessão de abertura do VIII Conbratri conta com saudações iniciais de representantes da ABAVE e de secretarias de educação, seguida pela conferência de abertura ministrada pelo…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…
Ver resumo e capítulosSala B - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…
Ver resumo e capítulos





