Pular para o conteúdo
Even3

Mesa-redondaEducação

Mesa: indicadores e testes para fraudes e respostas não coerentes

Gravado no evento VIII Conbratri · 1 h 32 min de gravação

Sobre o conteúdo

A mesa-redonda intitulada "MESA: INDICADORES E TESTES PARA FRAUDES E RESPOSTAS NÃO COERENTES", realizada durante o VIII Conbratri, reúne pesquisadores para debater os avanços teóricos e aplicados na detecção de anomalias em dados de avaliações em larga escala. O encontro enfatiza a necessidade de zelar pela qualidade da informação estatística, considerada insumo essencial para subsidiar políticas públicas e decisões na educação básica brasileira.

O que é abordado

  1. Abertura e apresentação da mesa
  2. Contextualização de fraudes em exames e avaliações
  3. Modelo preditivo e índices estatísticos de detecção de fraudes
  4. Demandas futuras: Novo Enem e Novo Fundeb
  5. Estatísticas de coerência individual e regressão isotônica
  6. Simulações e aplicação a dados reais de avaliação
  7. Desafios computacionais e o Índice de Coerência de Resposta (ICR)
  8. Perguntas da plateia, testes adaptativos (CAT) e encerramento

Dúvidas que o conteúdo responde

Qual é a principal diferença proposta entre a investigação tradicional de fraudes e o modelo preditivo?

O modelo tradicional é reativo, dependendo de estranhamentos, denúncias ou apurações policiais posteriores à ocorrência. O modelo preditivo utiliza técnicas e índices estatísticos sobre a matriz de respostas para monitorar padrões anômalos de forma sistemática e antecipada.

Por que respostas não motivadas ou ao acaso afetam a avaliação educacional?

Respostas incoerentes geram ruído na calibração de parâmetros dos itens e na estimação das proficiências, distorcendo médias escolares e municipais e prejudicando a precisão de indicadores como o Ideb.

Como foi avaliado o desempenho das estatísticas de coerência apresentadas no estudo de simulação?

O desempenho foi mensurado por meio da área sob a curva ROC (Receiver Operating Characteristic), comparando a taxa de verdadeiros positivos e falsos positivos para diferentes tipos de examinandos aberrantes, como fraudadores e respondentes aleatórios.

É viável aplicar indicadores de detecção de fraudes em Testes Adaptativos Informatizados (CAT)?

Sim, embora o teste adaptativo torne a cópia de respostas mais complexa devido aos testes individualizados. Nesses casos, os métodos são especialmente promissores para diagnosticar incoerências de resposta ou desvios em tempo real durante a convergência do algoritmo de aplicação.

Assuntos

  • Psicometria
  • TRI
  • Detecção de Fraudes
  • Coerência de Respostas
  • Avaliação Educacional
  • Enem
  • Saeb
  • Curva ROC

Palestrantes

  • Antonio Eduardo Gomes

    Palestrante

    Professor Associado, Departamento de Estatística, Universidade de Brasília Bacharel em Estatística e Matemática (Universidade de Brasília) Mestre em Estatística (Universidade Estadual de Campinas) PhD em Estatística (University of Washington, Seattle, EUA)

  • Eduardo Carvalho Sousa

    Palestrante

  • Heliton Tavares

    Coordenador(a)

Outros conteúdos deste evento

Gravados no evento VIII Conbratri

Mesa-redonda · 1 h 49 min

Mesa: avaliacao em meio digital

Gravado no evento VIII Conbratri

A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…

Ver resumo e capítulos

Apresentação de Trabalho · 56 min

Sala A - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…

Ver resumo e capítulos

Apresentação de Trabalho · 50 min

Sala B - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…

Ver resumo e capítulos

Apresentação de Trabalho · 49 min

Sala A - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…

Ver resumo e capítulos