Sala B - Comunicações Orais
Gravado no evento VIII Conbratri · 50 min de gravação
Sobre o conteúdo
A atividade Sala B - Comunicações Orais, integrada à programação do evento VIII Conbratri, reúne quatro apresentações acadêmicas dedicadas a avanços metodológicos e aplicados na Teoria de Resposta ao Item (TRI).
No primeiro bloco, apresenta-se um estudo comparativo de métodos de equalização de parâmetros de itens com e sem parâmetros fixados, tomando como referência o contexto do SAEB. Foram avaliados sete cenários metodológicos (casos a até g) utilizando os programas BILOG-MG e os pacotes mirt e irtplay da linguagem R. As análises abrangeram tanto simulações com 50 réplicas quanto uma aplicação real com provas anteriores. Os resultados apontam grande consistência entre as estimativas de habilidades e parâmetros dos itens entre os métodos, com destaque para a abordagem com parâmetros fixados (FPC) no pacote mirt pelo menor tempo de processamento computacional.
Na sequência, Dionisio Alves da Silva Neto expõe uma pesquisa sobre Teoria de Resposta ao Item e Teste Adaptativo Computadorizado (TAI/CAT) em ambientes coletivos. Utilizando microdados do ENEM 2019 e posteriormente uma base simulada com 1.500 itens e 10.000 respondentes, a pesquisa avaliou critérios de parada baseados em erro padrão (0,30 e 0,35) e seleção por Máxima Informação de Fisher. Demonstrou-se que o teste adaptativo alcança estimativas de proficiência praticamente idênticas às da avaliação convencional reduzindo em 50% ou mais o número de itens administrados por participante.
Em seguida, Tufi Soares aborda a dimensionalidade do teste de Ciências Humanas da Prova São Paulo 2021, aplicada em formato digital do 4º ao 9º ano do ensino fundamental. Por meio de modelos bifatoriais compensatórios da TRI logística de 3 parâmetros (3PL), o estudo investigou se as respostas aos itens sustentam uma escala única para Ciências Humanas ou se requerem medidas específicas para História e Geografia. A análise revelou que o fator geral explica a grande maioria da variabilidade comum (ECV e proporção de variância elevados), com correlações superiores a 0,97 entre o fator geral e a escala unidimensional, confirmando a robustez da hipótese de unidimensionalidade essencial para fins avaliativos.
Por fim, Pedro Menezes de Araújo apresenta um novo modelo hierárquico bayesiano denominado Multi-unidimensional Latent Distance Model (MULDM), projetado para capturar a estrutura de correlação entre múltiplos traços latentes por meio de distâncias em um espaço euclidiano latente bidimensional. A estimação realizada no Stan via algoritmo NUTS foi validada por simulações e aplicada a microdados do ENEM 2018 para as quatro áreas de conhecimento. Os resultados ilustraram visualmente a proximidade semântica entre as áreas (como Matemática próxima a Ciências da Natureza e Linguagens próxima a Ciências Humanas), obtendo correlações e desempenhos concorrentes ao modelo padrão LKJ com ganhos interpretativos relevantes.
O que é abordado
- Comparação de Métodos de Equalização com e sem Parâmetros Fixos
- Resultados de Simulação e Aplicação Prática dos Métodos de Equalização
- TRI e Teste Adaptativo Computadorizado em Ambientes Coletivos
- Resultados e Desempenho do Teste Adaptativo
- Dimensionalidade do Teste de Ciências Humanas da Prova São Paulo 2021
- Resultados do Modelo Bifatorial e Discussão da Unidimensionalidade
- Modelando a Estrutura de Correlação de TRI Multidimensional por Distâncias Latentes
- Aplicação aos Microdados do ENEM e Considerações Finais
Dúvidas que o conteúdo responde
Qual foi a vantagem do método FPC no pacote mirt observada no primeiro estudo?
O método de calibração com parâmetros fixados (FPC, caso f) utilizando o pacote mirt apresentou um tempo de execução substancialmente menor (cerca de 8 minutos) mantendo estimativas de parâmetros e proficiências similares aos demais métodos.
Quantos itens foram necessários no teste adaptativo computadorizado para convergir para a nota convencional?
No exemplo individual, o teste adaptativo convergiu com 15 itens usando o erro padrão de 0,30 e com apenas 13 itens com erro padrão de 0,35, reduzindo pela metade ou mais o exame de 45 itens do ENEM.
O que o modelo bifatorial revelou sobre a prova de Ciências Humanas da Prova São Paulo 2021?
Mostrou que o fator geral responde por cerca de 76% a 90% da variabilidade explicada e apresenta correlação acima de 0,97 com a medida unidimensional, justificando a utilização de uma escala única e global para Ciências Humanas em vez de escalas separadas para História e Geografia.
Qual a principal vantagem da modelagem por distâncias latentes apresentada no último trabalho?
Além de apresentar desempenho preditivo similar ao modelo LKJ convencional, o modelo de distâncias latentes permite representar as relações e correlações entre as áreas de forma gráfica e intuitiva em um espaço euclidiano latente.
Assuntos
Outros conteúdos deste evento
Gravados no evento VIII Conbratri
Sala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…
Ver resumo e capítulosMesa: indicadores e testes para fraudes e respostas não coerentes
Gravado no evento VIII Conbratri
A mesa-redonda aborda métodos estatísticos e psicométricos para identificar fraudes e respostas não coerentes em avaliações educacionais de larga escala. Especialistas analisam…
Ver resumo e capítulosMesa: o Programa de metas do Ideb: avaliação e perspectivas
Gravado no evento VIII Conbratri
A mesa-redonda debate o histórico, os resultados recentes e o futuro do Programa de Metas do Ideb no Brasil. Os participantes discutem as limitações do índice atual,…
Ver resumo e capítulosMesa: correção computadorizada de questões abertas
Gravado no evento VIII Conbratri
A mesa-redonda discute abordagens de inteligência artificial e processamento de linguagem natural aplicadas à avaliação de questões abertas e redações. Elias Silva de Oliveira…
Ver resumo e capítulosMesa: avaliacao em meio digital
Gravado no evento VIII Conbratri
A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…
Ver resumo e capítulosSessao de abertura do VIII Conbratri
Gravado no evento VIII Conbratri
A sessão de abertura do VIII Conbratri conta com saudações iniciais de representantes da ABAVE e de secretarias de educação, seguida pela conferência de abertura ministrada pelo…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…
Ver resumo e capítulos





