Sala A - Comunicações Orais
Gravado no evento VIII Conbratri · 49 min de gravação
Sobre o conteúdo
A atividade Sala A - Comunicações Orais, realizada no âmbito do VIII Conbratri, reúne quatro apresentações de estudos focados na aplicação da Teoria de Resposta ao Item (TRI) e em métodos psicométricos voltados a avaliações educacionais diagnósticas e de larga escala.
A primeira apresentação examina a dimensionalidade do Exame Nacional de Desempenho dos Estudantes (Enade) aplicado aos cursos de Licenciatura em Ciências Biológicas nas edições de 2011, 2014 e 2017. O palestrante detalha o uso de análises fatoriais de informação completa e modelos logísticos de três parâmetros (ML3P), apontando que a estrutura das provas tende a separar saberes disciplinares específicos de saberes pedagógicos docentes. Diante do melhor ajuste de modelos bidimensionais em comparação aos unidimensionais, propõe-se a revisão dos critérios de eliminação de itens por ponto bisserial e a criação de subscores por dimensão de conhecimento.
Na sequência, aborda-se a análise de funcionamento diferencial do item (DIF) decorrente da migração de avaliações em larga escala do formato impresso para o digital. O pesquisador explora os desafios de comparabilidade e equalização de escalas entre diferentes modos de aplicação, estabelecendo três cenários teóricos de severidade de contaminação por DIF. Apresentam-se dados empíricos da Prova São Paulo de 2021, demonstrando que a grande maioria dos itens não apresentou DIF significativo, permitindo a manutenção das métricas tradicionais de calibração e ancoragem.
A terceira pesquisa detalha a construção e validação psicométrica de uma escala de proficiência para uma avaliação diagnóstica em matemática voltada à transição para o sexto ano do ensino fundamental, desenvolvida na Rede Municipal de Ensino de Florianópolis. A expositora demonstra a confirmação da unidimensionalidade do teste, os critérios para a eliminação de itens problemáticos após consulta pedagógica e a posterior definição de níveis e itens âncora com transformação linear para a métrica padrão do Saeb (250, 50).
Por fim, a sessão apresenta uma investigação psicométrica sobre a Prova Curitiba de 2022 no componente curricular de Ciências do quinto ano do ensino fundamental. Os autores investigam a ocorrência de DIF uniforme com base em gênero (meninos versus meninas) utilizando regressão logística e calibração por TRI. Os resultados revelam ausência de itens com viés sistemático que ultrapassem a linha de corte crítica, destacando-se apenas um item com diferença marginal a ser aprofundado por comissões pedagógicas especializadas.
O que é abordado
- Dimensionalidade do Enade de Licenciatura em Ciências Biológicas
- Análise Fatorial e Ajuste dos Modelos Unidimensional e Bidimensional
- Conclusões e Proposta de Subscores para o Enade
- Análise de DIF na Transição da Aplicação Tradicional para a Digital
- Cenários de Contaminação e Estudo de Caso da Prova São Paulo 2021
- Análise Estatística e Construção de Escala Diagnóstica em Matemática
- Interpretação e Ancoragem da Escala de Matemática
- Prova Curitiba 2022: DIF na Avaliação de Ciências do 5º Ano
- Metodologia de Detecção de DIF por Gênero e Análise dos Resultados
- Considerações Finais e Fechamento da Sessão
Dúvidas que o conteúdo responde
Qual foi a principal conclusão a respeito da dimensionalidade da prova do Enade de Ciências Biológicas?
Os modelos bidimensionais apresentaram índices de ajuste estatístico superiores (critérios AIC e SABIC significativamente menores e TLI superior a 0,95) em edições como 2011 e 2017, revelando que saberes disciplinares específicos e conhecimentos pedagógicos docentes se separam na estrutura fatorial do exame.
Como foi avaliado o impacto da transição do papel para o digital na Prova São Paulo 2021?
Utilizou-se um design amostral em que estudantes responderam a itens tanto no formato digital quanto no formato impresso. As análises de DIF revelaram que a maioria dos itens (mais de 45% a 57% dependendo da disciplina) permaneceu sem DIF ou com DIF pequeno, situando o teste em um cenário favorável para equalização e comparação com a escala tradicional.
Quais critérios foram utilizados para definir um item como âncora na avaliação de matemática de Florianópolis?
Baseando-se em Andrade, Tavares e Valle (2000), o item precisava ter probabilidade de acerto de pelo menos 65% no nível avaliado, no máximo 50% no nível imediatamente anterior, e uma diferença mínima de pelo menos 30% entre as duas probabilidades.
Foi detectado funcionamento diferencial do item (DIF) relevante por gênero na Prova Curitiba 2022 de Ciências?
Nenhum dos itens ultrapassou o limiar de 15% considerado para caracterizar DIF uniforme entre os sexos. Apenas a questão 6 apresentou uma diferença aproximada de 10% (com ligeira vantagem de acerto para meninas no início da régua), sendo recomendada para análise pedagógica detalhada.
Assuntos
Outros conteúdos deste evento
Gravados no evento VIII Conbratri
Mesa: indicadores e testes para fraudes e respostas não coerentes
Gravado no evento VIII Conbratri
A mesa-redonda aborda métodos estatísticos e psicométricos para identificar fraudes e respostas não coerentes em avaliações educacionais de larga escala. Especialistas analisam…
Ver resumo e capítulosMesa: o Programa de metas do Ideb: avaliação e perspectivas
Gravado no evento VIII Conbratri
A mesa-redonda debate o histórico, os resultados recentes e o futuro do Programa de Metas do Ideb no Brasil. Os participantes discutem as limitações do índice atual,…
Ver resumo e capítulosMesa: correção computadorizada de questões abertas
Gravado no evento VIII Conbratri
A mesa-redonda discute abordagens de inteligência artificial e processamento de linguagem natural aplicadas à avaliação de questões abertas e redações. Elias Silva de Oliveira…
Ver resumo e capítulosMesa: avaliacao em meio digital
Gravado no evento VIII Conbratri
A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…
Ver resumo e capítulosSessao de abertura do VIII Conbratri
Gravado no evento VIII Conbratri
A sessão de abertura do VIII Conbratri conta com saudações iniciais de representantes da ABAVE e de secretarias de educação, seguida pela conferência de abertura ministrada pelo…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…
Ver resumo e capítulosSala B - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…
Ver resumo e capítulos





