Mesa: avaliacao em meio digital
Gravado no evento VIII Conbratri · 1 h 49 min de gravação
Sobre o conteúdo
A mesa-redonda MESA: AVALIACAO EM MEIO DIGITAL, integrante da programação do VIII Conbratri, aborda os aspectos técnicos, psicométricos e operacionais da implementação de avaliações em plataformas digitais no contexto educacional público brasileiro. A mediação introduz os palestrantes e contextualiza a pauta do debate em torno da modernização avaliativa, da robustez metodológica na análise de dados e do papel dos testes adaptativos informatizados.
Na primeira exposição, Thiago Costa apresenta a trajetória da Prova São Paulo e os detalhes da edição de 2021, que marcou a migração do suporte em papel para o meio digital por meio do sistema SERAP e do aplicativo SERAP Estudantes. O palestrante expõe a estrutura do instrumento avaliativo, a cobertura de cerca de 280 mil estudantes em 560 escolas municipais e as dificuldades logísticas vivenciadas, incluindo problemas de conectividade, manutenção de equipamentos e estabilidade do servidor nos primeiros dias. Além disso, detalha a experiência de processamento estatístico paralelo conduzido pelo Núcleo Técnico de Avaliação (NTA) da Secretaria Municipal de Educação em paralelo à consultoria externa, utilizando bases clones para equalização na Teoria da Resposta ao Item e analisando o Funcionamento Diferencial do Item (DIF) entre papel e digital.
Em seguida, Ocimar Munhoz Alavarse discute os Testes Adaptativos Informatizados (TAI), resgatando o histórico de pesquisas do GEPAVE da Universidade de São Paulo a partir de dados da Provinha Brasil de Leitura. O pesquisador pontua as diferenças entre a administração linear em papel e a composição dinâmica do vetor de respostas no ambiente digital, ressaltando ganhos expressivos como a redução do tempo de testagem de horas para cerca de 12 a 15 minutos. Ele destaca a inovação no estabelecimento do critério de parada vinculado ao erro padrão dentro do nível de interpretação pedagógica, enfatizando a importância do retorno tempestivo para o professor orientar intervenções imediatas em sala de aula, além de debater noções de acomodação e adaptação.
Por fim, Tufi Machado Soares pondera os desafios e os benefícios da digitalização avaliativa em larga escala. Ele aborda os impactos da transição tecnológica sobre a estabilidade dos parâmetros dos itens, a relevância do monitoramento contínuo de DIF e a oportunidade de ampliação de construtos e áreas de conhecimento avaliadas. Na seção de perguntas, os palestrantes dialogam sobre a gestão do conhecimento com elaboradores de itens, o engajamento dos estudantes ao interagirem com tablets e a necessidade de investimentos contínuos em infraestrutura de tecnologia nas redes de ensino.
O que é abordado
- Abertura e apresentação dos palestrantes
- Histórico e estrutura da Prova São Paulo
- Implementação digital em 2021 e desafios de infraestrutura
- Processamento estatístico paralelo e análise de DIF
- Testes Adaptativos Informatizados (TAI) e pesquisa do GEPAVE
- Características psicométricas e pedagógicas do TAI
- Desafios dos testes adaptativos e parâmetros dos itens
- Balanço dos desafios, recompensas e dimensionalidade
- Perguntas do público e debate final
Dúvidas que o conteúdo responde
Como funcionou o processamento paralelo da Prova São Paulo 2021?
O processamento foi realizado simultaneamente pelo Núcleo Técnico de Avaliação (NTA) e por uma consultoria externa, com cada equipe executando rotinas e códigos analíticos independentes em Bilog-MG e R, convergindo para resultados alinhados de proficiência.
O que o estudo de Funcionamento Diferencial do Item (DIF) revelou sobre a transição do papel para o digital?
Realizado com uma amostra de 28 escolas e cerca de 2,1 mil alunos por ano escolar, o estudo constatou estabilidade dos parâmetros na grande maioria dos itens (cerca de 87% sem DIF em Língua Portuguesa e 70% em Matemática), assegurando a comparabilidade das medidas do 5º ao 9º ano.
Qual foi a inovação no critério de parada do teste adaptativo proposta pelo GEPAVE?
O critério de encerramento do teste foi definido para ocorrer dinamicamente no momento em que a estimativa da proficiência e seu respectivo erro de medida estivessem contidos dentro de um mesmo intervalo de nível de interpretação pedagógica.
Qual é a diferença conceitual explicada entre acomodação e adaptação?
Acomodação consiste na alteração da forma de apresentação do item ou suporte para acessibilidade (como Libras ou prova ampliada) sem mudar o conteúdo, enquanto adaptação se refere ao ajuste do nível de dificuldade das questões à proficiência do estudante.
Assuntos
Palestrantes
Claudio Maroja
Palestrante
Ocimar Munhoz Alavarse
Palestrante
Thiago Costa
Palestrante
Tufi Machado Soares
Coordenador(a)
Outros conteúdos deste evento
Gravados no evento VIII Conbratri
Sessao de abertura do VIII Conbratri
Gravado no evento VIII Conbratri
A sessão de abertura do VIII Conbratri conta com saudações iniciais de representantes da ABAVE e de secretarias de educação, seguida pela conferência de abertura ministrada pelo…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…
Ver resumo e capítulosSala B - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…
Ver resumo e capítulosMesa: indicadores e testes para fraudes e respostas não coerentes
Gravado no evento VIII Conbratri
A mesa-redonda aborda métodos estatísticos e psicométricos para identificar fraudes e respostas não coerentes em avaliações educacionais de larga escala. Especialistas analisam…
Ver resumo e capítulosMesa: o Programa de metas do Ideb: avaliação e perspectivas
Gravado no evento VIII Conbratri
A mesa-redonda debate o histórico, os resultados recentes e o futuro do Programa de Metas do Ideb no Brasil. Os participantes discutem as limitações do índice atual,…
Ver resumo e capítulosMesa: correção computadorizada de questões abertas
Gravado no evento VIII Conbratri
A mesa-redonda discute abordagens de inteligência artificial e processamento de linguagem natural aplicadas à avaliação de questões abertas e redações. Elias Silva de Oliveira…
Ver resumo e capítulos





