Mesa: correção computadorizada de questões abertas
Gravado no evento VIII Conbratri · 1 h 35 min de gravação
Sobre o conteúdo
A mesa-redonda intitulada MESA: CORREÇÃO COMPUTADORIZADA DE QUESTÕES ABERTAS, realizada durante o VIII Conbratri, reúne pesquisadores para debater métodos computacionais aplicados à correção e pontuação de itens discursivos e redações na educação. Mariana Curi faz a abertura do encontro, introduzindo os palestrantes Elias Silva de Oliveira e Oswaldo Novais de Oliveira Junior e contextualizando a importância da colaboração interdisciplinar entre estatística, psicometria e ciência da computação.
Elias Silva de Oliveira inicia sua apresentação abordando a relevância pedagógica da avaliação formativa frequente, respaldada pela literatura de Philippe Perrenoud, e aponta como o excesso de trabalho docente limita a aplicação contínua de feedbacks detalhados. Para enfrentar esse desafio, introduz o sistema pNota, desenvolvido na Universidade Federal do Espírito Santo (UFES). O palestrante detalha o funcionamento do modelo vetorial TF-IDF, a representação espacial de respostas curtas, os processos de clusterização para seleção de amostras representativas e a aplicação de modelos de aprendizado de máquina supervisionado, comparando algoritmos como KNN, SVM, Árvores de Decisão e Random Forest em bases de dados nacionais e internacionais.
Na sequência, Oswaldo Novais de Oliveira Junior discute o panorama do processamento de línguas naturais (PLN), citando exemplos recentes como o modelo LaMDA da Google e progressos na interpretação com raciocínio lógico-matemático. Ele expõe a experiência obtida no projeto do corretor inteligente de redações SIRA, financiado pela PRP-USP com apoio da empresa Letrus em um corpus de cem mil redações do ENEM. São detalhados os experimentos realizados com modelos de redes neurais e arquiteturas Transformer, demonstrando que o modelo baseado no BERTimbau alcançou acurácia superior a 70% e erro médio reduzido na predição de notas.
Oswaldo também prospecta a correção de questões discursivas curtas em áreas exatas e humanas para vestibulares de larga escala, defendendo o uso de dados massivos e texto digitado, além da delimitação de campos de respostas. No debate final com a moderação de Mariana Curi e perguntas do público, são discutidas a viabilidade de implementação de corretores automáticos em exames oficiais, a necessidade de inteligência artificial explicável para fins formativos, a elaboração prévia ou automática de rubricas avaliativas, a potencial integração com a Teoria de Resposta ao Item (TRI) e o papel da proficiência linguística como ferramenta central de inclusão social.
O que é abordado
- Abertura e apresentação dos convidados
- Avaliando questões abertas: abordagem por partes e sistema pNota
- Modelo vetorial, similaridade e representação textual
- Resultados experimentais e classificadores de machine learning
- Avanços em PLN e a experiência do projeto SIRA
- Perspectivas para correção de questões abertas em larga escala
- Debate: integração com psicometria, IA explicável e rubricas de avaliação
- Considerações finais e encerramento
Dúvidas que o conteúdo responde
Qual é a definição adotada pelos palestrantes para questões abertas curtas em comparação com redações?
Elias Silva de Oliveira explica que questões abertas ou discursivas curtas são caracterizadas por respostas objetivas em torno de 100 a 200 palavras, exigindo estratégias computacionais distintas das redações do ENEM, que possuem maior extensão e demandam a análise de múltiplos eixos de competência argumentativa.
Qual modelo obteve o melhor desempenho no projeto do aplicativo SIRA para pontuação de redações?
O modelo baseado na arquitetura Transformer BERT adaptada para a língua portuguesa (treinada pela Unicamp) apresentou o melhor desempenho, atingindo cerca de 70,93% de acurácia em relação à correção humana e um erro absoluto médio de aproximadamente 77 pontos.
Como o sistema pNota organiza o processo de avaliação para não sobrecarregar o professor?
O sistema utiliza algoritmos de clusterização para agrupar as respostas mais similares dos alunos e seleciona uma amostra representativa e dispersa para que o professor atribua nota inicialmente. A partir dessas avaliações pontuais, o algoritmo treina modelos de classificação para predizer as notas das respostas restantes.
Por que o uso de modelos explicáveis é visto como fundamental na avaliação formativa escolar?
Modelos explicáveis permitem fornecer justificativas e feedbacks detalhados aos estudantes sobre as razões da nota atribuída, auxiliando no processo pedagógico e na revisão de rotas de aprendizagem, algo difícil de extrair de redes neurais profundas de caixa-preta.
Assuntos
Palestrantes
Elias Silva de Oliveira
Palestrante
Oswaldo Novais de Oliveira Junior
Palestrante
Mariana Curi
Coordenador(a)
Outros conteúdos deste evento
Gravados no evento VIII Conbratri
Mesa: avaliacao em meio digital
Gravado no evento VIII Conbratri
A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…
Ver resumo e capítulosSessao de abertura do VIII Conbratri
Gravado no evento VIII Conbratri
A sessão de abertura do VIII Conbratri conta com saudações iniciais de representantes da ABAVE e de secretarias de educação, seguida pela conferência de abertura ministrada pelo…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…
Ver resumo e capítulosSala B - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…
Ver resumo e capítulosSala A - Comunicações Orais
Gravado no evento VIII Conbratri
A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…
Ver resumo e capítulosMesa: indicadores e testes para fraudes e respostas não coerentes
Gravado no evento VIII Conbratri
A mesa-redonda aborda métodos estatísticos e psicométricos para identificar fraudes e respostas não coerentes em avaliações educacionais de larga escala. Especialistas analisam…
Ver resumo e capítulosMesa: o Programa de metas do Ideb: avaliação e perspectivas
Gravado no evento VIII Conbratri
A mesa-redonda debate o histórico, os resultados recentes e o futuro do Programa de Metas do Ideb no Brasil. Os participantes discutem as limitações do índice atual,…
Ver resumo e capítulos





