Pular para o conteúdo
Even3

Mesa-redondaEducação

Mesa: correção computadorizada de questões abertas

Gravado no evento VIII Conbratri · 1 h 35 min de gravação

Sobre o conteúdo

A mesa-redonda intitulada MESA: CORREÇÃO COMPUTADORIZADA DE QUESTÕES ABERTAS, realizada durante o VIII Conbratri, reúne pesquisadores para debater métodos computacionais aplicados à correção e pontuação de itens discursivos e redações na educação. Mariana Curi faz a abertura do encontro, introduzindo os palestrantes Elias Silva de Oliveira e Oswaldo Novais de Oliveira Junior e contextualizando a importância da colaboração interdisciplinar entre estatística, psicometria e ciência da computação.

O que é abordado

  1. Abertura e apresentação dos convidados
  2. Avaliando questões abertas: abordagem por partes e sistema pNota
  3. Modelo vetorial, similaridade e representação textual
  4. Resultados experimentais e classificadores de machine learning
  5. Avanços em PLN e a experiência do projeto SIRA
  6. Perspectivas para correção de questões abertas em larga escala
  7. Debate: integração com psicometria, IA explicável e rubricas de avaliação
  8. Considerações finais e encerramento

Dúvidas que o conteúdo responde

Qual é a definição adotada pelos palestrantes para questões abertas curtas em comparação com redações?

Elias Silva de Oliveira explica que questões abertas ou discursivas curtas são caracterizadas por respostas objetivas em torno de 100 a 200 palavras, exigindo estratégias computacionais distintas das redações do ENEM, que possuem maior extensão e demandam a análise de múltiplos eixos de competência argumentativa.

Qual modelo obteve o melhor desempenho no projeto do aplicativo SIRA para pontuação de redações?

O modelo baseado na arquitetura Transformer BERT adaptada para a língua portuguesa (treinada pela Unicamp) apresentou o melhor desempenho, atingindo cerca de 70,93% de acurácia em relação à correção humana e um erro absoluto médio de aproximadamente 77 pontos.

Como o sistema pNota organiza o processo de avaliação para não sobrecarregar o professor?

O sistema utiliza algoritmos de clusterização para agrupar as respostas mais similares dos alunos e seleciona uma amostra representativa e dispersa para que o professor atribua nota inicialmente. A partir dessas avaliações pontuais, o algoritmo treina modelos de classificação para predizer as notas das respostas restantes.

Por que o uso de modelos explicáveis é visto como fundamental na avaliação formativa escolar?

Modelos explicáveis permitem fornecer justificativas e feedbacks detalhados aos estudantes sobre as razões da nota atribuída, auxiliando no processo pedagógico e na revisão de rotas de aprendizagem, algo difícil de extrair de redes neurais profundas de caixa-preta.

Assuntos

  • avaliação automática
  • processamento de linguagem natural
  • questões abertas
  • SIRA
  • pNota
  • ENEM
  • BERT
  • aprendizado de máquina

Palestrantes

  • Elias Silva de Oliveira

    Palestrante

  • Oswaldo Novais de Oliveira Junior

    Palestrante

  • Mariana Curi

    Coordenador(a)

Outros conteúdos deste evento

Gravados no evento VIII Conbratri

Mesa-redonda · 1 h 49 min

Mesa: avaliacao em meio digital

Gravado no evento VIII Conbratri

A mesa-redonda discute as experiências, os desafios técnicos e os potenciais pedagógicos da transição para a avaliação educacional em meio digital. Thiago Costa relata a…

Ver resumo e capítulos

Apresentação de Trabalho · 56 min

Sala A - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão de comunicações orais reúne quatro estudos quantitativos voltados à avaliação educacional e à eficácia de redes e escolas no Brasil. A primeira pesquisa investiga…

Ver resumo e capítulos

Apresentação de Trabalho · 50 min

Sala B - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão de comunicações orais reúne apresentações de pesquisas avançadas no campo da Teoria de Resposta ao Item (TRI). A primeira apresentação analisa diferentes métodos e…

Ver resumo e capítulos

Apresentação de Trabalho · 49 min

Sala A - Comunicações Orais

Gravado no evento VIII Conbratri

A sessão 'Sala A - Comunicações Orais' do VIII Conbratri reúne apresentações de pesquisas voltadas a inovações e aspectos psicométricos em avaliações educacionais em larga…

Ver resumo e capítulos