Metodologia U-Multirank para avaliação da pós-graduação
Gravado no evento XI Abave e VII Conbratri · 1 h 11 min de gravação
Trechos em vídeo

Os princípios fundamentais da abordagem do U-Multirank
Trecho de a da gravação

Por que a pós-graduação exige avaliação multidimensional
Trecho de a da gravação

Os desafios da avaliação multidimensional e o fomento público
Trecho de a da gravação
Sobre o conteúdo
A atividade aborda o tema 'Metodologia U-Multirank para avaliação da pós-graduação', realizada no evento 'Métodos de avaliação para pós-graduação' promovido pela ABAVE. O encontro tem como foco central a análise de novos paradigmas para rankings e avaliação do ensino superior, contrapondo os rankings unidimensionais tradicionais a abordagens flexíveis e centradas nos diferentes perfis institucionais.
Na primeira exposição, Frans Kaiser detalha a origem e os objetivos do U-Multirank, criado a partir de 2009 para suprir lacunas deixadas pelos rankings internacionais globais. Ele explica que a ferramenta não visa criar uma pontuação única simplificada ou uma liga com primeiro e último colocados, mas traçar perfis detalhados por meio de cinco dimensões: ensino e aprendizagem, pesquisa, transferência de conhecimento, orientação internacional e engajamento regional. O palestrante ressalta princípios operacionais fundamentais, como a perspectiva multinível (abrangendo desde a universidade até programas e disciplinas individuais), a categorização de desempenhos por faixas (de A a E) baseadas na mediana e o protagonismo do usuário na montagem de comparações e benchmarking.
Na sequência, André Brasil correlaciona os princípios do U-Multirank com a realidade do Sistema Nacional de Pós-Graduação no Brasil. Ele relata o histórico das discussões ocorridas na CAPES após a avaliação quadrienal de 2017 e a busca por critérios que consigam diferenciar missões distintas, como a de programas acadêmicos voltados à pesquisa básica e de mestrados profissionais voltados ao impacto social regional. O debatedor discute os desafios de adotar um modelo multidimensional em um contexto com fomento financeiro e permanência no sistema estritamente vinculados a notas numéricas.
Ao final, durante o debate mediado por Joaquim José Soares Neto, os participantes discutem a possibilidade de adaptação do U-Multirank ao ecossistema educacional brasileiro, incorporando peculiaridades locais como as atividades de extensão universitária e o impacto social, além de ponderarem sobre como conciliar avaliações voltadas ao aprendizado formativo com a regulação estatal obrigatória.
O que é abordado
- Abertura e apresentação dos palestrantes
- Palestra de Frans Kaiser: Princípios e abordagem do U-MultirankTrecho de 1 min 56 s
- Dimensões de desempenho e fontes de dados
- Visualização de dados e ferramentas de benchmarking
- Debate com André Brasil: A pós-graduação brasileira e a CAPESTrecho de 1 min 46 s
- Perguntas e respostas: Adaptação ao contexto brasileiro e regulação estatalTrecho de 1 min 58 s
- Encerramento e vídeo institucional da ABAVE
Dúvidas que o conteúdo responde
Qual a principal diferença entre o U-Multirank e os rankings internacionais tradicionais?
Diferentemente dos rankings tradicionais, o U-Multirank não gera uma pontuação única nem estabelece uma classificação verticalizada em tabela única ('league table'). Ele adota uma abordagem multidimensional com perfis institucionais, pontuações categorizadas e permite que o próprio usuário defina os indicadores pertinentes para comparar instituições com perfis similares.
Quais são as cinco dimensões avaliadas pelo U-Multirank?
As cinco dimensões analisadas são: ensino e aprendizagem (teaching & learning), pesquisa (research), transferência de conhecimento (knowledge transfer), orientação internacional (international orientation) e engajamento regional (regional engagement).
Qual é a principal dificuldade apontada para aplicar o modelo multidimensional na avaliação da pós-graduação brasileira?
A avaliação da pós-graduação no Brasil é considerada 'high stakes', pois o resultado define o descredenciamento de cursos e a distribuição direta de bolsas e verbas públicas. Um modelo puramente multidimensional ou qualitativo dificulta o estabelecimento de cortes lineares e exige repensar as linhas e critérios de fomento estatal.
Existe projeto para adaptar o U-Multirank à realidade das instituições brasileiras?
Sim, há conversas e estudos em andamento para integrar bases de dados nacionais e incorporar indicadores específicos de maior relevância no contexto brasileiro, com destaque para as ações de extensão universitária e engajamento social.
Assuntos
Palestrantes

Andre Brasil
Debatedor(a)
Servidor da CAPES com atuação, desde 2009, na avaliação de entrada e permanência dos programas de pós-graduação stricto sensu no Brasil. Atualmente, ele está licenciado de suas funções na agência para desenvolver pesquisas no Centre for Science and Technology Studies (CWTS), da Universidade de Leiden, Holanda. Seu foco principal de atuação é a necessária evolução do modelo de avaliação aplicado ao Sistema Nacional de Pós-Graduação (SNPG), para o qual busca soluções baseadas em cienciometria, estudos de educação superior e de políticas públicas".

Frans Kaiser
Palestrante
Frans Kaiser holds a master in public administration. He works at the Center for Higher Education Policy Studies, University of Twente, the Netherlands. During his career at CHEPS he has been involved in numerous international comparative studies on higher education policies and trends in higher education. He coordinated a number of projects in which tools and visualisations were developed to allow analyses and presentations of large and complex datasets on higher education and higher education institutions. The U-Multirank project (2009- ) is a major example of the latter. Frans visited…

Joaquim José Soares Neto
Coordenador(a)
Professor Titular da Universidade de Brasília, realizou a graduação e o mestrado na Universidade de Brasília, doutorado na Aarhus University (Dinamarca) e pós-doutorado no California Institute of Technology (Caltech), nos Estados Unidos. Trabalha em pesquisa na área de Avaliação da Educação Superior e da Educação Básica por mais de 18 anos. Foi Presidente do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP); é Conselheiro da Câmara de Educação Superior do Conselho Nacional de Educação (CNE). Foi Presidente da Associação Brasileira de Avaliação Educacional (ABAVE)…