Pular para o conteúdo
Even3

OutroOutros

Identificação de sinais de libras com inteligência computacional

Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021 · 1 h 44 min de gravação

Trechos em vídeo

Sobre o conteúdo

A atividade "Identificação de sinais de libras com inteligência computacional", apresentada no evento "Ciência de dados e exploração do valor da informação", aborda o desenvolvimento de abordagens tecnológicas voltadas ao reconhecimento automático da Língua Brasileira de Sinais (Libras). A abertura conta com a professora Helen, do Campus Congonhas do Instituto Federal de Minas Gerais (IFMG), que introduz a palestrante Tamires Martins Rezende e contextualiza a relevância do tema na Semana Nacional de Ciência e Tecnologia.

O que é abordado

  1. Abertura e apresentação da palestrante
  2. Trajetória acadêmica e atuação profissional
  3. Fundamentos e parâmetros fonológicos da LibrasTrecho de 1 min 30 s
  4. Inteligência computacional e histórico de pesquisasTrecho de 1 min 23 s
  5. Construção e pré-processamento da base MINDS-Libras
  6. Modelos de classificação: CNN 3D e TCN
  7. Resultados experimentais e desafios de generalizaçãoTrecho de 1 min 44 s
  8. Conclusões e continuidade da pesquisa
  9. Perguntas e respostas com a plateia

Dúvidas que o conteúdo responde

É possível reconhecer um sinal de Libras analisando unicamente a expressão facial?

Não. Conforme verificado nas pesquisas de mestrado da palestrante, a expressão facial transmite emoção, intensidade e sentimento do sinal, mas os parâmetros manuais (trajetória, configuração e orientação da mão) são indispensáveis para fornecer o significado fonológico completo do sinal.

Como foi composta a base de dados MINDS-Libras?

A base foi construída com 20 sinais escolhidos com o auxílio de uma especialista em Libras da UFOP. Cada sinal foi executado 5 vezes por 12 sinalizadores, totalizando 1.200 amostras gravadas com uma câmera Canon em RGB e um sensor Kinect capturando profundidade e coordenadas esqueléticas.

Quais modelos de aprendizagem profunda foram testados na pesquisa?

Foram avaliadas duas abordagens principais: uma Rede Neural Convolucional 3D (CNN 3D) para classificação direta dos vídeos e uma Rede Neural Convolucional Temporal (TCN), com hiperparâmetros otimizados por algoritmo genético, alimentada pelas séries temporais das coordenadas 3D das articulações das mãos.

Qual é a principal dificuldade para criar um tradutor automático completo de Libras para linguagem contínua?

O principal gargalo é a escassez de dados reais e representativos para treinamento dos algoritmos, além das variações de prosódia entre sinalizadores e da ausência de pausas nítidas entre palavras na execução contínua de sentenças em Libras.

Assuntos

  • Libras
  • Inteligência Artificial
  • Visão Computacional
  • Deep Learning
  • MINDS-Libras
  • CNN 3D
  • TCN
  • Acessibilidade

Palestrantes

  • Tamires Martins Rezende

    Palestrante

Outros conteúdos deste evento

Gravados no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021