Identificação de sinais de libras com inteligência computacional
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021 · 1 h 44 min de gravação
Trechos em vídeo

Os cinco parâmetros fonológicos da Libras
Trecho de a da gravação

Como a inteligência artificial aprende dados
Trecho de a da gravação

O impacto da diversidade de sinalizadores no aprendizado da IA
Trecho de a da gravação
Sobre o conteúdo
A atividade "Identificação de sinais de libras com inteligência computacional", apresentada no evento "Ciência de dados e exploração do valor da informação", aborda o desenvolvimento de abordagens tecnológicas voltadas ao reconhecimento automático da Língua Brasileira de Sinais (Libras). A abertura conta com a professora Helen, do Campus Congonhas do Instituto Federal de Minas Gerais (IFMG), que introduz a palestrante Tamires Martins Rezende e contextualiza a relevância do tema na Semana Nacional de Ciência e Tecnologia.
Tamires inicia relatando sua formação técnica e acadêmica até a conclusão do doutorado em Engenharia Elétrica na UFMG, inserida nas pesquisas do laboratório MINDS (Machine Intelligence and Data Science). A pesquisadora introduz os fundamentos linguísticos da Libras, oficializada pela Lei nº 10.436/2002 e regulamentada pelo Decreto nº 5.626/2005. Explica os cinco parâmetros fonológicos essenciais da língua de sinais: ponto de articulação, movimento, configuração de mão, orientação da palma e expressões não manuais, ilustrando a complexidade da representação gestual a partir do sinal de furacão e ressaltando as dificuldades de reconhecer sinais exclusivamente por expressões faciais.
Em seguida, é traçada uma revisão histórica do crescimento dos estudos na área a partir dos anos 2000 com o avanço de algoritmos de visão computacional, como OpenCV, e de técnicas de aprendizagem profunda (deep learning). Compara-se a utilização de dispositivos invasivos baseados em sensores acoplados ao corpo com abordagens não invasivas de visão computacional por câmeras comuns e sensores como o Microsoft Kinect, destacando os desafios de criar bancos de dados reais e representativos.
A palestrante detalha o desenvolvimento da base MINDS-Libras, composta por 20 sinais repetidos 5 vezes por 12 sinalizadores, totalizando 1.200 amostras capturadas com câmera RGB e sensor de profundidade. No pré-processamento, foram analisadas perdas de quadros, a prosódia do sinal, o corte temporal dos intervalos sem movimento e a redução dos pontos articulares fornecidos pelo Kinect para 10 juntas focadas nos membros superiores (cotovelo, pulso, mão, ponta da mão e polegar), além da seleção de 37 pontos faciais representativos.
A metodologia experimental investigou duas abordagens: uma rede neural convolucional 3D (CNN 3D) sobre sequências de imagens sumarizadas em escala de cinza e uma rede convolucional temporal (TCN) aplicada sobre as séries temporais das trajetórias das mãos, com hiperparâmetros ajustados via algoritmo genético. Os resultados apontam que a abordagem por sinal alcançou até 96% de acurácia com TCN, enquanto a avaliação estrita por sinalizador inédito obteve 74,9%, revelando que a variabilidade da execução individual e similaridades fonológicas entre sinais geram desafios adicionais de generalização.
Na etapa final, a sessão responde a perguntas do público e da moderadora sobre a viabilidade de tradução contínua em tempo real entre fala e Libras, a transição do vocabulário isolado para sentenças completas e as iniciativas em andamento para ampliar a base MINDS-Libras a partir de vídeos remotos gerados em transmissões online.
O que é abordado
- Abertura e apresentação da palestrante
- Trajetória acadêmica e atuação profissional
- Fundamentos e parâmetros fonológicos da LibrasTrecho de 1 min 30 s
- Inteligência computacional e histórico de pesquisasTrecho de 1 min 23 s
- Construção e pré-processamento da base MINDS-Libras
- Modelos de classificação: CNN 3D e TCN
- Resultados experimentais e desafios de generalizaçãoTrecho de 1 min 44 s
- Conclusões e continuidade da pesquisa
- Perguntas e respostas com a plateia
Dúvidas que o conteúdo responde
É possível reconhecer um sinal de Libras analisando unicamente a expressão facial?
Não. Conforme verificado nas pesquisas de mestrado da palestrante, a expressão facial transmite emoção, intensidade e sentimento do sinal, mas os parâmetros manuais (trajetória, configuração e orientação da mão) são indispensáveis para fornecer o significado fonológico completo do sinal.
Como foi composta a base de dados MINDS-Libras?
A base foi construída com 20 sinais escolhidos com o auxílio de uma especialista em Libras da UFOP. Cada sinal foi executado 5 vezes por 12 sinalizadores, totalizando 1.200 amostras gravadas com uma câmera Canon em RGB e um sensor Kinect capturando profundidade e coordenadas esqueléticas.
Quais modelos de aprendizagem profunda foram testados na pesquisa?
Foram avaliadas duas abordagens principais: uma Rede Neural Convolucional 3D (CNN 3D) para classificação direta dos vídeos e uma Rede Neural Convolucional Temporal (TCN), com hiperparâmetros otimizados por algoritmo genético, alimentada pelas séries temporais das coordenadas 3D das articulações das mãos.
Qual é a principal dificuldade para criar um tradutor automático completo de Libras para linguagem contínua?
O principal gargalo é a escassez de dados reais e representativos para treinamento dos algoritmos, além das variações de prosódia entre sinalizadores e da ausência de pausas nítidas entre palavras na execução contínua de sentenças em Libras.
Assuntos
Palestrantes

Tamires Martins Rezende
Palestrante
Outros conteúdos deste evento
Gravados no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Descoberta de candidatos para fármacos no câncer de mama triplo negati
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
O Prof. Fernando Coelho apresenta o desenvolvimento de candidatos a fármacos para o câncer de mama triplo negativo a partir de adutos da reação de Morita-Baylis-Hillman. Ele…
Ver resumo e capítulosAPLs metalmecânicos do Vale do Aço e sua importância regional
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
A palestra aborda o panorama e a relevância do Arranjo Produtivo Local (APL) metalmecânico do Vale do Aço, detalhando sua estrutura produtiva e integração econômica. São…
Ver resumo e capítulosCurrículo e Educação das Relações Étnico-Raciais
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Durante a transmissão da atividade, os organizadores informam a interrupção da fala do professor Luís Alberto Oliveira Gonçalves devido a um mal súbito, ressaltando o atendimento…
Ver resumo e capítulosInteligência Computacional aplicada ao diagnóstico de tuberculose
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
A palestra aborda o emprego de técnicas de inteligência computacional e visão computacional aplicadas à área da saúde, destacando o diagnóstico de tuberculose. Thales Francisco…
Ver resumo e capítulosSimulação de circuitos elétricos e eletrônicos com LTSpice
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
O vídeo apresenta um minicurso introdutório sobre o uso do software simulador LTspice para análise de circuitos elétricos e eletrônicos. São explicados o contexto histórico do…
Ver resumo e capítulosConstrução de minifoguetes de combustível sólido
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Nesta oficina prática, o professor Fernando Jesus de Oliveira ensina o passo a passo da construção de um minifoguete artesanal de combustível sólido. Utilizando o motor propulsor…
Ver resumo e capítulosCiência de Dados e exploração do valor da informação em diversas áreas
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Mesa redonda reúne profissionais e pesquisadores para discutir aplicações práticas e teóricas da ciência de dados em diversas áreas do conhecimento. Valdete Maria Gonçalves de…
Ver resumo e capítulosTecnologia como suporte para pequenas empresas durante a pandemia
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
A palestrante Pollyanna Miranda de Abreu apresenta a palestra 'Tecnologia como suporte para pequenas empresas durante a pandemia', inserida no evento Ciência de dados e…
Ver resumo e capítulosProjetos interdisciplinares em Computação na jornada profissional
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Gisely Lucas Bernardino compartilha sua trajetória profissional na área de tecnologia e o papel fundamental dos projetos interdisciplinares em seu desenvolvimento. A palestrante…
Ver resumo e capítulosContribuições de empresários de TI para energia sustentável
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Nesta palestra do evento "Ciência de dados e exploração do valor da informação", Matheus Ribeiro Jorge discute o papel crucial de empreendedores e soluções de tecnologia da…
Ver resumo e capítulosFelicidade e seus impactos no ambiente profissional e desempenho
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
A palestrante Jacqueline Rezende aborda a felicidade e suas relações com a rotina e o ambiente corporativo no evento Ciência de dados e exploração do valor da informação. A…
Ver resumo e capítulosProjeto de texto e planejamento para redação do Enem
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2021
Nesta transmissão da Semana Nacional de Ciência e Tecnologia no IFMG, a professora Thaís Oliveira ministra a atividade 'Projeto de texto e planejamento para redação do Enem'. A…
Ver resumo e capítulos










