Pular para o conteúdo
Even3

Mesa-redonda

"Processamento de linguagem natural: conceitos e aplicações"

Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista · 1 h 17 min de gravação

Trechos em vídeo

Sobre o conteúdo

A palestra "Processamento de linguagem natural: conceitos e aplicações", apresentada durante a "Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista", oferece um panorama abrangente sobre o Processamento de Linguagem Natural (PLN). Inicialmente, Felipe Costa Farias introduz Jefferson Luiz Pessoa Lima, que contextualiza sua formação e atuação profissional na Elife e Buzzmonitor. Em seguida, Jefferson Lima define PLN como o campo da inteligência artificial focado na interação humano-computador por meio da língua natural e ressalta a importância de extrair conhecimento de fontes massivas não estruturadas, como mídias sociais, Wikipédia e plataformas de avaliação de consumidores.

O que é abordado

  1. Abertura e Apresentação
  2. O que é PLN, Objetivos e ImportânciaTrecho de 1 min 33 s
  3. Histórico do Processamento de Linguagem Natural
  4. Tarefas Tradicionais em PLN
  5. Desafios em PLN: Ambiguidade, Sentimento e ViésTrecho de 1 min 1 s
  6. Representações Numéricas de Texto: TF-IDF a Word Embeddings
  7. Redes Recorrentes e a Revolução dos TransformersTrecho de 1 min 33 s
  8. Modelos Pré-treinados: BERT e Aplicações do GPT-3
  9. PLN na Prática com o Buzzmonitor
  10. Por Onde Começar: Ferramentas e Recursos
  11. Perguntas e Respostas e Considerações Finais

Dúvidas que o conteúdo responde

É possível combinar diferentes algoritmos de Word Embeddings?

Sim. Existem abordagens como Stacked Embeddings e técnicas de ensemble que combinam modelos distintos (por exemplo, Word2Vec e FastText) ou diferentes rodadas de treinamento sobre uma base textual para enriquecer a representação vetorial das palavras.

A combinação de múltiplos embeddings causa grande perda de desempenho no hardware?

O impacto no hardware existe porque é necessário processar e combinar as diferentes representações vetoriais de uma mesma palavra, mas esse impacto costuma ser irrisório e restrito a uma etapa de pré-processamento, como a aplicação de médias dos vetores.

Por que a arquitetura Transformer permite treinamento paralelo em GPU ao contrário das RNNs?

Nas redes neurais recorrentes, cada palavra precisa esperar a saída da anterior para alimentar o estado seguinte, inviabilizando o paralelismo. Nos Transformers, o texto inteiro entra de uma só vez na rede e as relações de ordem são mantidas por meio de positional embeddings e mecanismos de atenção, permitindo que a GPU processe todos os termos simultaneamente.

Quais bibliotecas e recursos são recomendados para quem deseja iniciar estudos em PLN?

Para quem está começando em Python, recomenda-se o uso das bibliotecas NLTK, spaCy e Gensim para tarefas tradicionais, e o Hugging Face para modelos baseados em Transformers como BERT e GPT. Para bases de dados e embeddings treinados em português, recomenda-se o repositório do NILC da USP.

Assuntos

  • PLN
  • Processamento de Linguagem Natural
  • Transformers
  • BERT
  • GPT-3
  • Word Embeddings
  • Análise de Sentimento
  • Buzzmonitor

Palestrantes

  • Jefferson Luiz Pessoa Lima

    Palestrante

  • Felipe Costa Farias

    Mediador(a)

Outros conteúdos deste evento

Gravados no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista

Mesa-redonda · 1 h 55 min

Tecnologia, mundo do trabalho e desigualdade. "Que futuro distópico e tecnologia nos trará? Modificações atuais e o impacto no mundo do trabalho" (Raquel de Oliveira Santos Lira); "Inteligência artificial e desigualdade"

Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista

Nesta mesa-redonda da Semana Nacional de Ciência e Tecnologia no Campus Paulista, palestrantes debatem os impactos das transformações tecnológicas nas relações de trabalho e na…

Ver resumo e capítulos