"Processamento de linguagem natural: conceitos e aplicações"
Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista · 1 h 17 min de gravação
Trechos em vídeo

O que é Processamento de Linguagem Natural e seus objetivos
Trecho de a da gravação

O desafio da ambiguidade no Processamento de Linguagem Natural
Trecho de a da gravação

Como os Transformers e o mecanismo de atenção revolucionaram o PLN
Trecho de a da gravação
Sobre o conteúdo
A palestra "Processamento de linguagem natural: conceitos e aplicações", apresentada durante a "Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista", oferece um panorama abrangente sobre o Processamento de Linguagem Natural (PLN). Inicialmente, Felipe Costa Farias introduz Jefferson Luiz Pessoa Lima, que contextualiza sua formação e atuação profissional na Elife e Buzzmonitor. Em seguida, Jefferson Lima define PLN como o campo da inteligência artificial focado na interação humano-computador por meio da língua natural e ressalta a importância de extrair conhecimento de fontes massivas não estruturadas, como mídias sociais, Wikipédia e plataformas de avaliação de consumidores.
A evolução histórica da área é revisada, destacando o teste de Turing em 1950, o experimento pioneiro de tradução automática Georgetown-IBM em 1954, o advento de ontologias conceituais na década de 1970 e a virada estatística com aprendizado de máquina nos anos 1980. O palestrante detalha as tarefas centrais em PLN, tais como segmentação de sentenças, análise sintática e de dependências, identificação de classes gramaticais (POS tagging), lematização, reconhecimento de entidades nomeadas (NER), sumarização automática, modelagem de tópicos, sistemas de perguntas e respostas (Q&A), assistentes de voz e chatbots. Entre os desafios práticos, enfatizam-se a ambiguidade sintática e semântica, o sarcasmo e a polaridade mista em análise de sentimentos, além dos riscos de viés algorítmico, ilustrado pelo caso do chatbot Tay da Microsoft.
Na seção técnica, são explicados conceitos de pré-processamento como stopwords, n-grams e tokens, progredindo para técnicas de vetorização numérica de texto: contagem simples de termos, frequência de termos e TF-IDF. O palestrante aponta as limitações desses métodos na captura de contexto semântico, introduzindo os word embeddings, especificamente o Word2Vec (arquiteturas CBOW e Skip-gram), FastText (com uso de subpalavras) e Doc2Vec. Explica-se também a transição das Redes Neurais Recorrentes (RNNs) — limitadas por dificuldades de paralelização e perda de dependências longas — para a arquitetura Transformer introduzida em 2017. O mecanismo de atenção plena e o processamento paralelo em GPUs viabilizaram modelos transformadores de grande escala, como BERT e GPT-3, exemplificando sua capacidade de gerar layouts HTML, consultas SQL, comandos de terminal Linux e narrativas de RPG.
Por fim, Jefferson Lima ilustra aplicações reais desenvolvidas no Buzzmonitor, como agrupamento de entidades, monitoramento de sentimentos corporativos, sugestão inteligente de respostas para analistas, enfrentamento de drift de conceito em categorização e inferência de perfis e interesses de usuários. Como guia para iniciantes, recomenda o ecossistema Python, as bibliotecas NLTK, spaCy, Gensim e Hugging Face, além dos recursos e modelos em português disponibilizados pelo NILC da USP. A sessão encerra com uma rodada de perguntas e respostas mediada por Felipe Costa Farias, abordando a combinação de embeddings (stacked embeddings), o funcionamento do paralelismo e positional embeddings em Transformers e as tendências futuras da área.
O que é abordado
- Abertura e Apresentação
- O que é PLN, Objetivos e ImportânciaTrecho de 1 min 33 s
- Histórico do Processamento de Linguagem Natural
- Tarefas Tradicionais em PLN
- Desafios em PLN: Ambiguidade, Sentimento e ViésTrecho de 1 min 1 s
- Representações Numéricas de Texto: TF-IDF a Word Embeddings
- Redes Recorrentes e a Revolução dos TransformersTrecho de 1 min 33 s
- Modelos Pré-treinados: BERT e Aplicações do GPT-3
- PLN na Prática com o Buzzmonitor
- Por Onde Começar: Ferramentas e Recursos
- Perguntas e Respostas e Considerações Finais
Dúvidas que o conteúdo responde
É possível combinar diferentes algoritmos de Word Embeddings?
Sim. Existem abordagens como Stacked Embeddings e técnicas de ensemble que combinam modelos distintos (por exemplo, Word2Vec e FastText) ou diferentes rodadas de treinamento sobre uma base textual para enriquecer a representação vetorial das palavras.
A combinação de múltiplos embeddings causa grande perda de desempenho no hardware?
O impacto no hardware existe porque é necessário processar e combinar as diferentes representações vetoriais de uma mesma palavra, mas esse impacto costuma ser irrisório e restrito a uma etapa de pré-processamento, como a aplicação de médias dos vetores.
Por que a arquitetura Transformer permite treinamento paralelo em GPU ao contrário das RNNs?
Nas redes neurais recorrentes, cada palavra precisa esperar a saída da anterior para alimentar o estado seguinte, inviabilizando o paralelismo. Nos Transformers, o texto inteiro entra de uma só vez na rede e as relações de ordem são mantidas por meio de positional embeddings e mecanismos de atenção, permitindo que a GPU processe todos os termos simultaneamente.
Quais bibliotecas e recursos são recomendados para quem deseja iniciar estudos em PLN?
Para quem está começando em Python, recomenda-se o uso das bibliotecas NLTK, spaCy e Gensim para tarefas tradicionais, e o Hugging Face para modelos baseados em Transformers como BERT e GPT. Para bases de dados e embeddings treinados em português, recomenda-se o repositório do NILC da USP.
Assuntos
Palestrantes

Jefferson Luiz Pessoa Lima
Palestrante
Felipe Costa Farias
Mediador(a)
Outros conteúdos deste evento
Gravados no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista
"A inteligência artificial e as relações de consumo" (
Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista
Nesta mesa-redonda promovida na Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista, discute-se o tema "A inteligência artificial e as relações de consumo". As…
Ver resumo e capítulos"Incorporando Inteligência em Processos Empresariais"
Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista
A palestra aborda os fundamentos e a relevância da mineração de processos (process mining) na inteligência de negócios contemporânea. O palestrante explica a integração entre…
Ver resumo e capítulosTecnologia, mundo do trabalho e desigualdade. "Que futuro distópico e tecnologia nos trará? Modificações atuais e o impacto no mundo do trabalho" (Raquel de Oliveira Santos Lira); "Inteligência artificial e desigualdade"
Gravado no evento Semana Nacional de Ciência e Tecnologia - 2020 - Campus Paulista
Nesta mesa-redonda da Semana Nacional de Ciência e Tecnologia no Campus Paulista, palestrantes debatem os impactos das transformações tecnológicas nas relações de trabalho e na…
Ver resumo e capítulos

