Processamento Distribuido com Apache Spark
Gravado no evento Semana de Informática - IFSP Birigui-2021 · 1 h 41 min de gravação
Sobre o conteúdo
A apresentação "Processamento Distribuído com Apache Spark", integrada à programação da Semana de Informática - IFSP Birigui-2021, inicia-se com a introdução do professor Valtemir de Alencar e Silva, que relembra a trajetória acadêmica do palestrante Leonardo Bertechini Stabile como egresso do Instituto Federal e sua atuação na Solinftec no ramo do agronegócio global.
Leonardo introduz os desafios impostos pelo Big Data e a discrepância física de velocidade entre ciclos de CPU, barramentos de memória RAM, leituras em disco rígido e tráfego de rede. O palestrante traça a evolução dos modelos computacionais, passando pelo processamento síncrono em thread única, multithreading paralelo, processamento assíncrono com paradas de sistema e as limitações de custo do escalonamento vertical frente ao crescimento exponencial das massas de dados.
Para solucionar essas restrições por meio do escalonamento horizontal, detalha-se o funcionamento do algoritmo MapReduce e sua implementação no ecossistema Apache Hadoop junto ao HDFS (Hadoop Distributed File System). O palestrante evidencia a principal limitação do Hadoop tradicional, baseada na persistência intermediária obrigatória em disco a cada iteração, contextualizando o surgimento do Apache Spark como mecanismo capaz de manter Resilience Distributed Datasets (RDDs) diretamente em memória RAM e otimizar execuções através de grafos acíclicos dirigidos (DAG).
Na etapa prática, é demonstrada uma arquitetura completa orientada a eventos. Um script Python emula de 70 a 80 mil transações de câmbio por segundo entre mais de duzentos países, despachando eventos em formato JSON para um tópico do Apache Kafka. Uma aplicação Spark Streaming consome esse fluxo, agrega as transações em janelas de tempo de cinco segundos e grava os resultados compilados de volta em outro tópico. Um backend desenvolvido em Spring WebFlux consome o tópico consolidado e o entrega via Server-Sent Events (SSE) a uma interface web com mapa interativo baseado na biblioteca Mapbox.
A palestra é concluída com uma sessão de perguntas e respostas com a participação do corpo docente e discentes, tratando de configurações do Spark em nuvem, comparação com o Google BigQuery, escalabilidade horizontal e o uso de inteligência artificial aplicada ao agronegócio e ao mercado futuro de commodities agrícolas.
O que é abordado
- Abertura e apresentação do palestrante
- Trajetória acadêmica e introdução ao Big Data
- Limitações de hardware e tipos de processamento
- Processamento distribuído, MapReduce e Apache Hadoop
- Arquitetura do Apache Spark: RDDs e DAG
- Arquitetura do exemplo prático com Kafka e Spark Streaming
- Demonstração prática e análise de código e monitoramento
- Sessão de perguntas, respostas e encerramento
Dúvidas que o conteúdo responde
Qual é a principal vantagem do Apache Spark sobre o Apache Hadoop?
Enquanto o Apache Hadoop precisa gravar os resultados parciais em disco (HDFS) ao fim de cada iteração do algoritmo MapReduce antes de iniciar a próxima, o Apache Spark realiza sucessivas rodadas de processamento diretamente na memória RAM através de RDDs, aumentando consideravelmente a performance.
O Apache Spark depende obrigatoriamente do Apache Hadoop para funcionar?
Não, o Hadoop é opcional. O Spark pode operar em modo standalone na própria máquina com configurações padrão ou consumir dados a partir de soluções de armazenamento em nuvem, como buckets S3 da AWS ou Google Cloud Storage.
O Apache Spark é recomendado para pequenos volumes de dados?
O Spark foi projetado como uma ferramenta de alta robustez direcionada a processamento em escala horizontal para volumes massivos de dados. Em volumes pequenos, os recursos convencionais de processamento local ou bancos de dados tradicionais costumam ser suficientes e não justificam a complexidade da infraestrutura de cluster do Spark.
Como funcionou o fluxo da demonstração prática apresentada?
Um script em Python atuou como produtor gerando dezenas de milhares de transações randômicas em JSON para o Apache Kafka. A aplicação Spark Streaming consumiu as mensagens brutas, agrupou-as em janelas de 5 segundos, agregou os saldos por país e devolveu o resultado em outro tópico do Kafka, que por sua vez foi lido por um servidor Spring WebFlux e exibido em tempo real no mapa web via Server-Sent Events (SSE).
Assuntos
Palestrantes

Leonardo Bertechini Stabile
Palestrante
Ex-Aluno e Desenvolvedor na Solinftec

Valtemir de Alencar e Silva
Mediador(a)
Bacharel em Ciências da Computação - ICMC USP São Carlos Mestre em Engenharia de Produção - EESC USP São Carlos Doutor em Ciências da Computação e Matemática Computacional - ICMC USP São Carlos
Outros conteúdos deste evento
Gravados no evento Semana de Informática - IFSP Birigui-2021
Mesa Redonda com professores: Relato das Experiências Acadêmicas e Profissionais.
Gravado no evento Semana de Informática - IFSP Birigui-2021
Durante a Semana de Informática - IFSP Birigui-2021, foi realizada a Mesa Redonda com professores: Relato das Experiências Acadêmicas e Profissionais, mediada pelo professor…
Ver resumo e capítulosMulheres na área de TI: um relato de experiencia
Gravado no evento Semana de Informática - IFSP Birigui-2021
A palestra 'Mulheres na área de TI: um relato de experiencia', integrante da Semana de Informática - IFSP Birigui-2021, traz o depoimento da professora Bruna Flor da Rosa sobre…
Ver resumo e capítulosComo construir e manter uma carteira de clientes.
Gravado no evento Semana de Informática - IFSP Birigui-2021
Na palestra "Como construir e manter uma carteira de clientes.", apresentada na Semana de Informática - IFSP Birigui-2021, Brayan da Silva Peres relata sua trajetória…
Ver resumo e capítulosTécnicas de Inteligência Artificial no Diagnóstico de Doenças
Gravado no evento Semana de Informática - IFSP Birigui-2021
Durante a Semana de Informática - IFSP Birigui-2021, o Prof. Dr. Clayton Reginaldo Pereira apresenta a palestra "Técnicas de Inteligência Artificial no Diagnóstico de Doenças".…
Ver resumo e capítulos"Empregabilidade no Mercado de TI"
Gravado no evento Semana de Informática - IFSP Birigui-2021
Mesa-redonda de encerramento da 4ª Semana de Informática do IFSP Birigui com o tema Empregabilidade no Mercado de TI. Representantes de empresas de tecnologia e docentes debatem…
Ver resumo e capítulosTransformação digital: Os desafios do mercado de trabalho com uso da nuvem e pandemia no cenário Brasileiro e global.
Gravado no evento Semana de Informática - IFSP Birigui-2021
Durante a Semana de Informática - IFSP Birigui-2021, o evento traz a palestra "Transformação digital: Os desafios do mercado de trabalho com uso da nuvem e pandemia no cenário…
Ver resumo e capítulos




