Pular para o conteúdo
Even3

Processamento Distribuido com Apache Spark

Gravado no evento Semana de Informática - IFSP Birigui-2021 · 1 h 41 min de gravação

Sobre o conteúdo

A apresentação "Processamento Distribuído com Apache Spark", integrada à programação da Semana de Informática - IFSP Birigui-2021, inicia-se com a introdução do professor Valtemir de Alencar e Silva, que relembra a trajetória acadêmica do palestrante Leonardo Bertechini Stabile como egresso do Instituto Federal e sua atuação na Solinftec no ramo do agronegócio global.

O que é abordado

  1. Abertura e apresentação do palestrante
  2. Trajetória acadêmica e introdução ao Big Data
  3. Limitações de hardware e tipos de processamento
  4. Processamento distribuído, MapReduce e Apache Hadoop
  5. Arquitetura do Apache Spark: RDDs e DAG
  6. Arquitetura do exemplo prático com Kafka e Spark Streaming
  7. Demonstração prática e análise de código e monitoramento
  8. Sessão de perguntas, respostas e encerramento

Dúvidas que o conteúdo responde

Qual é a principal vantagem do Apache Spark sobre o Apache Hadoop?

Enquanto o Apache Hadoop precisa gravar os resultados parciais em disco (HDFS) ao fim de cada iteração do algoritmo MapReduce antes de iniciar a próxima, o Apache Spark realiza sucessivas rodadas de processamento diretamente na memória RAM através de RDDs, aumentando consideravelmente a performance.

O Apache Spark depende obrigatoriamente do Apache Hadoop para funcionar?

Não, o Hadoop é opcional. O Spark pode operar em modo standalone na própria máquina com configurações padrão ou consumir dados a partir de soluções de armazenamento em nuvem, como buckets S3 da AWS ou Google Cloud Storage.

O Apache Spark é recomendado para pequenos volumes de dados?

O Spark foi projetado como uma ferramenta de alta robustez direcionada a processamento em escala horizontal para volumes massivos de dados. Em volumes pequenos, os recursos convencionais de processamento local ou bancos de dados tradicionais costumam ser suficientes e não justificam a complexidade da infraestrutura de cluster do Spark.

Como funcionou o fluxo da demonstração prática apresentada?

Um script em Python atuou como produtor gerando dezenas de milhares de transações randômicas em JSON para o Apache Kafka. A aplicação Spark Streaming consumiu as mensagens brutas, agrupou-as em janelas de 5 segundos, agregou os saldos por país e devolveu o resultado em outro tópico do Kafka, que por sua vez foi lido por um servidor Spring WebFlux e exibido em tempo real no mapa web via Server-Sent Events (SSE).

Assuntos

  • Apache Spark
  • Big Data
  • MapReduce
  • Hadoop
  • Kafka
  • Processamento Distribuído
  • Spark Streaming
  • IFSP Birigui

Palestrantes

  • Leonardo Bertechini Stabile

    Palestrante

    Ex-Aluno e Desenvolvedor na Solinftec

  • Valtemir de Alencar e Silva

    Mediador(a)

    Bacharel em Ciências da Computação - ICMC USP São Carlos Mestre em Engenharia de Produção - EESC USP São Carlos Doutor em Ciências da Computação e Matemática Computacional - ICMC USP São Carlos

Outros conteúdos deste evento

Gravados no evento Semana de Informática - IFSP Birigui-2021

Rodas de Conversa · 2 h 22 min

"Empregabilidade no Mercado de TI"

Gravado no evento Semana de Informática - IFSP Birigui-2021

Mesa-redonda de encerramento da 4ª Semana de Informática do IFSP Birigui com o tema Empregabilidade no Mercado de TI. Representantes de empresas de tecnologia e docentes debatem…

Ver resumo e capítulos