Como funciona a Arquitetura Lambda em Big Data
Trecho de 1 min 58 s de Big Data e Inteligência Artificial na nuvem, gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020.
Assistir à gravação completaNo Even3 Conteúdos · 1 h 20 minSobre este trecho
O palestrante detalha o funcionamento das três camadas da Arquitetura Lambda: batch layer, speed layer e serving layer.
Vai de a da gravação.
O que é dito neste trecho
Para poder executar cada uma dessas etapas que a gente discutiu então, é muito utilizado atualmente na no no mundo real, né, na prática, o que a gente chama de arquitetura lambda. O que que é essa arquitetura lambda? É um formato que a gente vai trabalhar com esse grande volume de dados e a gente vai estruturar as nossas ferramentas e aplicações, clusters, etc., para poder atender algumas demandas então que correspondem às camadas que a gente tem nessa arquitetura. A primeira camada que a gente tem é a batch layer, que é a camada batch, é uma camada que ela trabalha com grandes volumes de dados que são eh ou vão ser totalmente estáticos ou vão vão ser ou vão ser alterados só periodicamente, então são grandes blocos de informação que a gente trabalha eh, por exemplo, em um certo horário a gente vai processar, é algo que não é tempo real, não é online, não é um streaming. Então eh vamos supor que a gente tenha um grande montante ali de informações históricas que a gente já tem e a gente vai processar para poder usar esses dados em um modelo mais para frente. Então a gente pega nessa camada batch aqui, cria algumas estruturas para processar esses dados e executa esse processamento, né? Tem alguns dados que eles vêm já em blocos, esses blocos grandes, então vamos supor, uma migração, alguma coisa assim, a gente pode trazer esses grandes blocos de dados e trabalhar eles na nossa camada batch. Em paralelo à nossa camada batch, a gente tem o que a gente chama de speed layer, ou seja, a nossa camada online, aquela camada rápida, né, que os dados chegam em tempo real. Geralmente elas trabalham com o que a gente chama de fluxos contínuos de dados, que são informações que chegam o tempo todo em tempo real e a gente vai fazendo o processamento daquilo em streaming, né, o o mais próximo possível do tempo real e aí são aqueles dados que vêm eh em tempo real mesmo, né, eles vêm online. E a gente vai ter todas as ferramentas, softwares, etc.
Outros trechos deste conteúdo

O que é preciso estudar para ser cientista de dados
Trecho de a da gravação

Bancos relacionais versus não relacionais em Big Data
Trecho de a da gravação