Big Data e Inteligência Artificial na nuvem
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020 · 1 h 20 min de gravação
Trechos em vídeo

Como funciona a Arquitetura Lambda em Big Data
Trecho de a da gravação

O que é preciso estudar para ser cientista de dados
Trecho de a da gravação

Bancos relacionais versus não relacionais em Big Data
Trecho de a da gravação
Sobre o conteúdo
O vídeo apresenta a palestra "Big Data e Inteligência Artificial na nuvem", inserida na programação da Semana Nacional de Ciência e Tecnologia no IFMG Campus Ribeirão das Neves, no contexto da atividade Experimentações cênicas e podcasting em plataformas digitais. O professor Moisés Pereira realiza a abertura do evento e apresenta o palestrante Pedro Kássio Ribeiro Matos Loureiro de Carvalho, destacando sua formação acadêmica no CEFET-MG e sua experiência profissional em engenharia e ciência de dados no mercado.
Pedro Carvalho inicia a exposição conceituando Big Data a partir de seus pilares conhecidos como os cinco 'Vs': volume, velocidade, variedade, veracidade e valor, enfatizando que gerar valor para o negócio é o objetivo final de qualquer projeto de dados. Em seguida, analisa as principais fontes modernas geradoras desse grande montante de dados, com foco na explosão da Internet das Coisas (IoT) impulsionada pela transição para o IPv6. São trazidos exemplos de setores impactados, como casas inteligentes, carros autônomos e conectados (incluindo estudos de caso de mobilidade urbana), dispositivos vestíveis (smartwatches), telemetria na área de saúde, bioinformática, meteorologia, transições financeiras e redes elétricas inteligentes (smart grids).
Para estruturar e processar essas informações com vistas à aplicação de modelos de Machine Learning e inteligência artificial, o palestrante explica as etapas de ingestão, processamento, armazenamento e visualização. Ele detalha os princípios da Arquitetura Lambda, que separa o fluxo em três camadas complementares: a Batch Layer, voltada a grandes massas de dados históricos brutos com tolerância a latência maior e onde comumente são treinados os modelos preditivos; a Speed Layer, voltada ao tratamento de fluxos contínuos de eventos quase em tempo real (streaming); e a Serving Layer, responsável por armazenar visões consolidadas e viabilizar consultas e dashboards de suporte à tomada de decisão.
Na sequência, a apresentação traça um comparativo prático entre soluções open source e serviços gerenciados em provedores de nuvem, especificamente Google Cloud Platform e Amazon Web Services. Na ingestão e mensageria, comparam-se ferramentas como Apache Flume e Apache Kafka com Cloud Pub/Sub e AWS Kinesis. No processamento, abordam-se Apache Spark, Apache Storm e Apache Flink frente ao Cloud Dataflow, Dataproc, AWS Glue e AWS Lambda. Para o armazenamento e camada de serviço, são contrastados bancos NoSQL e data warehouses (Cassandra, HBase, MongoDB, Redis, BigQuery, BigTable, S3, DynamoDB e Redshift), seguidos de ferramentas de visualização (Tableau, Power BI, Google Data Studio e QuickSight) e plataformas para ciclo de vida de Machine Learning, como Apache Spark MLlib, Cloud MLE, Kubeflow e AWS SageMaker.
Ao término da exposição, o palestrante e o moderador realizam uma rodada de perguntas e respostas com o público. São discutidos tópicos como a utilização de NFC e conformidade ética e jurídica com a Lei Geral de Proteção de Dados (LGPD), as competências essenciais e cursos recomendados para atuar na área de Ciência de Dados, o papel da formação em estatística, a decisão técnica entre bancos de dados relacionais e NoSQL diante de grandes volumes, além de custos e estratégias de processamento em computação na nuvem.
O que é abordado
- Abertura e apresentação do palestrante
- Sumário e os 5 Vs do Big Data
- Internet das Coisas (IoT) e fontes geradoras de dados
- Exemplos de aplicações: Finanças, bioinformática e smart grids
- Pipeline de Big Data e Arquitetura LambdaTrecho de 1 min 58 s
- Arquitetura Lambda com ferramentas Open Source
- Arquiteturas em Nuvem: Google Cloud Platform e AWS
- Comparativo de ferramentas: Ingestão, processamento e serving
- Machine Learning e Inteligência Artificial na Nuvem
- Perguntas, respostas e encerramentoTrecho de 1 min 44 sTrecho de 1 min 23 s
Dúvidas que o conteúdo responde
Quais são os 5 Vs do Big Data destacados na palestra?
Os pilares conceituais abordados são Volume (grande escala dos dados), Velocidade (rapidez com que os dados chegam e são gerados), Variedade (diferentes tipos e formatos como JSON, CSV e texto), Veracidade (confiabilidade e certeza dos dados) e Valor (capacidade de entregar resultados úteis e aplicáveis ao negócio).
Como funciona a Arquitetura Lambda no ecossistema de Big Data?
A Arquitetura Lambda divide o tratamento de dados em três componentes principais: a Batch Layer, que processa grandes volumes históricos de dados em lote; a Speed Layer, voltada para processamento de novos dados em tempo real ou streaming; e a Serving Layer, que unifica os resultados de ambas as camadas para permitir consultas rápidas e visualização em dashboards.
Em qual camada da Arquitetura Lambda os modelos de Machine Learning costumam ser treinados?
Na abordagem tradicional, o treinamento, validação e teste dos modelos ocorrem na Batch Layer, onde se encontram grandes blocos de dados históricos. Já na Speed Layer, costuma-se carregar o modelo pré-treinado para efetuar inferências ou predições em tempo real nos dados que chegam, com exceção de modelos específicos de aprendizado incremental.
Quando é indicado utilizar bancos de dados relacionais versus NoSQL em Big Data?
Bancos relacionais funcionam bem até um certo patamar volumétrico, mas em cenários de Big Data com bilhões de registros consultas complexas e junções tornam-se proibitivas. Por isso, utilizam-se frequentemente tecnologias NoSQL para escalabilidade e desempenho, embora estejam surgindo soluções relacionais horizontalmente escaláveis como o Google Cloud Spanner.
O que é recomendado estudar para iniciar na carreira de Ciência de Dados?
Recomenda-se forte base em estatística e probabilidade, estudo dos modelos de Machine Learning e seus parâmetros, além de técnicas aprofundadas de limpeza, transformação e engenharia de features, visto que cerca de 80% do esforço do profissional consiste em preparar e tratar os dados antes de aplicar os algoritmos.
Assuntos
Palestrantes

Pedro Kássio Ribeiro Matos Loureiro de Carvalho
Palestrante
Mestre em Modelagem Matemática Computacional e Engenheiro de Computação pelo Centro Federal de Educação Tecnológica de Minas Gerais. Aluno de Doutorado em Modelagem Matemática Computacional do CEFET-MG. Professor no curso de Ciência de Dados e Big Data na Pontifícia Universidade Católica de Minas Gerais e professor contratado do Instituto Metodista Izabela Hendrix. Atualmente trabalha como Cientista de Dados na Localiza.
Outros conteúdos deste evento
Gravados no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
Effectuation para identificação de oportunidades e negócios
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
O professor André Geraldo da Costa Coelho apresenta a palestra 'Effectuation para identificação de oportunidades e negócios' durante evento virtual do IFMG. Ele discute a…
Ver resumo e capítulosCidades inteligentes e a relação entre tecnologias e pessoas
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
Nesta palestra realizada na Semana Nacional de Ciência e Tecnologia do IFMG Campus Santa Luzia, Leandro Luiz Santos discute o conceito e a aplicação prática das cidades…
Ver resumo e capítulosImportância da iniciação científica júnior e suas experiências
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
Nesta transmissão da Semana Nacional de Ciência e Tecnologia do IFMG Campus Santa Luzia, o professor Neilson José da Silva profere a palestra 'Importância da iniciação científica…
Ver resumo e capítulosMapeamento urbano com uso de drone
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
A palestra aborda o uso de drones para mapeamento em áreas urbanas, tendo como estudo de caso o levantamento piloto no IFMG Campus Santa Luzia e seu entorno. São explicados os…
Ver resumo e capítulosAlgoritmo do Instagram para engajamento em negócios
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
Membros do Núcleo de Inovação e Desenvolvimento Empresarial de Sabará (NIDES), do IFMG Campus Sabará, apresentam os fundamentos do funcionamento do algoritmo do Instagram voltado…
Ver resumo e capítulosPolíticas ambientais e conservação sociocultural no Brasil
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
A palestra aborda a interdependência entre conservação ambiental e sociocultural no Brasil e no mundo, destacando a relevância dos povos indígenas e comunidades tradicionais na…
Ver resumo e capítulosEducação ambiental para conservação e saúde ambiental
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
Neste minicurso, a professora Fernanda Matuk aborda a relação entre poluição, degradação ambiental e perda de biodiversidade no contexto da crise socioambiental contemporânea.…
Ver resumo e capítulosAgricultura 4.0: inovações e tecnologias para o campo
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
O professor Douglas Silva Parreira apresenta uma palestra sobre a Agricultura 4.0 no contexto da Semana Nacional de Ciência e Tecnologia do IFMG campus São João Evangelista. A…
Ver resumo e capítulosHistórico, definições e aplicações de Inteligência Artificial
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
A palestra aborda os conceitos fundamentais, histórico e aplicações práticas de Inteligência Artificial. A palestrante discute exemplos cotidianos como chatbots, previsão do…
Ver resumo e capítulosConstrução de Chatbots com Inteligência Artificial
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
A palestrante Edyene Cely Amaro Oliveira apresenta os conceitos fundamentais para o desenvolvimento de chatbots inteligentes utilizando redes neurais artificiais e processamento…
Ver resumo e capítulosManutenção e sua importância para performance de ativos
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
O palestrante Helder Delfino Lisboa aborda a estruturação da estratégia de manutenção e sua importância para a performance e confiabilidade dos ativos industriais. Com base no…
Ver resumo e capítulosIndústria 4.0 aplicada à competição Gray Wolf Baja
Gravado no evento Semana Nacional de Ciência e Tecnologia do IFMG - SNCT 2020
A transmissão aborda a evolução histórica das revoluções industriais e aprofunda os conceitos centrais da Indústria 4.0. No início, é apresentado o projeto da equipe estudantil…
Ver resumo e capítulos










