Automatização web utilizando python
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação · 2 h 10 min de gravação
Trechos em vídeo

A importância de usar ambientes virtuais no Python
Trecho de a da gravação

O que é automação Web e os módulos do Selenium
Trecho de a da gravação

O que é Web Scraping e quando utilizá-lo
Trecho de a da gravação
Sobre o conteúdo
O vídeo apresenta o minicurso "Automatização web utilizando python", ministrado por Gustavo Barbosa na VI SETC - Semana de Engenharia, Tecnologia e Computação do IFMG Campus Bambuí. Inicialmente, a organização introduz o evento e o palestrante, que explica conceitos de automação web, testes de software e web scraping, destacando os módulos do ecossistema Selenium, como WebDriver, IDE e Grid, além de comentar a importância de documentações técnicas e requisitos de sistema.
Na sequência prática, o palestrante orienta a preparação do ambiente de desenvolvimento no Windows, explicando a instalação do Python 3.9, a inclusão do interpretador nas variáveis de ambiente (PATH), o uso do editor Visual Studio Code e a criação e ativação de um ambiente virtual (venv) para encapsular as dependências. Em seguida, instala pacotes via pip, detalhando a função do Selenium e do webdriver-manager para controle automatizado do Google Chrome.
A codificação avança com a demonstração de rotinas para abrir o navegador, definir dimensões de janela e aplicar tempos de espera implícitos (implicitly_wait) para lidar com carregamentos assíncronos. O ministrante demonstra a localização de elementos do DOM por nome, classe e ID, a simulação de digitação com send_keys e eventos de teclado como ENTER para navegar até o site KaBuM! e capturar listas de dados de produtos usando find_elements.
Para o tratamento dos dados raspados, Gustavo demonstra como iterar sobre os elementos HTML, extrair o texto de nomes e valores e consolidá-los em dicionários Python. Os dados são convertidos em um DataFrame e exportados para arquivo de planilha Excel (.xlsx) com a biblioteca Pandas e a engine openpyxl, além de incluir medição do tempo de execução com a biblioteca nativa time e tratamento de exceções com blocos try/except.
Ao final, o palestrante demonstra o empacotamento do script em um arquivo executável independente utilizando o PyInstaller com parâmetros de arquivo único (--onefile / -F) e ícone personalizado, tirando dúvidas dos participantes no chat sobre rotinas de scraping e testes práticos.
O que é abordado
- Abertura e apresentação do minicurso
- Apresentação do palestrante e fundamentos de automaçãoTrecho de 1 min 56 s
- Selenium WebDriver e documentação
- Instalação do Python e variáveis de ambiente
- Criação do projeto e primeiro teste em Python
- Configuração de ambiente virtual (venv) e instalação de pacotesTrecho de 1 min 26 s
- Codificação com Selenium: navegador e busca no Google
- Navegação no KaBuM! e conceitos de Web ScrapingTrecho de 1 min 4 s
- Extração de elementos do DOM, listas e dicionários
- Exportação para Excel com Pandas e openpyxl
- Formatação de tempo, try/except e geração de executável com PyInstaller
- Dúvidas e encerramento
Dúvidas que o conteúdo responde
Para que serve a configuração de implicitly wait no Selenium?
Serve para instruir o Selenium a aguardar determinado tempo (em segundos) caso um elemento procurado na página ainda não esteja disponível no DOM, amenizando problemas causados por carregamento assíncrono de elementos via JavaScript ou Ajax.
Qual é a diferença entre find_element e find_elements?
O método find_element procura e retorna apenas o primeiro elemento correspondente ao critério de busca especificado, enquanto find_elements retorna uma lista com todos os elementos da página que atendem ao seletor informado.
Por que utilizar ambiente virtual (venv) no desenvolvimento em Python?
O ambiente virtual cria um diretório isolado com seu próprio executável do Python e do pip, evitando conflitos de versões e incompatibilidades de bibliotecas entre projetos diferentes, além de encapsular apenas os módulos necessários.
Quais bibliotecas foram utilizadas para gerar o arquivo Excel a partir dos dados coletados?
Foram utilizadas as bibliotecas Pandas (para a estruturação dos dados em um DataFrame e chamada do método to_excel) e openpyxl (utilizada como motor ou engine de gravação para arquivos .xlsx).
Como o PyInstaller empacota o código em um arquivo executável único?
Utiliza-se o utilitário pyinstaller com o argumento -F (ou --onefile), que compila o interpretador, o script e todas as dependências necessárias dentro de um único executável .exe.
Assuntos
Palestrantes
Gustavo Barbosa
Ministrante
Outros conteúdos deste evento
Gravados no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
React e Styled Components
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
Neste minicurso da VI SETC, André Laurentino apresenta os conceitos fundamentais de desenvolvimento web com React e a biblioteca Styled Components. O palestrante demonstra a…
Ver resumo e capítulosIntrodução ao GIT
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
O minicurso Introdução ao Git, ministrado por Ítalo Oliveira durante a VI SETC, apresenta os conceitos e práticas essenciais do sistema de controle de versão distribuído. A…
Ver resumo e capítulosComputação em nuvem: visão, funcionamento, características e aplicações.
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
A palestra aborda os fundamentos, arquiteturas e características da computação em nuvem no âmbito dos sistemas distribuídos e de alto desempenho. São discutidas as diferentes…
Ver resumo e capítulosCRIPTOGRAFIA RSA: utilizando a Matemática para guardar segredos
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
A palestra aborda os fundamentos matemáticos e conceituais do algoritmo de criptografia assimétrica RSA durante a VI SETC. O professor Fábio Pires Mourão explica a evolução…
Ver resumo e capítulosMecatrônica no mundo contemporâneo
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
Na palestra "Mecatrônica no mundo contemporâneo", apresentada na VI SETC - Semana de Engenharia, Tecnologia e Computação, Wayne Pereira Albuquerque Cavalcanti Pinto discute o…
Ver resumo e capítulosPapel de um Engenheiro de Computação na digitalização de uma empresa tradicional com mais de 60 anos: Case Estação Algar Telecom
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
Lucas Vieira Murilo apresenta o case de transformação digital da Algar Telecom na VI Semana de Engenharia, Tecnologia e Computação. O palestrante aborda o histórico da empresa,…
Ver resumo e capítulosTópicos em biologia computacional
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
Nesta palestra do evento VI SETC - Semana de Engenharia, Tecnologia e Computação, Marco Vilela aborda três grandes frentes de pesquisa em Biologia Computacional ao longo de sua…
Ver resumo e capítulosMetodologias Ágeis
Gravado no evento VI SETC - Semana de Engenharia, Tecnologia e Computação
A palestra aborda os conceitos essenciais das metodologias ágeis com foco no desenvolvimento de software. A palestrante inicia contrastando a gestão tradicional e as nove áreas…
Ver resumo e capítulos






