ALÉM DO PANDAS E DO COLAB: APACHE SPARK, DATABRICKS E PIPELINE MEDALHÃO PARA BIG DATA ESCALÁVEL — ESTUDO DE CASO COVID-19

Ibisen de Brito Gonçalves

Resumo


A formação acadêmica em análise de dados frequentemente recorre a Pandas, Google Colab, R e MATLAB para exploração, estatística e visualização em um único nó computacional — abordagem adequada a datasets de porte moderado que cabem em memória, tipicamente na ordem de gigabytes (McKINNEY, 2022). Essas ferramentas não implementam, por si sós, processamento distribuído. Em contraste, ecossistemas lakehouse baseados em Apache Spark e Databricks suportam arquiteturas escaláveis para big data em produção, conforme documentado na literatura e em guias de referência (ZAHARIA et al., 2016; DATABRICKS, 2023). Este trabalho, conduzido por estudante de Engenharia Elétrica da Faculdade Uniúnica, relata a implementação de um pipeline ETL em Arquitetura Medalhão (Bronze, Silver, Gold) no Databricks Community Edition, utilizando o subconjunto latest/aggregated.csv do COVID-19 Open Data V3 (GOOGLE, s.d.; WALMSLEY et al., 2022). O estudo processou 22.712 registros, 737 variáveis e arquivo fonte de 24,1 MB, com abrangência geográfica global. Foram documentadas regras de ingestão, tipagem na camada Silver, validação por inspeção SQL e seleção de 99 variáveis com taxa de nulos ≤50% para análises confiáveis, excluindo 638 colunas esparsas. A conversão CSV→Parquet/Delta reduziu o volume em ≈4,3× em teste equivalente. Consultas SQL por país retornaram 233 linhas agregadas em 2,08 s. Os resultados incluem KPIs epidemiológicos, visualizações comparativas entre nações (Figuras 2 e 3) e proposta de evolução em Azure (Figura 4, não implementada). A orquestração foi realizada por notebooks encadeados (nt0–nt6) em cluster Spark 14.3 LTS. O repositório público goncalves-ibisen/covid19_open_data_v3 (acessível em https://github.com/goncalves-ibisen/covid19_open_data_v3, verificado em set./2026) contém notebooks nt0–nt6, instruções de execução e materiais necessários à reprodução do pipeline. Conclui-se que a experiência demonstra viabilidade pedagógica de introduzir stack corporativa de big data no contexto universitário, aproximando estudantes de práticas documentadas de engenharia de dados, vinculando cada afirmação aos resultados efetivamente obtidos, sem extrapolar para volumes ou efeitos educacionais não mensurados neste estudo.

Palavras-chave


big data; Apache Spark; Databricks; Pandas; COVID-19

Texto completo:

PDF

Apontamentos

  • Não há apontamentos.