Navegando por Autor "Rosada, Guilherme"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Arquitetura em Cloud da pipeline de ETL (extract, transform, load) de dados financeiros
    (2023) Chieppe, Arthur Gomes; Rosada, Guilherme; Borges, Gustavo Marques; Eller, Vinicius Grando
    Este projeto tem como objetivo desenvolver uma infraestrutura para a execução de pipelines de ingestão e transformação de dados, com intuito de elaborar uma base contendo métricas do mercado financeiro utilizadas pela empresa a fim de organizar portfólios de investimentos de forma sistemática. Essa infraestrutura deve atender alguns requisitos mínimos como: modularidade, escalabilidade, resiliência e um elevado grau de automação, atentando-se às restrições orçamentárias. Além disso, ela deve ser flexível à ponto de permitir à empresa fazer adaptações com facilidade e reconstruí-la, em caso de falha crítica. A solução proposta consiste em duas arquiteturas: híbrida e pública, para providenciar o orquestrador e executar as tarefas de processamento isoladamente. Por meio de uma infraestrutura como código, elas podem ser construídas, destruídas ou adaptadas para qualquer provedor. Elas exploram as qualidades do Apache Airflow e de diferentes recursos da nuvem para garantir qualidade dos dados, resiliência, escalabilidade e redução de custos, além de automatizar todo processo de entrega de novas atualizações. Para orientar a decisão da empresa sobre qual infraestrutura utilizar, foram realizados alguns testes com cenários próximos aos enfrentados pela empresa, a fim de se extrair métricas de desempenho e estimar custos.