Graduações em Engenharias e Ciência da Computação
URI permanente para esta coleçãohttps://repositorio.insper.edu.br/handle/11224/3249
Navegar
2 resultados
Resultados da Pesquisa
- Arquitetura em Cloud da pipeline de ETL (extract, transform, load) de dados financeiros(2023) Chieppe, Arthur Gomes; Rosada, Guilherme; Borges, Gustavo Marques; Eller, Vinicius GrandoEste projeto tem como objetivo desenvolver uma infraestrutura para a execução de pipelines de ingestão e transformação de dados, com intuito de elaborar uma base contendo métricas do mercado financeiro utilizadas pela empresa a fim de organizar portfólios de investimentos de forma sistemática. Essa infraestrutura deve atender alguns requisitos mínimos como: modularidade, escalabilidade, resiliência e um elevado grau de automação, atentando-se às restrições orçamentárias. Além disso, ela deve ser flexível à ponto de permitir à empresa fazer adaptações com facilidade e reconstruí-la, em caso de falha crítica. A solução proposta consiste em duas arquiteturas: híbrida e pública, para providenciar o orquestrador e executar as tarefas de processamento isoladamente. Por meio de uma infraestrutura como código, elas podem ser construídas, destruídas ou adaptadas para qualquer provedor. Elas exploram as qualidades do Apache Airflow e de diferentes recursos da nuvem para garantir qualidade dos dados, resiliência, escalabilidade e redução de custos, além de automatizar todo processo de entrega de novas atualizações. Para orientar a decisão da empresa sobre qual infraestrutura utilizar, foram realizados alguns testes com cenários próximos aos enfrentados pela empresa, a fim de se extrair métricas de desempenho e estimar custos.
Trabalho de Conclusão de Curso Escalabilidade e Resiliência em Investimentos Sistemáticos(2021) Moreira, Lucas Muchaluat; Pellizzon, Matheus; Daher, Pedro Henrique Carvalho; Ramos, Pedro TeófiloEste projeto tem como objetivo a construção de uma nova arquitetura para atender à pipeline completa dos fluxos de trabalho da empresa. Por pipeline completa, entende-se desde a coleta e tratamento dos dados, até a sua exposição via REST API para consumo nos workflows da companhia. A nova proposta proporciona um ambiente resiliente e escalável, de forma a permitir que a empresa não fique dependente de uma única fonte de dados e possa aumentar a sua oferta de produtos sem precisar desenvolver uma nova pipeline dedicada somente a esse novo produto. A arquitetura desenvolvida utiliza REST API para expor o microsserviço, bases de dados relacionais e não relacionais para a armazenar os dados e une sistemas de contêineres e filas para orquestrar as tarefas, permitindo o paralelismo das mesmas.