Representação de cenas 3D usando Deep Learning

Abstract

O trabalho presente aborda avanços na computação gráfica, com foco em técnicas de renderização 3D baseadas em Machine Learning, como Neural Radiance Fields (NeRF), Instant NGP, BakedSDF e Gaussian Splatting. A introdução destaca a importância da visão computacional e a evolução da renderização de imagens, desde problemas diretos até problemas inversos, onde se busca reconstruir cenas tridimensionais a partir de imagens. O Gaussian Splatting é detalhado como uma técnica que utiliza gaussianas 3D para modelar cenas de forma eficiente, permitindo otimizações precisas e renderizações rápidas. O documento também explora a visualização de malhas e volumétrica, além de sistemas para renderização volumétrica inversa, como NerfStudio e SDFStudio. Experimentos são realizados para ajustar hiper-parâmetros do Gaussian Splatting, analisando seu impacto em métricas como PSNR, FPS e tempo de convergência. A adição de uma loss extra, como o filtro de Sobel, é testada para melhorar a qualidade das bordas nas imagens geradas. Conclui-se que o Gaussian Splatting oferece avanços significativos em eficiência e qualidade visual, com potencial para aplicações em realidade virtual e aumentada. Trabalhos futuros incluem ajustes finos de hiper-parâmetros e novas adaptações na função de perda para otimizar ainda mais o desempenho do algoritmo.