Estudo de Reinforcement Learning para o Mercado Financeiro

Abstract

O mercado ações é um ambiente complexo e volátil, por isso, encontrar uma estratégia favorável para analisá-lo é um desafio. Neste artigo serão utilizadas estratégias de fusão entre algoritmos de Reinforcement Learning para uma melhor análise desse mercado, visando maximizar o desempenho. Os algoritmos actor-critic, que serão treinados para a estratégia de fusão, são Advantage Actor Critic, Proximal Policy Optimization e Deep Deterministic Policy Gradient. A partir de um treinamento prévio, as fusões buscam priorizar o algoritmo com melhor estabilidade de acordo com as condições do mercado, com o objetivo de deixar o modelo robusto. As fusões são feitas para alcançar um melhor resultado do que os algoritmos individuais. A comparação entre os modelos é feita pelo Índice de Sharpe. O treinamento do modelo será feito pelas ações do Dow Jones e os indicadores técnicos utilizados são: Moving Average Convergence Divergence, Relative Strength Index, Commodity Channel Index e Average Directional Index.The financial market is a volatile environment, making it a challenge to find a favorable strategy to do trading. This article will use a strategy that merges three Reinforcement Learning algorithms for better market analysis, aiming to maximize returns. The actor-critic algorithms trained for this ensemble strategy are Advantage Actor Critic, Proximal Policy Optimization, and Deep Deterministic Policy Gradient. Through prior training, this fusion seeks to select the best algorithm to use depending on market conditions, with the goal of making the model robust enough to adjust to environmental conditions. This fusion proposal is made to achieve better results than the individual algorithms, comparing them based on the Sharpe ratio. The model will be trained using the stocks of the Dow Jones and the technical indicators used are: Moving Average Convergence Divergence, Relative Strength Index, Commodity Channel Index, and Average Directional Index.