A Constrained BART Model for Identifying Heterogeneous Treatment Effects in Regression Discontinuity Designs

Abstract

Este projeto propõe o modelo BART-RDD, uma modificação dos modelos Bayesian Causal Forest (HAHN; MURRAY; CARVALHO, et al., 2020; CHIPMAN; GEORGE; MCCULLOCH, et al., 2010) que utiliza uma nova priori de árvore de regressão que incorpora a estrutura única de desenhos de regressão em descontinuidade (RDD). Especificamente, adicionam-se restrições ao processo de crescimento das árvores para garantir a presença de unidades tratadas e não tratadas em um pequeno intervalo em torno do valor de corte da variável que determina tratamento (ponto no qual o efeito do tratamento é identificado). Mostra-se que os modelos BART e BCF sem modificações estima efeitos de tratamento mal neste contexto, enquanto o BART-RDD identifica os efeitos de forma acurada. Ao mesmo tempo, este modelo preserva a flexibilidade inerente de todos os modelos baseados no BART, permitindo redução de variância e efetiva exploração de heterogeneidade nos efeitos de tratamento. Foram realizadas simulações que sugerem que o BART-RDD obtém considerável redução de variância ao custo de algum viés. Porém, esta redução de variância é grande o suficiente para compensar o viés, levando a um estimador que é mais estável que outros estimadores de RDD e modelos baseados no BART sem modificação em diferentes cenários. Ilustra-se a aplicação do novo estimador pela reanálise dos dados de Lindo, Sanders, and Oreopoulos (2010), que investigam o efeito de suspensão acadêmica na performance de estudantes em uma universidade canadense.

This project proposes the BART-RDD model, a modification of the Bayesian Causal Forest model Hahn, Murray, Carvalho, et al. (2020) — itself an extension of the BART model of Chipman, George, McCulloch, et al. (2010) — which uses a novel regression tree prior that incorporates the unique structure of regression discontinuity designs. Specifically, we add constraints to the tree splitting process that assure overlap within a narrow band surrounding the running variable cutoff value (where the treatment effect is identified). We show that unmodified BART and BCF models estimate RDD treatment effects poorly, while our modified model accurately recovers treatment effects at the cutoff. At the same time, the model retains the inherent flexibility of all BART-based models, allowing it to reduce variance and effectively explore heterogeneous treatment effects. Simulation studies suggest BART-RDD obtains considerable variance reduction for ATE estimation at the cost of some bias. However, the variance reduction is large enough to compensate this bias, leading to an estimator which is more stable than other RDD estimators and unmodified BART-based models across different scenarios. We illustrate how to apply the new estimator by reanalyzing the data of Lindo, Sanders, and Oreopoulos (2010), who investigate the effect of being put on academic probation on student performance in a Canadian university.