Detecção de Bugs em Modelos de Machine Learning

Abstract

Modelos de Machine Learning em produção muitas vezes apresentam comportamentos inesperados, que não foram detectados durante as etapas de treino, teste e validação, ao serem expostos a dados do mundo real. Esses comportamentos inesperados, ou “bugs” do modelo, ocorrem por diferentes motivos, como o não cumprimento de regras de negócio, dados de treino rotulados incorretamente e generalizações errôneas do próprio modelo. Este projeto tem como objetivo desenvolver uma biblioteca de Machine Learning explainability, open source, na linguagem de programação Python, que seja capaz de realizar diagnósticos e produzir relatórios que identifiquem esses bugs e comportamentos inesperados, permitindo assim que o cliente IFOOD, ou qualquer outro usuário da biblioteca, os corrija. Essa biblioteca poderá ser utilizada em modelos de classificação binária, na forma de “caixa-preta”, que foram treinados com dados tabulares.