Inferência é o processo de executar pontos de dados em um modelo de aprendizado de máquina para calcular uma saída, como uma única pontuação numérica.
Essa operação pode representar um desafio devido a fatores como limitações de hardware, complexidade do modelo e diversidade de dados.
Nesta palestra, vou apresentar Nebuly, um framework Python para otimização de modelos de IA, que ajuda a acelerar a inferência em várias plataformas de hardware de forma automática.