O desvio padrão é calculado por:
Onde é o valor real observado e
é o valor predito pelo modelo. Esta medida informa o quanto os valores reais se distanciam da função de predição. Portanto, quanto menor, melhor.
Devido ao fator quadrático, um resíduo maior é mais penalizado. Portanto, esta métrica é mais adequada quando a penalidade por um erro não é simplesmente proporcional ao tamanho desse erro.
O termo dentro da raíz também pode ser utilizado diretamente como métrica, que nesse caso é o MSE.
O erro médio absoluto é dado por:
Onde é o valor real e
é o valor predito pelo modelo.
Assim como o desvio padrão, indica quão distantes as predições estão dos valores reais, sendo que seu valor ideal é zero.
Diferentemente do desvio padrão, porém, esta métrica atribui pesos proporcionais aos resíduos individuais, ou seja, não penaliza tanto mais um resíduo quanto maior ele for. Por exemplo, um erro 5 vezes maior que outro afeta o resultado final 5 vezes mais.
Devido ao fator quadrático, o RMSE é sempre maior ou igual ao MAE.
O Coeficiente de determinação R2 é obtido através de:
Onde é o valor real,
é o valor predito pelo modelo e
é a média dos valores observados. O resultado pode ser negativo, variando entre -1 e 1 ou entre 0 e 1 em escala absoluta. O ideal é que o termo à direita seja o menor possível, e assim, o resultado se aproxima de 1.
O valor de R2, determina, se, a previsão obtida pelo método de regressão, pode ser melhorada. Em algumas bibliografias, R2 é dito variar entre 0 e 1, como é estabelecido no wikipedia, entretanto, na documentação da SKlearn R2 é dito variar entre -1 e 1, isto se deve ao fato do primeiro modelo, não nos dizer diretamente onde nosso modelo se encontra com relação à média dos valores, sendo representado por um valor absoluto, incapaz de dizer se o valor estimado encontra-se acima ou abaixo da média.
Para a R2, o melhor modelo é representado por um erro absoluto igual a 0 em todos os casos da regressão. O pior modelo seria o caso onde, não necessariamente teriamos um modelo pífio e com previsões péssimas e sim um caso onde, teriamos muitos dados faltantes para o calculo da estimativa do modelo.
O gráfico abaixo utiliza de um modelo para estimativa de preços de imóveis, sendo neste, representado um gráfico de melhor caso e pior caso.
- Performance measures (Datacamp)
- sklearn.metrics.mean_absolute_error (Scikit-Learn)
- sklearn.metrics.mean_squared_error (Scikit-Learn)
- sklearn.metrics.r2_score (Scikit-Learn)
- Mean absolute error (Wikipedia)
- Root mean square deviation (Wikipedia)
- Coefficient of determination (Wikipedia)
- How is the R2 value in Scikit learn calculated? (StackOverflow)
- RMSE: Root Mean Square Error (Statistics How To)
- MAE and RMSE — Which Metric is Better? (Human in a Machine World)
- Metrics – Regression (Josh Lawman)
- Intuition behind R2 and other regression evaluation metrics