Predicciones probabilistas de variables no escalables - Fiabilidad

El sesgo es una medida de fiabilidad. Las predicciones son fiables (es decir, no sesgadas) si, para cada probabilidad de predicción, la frecuencia con la que ocurre un evento es la misma que su probabilidad de predicción.

Por ejemplo, considera el sesgo de la predicción de la probabilidad 0.4. La anterior tabla de contingencia muestra que se predijo una probabilidad de 0.4 en 264 ocasiones, y de ellas, se observó precipitación en 114 ocasiones. Por lo tanto, en las ocasiones para las que se predijo una probabilidad de 0.4, la frecuencia observada de precipitación fue 114/264 = 0.432. Esto muestra que hay un pequeño sesgo en la predicción de la probabilidad de precipitación de 0.4. Puede calcularse el sesgo en forma parecida para cada predicción de probabilidad.

Por lo tanto, para un sistema de predicción determinado, habrá 11 figuras separadas de fiabilidad. Esta información puede resumirse mediante el trazado de un diagrama de fiabilidad:

Frecuencia observada/ Frecuencia de utilización
	Probabilidad de predicción

Esta figura es el diagrama de fiabilidad para los datos de PoP tabulados anteriormente. La línea roja representa una fiabilidad perfecta, y la línea negra es la fiabilidad real que se obtiene para cada probabilidad de precipitación. Las barras verdes muestran la frecuencia con la que cada probabilidad fue predicha realmente; esto proporciona una idea del error de muestreo para cada punto del gráfico de fiabilidad.

Por supuesto, puedes incluso representar el sesgo del sistema en conjunto; en este caso, el sesgo viene dado por

donde es la probabilidad media de predicción, y es la frecuencia con la que realmente ocurrió la lluvia. Al utilizar esta medida, una predicción perfectamente fiable puntúa un 0%, con valores negativos para la sub-predicción, y negativos para la sobre-predicción.