Puntuación de Brier

Cómo introducir pronósticos binarios resueltos

Cada fila debe incluir la probabilidad que asignaste al resultado (p, un número entre 0 y 1) y el resultado observado (y, que solo puede ser 1 si ocurrió o 0 si no ocurrió). La fórmula es la media de (p − y)² sobre todas las filas. Cuanto menor sea el resultado, mejor. Esta convención binaria sin escalar va de 0 a 1 y no debe confundirse con la versión de dos clases que va de 0 a 2.

Por ejemplo, si pronosticaste 0.8 y el resultado fue 1, la contribución de esa fila es (0.8 − 1)² = 0.04. Si el resultado fue 0, la contribución es (0.8 − 0)² = 0.64. Un pronóstico constante de 0.5 obtiene 0.25 en cualquier resultado binario. Estos ejemplos muestran que acercarse al resultado reduce la puntuación, pero un solo número no demuestra calibración ni habilidad en otra muestra.

Puedes usar la calculadora para sustituir la muestra ilustrativa por tu propio historial. Si quieres evaluar pronósticos generados por modelos, revisa primero nuestra guía para evaluar pronósticos con IA, donde se detallan los datos que conviene registrar.

La referencia de 0.5 y sus límites

Un pronóstico constante de 0.5 produce una puntuación de Brier de 0.25 en todos los casos. Esta cifra sirve como referencia simple, pero no es un umbral óptimo ni universal de rendimiento. Que un modelo obtenga menos de 0.25 en una muestra no garantiza que sea mejor en otra, ni que sea rentable en un mercado real.

La puntuación de Brier es una regla de puntuación propia que puede descomponerse en fiabilidad y resolución, como se describe en la literatura sobre pronósticos probabilísticos. Esa descomposición ayuda a analizar el rendimiento, pero no sustituye un examen separado de la calibración, el tamaño de la muestra y la incertidumbre.

Protocolo reproducible y comparación de muestras

Para comparar métodos con sentido, congela la pregunta, la regla de resolución, la marca temporal del pronóstico, la versión del modelo, las instrucciones y las fuentes disponibles en ese momento. Excluye información posterior y registra tanto los pronósticos como los resultados observados. Compara modelos y referencias en las mismas preguntas y el mismo horizonte, y declara las exclusiones y los pronósticos faltantes. Después calcula la puntuación de Brier y examina por separado la calibración, el tamaño de la muestra, la incertidumbre y los costes.

No saques conclusiones sobre rentabilidad ni rankings a partir de una sola puntuación. PolyZeno no ha medido resultados de modelos ni estrategias para este sitio, así que cualquier comparación que hagas debe basarse en tus propios datos y en las condiciones que hayas documentado. Si incluyes costes de operación, puedes usar la calculadora de costes para incluirlos en la estimación de valor esperado.