Journal de prévisions : CSV, calibration et score de Brier

Le journal de prévisions, concrètement

Ce journal est un outil local, côté client. Tu saisis à la main une question, un identifiant, un horodatage UTC de prévision et une probabilité p entre 0 et 1. Plus tard, tu peux ajouter un résultat 0 (non) ou 1 (oui) et un horodatage de résolution. Tant qu'une ligne n'a pas de résolution, elle est écartée des métriques. Rien ne part sur le réseau, aucune synchronisation, aucun compte n'est créé. La persistance sur l'appareil reste optionnelle et demande un consentement explicite, avec export et effacement possibles.

Un mot sur le contexte. Metaculus, une plateforme publique de prévisions probabilistes, agrège des prévisions individuelles en prédictions communautaires et applique des critères de résolution objectifs. Certains tournois de cette plateforme ont des cagnottes, pas toutes les séries de questions. Ce journal ne reprend aucun barème officiel : il n'attribue ni récompense, ni classement, ni gain.

Format CSV et validation atomique

Le fichier CSV suit 6 colonnes dans cet ordre exact : id, question, forecast_at, probability, outcome, resolved_at. Les horodatages sont en UTC au format YYYY-MM-DDTHH:mm:ssZ ; la probabilité est un nombre entre 0 et 1 ; une ligne non résolue laisse outcome et resolved_at vides. Le journal limite l'import à 2000 lignes et 1 Mo, refuse les dates futures et exige que resolved_at soit strictement postérieure à forecast_at quand les 2 existent. Les identifiants doivent être uniques. Si une seule ligne est invalide, l'import échoue en bloc : aucune donnée partielle n'est chargée.

Cette validation impose une chronologie cohérente et bloque les dates futures, mais elle ne peut pas empêcher quelqu'un d'antidater une prévision après avoir vu le résultat, tant que l'horodatage reste antérieur à la résolution. Elle garantit la forme des lignes enregistrées, pas la sincérité de la saisie.

Score de Brier : 2 calculs pas à pas

Le score de Brier mesure l'erreur quadratique entre une probabilité annoncée et le résultat binaire. Plus bas, mieux c'est. Pour une prévision de 0,7 sur un événement qui finit par se produire (résultat 1) : (0,7 − 1)² = 0,09. Pour une prévision de 0,2 sur un événement qui ne se produit pas (résultat 0) : (0,2 − 0)² = 0,04. La moyenne des 2 contributions résolues vaut donc (0,09 + 0,04) / 2 = 0,065.

Le cas perdant mérite d'être regardé en face. Une prévision de 0,9 sur un événement qui n'arrive pas coûte (0,9 − 0)² = 0,81, soit 81 fois la contribution de 0,01 d’une prévision à 0,1 lorsque l’événement n’arrive pas. La pénalité grimpe à mesure que tu es à la fois confiant et faux. À l'inverse, annoncer 0,5 en permanence plafonne chaque contribution à 0,25 : sans information, tu restes dans une zone médiocre mais jamais catastrophique. Le score de Brier ne mesure pas ton profit, ni le rendement d'une stratégie, ni ce que tu aurais pu gagner sur un marché.

Exemple illustratif : 4 lignes, 2 résolues

Imaginons 4 questions saisies, dont 2 seulement sont résolues. Les lignes non résolues sont écartées du calcul. Le tableau ci-dessous est explicitement illustratif : il ne provient ni d'un test utilisateur, ni d'un compte réel, ni d'une observation empirique. Sa seule fonction est de montrer ce que le journal stocke et ce qu'il calcule à partir de ces données fictives.

Tranches de calibration : lire sans se raconter d'histoires

La calibration compare les probabilités annoncées aux fréquences observées dans des tranches. Si tu annonces entre 0,6 et 0,8 sur plusieurs questions résolues, la part de « oui » observée dans cette tranche devrait s'en approcher. Le journal affiche chaque tranche non vide avec son effectif, sans seuil minimum inventé. Avec un petit nombre de lignes, ces tranches sont très instables : 3 lignes dans une tranche ne valident pas un modèle de prévision, elles décrivent 3 résultats particuliers.

La calibration est un diagnostic, pas une promesse de profit. Une prévision bien calibrée peut rester non rentable après frais, slippage ou coût d'opportunité. Pour creuser la notion elle-même, ouvre le guide dédié à la notion de calibration.

Comparer et aller plus loin

Le score de Brier n'est pas la seule façon d'évaluer des probabilités : d'autres variantes utilisent des transformations logarithmiques ou des décompositions plus fines. Le journal n'impose aucune méthode : il expose les colonnes brutes pour que tu calcules ce que tu veux. Pour la définition formelle et les variantes, le guide sur le score de Brier détaille les propriétés et les pièges.

Si tu envisages d'automatiser la production de prévisions, le guide sur l'intelligence artificielle appliquée aux marchés de prédiction pose les questions utiles avant de coder quoi que ce soit. Et si tu veux tester une règle sur des données passées, le guide du backtest explique les biais méthodologiques classiques à éviter.

Limites et prochaine décision

Aucun test utilisateur n'est décrit ici. Ce journal ne gère ni devise, ni transaction, ni frais, ni ordre. Il ne te dit pas si une prévision mérite un pari, et il ne te conseille pas de trader parce qu'une espérance serait positive. Il stocke localement, après opt-in explicite, et permet export et effacement. Pas de VPN, pas de cloud, pas de compte.

La décision utile pour commencer : enregistre une dizaine de prévisions résolues, horodatages UTC stricts et identifiants uniques, puis compare ton score de Brier à celui d'une référence naïve qui annonce 0,5 partout. Si tes probabilités ne font pas mieux, le journal te le montrera sans flatterie, et tu sauras qu'il faut d'abord améliorer la méthode de prévision avant de chercher à gagner quoi que ce soit.