Tester une stratégie sans utiliser les informations du futur
Protocole de test chronologique sur marchés de prédiction : cotations exécutables, profondeur, frais, refus conservés et limites du LLM historique.
Dans ce guide
Ce qu'un backtest peut et ne peut pas établir
Un backtest simule une stratégie sur des données passées. Sur un marché de prédiction, la fuite d'information se produit quand ta décision utilise un prix, un volume ou une résolution connus seulement après l'instant où tu aurais réellement décidé. Le résultat est alors inventé, pas mesuré.
Le protocole proposé ici est illustratif, pas une étude empirique. Il repose sur une idée simple : ce que tu vois au moment de la décision doit être la seule donnée autorisée. Si tu ajoutes après coup une information postérieure, ton test mesure ta connaissance de l'histoire, pas la qualité de ta règle.
Découper l'historique sans mélanger les segments
Découpe ton historique en 3 blocs ordonnés : entraînement, validation, test. Tu règles tes choix sur l'entraînement, tu compares quelques variantes sur la validation, puis tu figes ta règle et tu l'appliques une seule fois au test. Les marchés du test doivent tous se situer après la fin de la validation. Si tu reviens sur le test pour ajuster un paramètre, il devient une validation déguisée et ta mesure perd son sens.
Ne trie pas par résultat. Garde les marchés sans cotation exploitable, ceux fermés avant ta fenêtre, les ordres jamais exécutés et les erreurs de données. Une performance qui ne conserve que les marchés gagnants ou liquides est biaisée par construction. En temps réel, ta stratégie aurait rencontré ces cas ; ton journal doit les refléter.
Quel prix utiliser pour décider
Sur un carnet d'ordres, le prix affiché est souvent le milieu entre le meilleur achat et la meilleure vente. Quand l'écart entre les 2 dépasse 0,10, c'est parfois le dernier échange qui est affiché. Aucun de ces 2 chiffres ne garantit une exécution. Un ordre au marché consomme plusieurs niveaux du carnet et subit du slippage, c'est-à-dire une exécution à un prix moins favorable que celui visé.
Pour décider dans ton backtest, prends une cotation exécutable à cette date, la profondeur disponible à ce moment et les frais alors applicables. Un ordre de taille importante contre un carnet étroit peut déplacer le prix moyen bien au-delà du milieu affiché. La liquidité et la profondeur du carnet déterminent si ton prix théorique était atteignable.
Calcul illustratif : du brut au net
Prenons un gain brut hypothétique de 20 unités de compte, puis des coûts d'entrée et de sortie totalisant 8. Le net ressort à 12. Ce calcul montre uniquement la mécanique des coûts ; il n'annonce aucun rendement. Si tu omets les marchés où la stratégie a perdu, où l'entrée a échoué ou où la sortie n'a pas été possible, ce 12 décrit une partie de ton activité et non son ensemble.
Le tableau ci-dessous illustre un journal de décision. Cet exemple fictif du protocole utilise des unités de compte hypothétiques pour montrer où placer les refus et les coûts.
| Instant | Marché | Cotation examinée | Décision | Raison | Résultat après résolution | Unité |
|---|---|---|---|---|---|---|
| 2026-01-05 14:00 | M1 | 0,62 achat / 0,66 vente | Entrée | Écart 0,04 | Gain brut 20 | unités de compte |
| 2026-01-05 14:05 | M1 | 0,62 achat / 0,66 vente | Sortie simulée | Coûts 8 | Net 12 | unités de compte |
| 2026-01-06 09:00 | M2 | aucune cotation | Refus | Pas de carnet | Non exécuté, conservé | unités de compte |
| 2026-01-07 18:00 | M3 | dernier échange 0,40 | Refus | Écart supérieur à 0,10 | Non exécuté, conservé | unités de compte |
| 2026-01-08 11:00 | M4 | 0,30 achat / 0,55 vente | Entrée | Profondeur faible | Perte simulée non détaillée | unités de compte |
Le LLM historique connaît peut-être la réponse
Un modèle de langage entraîné après la résolution d'un marché peut avoir mémorisé le résultat. Une réponse produite aujourd'hui sur un événement de 2023 ne démontre pas que le modèle l'aurait prévu en 2023. Pour étayer une prévision réellement non vue, il faut l'enregistrer avant la résolution : date, modèle exact, paramètres, question posée, puis attendre l'issue sans y toucher.
Un résultat historique peut provenir d'une réponse présente dans les données d'entraînement. Conserve la trace de l'analyse et les informations disponibles à la date évaluée ; une prévision enregistrée avant la résolution permet d'examiner une question dont l'issue était encore inconnue. Aucun résultat de benchmark n'a été produit dans ce guide.
Ce que ton test ne prouve toujours pas
Un backtest propre ne garantit pas qu'une stratégie gagnera. Il ignore les changements de règles, la disparition brutale de liquidité, les frais modifiés et les événements imprévisibles. Il dépend de la qualité de tes données et de la période choisie : un résultat positif sur un seul segment peut venir d'un régime de marché particulier.
Certains tournois de prévision offrent des prix de performance, d'autres non. Une série de questions peut ne comporter aucun prix, et les systèmes de score ne sont pas identiques partout. Vérifie les règles du lieu précis où tu opères avant de compter sur une récompense.
Construire ton journal de décision
Pour rendre ton test vérifiable, note au minimum : date et heure, marché, cotation exécutable observée, profondeur, frais estimés, décision, résultat après résolution, et si la décision a été prise avec ou sans information postérieure. Classe par ordre chronologique et ne consulte pas le test avant la fin. Ce réflexe réduit la fuite la plus courante.
Documente ton flux de travail avec un assistant IA pour conserver les étapes et les informations disponibles pour séparer collecte, analyse et décision, chaque étape reliée à une trace horodatée. Côté marchés, la liquidité et la profondeur du carnet fixent ce qui était réellement atteignable. Avant de généraliser, explore aussi l'IA appliquée aux marchés de prédiction pour situer les usages possibles.
Sources et vérification
Sources consultées
Sources consultées
Rédaction PolyZeno. Relecture automatisée avec DeepSeek V4.1 Flash.