Combien d'historique faut-il pour l'entraînement ?

Tout pipeline walk-forward doit répondre à une question avant même que le premier fold ne tourne : combien d'historique faut-il pour l'entraînement. Trop peu, et le modèle poursuit du bruit. Trop, et il traîne un régime de marché qui ne s'applique plus. La plupart des équipes tranchent par habitude plutôt que par preuve, en général la fenêtre qui convenait à une première expérience, et n'y reviennent jamais.

Nous voulions une réponse directe, testée plutôt que supposée. Un historique plus long produit-il vraiment un meilleur modèle, ou paraît-il simplement plus rigoureux ? La réponse dépend-elle du marché, de la famille de modèle, ou de la fréquence de ré-entraînement ? Et, séparément, quelle que soit la longueur d'entraînement qui l'emporte sur la prédiction, l'emporte-t-elle aussi sur la ligne de P&L, une fois déduits les spreads réels, les frais, le slippage et le funding ?

Cet article détaille comment nous avons testé cela, sur deux classes d'actifs très différentes, trois familles de modèles et six longueurs d'entraînement, et ce que nous avons trouvé.

Nous avons entraîné les mêmes modèles sur six fenêtres de lookback différentes, d'un mois calendaire jusqu'à deux ans, et évalué chacune sur la barre suivant immédiatement la fin de la fenêtre d'entraînement. Pour s'assurer que la comparaison n'était pas un artefact d'un choix d'évaluation particulier, chaque longueur d'entraînement a été notée sous trois calendriers hors échantillon distincts : un test fixe d'un mois, un test fixe de trois mois, et une fenêtre de test égale aux deux tiers de la longueur d'entraînement, une règle empirique que certains praticiens utilisent pour garder le ratio entraînement/test à peu près constant à mesure que la fenêtre grandit.

L'univers couvrait deux marchés qui se comportent très différemment : un panier d'actions américaines à grande capitalisation et un panier de contrats perpétuels liquides sur Binance, chacun échantillonné à deux fréquences de barre. Trois familles de modèles ont été entraînées côte à côte : un modèle linéaire régularisé, un ensemble d'arbres à gradient boosting et un petit réseau de neurones, tous alimentés par le même ensemble de features techniques construit uniquement à partir du prix et du volume. Aucun modèle n'a jamais vu un chiffre de coût, de frais ou de funding en entrée ; ceux-ci n'intervenaient que plus tard, à l'étape du P&L.

Chaque combinaison de longueur d'entraînement, marché, fréquence et modèle a été testée en walk-forward sur environ trois ans et demi d'historique hors échantillon, en se ré-entraînant selon le calendrier tout du long, donc ce n'est jamais un instantané unique. La sélection à l'intérieur de chaque fenêtre utilisait une répartition entraînement/validation fixe et une grille d'hyperparamètres verrouillée, si bien qu'aucune longueur d'entraînement n'a jamais bénéficié d'un avantage de budget de recherche sur une autre. L'exécution complète a totalisé 5 868 fenêtres de modèle glissantes et 176 040 tentatives de configuration.

Nous avons ensuite traduit la configuration gagnante de chaque fenêtre en une position réelle : long sur les prédictions les plus fortes, short sur les plus faibles, dimensionnée et exécutée exactement comme le ferait un desk systématique, avec spreads mesurés, frais de courtage réels, slippage et funding signé déduits de chaque exécution. Cette étape sépare un modèle qui prédit bien d'un modèle qui aurait rapporté de l'argent, ce qui n'est pas la même affirmation.

Un historique d'entraînement plus long a produit de meilleures prédictions presque partout. Sous le calendrier fixe d'un mois, l'IC de rang cumulé est passé de 0.0068 à un mois d'entraînement à 0.0173 à 24 mois, avec le gain concentré sous les trois mois et un plateau peu marqué entre deux et six mois. Le calendrier de trois mois montre le même schéma, passant de 0.0063 à 0.0143.

Vingt-quatre mois a gagné toute comparaison à fenêtre fixe sous les calendriers un et trois mois, et égalé trois mois en nombre de cellules gagnées sous le calendrier deux tiers, où six mois s'est aussi approché de la médiane à 24 mois. En cumulant les 36 cellules marché, timeframe, modèle et calendrier sur l'IC prédictif cumulé, 24 mois est le vainqueur net, trois mois loin derrière en seconde place, et chaque longueur plus courte se partageant le reste.

L'agrégat masque une certaine texture. Les fenêtres plus courtes battent encore 24 mois sur une poignée de cellules individuelles, entre deux et quatre cellules selon le calendrier, après correction pour comparaisons multiples avec Benjamini-Hochberg. Vingt-quatre mois n'a été significativement pire sur aucune. Le résultat agrégé tient parce que les victoires de la longue fenêtre étaient plus amples et plus fréquentes que ses pertes occasionnelles, pas parce qu'elle a gagné partout.

Crypto et actions ont donné des réponses différentes. La crypto était le cas le plus net : 24 mois a gagné toute comparaison d'IC cumulé sur les deux fréquences et les trois familles de modèles sous les calendriers fixes, avec des IC gagnants atteignant 0.0526. Les actions n'ont jamais convergé vers une réponse unique. Trois mois a gagné la moitié des cellules à fenêtre fixe en actions, et le meilleur IC en actions n'a atteint que 0.0129, une fraction du meilleur résultat crypto. Si vous n'entraînez qu'un seul modèle sur un seul marché, voici le résultat à retenir : « utiliser plus d'historique » est presque une loi en crypto, et un défaut bien plus doux en actions.

Rien de tout cela n'a survécu aux coûts de transaction. Nous avons converti les prédictions de chaque fenêtre en un book long-short réel, entrant à l'ouverture de la barre suivante et sortant à la clôture de cette même barre, et l'avons facturé avec des coûts réels.

Les coûts en crypto ont atteint 3.7 bps par position sélectionnée contre 0.05 bps de P&L brut ; les coûts en actions ont atteint 0.8 bps contre 0.03 bps brut. Et la longueur d'entraînement qui prédisait le mieux n'a pas sauvé l'économie du système, parce que l'écart de coût n'a jamais été assez faible pour que la qualité de la prédiction compte.

Aucun des 180 contrastes de P&L net entre une longueur plus courte et 24 mois que nous avons testés n'était statistiquement distinguable de zéro après correction pour tests multiples, dans un sens comme dans l'autre. L'historique d'entraînement change la qualité de la prédiction. Il ne transforme pas cette stratégie particulière de classement à la barre suivante en une stratégie rentable.

Chaque vérification de fuite, de timing et d'intégrité que nous avons menée contre ce résultat a été concluante ; les vérifications exactes et leurs chiffres sont sur la page de reproductibilité.

• Le résultat décrit ce panier fixe de 20 instruments sur cette fenêtre d'environ 3.5 ans. Ce n'est pas une affirmation sur l'une ou l'autre classe d'actifs dans son ensemble.
• La crypto se négocie en continu ; les actions ont des écarts overnight. Les deux marchés partagent un calendrier d'entraînement et de test, mais pas la même économie de barre.
• Un instrument du panier crypto cesse de se négocier au milieu de l'échantillon et a été conservé plutôt que retiré, pour éviter un biais de survie, ce qui rend ce panel délibérément irrégulier.
• Le résultat économique est spécifique à une règle de classement long-short à la barre suivante, à poids de position fixes. Une période de détention, un style d'exécution ou une construction de portefeuille différents constituent un test différent.
• Vingt-quatre mois est le défaut le plus solide compte tenu des choix testés ici, pas un optimum mathématique. Des fenêtres plus courtes gagnent encore certaines cellules individuelles.