Revue de recherche · processus de recherche · étude 11
Meta-Strategy Organization
Menez la recherche comme la chaîne de montage d'une usine, faite de postes spécialisés et séparables avec une seule porte de validation partagée, et journalisez chaque trial, car cacher le nombre de tentatives est ce qui transforme la sélection en faux avantage
C'est le couronnement du programme. López de Prado soutient que la recherche quant devrait être organisée comme la chaîne de montage d'une usine, faite de postes spécialisés et séparables, plutôt que comme un artisan solitaire, et liée par deux principes : la séparabilité (personne ne conçoit un pari et ne le note aussi) et la divulgation obligatoire (chaque trial de chaque poste est journalisé, de sorte qu'un gagnant rapporté peut être déflaté par le vrai nombre de tentatives N). L'anti-pattern contre lequel il met en garde est le quant “Sisyphus” solitaire, qui trouve des stratégies en backtestant une même idée encore et encore et ne rapporte que la meilleure. La preuve honnête de toute la thèse est la grille de notation du programme lui-même : environ 98 000 configurations de stratégie évaluées à travers les études, toutes mesurées à la même barre déflatée. Le null tient largement à travers les régimes naive et de série unique, presque rien ne franchit. Mais la porte n'est pas un non généralisé : trois régimes disciplinés survivent bel et bien à la déflation , le ranking cross-sectional avec un modèle gradient-boosted sur chaque horizon, la règle de trading Ornstein–Uhlenbeck/OU sur son véritable spread à retour à la moyenne, et la risk parity de grand univers. Ils approchent sans le battre le meilleur archétype statique (environ PF 1,17), et le pipeline de bout en bout entièrement divulgué ne déploie toujours rien dans une fenêtre tenue à l'écart. Le bac à sable ci-dessous montre exactement combien de Sharpe gratuit la sélection achète quand N est caché.
Working paper
rédaction en relecture, pas encore publiée
Code & données
lopez-de-prado-work-review / projects / 16
the claim
Ce que dit López de Prado
- La recherche quant devrait fonctionner comme la chaîne de montage d'une usine, faite de postes spécialisés et séparables, conservateurs de données, analystes de features, stratèges, backtesters et un poste de validation, déploiement et dimensionnement, supervision de portefeuille, et non comme un artisan solitaire qui fait tout.
- Deux principes lient la chaîne. La séparabilité : personne ne conçoit un pari et ne le note aussi, parce que celui qui construit une stratégie et la juge la jugera avec indulgence. La divulgation obligatoire : chaque trial de chaque poste est journalisé, de sorte que lorsqu'un gagnant est rapporté, le poste de validation connaît le vrai nombre de trials N et peut déflater le résultat.
- L'avertissement vise le quant Sisyphus solitaire, qui découvre des stratégies en backtestant à répétition une seule idée et en ne rapportant que la meilleure. La raison de son échec est mathématique, pas une affaire de volonté : essayez assez de configurations, ne rapportez que le gagnant, et le gagnant paraît fort même sans aucun avantage réel. Cacher N est ce qui rend le nombre dénué de sens ; divulguer N est la seule chose qui permette à quiconque de corriger pour cela.
our result
Ce que nous avons trouvé
- Le backtester solitaire ne gagne rien out-of-sample. Sur 1 208 fenêtres de walk-forward portant sur 39 instruments, choisir l'unique meilleure stratégie in-sample chaque trimestre et la déployer a donné un Sharpe out-of-sample réalisé et agrégé de moins 0,02 (intervalle à 95 pour cent de moins 0,21 à plus 0,18). Les choix affichaient un Sharpe in-sample médian de 3,09 annualisé, de sorte que la décroissance de l'in-sample vers l'out-of-sample était de 2,61 de Sharpe, la malédiction du vainqueur efface tout l'avantage apparent. Le Sharpe out-of-sample était négatif pour 82 pour cent des instruments et le taux de réussite médian était de 0,40, pire qu'un pile ou face. Le processus divulgué, refusant de déployer toute stratégie individuelle qui échoue à la déflation, n'a rien déployé.
- La diversification n'achète un avantage déflaté que là où le marché a une structure. Combiner de nombreuses stratégies faiblement corrélées a abaissé la corrélation médiane au sein de la shortlist à 0,11 et relevé le nombre effectif de paris indépendants à environ 17, mais le sleeve agrégé à politique fixe a tout de même réalisé un Sharpe out-of-sample de moins 0,64. Seuls 3 instruments sur 39 ont franchi la barre du Deflated Sharpe de 0,95 au niveau du portefeuille, et tous les trois sont de larges fonds indiciels d'actions (le proxy du Nasdaq-100 à un Sharpe OOS de 2,50 et DSR 1,00, le proxy du S&P-500 à 1,96, le proxy des small-caps à 0,85). Chaque sleeve de crypto, de FX, de secteur et de volatilité était négatif. Un portefeuille de bruit reste du bruit.
- Le propre meilleur résultat du programme tombe en dessous de l'espérance sans compétence. Le backtest overfitting, mesuré à l'échelle du programme par Combinatorially-Symmetric Cross-Validation, était de 0,21 (0,34 crypto, 0,11 FX, 0,00 actions). Et sur 985 570 configurations éligibles, le meilleur Sharpe annualisé observé est de 3,21, tandis que l'expected maximum Sharpe de trials purement sans compétence à cette échelle est de 5,22 à 5,61. Ainsi le meilleur résultat du programme, impressionnant isolément, se situe en dessous de ce que la seule sélection sur du bruit produirait une fois la recherche divulguée, la courbe franchit 3,21 à seulement environ 200 trials. Cet écart, divulgué clairement, c'est la thèse.
- Mais le null n'est pas absolu, la discipline survit là où la recherche naive échoue. Trois régimes franchissent honnêtement la porte de déflation. Le ranking cross-sectional avec un modèle gradient-boosted franchit la barre du Deflated Sharpe sur 10 horizons de détention sur 10 (probability of backtest overfitting 0,10, corrélation de rang de l'in-sample vers l'out-of-sample 0,78, profit factor out-of-sample médian d'environ 1,12), le premier avantage de machine learning du programme à survivre au DSR. L'optimal-trading-rule Ornstein–Uhlenbeck/OU, exécutée dans son véritable régime (le spread résiduel d'une paire cointégrée plutôt qu'une série unique), franchit le DSR sur 3 paires sur 5 à un profit factor médian de 2,11 et bat un contrôle de Bollinger-band sur 4 sur 5. Et la hierarchical risk parity (HRP) de grand univers montre un véritable avantage de variance out-of-sample sur l'equal weight qui croît avec l'ampleur (ratio de variance HRP-sur-1/N de 0,87 à 25 noms, 0,45 à 200). Chacun d'eux approche sans le battre le meilleur archétype structurel statique à environ PF 1,17, et le pipeline de bout en bout entièrement divulgué ne déploie toujours rien dans une fenêtre tenue à l'écart, la lecture honnête est donc que le ML discipliné fait jeu égal avec l'avantage statique sans le dominer.
Le résultat en trois lignes
E1 · 1 208 fenêtres · 39 instruments
Le backtester solitaire ne gagne rien out-of-sample
Choisir l'unique meilleure stratégie in-sample chaque trimestre et la déployer a donné un Sharpe out-of-sample réalisé et agrégé de moins 0,02 (intervalle à 95 pour cent de moins 0,21 à +0,18). Les choix affichaient un Sharpe in-sample médian de 3,09, de sorte que la décroissance était de 2,61 de Sharpe, la malédiction du vainqueur efface tout l'avantage. Le Sharpe out-of-sample était négatif sur 82 pour cent des instruments ; le taux de réussite médian était de 0,40. Le processus divulgué, refusant toute stratégie individuelle qui échoue à la déflation, n'a rien déployé sur les 1 208 fenêtres.
E2 · 39 instruments · ~17 paris effectifs
La diversification ne paie que là où le marché a une structure
Combiner des paris faiblement corrélés a réduit la corrélation médiane au sein de la shortlist à 0,11 et relevé le nombre effectif de paris à environ 17, mais le sleeve agrégé à politique fixe a tout de même réalisé un Sharpe out-of-sample de moins 0,64. Seuls 3 instruments sur 39 ont franchi la barre du Deflated Sharpe de portefeuille de 0,95, et tous les trois sont de larges fonds indiciels d'actions (QQQ à OOS 2,50 / DSR 1,00, SPY 1,96, IWM 0,85). Chaque sleeve de crypto, de FX, de secteur et de volatilité était négatif.
E4 · 985 570 trials · meilleur 3,21
Le meilleur du programme est en dessous de l'espérance sans compétence
Le backtest overfitting à l'échelle du programme était de 0,21 (0,34 crypto, 0,11 FX, 0,00 actions). Sur 985 570 configurations éligibles, le meilleur Sharpe annualisé observé est de 3,21, tandis que la seule sélection sur du bruit à cette échelle serait attendue produire 5,22 à 5,61. Le meilleur résultat se situe en dessous de l'espérance sans compétence une fois la recherche divulguée ; la courbe franchit 3,21 à seulement environ 200 trials. Cet écart, c'est l'effet de divulgation, et la thèse.
Discipline · 3 régimes franchissent le DSR
Mais le null n'est pas absolu, la discipline survit
La porte n'est pas un non généralisé. Le ranking cross-sectional avec un modèle gradient-boosted franchit la barre du Deflated Sharpe sur 10 horizons sur 10 (PBO 0,10, ρ de rang IS→OOS 0,78, PF médian ~1,12), le premier avantage de ML du programme à survivre au DSR. L'OU sur son véritable spread à retour à la moyenne franchit le DSR sur 3 paires cointégrées sur 5 (PF médian 2,11). L'avantage de variance de la risk parity de grand univers sur le 1/N croît avec l'ampleur (0,87 → 0,45 de 25 à 200 noms). Chacun approche sans le battre le meilleur archétype statique (~PF 1,17), et le pipeline entièrement divulgué ne déploie toujours rien hors échantillon.
Divulguez vos trials
Faites glisser le nombre de configurations N qu'un chercheur a discrètement explorées. La courbe est l'expected maximum Sharpe de stratégies sans compétence ; sans avantage réel, le meilleur de N grimpe tout de même avec N. Le repère du quant solitaire se situe à 2 500 trials silencieux. C'est un mécanisme pédagogique, pas une revendication négociable.
L'intérêt du bac à sable, c'est que la sélection se déguise en compétence à moins que chaque trial ne soit divulgué. Montez N et l'expected maximum Sharpe d'une recherche sans avantage grimpe avec lui, à 2 500 trials il est proche de 1,8, un nombre qui ressemblerait à une stratégie sérieuse. Un quant solitaire qui ne rapporte que le meilleur de ces trials et cache N vous tend ce chiffre comme s'il s'agissait de compétence. Divulguer N est la seule chose qui permette au Deflated Sharpe Ratio de soustraire ce benchmark et de déflater le gagnant vers la barre de hasard de 0,95. Cette discipline de divulgation est exactement ce que la chaîne de montage institutionnalise.
Démo, divulguez vos trials
Faites glisser le nombre de configurations N qu'un chercheur a discrètement explorées. La courbe est l'expected maximum Sharpe de stratégies sans compétence (False Strategy Theorem, T = 1000 observations par trial) : avec zéro avantage réel par construction, le meilleur de N backtests grimpe tout de même avec N. Un quant solitaire qui ne rapporte que le meilleur et cache N vous tend ce nombre comme s'il s'agissait de compétence. Divulguer N est la seule chose qui permette au Deflated Sharpe Ratio de soustraire ce benchmark.
N est le vrai nombre de configurations essayées, y compris chaque ré-exécution silencieuse.
Le seul meilleur de N backtests, annualisé, le seul nombre qui est publié.
Explorer … → 1.76. configurations sans compétence et ne rapporter que la meilleure achète tout ce Sharpe annualisé par pure sélection. Tant que N n'est pas divulgué, il n'y a aucun moyen de le distinguer de la compétence ; une fois qu'il l'est, le Deflated Sharpe Ratio soustrait le benchmark et le gagnant déflate vers la barre de hasard de 0,95.
Le piège de Sisyphus, quantifié
Le False Strategy Theorem donne l'expected maximum Sharpe de N trials sans compétence, chacun estimé sur une piste de T observations. Avec zéro avantage réel par construction, le meilleur de N backtests grimpe tout de même régulièrement avec N, et cette montée est de la pure sélection. À 2 500 trials silencieux, la taille du corpus crypto par instrument de ce programme, la sélection seule achète environ 1,8 de Sharpe annualisé. Si le quant ne vous dit jamais N, vous n'avez aucun moyen de savoir que le 1,8 est un mirage. Divulguer N est exactement ce qui permet au Deflated Sharpe Ratio de soustraire ce benchmark et de révéler le gagnant comme de la chance.
Six postes séparables, une porte partagée
Le schéma dispose les six postes et relie chaque étude achevée au poste qu'elle a mis à l'épreuve : conservateurs de données (barres pilotées par l'information, différenciation fractionnaire), analystes de features (ruptures structurelles et entropie, features microstructurelles, facteurs causaux), stratèges (triple-barrier et meta-labeling, labels de trend-scanning), backtesters et validation (cross-validation purgée, ensembles et importance, et le harnais d'overfitting et de Deflated Sharpe lui-même), déploiement et dimensionnement (dimensionnement de pari, règles optimales de trading), et supervision de portefeuille (construction de portefeuille). Aucune étude isolée n'a tout fait, et aucune étude n'a noté son propre travail, parce que le poste de validation était partagé et appliqué à l'identique. La boucle de divulgation journalise chaque trial pour que la porte puisse déflater par le vrai N.
La grille de notation du programme : la porte a largement tenu, mais la discipline l'a franchie
Configurations évaluées versus configurations franchissant la porte de déflation, par étude. À travers les études naive et de série unique, la chaîne a évalué environ 98 000 configurations et presque aucune n'a franchi ; le corpus d'overfitting de 92 500 stratégies passe dans 0 marché sur 3. Mais la porte n'est pas un non généralisé. Trois régimes disciplinés survivent honnêtement à la déflation : le ranking cross-sectional avec un modèle gradient-boosted franchit le DSR sur 10 horizons sur 10 (le premier avantage de machine learning du programme à survivre au DSR), la règle Ornstein–Uhlenbeck/OU sur son véritable spread à retour à la moyenne franchit 3 paires cointégrées sur 5, et l'avantage de variance out-of-sample de la risk parity de grand univers sur l'equal weight croît avec l'ampleur. Chacun approche sans le battre le meilleur archétype statique près de PF 1,17. L'usine a tourné de bout en bout, et la porte a dit non à la recherche naive et oui seulement à la discipline, ce qui est la discipline fonctionnant comme voulu.
Le programme comme chaîne de montage, une méta-analyse
Chaque étude, mesurée à une seule barre déflatée
Chaque nombre ci-dessous est lu dans les propres tables de résultats des études. Le verdict est à deux faces : les études naive et de série unique, environ 98 000 configurations, ne franchissent presque rien, tandis que trois régimes disciplinés survivent bel et bien à la même barre déflatée (le ranking cross-sectional avec un modèle gradient-boosted, la règle Ornstein–Uhlenbeck/OU sur son véritable spread à retour à la moyenne, et la risk parity de grand univers). Les études de représentation des données (barres pilotées par l'information, différenciation fractionnaire) et l'étude de fuite relèvent d'un travail sur les propriétés statistiques, sans coût par nature, donc elles ne portent aucune porte de déflation au niveau de la stratégie et sont exclues du total de trials et signalées comme telles.
| étude | poste | trials | franchissent DSR>0.95 | revendication reproduite |
|---|---|---|---|---|
| Backtest overfitting & DSR | Validation | 92,500 | 0 / 3 markets | Yes, best Sharpe below the null E[max] in all 3 markets; DSR 0.00–0.03 |
| Information-driven bars | Data representation | , | n/a | Yes, excess kurtosis collapses toward Gaussian in all 3 markets (property study) |
| Fractional differentiation | Data representation | , | n/a | Yes, FFD keeps ~0.98 memory while buying stationarity (property study) |
| Triple-barrier + meta-labeling | Labeling | 1,134 | 0 / 42 | Partly, mechanics reproduce; meta-label adds no deflated edge |
| Purged CV / CPCV leakage | Validation | , | n/a | Yes, naive k-fold inflates the score; purging removes it (property study) |
| Trend-scanning labels | Labeling | 378 | 19 / 42 | Partly, DSR hits exist but the labeller ties its fixed-horizon control (19 vs 18 of 42) |
| Structural breaks & entropy | Features | 108 | 0 | Yes as features, but not tradeable; best DSR 0.002 |
| Microstructural features | Features | 144 | 0 | Partly, estimators cheap, but nothing tradeable after costs |
| Cross-sectional ML (LightGBM ranking) | Model / strategy | 10 horizons | 10 / 10 | Yes, the program's first DSR-surviving ML edge; PBO 0.10, IS→OOS rank ρ 0.78, median PF ~1.12; approaches but does not beat the best static archetype |
| Ensembles & feature importance | Model / importance | 1,280 | 0 / 40 | Yes on the science, bagging gap ~5× smaller, MDA less biased; no deflated edge |
| Bet sizing | Sizing | 1,344 | 0 / 42 | Partly, sizing changes turnover, not deflated performance (PBO ~0.49) |
| Optimal trading rules (OU on a cointegrated spread) | Sizing / exits | 5 pairs | 3 / 5 | Yes in its true regime, on the mean-reverting residual spread the OU rule clears DSR on 3 of 5 pairs (median PF 2.11) and beats the band control on 4 of 5; the single-series mesh still ties its IS-tuned control |
| Portfolio construction (HRP / large universe) | Allocation | 5 sizes | ranking | Yes on ranking, HRP's out-of-sample variance advantage over 1/N grows with breadth (HRP/1N variance 0.87 at N=25 → 0.45 at N=200); 0 clear an absolute DSR on this net-noisy panel |
| Causal factor investing | Features / validation | 9 | 0 | Yes, MC reproduces the bias; no real factor survives adjustment + deflation (best DSR 0.45) |
“Trials” compte les configurations de stratégie évaluées ; les études de propriétés ne portent aucune porte de déflation de stratégie et sont exclues du total de ~98 000 du régime naive. La seule donnée synthétique de tout le programme est le Monte Carlo étiqueté qui valide la formule de l'expected-max-Sharpe ; tout le reste est de la donnée de marché réelle. Les régimes disciplinés qui franchissent la porte, ranking cross-sectional (10 horizons sur 10), OU sur son véritable spread cointégré (3 paires sur 5) et risk parity de grand univers, approchent sans le battre le meilleur archétype statique près de PF 1,17 ; les anciens meilleurs de trend-scan de série unique et de mesh OU font encore jeu égal avec leurs propres contrôles calés in-sample.
Quatre expériences sur le propre corpus du programme
Environ 1,20 million de configurations de stratégie, sur 42 instruments, mises à l'épreuve
Le tableau de bord ci-dessus, c'est le programme qui lit ses propres tables de résultats. Les quatre expériences ci-dessous vont plus loin : elles ré-exécutent la thèse organisationnelle comme une expérience contrôlée, nette de coûts, sur le propre corpus de résultats réels de stratégie du programme, environ 1,20 million de configurations de stratégie sur 42 instruments couvrant la crypto, les actions et le change, chaque flux réalisé étant net de coûts et purgé de tout look-ahead par construction. Chaque expérience répond à une question soulevée par la thèse, et là où le résultat est négatif, il est rapporté comme négatif.
E1 · Sisyphus contre la chaîne d'assemblage divulguée
Sur 1 208 fenêtres de walk-forward portant sur 39 instruments (un an in-sample, un trimestre out-of-sample, par pas trimestriel), nous avons exécuté deux processus de recherche côte à côte sur le même vivier de candidates. Le backtester solitaire choisit l'unique meilleure stratégie in-sample à chaque fenêtre et la déploie ; la chaîne d'assemblage divulguée filtre le vivier contre le null du False Strategy Theorem pour le nombre total de trials recherchés et ne déploie que les stratégies qui franchissent la barre du Deflated Sharpe.
Les choix du backtester solitaire affichaient un Sharpe in-sample médian de 3,09 annualisé et un Sharpe out-of-sample réalisé et agrégé de moins 0,02 (intervalle à 95 pour cent de moins 0,21 à plus 0,18). La décroissance moyenne de l'in-sample vers l'out-of-sample était de 2,61 de Sharpe annualisé, la malédiction du vainqueur efface tout l'avantage apparent. Le Sharpe out-of-sample réalisé était négatif pour 82 pour cent des instruments, et le taux de réussite médian était de 0,40, pire qu'un pile ou face. Le processus divulgué, exigeant que toute stratégie individuelle franchisse le null des trials divulgués, n'a rien déployé dans aucune des 1 208 fenêtres ; le Deflated Sharpe de la meilleure stratégie individuelle était effectivement nul à chaque fenêtre (maximum par fenêtre 0,0001), et abaisser la barre de 0,95 à 0,60 n'a rien changé. Refuser de déployer n'est pas un échec de la discipline ; c'est la discipline qui rapporte correctement qu'aucun backtest individuel ne survit dès lors qu'on admet combien ont été essayés.
E2 · La meta-strategy portfolio
La réponse constructive de López de Prado n'est pas une grande stratégie mais beaucoup de stratégies faibles et faiblement corrélées combinées, déflatant le sleeve plutôt que chaque partie. Nous avons construit des shortlists diversifiées par instrument et par fenêtre, alloué de quatre façons, et déflaté le sleeve contre un null au niveau du portefeuille.
La diversification était réelle : la corrélation absolue médiane au sein de la shortlist est tombée à 0,11 et le nombre effectif de paris indépendants est monté à environ 17. Mais combiner des paris faibles n'a, pour l'essentiel, fait que combiner du bruit. Le sleeve agrégé à politique fixe affichait un Sharpe out-of-sample réalisé de moins 0,64, et seuls 3 instruments sur 39 ont franchi la barre du Deflated Sharpe de 0,95 au niveau du portefeuille, et tous les trois sont de larges fonds indiciels d'actions. Chaque sleeve de crypto, de change, de secteur et de volatilité était négatif. La diversification abaisse la corrélation et relève le nombre effectif de paris exactement comme annoncé ; que cela achète un avantage déflaté dépend entièrement de ce que le marché porte une structure persistante après coûts. Un portefeuille de bruit reste du bruit.
E2 · les seuls sleeves qui ont franchi la barre
Trois larges indices d'actions, et rien d'autre
Sur 39 instruments, seuls trois ont franchi la barre du Deflated Sharpe de 0,95 au niveau du portefeuille, et tous les trois sont de larges fonds indiciels d'actions. Chaque sleeve de crypto, de change, de secteur et de volatilité affichait un Sharpe out-of-sample réalisé négatif et un Deflated Sharpe de portefeuille nul ou proche de zéro.
| sleeve | ce que c'est | Sharpe OOS (ann.) | DSR de portefeuille |
|---|---|---|---|
| QQQ | Nasdaq-100 index proxy | 2.50 | 1.00 |
| SPY | S&P 500 index proxy | 1.96 | 1.00 |
| IWM | small-cap (Russell 2000) proxy | 0.85 | 1.00 |
Sharpe out-of-sample réalisé du meilleur sleeve déflaté, avec le Deflated Sharpe Ratio au niveau du portefeuille. Le sleeve agrégé à politique fixe sur l'ensemble des 39 instruments était de moins 0,64 ; le Deflated Sharpe de portefeuille médian était essentiellement nul. L'avantage qui survit, c'est le marché, pas la recherche.
E3 · Probability of backtest overfitting au niveau du programme
La Probability of Backtest Overfitting demande à quelle fréquence la meilleure stratégie in-sample atterrit dans la moitié inférieure out-of-sample sous Combinatorially-Symmetric Cross-Validation. Une valeur proche de 0,5 signifie que le classement in-sample ne porte aucune information out-of-sample. Nous l'avons exécutée sur la vraie matrice de PnL net quotidien de chaque instrument, en échantillonnant jusqu'à 1 500 stratégies filtrées par activité par instrument avec une graine fixe.
La probability of backtest overfitting à l'échelle du programme était de 0,21. Par marché elle était de 0,34 pour la crypto, de 0,11 pour le change et de 0,00 pour les actions. Les classements d'indices d'actions sont stables out-of-sample ; les classements crypto sont proches d'un pile ou face ; le change se situe entre les deux. L'ordre reproduit l'étude par-corpus antérieure du programme sur une grille plus petite, le corpus quotidien plus vaste et plus divers ici montrant un peu plus de marge de surapprentissage en crypto et en change, exactement ce à quoi l'on s'attend quand l'espace de recherche grandit.
E3 · surapprentissage par marché
Le même diagnostic sépare proprement les marchés
Probability of backtest overfitting par marché, agrégée sur les instruments via Combinatorially-Symmetric Cross-Validation sur les vraies matrices de PnL net quotidien. Une valeur proche de 0,5 signifie que le classement in-sample ne porte aucune information out-of-sample.
| marché | PBO | lecture |
|---|---|---|
| Equities | 0.00 | rankings stable out of sample |
| Foreign exchange | 0.11 | in between |
| Crypto | 0.34 | close to a coin flip |
| Program-wide | 0.21 | pooled across all instruments |
Probability of backtest overfitting à l'échelle du programme 0,21 (médiane par instrument 0,22), avec une plage par instrument de 0,00 à 0,63. Le backtest overfitting est réel et fortement dépendant du marché.
E4 · Le meilleur résultat du programme, contre l'espérance sans compétence
Le False Strategy Theorem dit que l'expected maximum Sharpe de N trials sans compétence croît avec N et avec la dispersion des Sharpes des trials. Nous avons mesuré les trois à partir du corpus réel : le nombre de trials, la dispersion empirique des Sharpes par stratégie, et le nombre effectif de trials indépendants à partir du participation ratio des valeurs propres de la structure de corrélation réelle.
Le programme a recherché 985 570 configurations éligibles. La structure de corrélation réelle est lâche (corrélation absolue médiane 0,05), de sorte que le nombre effectif de trials indépendants est de 186 139, soit environ 19 pour cent du nominal. Le meilleur Sharpe annualisé observé sur l'ensemble du corpus est de 3,21, sur le proxy du Nasdaq-100. L'expected maximum Sharpe de trials purement sans compétence à cette échelle est de 5,61 sous le décompte nominal et de 5,22 sous le décompte effectif. D'où le chiffre le plus frappant de l'étude : le propre meilleur résultat du programme, impressionnant isolément, se situe en dessous de ce que la seule sélection sur du bruit serait attendue produire une fois divulgués les quelque un million de trials. La courbe sans compétence franchit 3,21 à seulement environ 200 trials. Avec une recherche aussi vaste, un Sharpe de 3,21 ne suit même pas le rythme du hasard. C'est la thèse en une seule figure.
E4 · le meilleur du programme contre le null
Meilleur observé 3,21, attendu du seul bruit 5,22 à 5,61
Les ingrédients de la comparaison d'expected maximum Sharpe à l'échelle du programme, tous mesurés à partir du corpus réel. Le meilleur observé tombe en dessous de l'espérance sans compétence aux décomptes nominal et effectif de trials.
| quantité | valeur | note |
|---|---|---|
| Eligible configurations searched | 985,570 | 1.20M in total |
| Effective independent trials | 186,139 | ~19% of nominal; median |corr| 0.05 |
| Observed best Sharpe (ann.) | 3.21 | Nasdaq-100 proxy |
| E[max Sharpe], nominal N | 5.61 | skill-less expectation |
| E[max Sharpe], effective N | 5.22 | skill-less expectation |
| Trials to reach 3.21 by chance | ~200 | where the skill-less curve crosses the observed best |
Le N effectif est mesuré par instrument à partir du participation ratio des valeurs propres et sommé sur les instruments, en traitant les instruments comme des blocs indépendants, une estimation conservatrice-basse de la redondance entre instruments. Le meilleur observé de 3,21 reproduit indépendamment le chiffre antérieur de meilleur-du-corpus du programme.
Toute la chaîne de montage, enchaînée et exécutée une fois
Les quatre premières expériences disséquent le programme une station à la fois. Le test final du capstone fait l'inverse : il enchaîne toutes les stations en un seul système divulgué et l'exécute une fois, de bout en bout, sur une fenêtre temporelle jamais touchée pendant le calibrage. Les information-driven bars (dollar bars) alimentent les triple-barrier labels ; les poids de sample-uniqueness réduisent le poids des événements qui se chevauchent ; un modèle d'arbres en bagging avec un meta-label gate décide quand agir ; une règle de bet sizing dimensionne la position ; la Hierarchical Risk Parity répartit entre les sleeves qui se qualifient ; et un deploy gate de Deflated Sharpe Ratio, fixé à 0,95 contre le nombre divulgué de trials, a le dernier mot. Six instruments, 162 configurations cherchées au total, les derniers 20 pour cent de chaque série mis de côté, 7 points de base de coût par côté.
Le pipeline divulgué n'a rien déployé. Le Deflated Sharpe de calibrage d'aucun instrument n'a franchi la barre de 0,95, donc le gate est resté en liquidités et a réalisé exactement zéro. Le choix Sisyphus, l'unique meilleure configuration in-sample, déployée à l'aveugle, a perdu de l'argent out-of-sample, avec un Sharpe annualisé de -0,83 et un profit factor de 0,96. Le seul flux réalisé positif sur la fenêtre mise de côté était le simple buy-and-hold, à +1,81. La thèse se résume ici à une seule décision, et le gate divulgué la prend correctement : il refuse d'expédier le choix perdant du backtester solitaire.
E5 · un pipeline divulgué, noté une seule fois sur du temps mis de côté
Le gate n'expédie rien, le choix solitaire perd, seul le buy-and-hold est positif
Résultat réalisé agrégé sur la fenêtre out-of-time mise de côté sur six instruments. Le pipeline avec DSR gate est le système divulgué ; le choix Sisyphus est la meilleure configuration in-sample du backtester solitaire déployée à l'aveugle ; le buy-and-hold est le benchmark passif.
| processus | Sharpe OOS (ann.) | PF OOS | déploie ? |
|---|---|---|---|
| assembled pipeline (DSR-gated) | 0.00 | n/a | NO, held cash |
| Sisyphus best-in-sample pick | -0.83 | 0.96 | deploys blindly |
| buy and hold | +1.81 | 1.06 | , |
L'out-of-sample est constitué des derniers 20 pour cent de chaque série, jamais utilisés au calibrage ; le coût est de 7 points de base par côté ; le deploy gate est un Deflated Sharpe Ratio de 0,95 contre les 162 configurations divulguées. Aucun instrument n'a franchi le gate, donc le pipeline a déployé zéro sleeve et a réalisé zéro.
Réconcilier les coupes : l'effet de divulgation, rendu explicite
Deux énoncés vrais ressemblent, au premier abord, à une contradiction. Le tableau de bord par instrument du programme rapporte des survivants qui ont franchi une barre élevée de Deflated Sharpe, 19 instruments sur 42 dans l'étude de trend-scanning et 3 sur 42 dans l'étude d'optimal trading rules, 22 en tout. Pourtant le meilleur résultat individuel du programme a un Deflated Sharpe inférieur à 0,03 contre le corpus complet, et le processus divulgué de E1 n'a rien déployé.
Les deux sont corrects, et l'écart entre eux est l'effet de divulgation. Le chiffre par instrument déflate chaque survivant contre le propre décompte de trials, petit, de cet instrument ; le chiffre du meilleur-du-programme déflate l'unique meilleur résultat contre le null complet d'environ un million de trials. Le même résultat peut franchir un petit null local et échouer à un grand null global. C'est précisément l'effet que la chaîne d'assemblage est bâtie pour faire apparaître : divulguer chaque trial, déflater le vainqueur contre le vrai N, et un chiffre qui ressemblait à de la compétence se révèle être de la sélection.
La divulgation a aussi un versant constructif, et le programme le montre. Deux régimes franchissent bel et bien la barre sans s'appuyer sur un petit null local : la règle Ornstein–Uhlenbeck/OU déflatée sur son véritable spread à retour à la moyenne (3 paires cointégrées sur 5, battant un contrôle de bande sur 4 sur 5), et le ranking cross-sectional avec un modèle gradient-boosted, qui franchit sur les 10 horizons à une probability of backtest overfitting de 0,10, le premier avantage de machine learning du programme à survivre au DSR. Les deux approchent le meilleur archétype statique près de PF 1,17 plutôt que de le battre, si bien que la lecture honnête n'est pas “rien ne marche” mais “la discipline fait jeu égal avec l'avantage statique, et la recherche naive de Sisyphus, non”.
Le coût de la non-divulgation
Expected maximum Sharpe de trials sans compétence en fonction de N
L'expected maximum Sharpe annualisé de N trials sans compétence (False Strategy Theorem, T = 1000 observations par trial). Tout l'enjeu : avec zéro avantage réel, le meilleur de N backtests grimpe tout de même régulièrement avec N. C'est le benchmark qu'un N divulgué permet au Deflated Sharpe Ratio de soustraire.
| trials N | E[max Sharpe], annualisé | note |
|---|---|---|
| 10 | 0.79 | |
| 100 | 1.27 | |
| 1,000 | 1.63 | |
| 2,500 | 1.76 | lone quant, best of 2,500 |
| 10,000 | 1.94 | |
| 100,000 | 2.20 | |
| 1,000,000 | 2.44 |
Valeurs analytiques issues du False Strategy Theorem à T = 1000. Validées face à un Monte Carlo de stratégies sans compétence à l'erreur de Monte Carlo près (différence absolue maximale de 0,0009 en Sharpe par observation pour N de 10 à 5 000) ; la boucle interne du Sharpe est vérifiée bit-à-bit identique à une référence indépendante (différence maximale 0,0 sur 200 matrices aléatoires).
Méthode
- Courbe expected-max-Sharpe : le False Strategy Theorem (Bailey & López de Prado) donne E[max SR] pour N trials indépendants sans compétence, chacun avec une piste de T = 1000 observations et une variance du Sharpe par trial ~1/T. La courbe est évaluée analytiquement pour N de 2 à 1 000 000 et rapportée annualisée.
- Validation Monte Carlo : pour plusieurs valeurs de N, nous tirons des milliers de flux indépendants de rendements de moyenne nulle et de variance unitaire (aucun avantage par construction), prenons le Sharpe d'échantillon maximal dans chaque univers et en faisons la moyenne. Cette expérience synthétique étiquetée est la seule donnée synthétique de tout le programme. Elle concorde avec la formule analytique à l'erreur de Monte Carlo près à chaque N testé (max |Δ| 0,0009 en Sharpe par observation pour N de 10 à 5 000).
- Vérification numérique : la boucle interne du Sharpe-d'une-matrice a été implémentée deux fois, une fois en code de tableaux simple et une fois comme kernel compilé, et les deux ont été vérifiées bit-à-bit identiques (différence maximale 0,0 sur 200 matrices d'entrée aléatoires). Dans cette charge de travail, c'est le tirage aléatoire, et non le calcul du Sharpe, qui domine le temps d'exécution, donc le kernel compilé est une assurance de justesse plutôt qu'un gain de vitesse.
- Grille de notation de méta-analyse : chaque étude achevée du programme est reliée au poste de la chaîne de montage qu'elle a mis à l'épreuve, et sa propre table de résultats fournit les configurations évaluées et le nombre franchissant la porte du Deflated Sharpe (DSR > 0,95), avec la Probability of Backtest Overfitting et le nombre effectif de trials comme diagnostics d'appui. Le même harnais de validation a été appliqué à l'identique à travers chaque étude. Les études de propriétés (barres, différenciation fractionnaire, fuite) ne portent aucune porte de déflation de stratégie et sont exclues du total de trials.
Notes & évaluation honnête
Il s'agit d'un résultat de processus et de discipline, pas d'un avantage négociable, et c'est cadré ainsi de bout en bout. La formule de l'expected-max-Sharpe montre précisément combien de Sharpe gratuit la sélection achète quand N est caché, et elle concorde avec un Monte Carlo sans compétence à l'erreur de Monte Carlo près. Le programme est lui-même l'exemple travaillé de la chaîne de montage : il a fait tourner chaque poste, journalisé chaque trial et tout mesuré à la même barre déflatée. Le verdict honnête est à deux faces. Le null tient largement à travers les régimes naive et de série unique, la porte y a rejeté presque la totalité d'environ 98 000 configurations. Mais la porte n'est pas un non généralisé : trois régimes disciplinés survivent à la déflation, le ranking cross-sectional avec un modèle gradient-boosted sur chaque horizon, la règle Ornstein–Uhlenbeck/OU sur son véritable spread à retour à la moyenne, et la risk parity de grand univers, et chacun approche sans le battre le meilleur archétype statique près de PF 1,17, tandis que le pipeline de bout en bout entièrement divulgué ne déploie toujours rien dans une fenêtre tenue à l'écart. La chaîne de montage assortie de la divulgation obligatoire est ce qui sépare la recherche honnête du piège de Sisyphus, et la preuve la plus forte en sa faveur est un programme qui a divulgué son N et a laissé les nombres dire non à la recherche naive et un oui mesuré seulement à la discipline. Le bac à sable est un mécanisme pédagogique ancré à la courbe réelle, pas une affirmation qu'un quelconque nombre qui s'y trouve serait un avantage atteignable.
Reproductibilité
La courbe expected-max-Sharpe, la validation Monte Carlo, le contrôle de parité bit-à-bit, la grille de notation de méta-analyse et les figures sont rassemblés dans le project 16 de lopez-de-prado-work-review. Le bac à sable de cette page est autonome : les points d'ancrage de la courbe réelle sont encodés dans le composant, de sorte que le mécanisme qu'il illustre se reproduit exactement à chaque chargement.
Citer
Références
Les sources primaires du cadre synthétisé ici :
- López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. (Chapter 1, the research assembly line; and the multiple-testing discipline throughout.)
- Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. Journal of Portfolio Management, 40(5).
- Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance, 20(4).
- López de Prado, M. (2020). Machine Learning for Asset Managers. Cambridge Elements in Quantitative Finance.
Voir aussi
La porte de validation partagée fait l'objet de Backtest Overfitting & the Deflated Sharpe Ratio, le poste du graphe causal est Causal Factor Investing, le même thème de la discipline de sélection parcourt The edge is in the process, et l'ensemble plus large des travaux se trouve dans Research.