Retour à López de Prado

Revue de recherche · López de Prado · étiquetage et validation croisée

Étiquetage et validation croisée

La façon dont on étiquette et dont on valide fabrique un avantage fantôme, ou le dissout. Trois études multi-marchés, chiffrées et filtrées par le DSR, sur la manière de bien faire les deux.

Deux décisions se situent en amont de tout résultat de machine learning financier : la façon dont on transforme des prix bruts en une cible apprenable (l'étiquette) et la façon dont on met de côté des données pour noter le modèle (la validation croisée). Mal les poser, et un backtest fabrique un avantage qui n'a jamais existé ; bien les poser, et une grande part de l'avantage apparent se dissout. Cette page reproduit trois des méthodes de López de Prado sur les trois mêmes marchés réels et entièrement chiffrés, crypto, actions américaines et forex, 42 instruments, et les rapporte à une règle honnête, le Deflated Sharpe Ratio. L'explorateur interactif ci-dessous vous laisse voir la fuite du k-fold standard et comprendre pourquoi une seule scission de backtest ne signifie presque rien.

source

Advances in Financial ML, chap. 3 & 7

López de Prado (2018) · labeling & cross-validation

Code et données, trois reproductions

github.com/DaruFinance/lopez-de-prado-work-review · projets 03 / 04 / 05

Validation croisée

the claim

Ce que dit López de Prado

Le k-fold standard suppose des observations IID, mais les étiquettes financières sont construites à partir d'une fenêtre de barres futures, si bien que des étiquettes qui se chevauchent partagent de l'information. Placez un fold de test au milieu de la série et les points d'entraînement voisins s'y immiscent, le modèle s'entraîne sur les réponses et le score est biaisé de façon optimiste. Ses correctifs : purger (purge) les étiquettes qui se chevauchent, embargo (embargo) une bande après le fold de test, et utiliser la Combinatorial Purged CV (CPCV) pour obtenir une distribution complète de chemins out-of-sample.

our result

Ce que nous avons trouvé

La fuite est réelle et orientée dans le bon sens, mais faible avec un modèle raisonnable, sous 2 pp même à fort chevauchement, visible nettement sur l'AUC (pas sur l'exactitude). Nous explicitons une loi que LdP énonce implicitement : l'inflation suit H / taille-de-fold, de sorte que des étiquettes à horizon court sur de longs historiques d'actions ne fuient presque pas. La leçon plus profonde est celle de la CPCV : la distribution des chemins out-of-sample s'étend sur ~15 pp, soit ~50× le biais de fuite, un backtest à scission unique n'est qu'un tirage quasi dénué de sens.

triple-barrier et meta-labeling

the claim

Ce que dit López de Prado

Étiquetez selon laquelle des trois barrières un pari mis à l'échelle de la volatilité touche en premier (prise de profit / stop / durée maximale). Puis le meta-labeling : un modèle primaire fixe le sens, et un classifieur secondaire prédit si le pari est rentable, décidant s'il faut agir et de la taille, augmentant la precision et convertissant un primaire à fort recall et faible precision en quelque chose de négociable.

our result

Ce que nous avons trouvé

Le meta-labeling fait exactement ce qu'il dit, il augmente la precision et le profit factor brut sur 38/42 instruments et ramène un primaire perdant à cause des coûts vers le seuil de rentabilité. Mais sur un primaire trivial de croisement d'EMA, c'est un filtre de precision, pas une source d'alpha : 0 instrument sur 42 dépasse un DSR > 0,95. Un filtre ne peut concentrer que l'avantage qui existe déjà.

étiquettes de trend-scanning

the claim

Ce que dit López de Prado

Un horizon de détention fixe est arbitraire et jette de l'information. Pour chaque observation, prenez le signe de la tendance prospective locale la plus statistiquement significative, la valeur-t de la pente OLS maximisée sur une bande d'horizons prospectifs, et portez cette significativité comme poids d'échantillon, laissant les données choisir là où la tendance est la plus nette.

our result

Ce que nous avons trouvé

Une amélioration modeste mais réelle du profit factor (bat le fixed-horizon sur 28/42, p=0,022) mais non significative une fois déflatée, les survivants à DSR>0,95 sont essentiellement à égalité (19 contre 18). L'effet transférable est la bande d'horizon prospectif, pas l'étiqueteur : les horizons courts de (5,30) barres s'effondrent partout tandis que (10,60)/(20,120) tiennent. Une surcouche meta triple-barrier n'ajoute ici aucune valeur déflatée.

Trois études, trois lignes

Validation croisée

Le k-fold standard fuit ; purger l'élimine

Le k-fold ordinaire note le même modèle de ML financier de façon optimiste parce que des étiquettes qui se chevauchent partagent des barres futures. Le biais apparaît sur l'AUC, là où l'exactitude ne le voit pas, et il croît avec le rapport H/taille-de-fold, jusqu'à +1,69 pp d'AUC sur la crypto à historique court, plat sur les actions à historique long. Le purged k-fold + embargo l'élimine. Et la CPCV révèle le problème plus profond : sa distribution out-of-sample s'étend sur ~15 pp, soit environ 50× le biais de fuite, de sorte qu'une scission n'est qu'un point arbitraire.

meta-labeling

Un filtre de precision, pas de l'alpha

Un modèle secondaire qui décide d'agir ou non sur un signal primaire augmente le profit factor brut sur 38/42 instruments et le DSR sur 39/42, exactement le gain de precision que décrit López de Prado. Mais 0 sur 42 ne dépasse un DSR>0,95, que ce soit pour le primaire ou la variante meta. Le meta-labeling ne peut concentrer que l'avantage que le primaire possède déjà ; sur un croisement trivial, il n'y a rien à concentrer en une victoire déflatée.

trend-scanning

L'avantage est l'horizon, pas l'étiqueteur

Les étiquettes de tendance choisies par les données battent les étiquettes fixed-horizon sur le profit factor pour 28/42 instruments (test des signes p=0,022), mais pas sur la métrique qui compte : les survivants à DSR>0,95 sont 19 (trend-scan) contre 18 (fixe) contre 19 (triple-barrier), une égalité. Ce qui importe vraiment est la bande prospective : les fenêtres courtes de (5,30) barres s'effondrent partout ; (10,60)/(20,120) tiennent sur les trois marchés.

La discipline commune

Les trois études reposent sur le même socle : des données réelles à la minute transformées en barres pilotées par l'information (dollar bars pour la crypto et les actions, tick bars pour le forex), chaque changement de position chiffré (crypto 7 pb, actions 2 pb / spread réaliste, forex 1 pb / spread réaliste), chaque objet prospectif confiné à l'étiquette, chaque modèle secondaire entraîné sous purged k-fold pour que les étiquettes qui se chevauchent ne fuient pas, et chaque verdict lu sur le Deflated Sharpe Ratio après un décompte honnête des essais, jamais un seul chiffre de backtest.

01 · Validation croisée, Purged k-fold et CPCV

Le k-fold standard fuit en finance, et une scission unique ne signifie presque rien

Les étiquettes financières sont construites à partir d'une fenêtre de barres futures, si bien que deux étiquettes dont les fenêtres se chevauchent partagent de l'information. Placez un fold de test au milieu de la série et les points d'entraînement voisins s'y immiscent, le modèle est entraîné sur les réponses, et le score validé en croisé ressort biaisé de façon optimiste.

Les correctifs de López de Prado : purger (purge) toute observation d'entraînement dont la fenêtre d'étiquette chevauche le fold de test, embargo sur une petite bande juste après, et utiliser la CPCV pour récupérer toute une distribution de chemins out-of-sample plutôt qu'un seul.

Fig. 1:Inflation du score du k-fold standard fuyant par rapport au purgé+embargo, en fonction du chevauchement d'étiquettes H. Gauche (exactitude) : dominée par le bruit de fold, aucune tendance nette. Droite (AUC) : le signal net, crypto et forex montent avec H (jusqu'à +1,69 pp et +1,07 pp), tandis que les actions à long historique restent plates. La fuite suit H/taille-de-fold, et non H seul.

La reproduction confirme les trois affirmations, et en aiguise une. La fuite est réelle mais faible et subtile, quelques dixièmes de point de pourcentage aux horizons typiques, ce qui est précisément ce qui la rend dangereuse : elle survit aux vérifications naïves. Elle est visible sur l'AUC, qui utilise toute la probabilité prédite, et quasi invisible sur l'exactitude, dont le bruit entre folds (±0,5–1 pp) la noie. Menez l'audit de fuite sur une métrique lisse fondée sur la probabilité, pas sur une métrique à seuil.

La contribution au-delà du manuel est la loi d'échelle : l'ampleur de la fuite suit le rapport H / taille-de-fold, et non H seul. Un fold de test n'est contaminé que dans une bande de largeur ~H à chacune de ses deux frontières, de sorte que la fraction contaminée vaut ~2H/(n/k). La crypto et le forex à historique court (fold ≈ 1,4k barres) fuient sensiblement, l'inflation d'AUC monte à +1,69 pp (crypto) et +1,07 pp (forex) à fort chevauchement, tandis que les actions à long historique (fold ≈ 7k barres) restent plates : même H=150 ne représente que ~2% d'un fold. Les actions ne sont pas immunisées ; ce sont leurs longs historiques qui maintiennent la fraction de frontière minuscule. Purgez toujours, c'est gratuit et correct, mais attendez-vous à ce que l'ampleur de la correction varie avec H/taille-de-fold.

Voir la fuite

L'explorateur encode la grille d'inflation d'AUC mesurée par l'étude. Faites glisser le chevauchement d'étiquettes H et lisez l'écart fuyant-moins-purgé par classe d'actifs ; le panneau inférieur montre le nuage out-of-sample de la CPCV pour BTCUSDT, face à la scission unique qui se fait passer pour le backtest.

Démo, explorateur de fuite du k-fold

Faites glisser le chevauchement d'étiquettes H, le nombre de barres futures que deux étiquettes voisines partagent, et observez le k-fold standard noter le même modèle de façon optimiste face à une scission purgée + sous embargo. L'écart est réel et croît avec le rapport H/taille-de-fold : il décolle sur la crypto et le forex à historique court, et reste plat sur les actions à long historique.

Inflation d'AUC = fuyant − purgé
H, chevauchement d'étiquettes (barres)50
150100150
crypto
+0.53 pp7.1% du fold
actions
-0.47 pp1.4% du fold
forex
+0.45 pp7.1% du fold

L'inflation est l'AUC qu'un k-fold standard fuyant rapporte au-dessus de la scission propre purgée + embargo, en points de pourcentage (mesurée, d'après la grille de l'étude). Quand la scission est correctement purgée, la fuite est éliminée à la source : la lecture « propre » est l'honnête.

FRISE K-FOLD : 6 FOLDS, CHAQUE ÉTIQUETTE COUVRE H BARRESENTRAÎNEMENT 1TEST 2ENTRAÎNEMENT 3TEST 4ENTRAÎNEMENT 5TEST 6AUC naïve ...fuite (chevauche une frontière)propreglissez le curseur pour augmenter H
INFLATION D'AUC EN CV (pp) vs CHEVAUCHEMENT D'ÉTIQUETTES H-0.50.00.51.01.5150100150H, barres futures partagéescryptoactionsforexDISTRIBUTION D'EXACTITUDE OOS DE LA CPCV, BTCUSDT, 15 CHEMINSmoyenne CPCV 0.467scission unique 0.4780.380.420.460.500.54étendue ≈ 15,1 pp · ~50× le biais de fuite

At H=50 le k-fold standard surnote la crypto de +0.53 pp d'AUC et le forex de +0.45 pp, tandis que les actions restent essentiellement plates (-0.47 pp), la même loi H/taille-de-fold, pas une immunité de marché. Et quelle que soit la fuite, le nuage CPCV ci-dessous s'étend sur ~15 pp d'exactitude out-of-sample : une scission n'est qu'un point arbitraire, environ 50× le biais de fuite.

Fig. 2:K-fold fuyant versus purgé+embargo à H=50. L'inflation d'AUC est de +0,24 pp pour la crypto (6 perpétuels sur 8 positifs) et +0,23 pp pour le forex (5 sur 8) ; les actions ne montrent aucune fuite détectable à cet horizon (−0,24 pp), comme le prévoit la loi H/taille-de-fold pour un historique de 42k barres.
Fig. 3:La figure la plus importante de l'étude. La CPCV donne 15 chemins out-of-sample pour BTCUSDT s'étendant sur 15,1 pp d'exactitude (0,381 → 0,532). Le « backtest » à scission unique (0,478) n'est qu'un point arbitraire au-dessus de la moyenne CPCV (0,467). La dispersion des chemins écrase le biais de fuite de ~0,3 pp d'environ 50×, un chiffre issu d'une seule scission ne signifie presque rien.
Inflation d'AUC (pp) · H =15102550100150
crypto0.030.240.190.210.530.361.69
equity0.020.04-0.01-0.09-0.47-0.46-0.03
forex0.120.17-0.000.270.451.070.85

Inflation d'AUC = k-fold standard fuyant − purgé+embargo, en points de pourcentage, moyenne sur les instruments de chaque marché. Positif = la scission fuyante note le même modèle trop haut. Crypto et forex montent avec H ; les actions restent plates selon la loi H/taille-de-fold. L'embargo, une fois les étiquettes correctement purgées, est une petite sauvegarde de second ordre, gardez-le à ~1%.

Code et données

lopez-de-prado-work-review / projects / 04_cross_validation

02 · meta-labeling, triple-barrier + un modèle secondaire

Un filtre de precision qui ramène un perdant au seuil de rentabilité, mais jamais à un avantage déflaté

Un signal primaire fixe le sens de chaque pari (ici un croisement structurel d'EMA). L'étiquetage triple-barrier, prise de profit, stop et une verticale de durée maximale, noté par le premier contact sur l'OHLC intra-barre complet, donne le résultat réalisé. Un classifieur secondaire prédit ensuite P(le pari est rentable) et décide s'il faut agir et de quelle taille ; il peut opposer un veto et dimensionner, mais jamais inverser le sens.

L'affirmation de López de Prado est que cela convertit un primaire à fort recall et faible precision en quelque chose de négociable. C'est le cas, mesuré sur 42 instruments, le gain de precision est réel et quasi universel.

La couche meta fait exactement ce que dit le manuel : elle élève la fraction des paris exécutés qui sont rentables au-dessus du taux inconditionnel, augmente le profit factor sur 38/42 instruments et le DSR sur 39/42, et double à peu près le nombre d'instruments à PF>1 (de 12 à 24). Les courbes de capital sont l'image : le primaire saigne régulièrement à cause des coûts tandis que la ligne meta reste quasi plate en opposant son veto aux mauvais paris.

Et pourtant 0 instrument sur 42 ne dépasse un DSR>0,95, pour le primaire ou la variante meta. La lecture est tout l'enjeu de l'étude : « amélioration brute par rapport à un mauvais primaire » et « survit à la déflation » sont des règles différentes, et seule la seconde compte. Le meta-labeling est un filtre de precision, pas une source d'alpha. Il ne peut que retenir le meilleur sous-ensemble des paris que le primaire propose déjà ; si ces paris ne portent aucun avantage réel net de coûts, et un croisement d'EMA trivial sur des marchés liquides n'en porte pas, il n'y a rien à concentrer en une victoire déflatée. Le meilleur résultat isolé (SPY, DSR meta 0,76) repose sur 6 transactions exécutées seulement et est signalé comme un artefact de petit échantillon, laissé visible plutôt que masqué. Les actions s'en approchent le plus (gain de precision le plus élevé, DSR meta médian 0,095) mais restent en deçà.

Fig. 4:Deflated Sharpe Ratio par marché, primaire (gris) versus avec meta-labeling (orange). La couche meta déplace tout le nuage de DSR vers le haut, une amélioration réelle et reproductible, mais rien n'atteint la ligne de significativité 0,95. Un gain brut quasi universel qui ne survit pas à la déflation sur un primaire trivial.
Fig. 5:L'arbitrage precision/recall que décrit López de Prado. Le meta-labeling rejette les paris à faible confiance pour acheter de la precision (gain médian de +5–6 pp sur le taux de base) et augmente le profit factor sur tous les marchés, le mécanisme fonctionne exactement comme annoncé.
Fig. 6:L'image de manuel du « meta-labeling sauve un perdant » : le primaire qui saigne à cause des coûts (gris) versus la variante meta quasi plate (orange) qui oppose son veto aux mauvais paris. Mais il sauve à peu près au seuil de rentabilité, pas vers un avantage déflaté.
marchéPF prim→metaSR prim→metaDSR prim→metaDSR>0,95PBO
Crypto (27 perp)0,92 → 1,03−0,61 → +0,240,000 → 0,01700,41
Actions US (7 ETF)0,75 → 1,03−0,68 → +0,310,000 → 0,09500,38
Forex (8 majeures)0,85 → 0,94−1,13 → −0,270,000 → 0,00000,19

Médianes par marché, nettes de coûts ; SR annualisé ; le DSR est le chiffre clé. Le meta augmente PF et SR partout, mais le nombre de survivants à DSR>0,95 est de 0 sur chaque marché, le filtre de precision n'a aucun avantage réel à concentrer.

02b · Correction, meta-labeling d'un primary qui possède déjà un avantage

Correction : meta-labeling d'un primary qui possède déjà un avantage

La conclusion ci-dessus, “un filtre de precision, pas de l'alpha”, a été mesurée sur un primary sans avantage : un simple croisement d'EMA sans avantage établi net de coûts. C'est précisément le cas contre lequel López de Prado met en garde. Son meta-labeling a une précondition énoncée : le primary doit déjà posséder un avantage (fort recall, precision médiocre), et le rôle du secondary est d'augmenter la precision en opposant son veto à ses pires paris. Un filtre ne peut que concentrer un avantage qui existe déjà ; sur un non-avantage, il n'y a rien à concentrer. Le résultat nul général ci-dessus est donc une affirmation sur le primary, pas sur la méthode.

Pour tester la méthode telle que spécifiée, nous avons remplacé le croisement trivial par un avantage structurel d'order-flow / open-interest éprouvé, une stratégie close et pré-validée, réutilisée en lecture seule via son moteur vérifié, et avons relancé le dispositif identique : résultats de triple-barrier, un secondary à arbre sur des features causales, walk-forward purgé, coûts par exécution, DSR comme chiffre clé. La seule chose qui a changé est la seule qui comptait : le primary porte désormais un avantage réel.

La précondition étant satisfaite, le secondary amplifie l'avantage au lieu de sauver un perdant. Sur un échantillon ciblé de deux paires, le profit factor passe de 1,26 à 1,79 et le P&L moyen par trade de 47 à 148 bp hors échantillon, net de coûts par exécution. Le portail conserve 64 % des paris de l'avantage et oppose son veto à la queue de faible confiance, faisant passer le taux de paris rentables de 53,0 % à 63,6 % , exactement le gain de precision que décrit le manuel, agissant maintenant sur des paris qui portent réellement un avantage, de sorte qu'il apparaît dans le P&L et pas seulement dans une matrice de confusion.

La métrique déflatée se déplace aussi dans la bonne direction : le DSR passe de 0,64 à 0,78. Mais il reste sous la barre de publication de 0,95 du programme. Il s'agit d'une démonstration ciblée de deux paires ; le point est la direction et le mécanisme de la correction, elle inverse l'affirmation générale “pas de l'alpha”, pas un nouveau trophée qui passe la déflation. Le gain tient sur les deux paires individuellement (PF 1,32→1,49 et 1,23→1,96).

Fig. 7:Primary avec avantage versus à portail meta, hors échantillon, net de coûts par exécution. Profit factor 1,26→1,79 et P&L par trade 47→148 bp : le secondary concentre la taille dans le sous-ensemble à forte conviction d'un avantage déjà au-dessus du break-even, l'inverse du cas du primary sans avantage ci-dessus.
bras (OOS, 2 paires)tradesPFbp par tradeSR annuelDSR
primary (avantage seul)1661,2647,310,30,636
meta (portail + taille par p)1071,79148,120,50,778

Hors échantillon, net de coûts par exécution, échantillon de deux paires. PF et P&L par trade augmentent fortement dès que le primary possède un avantage réel ; le DSR passe de 0,636→0,778 mais ne franchit pas la barre de 0,95. Le chiffre clé est la comparaison primary-versus-meta sous la même déflation, pas le niveau absolu du DSR.

Mais cela s'estompe à grande échelle

Les magnitudes des deux paires ne survivent pas à l'ampleur. En appliquant le même portail meta à précondition satisfaite sur 6 avantages structurels clos × 26 paires perp (154 des 156 configurations ont produit des trades) et en comptant honnêtement la famille d'essais, le gain s'estompe largement. Le profit factor médian ne bouge que de 0,967→0,986 (gain médian +0,02, contre +0,53 pour l'échantillon de deux paires) et le P&L médian par trade passe de −5,9→−1,2 bp (gain médian +4,7 bp, contre +100 bp). La direction de la correction survit largement ; la magnitude de tête ne se généralise pas.

Et rien ne franchit la déflation à grande échelle. Seule 1 sur 154 des configurations à portail meta franchit DSR>0,95 (meilleur sleeve unique : funding squeeze sur une paire à meta DSR 0,983) ; le meta DSR médian entre sleeves n'est que de 0,1. En regroupant les sleeves filtrés en une seule meta-stratégie faiblement corrélée, déflatée contre la dispersion des 156 configurations réellement explorées, on obtient un DSR groupé de 0,0 (référence 0,35, PF groupé 0,98, 14 725 trades hors échantillon). Cela ne franchit pas la barre de 0,95.

Fig. 8:Portail meta sur les avantages à précondition satisfaite à grande échelle (6 avantages × 26 paires, 154 sleeves avec trades). Le gain par sleeve s'effondre à un mouvement médian de PF de +0,02 ; seul 1 des 154 sleeves franchit DSR>0,95 et le DSR de la meta-stratégie groupée est 0,0. Le mécanisme est réel en direction mais n'est pas, à lui seul, un avantage négociable une fois l'ampleur et la déflation comptées honnêtement.

La synthèse honnête : l'affirmation générale “pas de l'alpha” était une affirmation sur le primary sans avantage, pas sur le meta-labeling. La précondition de López de Prado étant satisfaite, le mécanisme est réel et directionnel, sur un échantillon ciblé, le secondary amplifie véritablement un primary qui possède déjà un avantage, triplant à peu près le P&L par trade et faisant passer le profit factor de 1,26 à 1,79.

Pourtant il ne survit pas à l'échelle plus la déflation en tant qu'avantage négociable : la magnitude ciblée ne se généralise pas aux 156 configurations, et la meta-stratégie groupée se déflate à zéro. La lecture corrigée est celle que López de Prado fait réellement, avec la précondition replacée en tête de phrase : le meta-labeling améliore un avantage que vous possédez déjà ; il ne peut pas en fabriquer un que vous n'avez pas, et améliorer un avantage en direction n'est pas la même chose que franchir la barre de déflation à grande échelle.

Code et données

lopez-de-prado-work-review / projects / 03_meta_labeling

03 · trend-scanning, un horizon d'étiquette choisi par les données

Une étiquette marginalement meilleure, mais l'avantage est dans l'horizon, pas dans l'étiqueteur

Au lieu d'un horizon de détention fixe, le trend-scanning régresse le log-prix sur le temps sur chaque fenêtre prospective d'une bande et étiquette chaque observation avec le signe de la tendance locale la plus statistiquement significative, la valeur-t de la pente OLS maximisée sur l'horizon. Les données choisissent l'horizon où la tendance est la plus nette, et la significativité devient un poids d'échantillon.

Le face-à-face : cela constitue-t-il une meilleure cible supervisée que l'étiqueteur fixed-horizon qu'il est censé battre, et qu'une surcouche meta triple-barrier, en alimentant un seul et même modèle secondaire ?

Fig. 9:Trend-scanning versus fixed-horizon par marché. Le PF du trend-scan est supérieur ou égal à celui du fixed-horizon sur chaque marché (gauche), une victoire PF significative sur 42 instruments (28/42, p=0,022), mais sur le DSR (droite) les deux sont essentiellement à égalité, avec 19 contre 18 instruments dépassant la barre des 0,95.

Le trend-scanning est une amélioration modeste mais réelle du profit factor : il bat le fixed-horizon sur 28/42 instruments (test des signes p=0,022). L'horizon choisi par les données est authentique, le L* gagnant va de 24 à 111 barres et suit la bande, pas un coin. Mais sur la métrique qui compte, c'est une égalité : les survivants à DSR>0,95 sont 19 (trend-scan) contre 18 (fixed-horizon), et le taux de victoire en DSR du trend-scan (21/42, p=0,56) n'est pas significatif. Une surcouche meta triple-barrier n'ajoute ici aucune valeur déflatée et est significativement pire sur le DSR (p=0,9995) , ses barrières symétriques ne sont presque jamais atteintes, de sorte que le modèle meta agit ~97% du temps et ne fait que gonfler la dispersion des essais.

Le résultat transférable est la courbe de robustesse : l'avantage dépend d'une fenêtre prospective assez longue, pas de l'étiqueteur. Les bandes (10,60) et (20,120) sont robustement fortes (DSR médian 0,83–1,00, PF>1) sur les trois marchés ; la bande courte (5,30) s'effondre, les actions tombent à DSR 0 / PF 0,79, la crypto est réduite de moitié, parce que les fenêtres courtes sont dominées par le bruit de microstructure et le coût par rotation. (Une note technique à signaler : à ces nombres d'événements élevés, le DSR sature à {0,1} par instrument, de sorte que le résumé honnête est le nombre de survivants et le test des signes, pas le DSR médian.)

Fig. 10:Le résultat positif le plus net. DSR du trend-scan sur trois bandes prospectives. La bande courte de (5,30) barres s'effondre partout (actions à DSR 0, PF 0,79) ; les bandes (10,60) et (20,120) tiennent sur les trois marchés. Le choix de la bande, des horizons de plusieurs heures, importe plus que la distinction trend-scan versus fixe.
marchéPF fix→TSSR_ann (TS)DSR fix→TSDSR>0,95 fix/TSPBO (TS)
Crypto (27 perp)1,22 → 1,364,880,508 → 0,37611 / 120,46
Actions US (7 ETF)1,86 → 1,894,030,004 → 0,3403 / 30,06
Forex (8 majeures)1,50 → 1,467,990,753 → 0,8534 / 40,47

Médianes par marché (run d'approfondissement), nettes de coûts réalistes ; SR annualisé. Le trend-scan augmente le PF par rapport au fixed-horizon, mais les nombres de survivants à DSR>0,95 sont essentiellement à égalité (19 contre 18 sur les 42).

DSR du trend-scan · bande prospective(5,30)(10,60)(20,120)
Crypto0,4970,8330,882
Actions US0,0000,9811,000
Forex0,9720,9971,000

DSR du trend-scan déflaté au sein de chaque bande sur ses trois essais par quantile. La bande courte (5,30) s'effondre ; les bandes plus larges tiennent sur les trois marchés, l'avantage est dans la longueur de l'horizon, pas dans l'étiqueteur.

Code et données

lopez-de-prado-work-review / projects / 05_trend_scanning

Le fil conducteur

Trois études, une leçon. La façon dont on valide détermine si l'on peut seulement voir un résultat honnêtement : le k-fold standard gonfle discrètement le score, et même une scission unique propre n'est qu'un tirage d'une distribution qui s'étend sur ~50× la fuite qu'elle corrige. La façon dont on étiquette détermine quel avantage il y a à trouver : un filtre de precision qui oppose son veto aux mauvais paris, ou un horizon plus intelligent pour la tendance, deux améliorations réelles en chiffres bruts, aucune suffisante pour fabriquer à elle seule un avantage déflaté.

Le fil commun est la règle. Sur 42 instruments dans trois classes d'actifs, entièrement chiffrés et à fuite contrôlée, les méthodes font exactement ce que dit la littérature, puis le Deflated Sharpe Ratio dissout l'essentiel du gain apparent. Cet écart, entre « améliore le backtest » et « survit à la déflation », est tout l'enjeu de bien faire l'étiquetage et la validation croisée.

Méthode, en bref

  • Données réelles à la minute → barres pilotées par l'information (dollar bars pour crypto/actions pendant les heures régulières, tick bars pour le forex) ; ~20k barres par instrument.
  • Chaque changement de position chiffré (crypto 7 pb ; actions/forex un spread selon l'heure + une couche réaliste de commission, ou 2 pb/1 pb) ; les balayages triple-barrier utilisent l'OHLC intra-barre complet, jamais la seule clôture.
  • Caractéristiques causales seulement ; le seul objet prospectif est l'étiquette. Modèles secondaires entraînés sous purged k-fold avec un embargo de 1% pour que les étiquettes qui se chevauchent ne fuient pas.
  • Verdicts lus sur le Deflated Sharpe Ratio après un décompte honnête des essais, avec le PBO et le N-effectif comme diagnostics de déflation complémentaires, jamais un seul chiffre de backtest.
  • Boucles critiques (construction des étiquettes, premier contact du triple-barrier, balayage OLS-t multi-horizon) implémentées comme des noyaux Numba et vérifiées bit-à-bit identiques face à des références indépendantes ; l'ajustement du modèle reste, à juste titre, le goulet d'étranglement.

Citer

Références

Les sources primaires des méthodes reproduites ici :

  • López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. Ch. 3 (labeling & meta-labeling), Ch. 4 (sample weights), Ch. 7 (cross-validation in finance) and Ch. 12 (backtesting through cross-validation / CPCV).
  • López de Prado, M. (2020). Machine Learning for Asset Managers. Cambridge University Press. Ch. 5 (trend-scanning labels).
  • Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. Journal of Portfolio Management, 40(5).
  • Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance, 20(4).

Voir aussi

Ces études partagent la règle du Deflated Sharpe développée dans Backtest Overfitting & the Deflated Sharpe Ratio, ainsi que les barres pilotées par l'information de Information-Driven Bars. L'ensemble plus large des travaux se trouve sur Research.