Revue de recherche · variables prédictives · études 07 & 08
Variables prédictives : ruptures structurelles, entropie & microstructure
Les variables exotiques de López de Prado sont réelles et calculables, mais sous des coûts réalistes et un filtre de significativité dégonflée, aucune n'est exploitable ici, et le palier de données coûteux n'achète aucun pouvoir prédictif supplémentaire
Deux des chapitres de López de Prado consacrés aux variables promettent un contenu prédictif que les variables de momentum ordinaires ne peuvent voir : des estimateurs de rupture structurelle et d'entropie (chap. 17–18) qui signalent les changements de régime et quantifient le degré de prévisibilité d'une série de rendements, et des estimateurs de microstructure (chap. 19) qui lisent qui négocie et à quel coût. Cette revue implémente les deux familles sur le crypto, les ETF actions américaines et le forex, maintient chaque variable strictement causale, impute des coûts réalistes selon l'heure de la journée, valide par validation croisée avec purge et embargo, et conditionne le résultat principal au Deflated Sharpe Ratio. Le verdict est honnête et identique dans les deux cas : les variables se calculent proprement et un effet de régime descriptif est statistiquement fort, pourtant aucune ne survit en tant que règle exploitable et ajustée par dégonflement, et le palier de données de flux d'ordres coûteux n'achète aucun pouvoir prédictif supplémentaire.
Advances in Financial ML, chap. 17–19
López de Prado (2018) · structural breaks, entropy & microstructure
Ruptures structurelles & entropie
lopez-de-prado-work-review / projects / 07
Variables de microstructure
lopez-de-prado-work-review / projects / 08
Ruptures structurelles & entropie
the claim
Ce que dit López de Prado
Deux familles de variables : des détecteurs de rupture structurelle (l'échantillonneur d'événements CUSUM et la statistique d'explosivité/bulle SADF) et des estimateurs d'entropie (Shannon, Lempel-Ziv, Kontoyiannis) qui quantifient le contenu informationnel de la série de rendements. Il les présente comme des variables, non comme des stratégies autonomes, des résumés de régime et de prévisibilité qu'un classifieur peut utiliser.
our result
Ce que nous avons trouvé
En tant que signaux autonomes, avec coûts et en validation croisée purgée, ils ne portent quasiment aucun avantage ajusté du surapprentissage : sur 108 essais, la meilleure variable se dégonfle à un DSR ≈ 0 (PBO 0,36). Il existe un effet descriptif net, les régimes explosifs (SADF>0) précèdent des rendements futurs plus élevés en crypto (+21 pb) et en actions (+29 pb), mais c'est surtout de la dérive inconditionnelle qui ne survit pas en tant que règle exploitable et dégonflée (meilleure règle de régime DSR 0,46).
Variables de microstructure
the claim
Ce que dit López de Prado
Une deuxième génération d'estimateurs de microstructure construits à partir des seules données de barres (Roll, Corwin-Schultz, λ de Kyle, Amihud, Hasbrouck, VPIN). Le postulat : ils résument qui négocie et à quel coût, ce qu'un jeu de variables de rendement/momentum ne peut voir, et devraient donc ajouter un contenu prédictif pour les mouvements de court horizon et la volatilité.
our result
Ce que nous avons trouvé
La volatilité oui, la direction non : l'AUC de volatilité de la barre suivante est constamment supérieure à 0,50 (~0,54) dans les trois marchés, mais la direction reste au niveau du pile ou face (~0,51), ces variables aident à dimensionner et à temporiser le risque, pas à choisir le sens. Le long/short avec coûts est négatif net sur 22 des 24 instruments et le DSR toutes-portées est de 0,00. Un résultat bonus absent du livre : un proxy gratuit de Bulk-Volume-Classification égale les données réelles de sens de transaction pour la tâche de volatilité, le palier de flux d'ordres coûteux n'est pas la contrainte limitante.
Le résultat en trois lignes
27 instruments · 3 classes d'actifs
Les variables sont réelles et calculables
CUSUM, explosivité SADF, entropie de Shannon / Lempel-Ziv / Kontoyiannis, et les estimateurs de microstructure Roll / Kyle / Amihud / Hasbrouck / VPIN, tous construits strictement de façon causale sur des barres pilotées par l'information en crypto, ETF actions américaines et forex, avec des noyaux de référence et accélérés identiques au bit près (max|Δ| = 0).
meilleur DSR ≈ 0,002 · ≈ 0,00
Rien ne franchit le filtre dégonflé
En tant que signaux autonomes, les variables de rupture structurelle/entropie renvoient un meilleur Deflated Sharpe Ratio de ≈0,002 sur 108 essais de validation croisée purgée avec coûts ; le signal directionnel de microstructure se dégonfle à 0,00 sur 144 essais. Le seuil de significativité de 0,95 n'est jamais approché dans aucune des deux études.
BVC ≈ flux réel
Le palier de données coûteux n'achète rien
Sur des barres crypto identiques, le proxy gratuit de Bulk-Volume-Classification égale ou bat le volume acheteur/vendeur réel pour la volatilité de la barre suivante (0,547 contre 0,522 d'AUC) et le tick-only en est à 0,004 près. Il faut prix + volume, pas des données de flux d'ordres, le palier de données n'est pas la contrainte limitante.
Explorer, les deux résultats, interactif
Changez le palier de données ; révélez le verdict coûts-et-dégonflement
L'explorateur encode les chiffres réels des deux études. Basculez le palier de données de microstructure et observez l'AUC de volatilité de la barre suivante bouger à peine tandis que la direction reste un pile ou face (l'ablation du Projet 08), puis révélez comment le fort biais de rendement futur du régime explosif (Projet 07) s'effondre sous des coûts réalistes et le dégonflement.
Démo, le palier de données coûteux achète-t-il du pouvoir prédictif ?
Sur des barres crypto identiques, les quatre estimateurs de flux d'ordres sont recalculés de trois façons et notés sur la barre suivante. Changez le palier de données et observez le signal de volatilité bouger à peine, et le signal de direction rester un pile ou face. Puis révélez le verdict coûts-et-dégonflement sur le biais de régime.
Les quatre estimateurs de volume de sens (Kyle, Hasbrouck, VPIN, OFI) sur des barres crypto identiques. Le proxy BVC gratuit (0,547) bat le palier volume de sens réel coûteux (0,522) pour la volatilité de la barre suivante, et le tick-only (0,526) en est à 0,004 près. Pour la direction, les trois paliers restent au pile ou face (≈0,507–0,512). Le palier de données de flux d'ordres n'est pas la contrainte limitante, prix + volume suffit.
Descriptif, hors échantillon, seuils ajustés in-fold (sans triche). Les barres explosives (SADF>0) précèdent +29,2 pb en actions (p<1e-6) et +21,4 pb en crypto (p=7,5e-5), tandis que les barres crypto non explosives sont en réalité négatives. Le forex ne montre rien.
Section 07, ruptures structurelles & entropie
Les régimes explosifs précèdent vraiment des rendements plus élevés, sauf que ce n'est pas de l'alpha
Les chap. 17–18 proposent deux familles de variables : les ruptures structurelles, l'échantillonneur d'événements CUSUM et la statistique d'explosivité/bulle SADF, et l'entropie, Shannon plug-in, la complexité Lempel-Ziv (LZ76) et le taux de longueur d'appariement de Kontoyiannis. Nous les calculons toutes strictement de façon causale sur des fenêtres rétrospectives sur ~6 000 dollar bars appariées par instrument, sur 27 instruments répartis en trois classes d'actifs.
Conditionner les rendements futurs aux régimes causaux fait émerger un effet descriptif robuste : les barres explosives (SADF>0) précèdent un large mouvement futur positif en crypto et en actions. Mais c'est surtout de la dérive inconditionnelle, les épisodes SADF>0 se regroupent à l'intérieur des jambes haussières en tendance, non un avantage directionnel, ce que le panneau suivant précise.
essais (instr × variable)
108
27 instr × 4 variables
meilleur Sharpe OOS
0.063
forex USDJPY · Shannon
E[max] nul (SR₀)
0.101
famille nulle de 108 essais
Deflated Sharpe
0.0016
le seuil est 0,95
PBO (CSCV)
0.357
corpus
% essais positifs
45.4%
plage [−0,171, +0,063]
En tant que signaux autonomes, ces variables sont dans la bande de bruit : le meilleur des 108 essais de validation croisée purgée avec coûts (forex USDJPY Shannon, Sharpe 0,063) est en dessous du maximum attendu d'une famille nulle de 108 essais (SR₀ 0,101), de sorte que son Deflated Sharpe s'effondre à ≈0,002. Transformer le régime explosif en règle directionnelle et dégonfler sur la famille de 81 règles donne un DSR de 0,46, le biais descriptif ne se monétise pas.
quelle famille porte le (faible) biais, par marché
| marché | famille | SR | frac>0 | p-signe |
|---|---|---|---|---|
| crypto | ruptures (SADF) | +0.012 | 0.75 | 0.146 |
| crypto | entropie | −0.008 | 0.44 | 0.62 |
| actions | ruptures (SADF) | −0.046 | 0.00 | 0.016 |
| actions | entropie | −0.033 | 0.19 | 0.007 |
| forex | ruptures (SADF) | +0.0004 | 0.50 | 1.00 |
| forex | entropie | +0.005 | 0.67 | 0.152 |
En crypto, le faible biais positif provient du SADF, non de l'entropie ; en forex c'est l'entropie, non le SADF ; en actions, les deux familles sont significativement négatives nettes de coûts (p=0,016 / 0,007). Aucune famille n'est significative dans le bon sens où que ce soit. Échantillonner par événements CUSUM plutôt que par l'horloge déplace le Sharpe OOS de ≤0,003, un non-événement.
Section 08, variables de microstructure
La volatilité, faiblement oui ; la direction, non, et le palier de données n'a pas d'importance
Les estimateurs de « deuxième génération » du chap. 19 lisent la liquidité et la toxicité à partir des seules données de barres : les écarts de Roll et de Corwin-Schultz, l'impact de Kyle, d'Amihud et de Hasbrouck, et le VPIN sur horloge de volume avec déséquilibre de flux d'ordres et le tick rule. Nous les calculons de façon causale sur ≈8 barres/jour sur 24 instruments, avec une disponibilité honnête par marché : le crypto dispose d'un volume de sens réel, les actions utilisent un proxy BVC, le forex (sans volume) reçoit des estimateurs fondés sur le seul prix.
Le résultat le plus net est l'ablation à gauche. Sur des barres crypto identiques, le proxy BVC gratuit égale ou bat les données réelles de flux d'ordres pour la volatilité de la barre suivante. Le contenu prédictif réside dans la dynamique prix/volume que le BVC reconstruit, un bureau de recherche n'a pas besoin de données coûteuses de sens de transaction pour extraire le (modeste) signal de volatilité de microstructure.
contenu prédictif par marché, volatilité faiblement oui, direction non
| marché | AUC dir | AUC vol | SR net | pb/barre |
|---|---|---|---|---|
| crypto10 instr · n 8,709 | 0.510 | 0.538 | −0.018 | −2.72 |
| actions7 instr · n 42,397 | 0.513 | 0.551 | −0.355 | −33.45 |
| forex7 instr · n 8,694 | 0.507 | 0.539 | −0.016 | −0.26 |
Le long/short avec coûts sur le signal de direction est négatif net sur 22 des 24 instruments. Les actions sont les pires (−33,45 pb/barre) parce qu'une commission de ticket minimum domine un book d'1 unité ; le crypto et le forex se situent juste sous zéro. L'AUC de volatilité, et non l'AUC de direction, est le seul endroit où vit un signal.
filtre de Deflated Sharpe
| portée | n | meilleur SR | SR₀ | DSR | PBO |
|---|---|---|---|---|---|
| toutes | 144 | 0.070 | 0.535 | 0.00 | 0.10 |
| crypto | 60 | 0.070 | 0.057 | 0.89 | 0.36 |
| actions | 42 | −0.032 | 0.474 | 0.00 | 0.02 |
| forex | 42 | 0.053 | 0.054 | 0.45 | 0.13 |
ablation de palier de données, AUC de vol de la barre suivante
| volume de sens RÉELce que le crypto possède réellement | 0.522 |
| proxy BVCle palier actions (prix + volume, sans sens) | 0.547 |
| tick-onlyle palier forex (prix uniquement) | 0.526 |
Le proxy BVC gratuit (le palier actions) bat le volume de sens réel pour la volatilité de la barre suivante. Le palier de données de flux d'ordres n'est pas la contrainte limitante.
Section 08 · flux d'ordres stationnaire vs brut
Présenter le flux comme une entrée stationnaire aide-t-il ? Ici, non.
Un autre courant de la littérature sur le flux d'ordres (Kolm, Turiel et Westray) soutient que, pour la prédiction guidée par le flux, la stationarity de l'entrée compte plus que le modèle : injectez un niveau non stationnaire dans un apprenant et il devrait se dégrader hors échantillon, tandis que la même information sous forme de transformation stationnaire devrait prédire. Nous testons cela face à face sur les mêmes barres crypto, la même validation croisée purgée et le même modèle de coûts. L'entrée brute est le flux cumulé signé acheteur-moins-vendeur (un niveau en tendance, non stationnaire) plus son décalage d'une barre. L'entrée stationnaire est l'order-flow imbalance (OFI) par barre plus une fractional differentiation de ce niveau au d minimal qui garde la série stationnaire tout en retenant la mémoire.
Le résultat honnête est un null. Agrégé sur six instruments, l'AUC de direction est ≈0,50 pour les deux entrées (brut 0,499, stationnaire 0,496), donc l'écart est de −0,002, l'entrée stationnaire est, si tant est, à peine moins bonne. Une courte tranche récente paraissait meilleure pour les entrées stationnaires, mais l'avantage n'a pas survécu à l'extension à l'échantillon complet, ce qui le marque comme un artefact de petit échantillon. La transformation fait son travail : la série fractional-differenced est stationnaire avec d≈0,5 et la mémoire retenue. Il n'y a tout simplement aucun signal directionnel au niveau de la barre qu'elle puisse exposer, cohérent avec le reste de l'étude, où seule la volatilité porte du contenu tandis que la direction reste au pile ou face. Une entrée stationnaire ne peut pas fabriquer un avantage absent des données ; elle n'aide que lorsqu'un signal réel est masqué par la non-stationarité, ce qui n'est pas le régime ici.
AUC de direction : niveau brut vs stationnaire (OFI + fractional differentiation)
| instrument | d utilisé | AUC brut | AUC stat | écart |
|---|---|---|---|---|
| BTC | 0.40 | 0.495 | 0.492 | −0.003 |
| ETH | 0.55 | 0.494 | 0.503 | +0.009 |
| SOL | 0.45 | 0.502 | 0.492 | −0.010 |
| BNB | 0.55 | 0.490 | 0.503 | +0.013 |
| XRP | 0.40 | 0.505 | 0.500 | −0.005 |
| LTC | 0.55 | 0.504 | 0.487 | −0.017 |
| agrégé | 0.50 | 0.499 | 0.496 | −0.002 |
Agrégé, le Deflated Sharpe Ratio du meilleur fold avec coûts est de 0,017 pour le brut et 0,000 pour le stationnaire face à 36 essais, aucun ne franchit le seuil. La transformation de stationarity fonctionne comme prévu ; la direction au niveau de la barre qu'on lui demande de prédire n'a tout simplement aucun signal.
Comment le test reste honnête
Multi-marchés, causal uniquement, coûts réalistes, validation croisée purgée, et conditionné au Deflated Sharpe Ratio, la même discipline partagée par les deux études.
Méthode
- Causal uniquement. Chaque valeur de variable à la barre t n'utilise que les barres ≤ t ; chaque seuil et orientation de règle est ajusté à l'intérieur du fold d'apprentissage ; les horizons de label sont purgés et placés sous embargo. Aucune figure ni statistique n'utilise d'information future.
- Barres pilotées par l'information. Dollar bars pour le crypto et les actions, tick bars pour le forex, la barre privilégiée par López de Prado, avec ~6 000 (ruptures structurelles) ou ≈8/jour (microstructure) barres par instrument.
- Coûts réalistes, sans écrêtage. Grille de demi-spread par heure de la journée pour les actions, plus une commission de ticket minimum ; demi-spread par paire en pips pour le forex avec un multiplicateur selon l'heure UTC ; un défaut maison pour le crypto. Ce sont précisément ces coûts qui font basculer les familles de variables actions significativement en négatif, un test sans coûts rapporterait un faux positif.
- Validation croisée k-fold purgée avec embargo afin que la fenêtre de label sur plusieurs barres ne chevauche jamais apprentissage et test.
- Deflated Sharpe + PBO comme résultat principal. Le False Strategy Theorem fournit le maximum attendu d'une famille d'essais sans compétence ; un résultat n'est réel que s'il franchit ce seuil après dégonflement pour le nombre d'essais, la dispersion, l'asymétrie et le kurtosis.
- Noyaux vérifiés. Chaque estimateur critique dispose d'une implémentation de référence pure et d'une implémentation accélérée, vérifiées identiques au bit près (max|Δ| = 0 pour CUSUM, LZ76, Kontoyiannis et le bloc glissant de microstructure ; arrondi OLS ~1e-13 pour le SADF).
Notes & limites
Les deux études ne trouvent délibérément rien d'exploitable, et c'est cela, le résultat. Le biais de rendement futur du régime explosif est réel mais relève surtout de la dérive inconditionnelle, non de l'alpha : le crypto et les actions ont tendanciellement monté sur l'échantillon, les épisodes SADF>0 se regroupent à l'intérieur des jambes haussières, et une moyenne conditionnelle biaisée long paraît grande jusqu'à ce que l'on exige une règle long/short et que l'on paie les coûts. Le résultat directionnel de microstructure est nul sur les données de barres ; le résultat de volatilité est modeste et constitue le seul point que les travaux futurs devraient viser (une surcouche de ciblage de volatilité plutôt qu'un long/short autonome). Les coûts sont réalistes, non adversariaux ; la commission de ticket minimum sur actions pénalise un notionnel minuscule, mais le verdict qualitatif (AUC de direction ≈ 0,50, DSR ≈ 0) y est robuste car il n'y a aucun avantage brut à défendre, même avant coûts. Les labels sont de court horizon ; un span de triple barrière plus long pourrait modifier le tableau directionnel et est laissé aux travaux ultérieurs.
Reproductibilité
Les noyaux de variables, les références, le harnais de validation croisée purgée avec coûts et les analyses approfondies se trouvent dans le dépôt compagnon, project 07 et project 08 de lopez-de-prado-work-review (privé pendant la revue). L'explorateur de cette page est autonome : chaque chiffre qu'il affiche est encodé dans le composant, de sorte que les deux résultats qu'il illustre se reproduisent exactement à chaque chargement.
Citer
Références
Les sources primaires des variables passées en revue ici :
- López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. Chapitres 17 (Structural Breaks), 18 (Entropy Features) et 19 (Microstructural Features).
- Easley, D., López de Prado, M., & O'Hara, M. (2012). Flow Toxicity and Liquidity in a High-Frequency World (VPIN). Review of Financial Studies, 25(5).
- Roll, R. (1984). A Simple Implicit Measure of the Effective Bid-Ask Spread in an Efficient Market. Journal of Finance, 39(4).
- Kyle, A. S. (1985). Continuous Auctions and Insider Trading. Econometrica, 53(6).
- Amihud, Y. (2002). Illiquidity and Stock Returns: Cross-Section and Time-Series Effects. Journal of Financial Markets, 5(1).
- Corwin, S. A., & Schultz, P. (2012). A Simple Way to Estimate Bid-Ask Spreads from Daily High and Low Prices. Journal of Finance, 67(2).
- Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5).
Voir aussi
L'épine dorsale de significativité dégonflée que partagent ces deux études est construite et éprouvée dans Backtest Overfitting & le Deflated Sharpe Ratio, le thème de la discipline de sélection est développé de façon narrative dans L'avantage est dans le processus, et l'ensemble plus large des travaux se trouve sur Recherche.