Revisão de pesquisa · features preditivas · estudos 07 & 08

Features Preditivas: Quebras Estruturais, Entropia & Microestrutura

As features exóticas de López de Prado são reais e computáveis, mas sob custos realistas e um filtro de significância deflacionada, nenhuma delas é operável aqui, e o tier de dados caro não compra poder preditivo adicional

Dois dos capítulos de features de López de Prado prometem conteúdo preditivo que features de momentum comuns não enxergam: estimadores de quebra estrutural e de entropia (Cap. 17–18) que sinalizam mudanças de regime e quantificam o quão previsível é uma sequência de retornos, e estimadores de microestrutura (Cap. 19) que leem quem está negociando e a que custo. Esta revisão implementa ambas as famílias em cripto, ETFs de ações dos EUA e forex, mantém toda feature estritamente causal, cobra custos realistas por horário do dia, valida com purga e embargo, e condiciona o resultado principal ao Deflated Sharpe Ratio. O veredito é honesto e idêntico nos dois casos: as features computam de forma limpa e um efeito de regime descritivo é estatisticamente forte, porém nenhuma sobrevive como regra operável e ajustada por deflação, e o tier caro de dados de fluxo de ordens não compra poder preditivo adicional.

fonte

Advances in Financial ML, Cap. 17–19

López de Prado (2018) · structural breaks, entropy & microstructure

Quebras estruturais & entropia

lopez-de-prado-work-review / projects / 07

Features de microestrutura

lopez-de-prado-work-review / projects / 08

Quebras estruturais & entropia

the claim

O que diz López de Prado

Duas famílias de features: detectores de quebra estrutural (o amostrador de eventos CUSUM e a estatística de explosividade/bolha SADF) e estimadores de entropia (Shannon, Lempel-Ziv, Kontoyiannis) que quantificam o conteúdo de informação da sequência de retornos. Ele as apresenta como features, não como estratégias autônomas, resumos de regime e previsibilidade que um classificador pode usar.

our result

O que encontramos

Como sinais autônomos, com custos e em purged-CV, elas praticamente não carregam edge ajustado por overfitting: ao longo de 108 trials a melhor feature deflaciona para DSR ≈ 0 (PBO 0,36). Há um efeito descritivo limpo, regimes explosivos (SADF>0) precedem retornos futuros maiores em cripto (+21bp) e ações (+29bp), mas é em grande parte drift incondicional e não sobrevive como regra operável e deflacionada (melhor regra de regime DSR 0,46).

Features de microestrutura

the claim

O que diz López de Prado

Uma segunda geração de estimadores de microestrutura construídos apenas com dados de barras (Roll, Corwin-Schultz, λ de Kyle, Amihud, Hasbrouck, VPIN). A premissa: eles resumem quem está negociando e a que custo, algo que um conjunto de features de retorno/momentum não enxerga, e portanto deveriam acrescentar conteúdo preditivo para movimentos de curto horizonte e para a volatilidade.

our result

O que encontramos

Volatilidade sim, direção não: o AUC de volatilidade da próxima barra fica consistentemente acima de 0,50 (~0,54) nos três mercados, mas a direção fica no cara-ou-coroa (~0,51), essas features ajudam a dimensionar e a temporizar risco, não a escolher o lado. O long/short com custos é negativo líquido em 22 de 24 instrumentos e o DSR de escopo total é 0,00. Um resultado-bônus que não está no livro: um proxy gratuito de Bulk-Volume-Classification iguala os dados reais de lado da operação na tarefa de volatilidade, o tier caro de fluxo de ordens não é a restrição limitante.

O resultado em três linhas

27 instrumentos · 3 classes de ativos

As features são reais e computáveis

CUSUM, explosividade SADF, entropia de Shannon / Lempel-Ziv / Kontoyiannis e os estimadores de microestrutura Roll / Kyle / Amihud / Hasbrouck / VPIN, todos construídos estritamente de forma causal sobre barras orientadas a informação em cripto, ETFs de ações dos EUA e forex, com kernels de referência e acelerados idênticos bit a bit (máx|Δ| = 0).

melhor DSR ≈ 0,002 · ≈ 0,00

Nada passa do filtro deflacionado

Como sinais autônomos, as features de quebra estrutural/entropia entregam um melhor Deflated Sharpe Ratio de ≈0,002 em 108 trials de purged-CV com custos; o sinal direcional de microestrutura deflaciona para 0,00 em 144 trials. A barra de significância de 0,95 nunca é sequer aproximada em nenhum dos estudos.

BVC ≈ fluxo real

O tier de dados caro não compra nada

Sobre barras de cripto idênticas, o proxy gratuito de Bulk-Volume-Classification iguala ou supera o volume real de comprador/vendedor para a volatilidade da próxima barra (0,547 vs 0,522 de AUC) e o tick-only fica a 0,004 de distância. Você precisa de preço + volume, não de dados de fluxo de ordens, o tier de dados não é a restrição limitante.

Explore, as duas descobertas, interativo

Troque o tier de dados; revele o veredito de custo-e-deflação

O explorador codifica os números reais dos dois estudos. Alterne o tier de dados de microestrutura e veja o AUC de volatilidade da próxima barra mal se mexer enquanto a direção permanece um cara-ou-coroa (a ablação do Projeto 08), depois revele como o forte viés de retorno futuro do regime explosivo (Projeto 07) desmorona sob custos realistas e deflação.

Demo, o tier de dados caro compra poder preditivo?

Sobre barras de cripto idênticas, os quatro estimadores de fluxo de ordens são recalculados de três formas e pontuados na próxima barra. Troque o tier de dados e veja o sinal de volatilidade mal se mexer, e o sinal de direção permanecer um cara-ou-coroa. Depois revele o veredito de custo-e-deflação sobre o viés de regime.

Tier de dados
VOL da próxima barra, AUC OOS
0.522
DIREÇÃO da próxima barra, AUC OOS
0.507
diferença de AUC de vol vs o proxy BVC gratuito
-0.025
VOLATILIDADE DA PRÓXIMA BARRA, AUC OOS, barras de cripto idênticas (0,50 = cara-ou-coroa)0.500.510.520.530.540.550.56volume-de-lado REAL0.522proxy BVC0.547tick-only0.526

Os quatro estimadores de volume-de-lado (Kyle, Hasbrouck, VPIN, OFI) sobre barras de cripto idênticas. O proxy BVC gratuito (0,547) supera o volume-de-lado real caro (0,522) para a volatilidade da próxima barra, e o tick-only (0,526) fica a 0,004 dele. Para direção, os três tiers ficam no cara-ou-coroa (≈0,507–0,512). O tier de dados de fluxo de ordens não é a restrição limitante, preço + volume basta.

Regimes explosivos precedem retornos futuros maiores, mas são operáveis?
RETORNO MÉDIO FUTURO DE 5 BARRAS POR REGIME CAUSAL (pontos-base, OOS)-50102030Ações · explosivo (SADF > 0)+29.2 bpAções · não explosivo+9.7 bpCripto · explosivo (SADF > 0)+21.4 bpCripto · não explosivo-3.8 bpForex · explosivo (SADF > 0)-0.4 bp

Descritivo, fora da amostra, limiares ajustados in-fold (sem espiar). Barras explosivas (SADF>0) precedem +29,2 bp à frente em ações (p<1e-6) e +21,4 bp em cripto (p=7,5e-5), enquanto barras de cripto não explosivas são na verdade negativas. O forex não mostra nada.

Seção 07, quebras estruturais & entropia

Regimes explosivos realmente precedem retornos maiores, só que não é alfa

Fig. 1:Retorno futuro condicional por regime causal (fora da amostra, IC 95%). Regimes explosivos (SADF>0) precedem retornos futuros materialmente maiores em ações (+29,2 bp, p<1e-6) e cripto (+21,4 bp, p=7,5e-5); barras de cripto não explosivas são na verdade negativas (−3,8 bp). O forex não separa nada. Os limiares são ajustados in-fold apenas no treino, sem lookahead.

Os Cap. 17–18 propõem duas famílias de features: quebras estruturais, o amostrador de eventos CUSUM e a estatística de explosividade/bolha SADF, e entropia, Shannon plug-in, complexidade Lempel-Ziv (LZ76) e a taxa de comprimento de correspondência de Kontoyiannis. Calculamos todas elas estritamente de forma causal sobre janelas retroativas em ~6.000 dollar bars pareadas por instrumento, em 27 instrumentos de três classes de ativos.

Condicionar os retornos futuros aos regimes causais revela um efeito descritivo robusto: barras explosivas (SADF>0) precedem um grande movimento futuro positivo em cripto e ações. Mas é em grande parte drift incondicional, episódios SADF>0 se agrupam dentro de pernas de alta em tendência, e não um edge direcional, o que o próximo painel torna preciso.

trials (instr × feature)

108

27 instr × 4 features

melhor Sharpe OOS

0.063

forex USDJPY · Shannon

E[máx] nulo (SR₀)

0.101

família nula de 108 trials

Deflated Sharpe

0.0016

barra é 0,95

PBO (CSCV)

0.357

corpus

% trials positivos

45.4%

faixa [−0,171, +0,063]

Como sinais autônomos, essas features estão na faixa de ruído: o melhor de 108 trials de purged-CV com custos (forex USDJPY Shannon, Sharpe 0,063) está abaixo do máximo esperado de uma família nula de 108 trials (SR₀ 0,101), de modo que seu Deflated Sharpe colapsa para ≈0,002. Transformar o regime explosivo em regra direcional e deflacionar sobre a família de 81 regras dá DSR 0,46, o viés descritivo não se monetiza.

qual família carrega o (tênue) viés, por mercado

mercadofamíliaSRfrac>0p-sinal
criptoquebras (SADF)+0.0120.750.146
criptoentropia−0.0080.440.62
açõesquebras (SADF)−0.0460.000.016
açõesentropia−0.0330.190.007
forexquebras (SADF)+0.00040.501.00
forexentropia+0.0050.670.152

Em cripto, o tênue viés positivo é SADF, não entropia; em forex é entropia, não SADF; em ações ambas as famílias são significativamente negativas após custos (p=0,016 / 0,007). Nenhuma família é significativa na direção certa em lugar algum. Amostrar por eventos CUSUM em vez de pelo relógio move o Sharpe OOS em ≤0,003, um não-evento.

Fig. 2:Painel de features apenas-retroativo (dollar bars de BTC): preço com a estatística de explosividade SADF e a entropia móvel logo abaixo. Cada valor na barra t usa apenas barras ≤ t, as features são descritivas do regime em que estão, sem lookahead.

Seção 08, features de microestrutura

Volatilidade, fracamente sim; direção, não, e o tier de dados não importa

Fig. 3:Ablação de tier de dados sobre barras de cripto idênticas (o único mercado com volume real de comprador/vendedor). Recalculando os quatro estimadores de volume-de-lado de três formas, o proxy gratuito de Bulk-Volume-Classification (0,547 de AUC) iguala ou supera o volume-de-lado real (0,522) para a volatilidade da próxima barra em 9 de 10 instrumentos, e o tick-only (0,526) fica a 0,004 de distância. O tier caro de fluxo de ordens não compra nada.

Os estimadores de “segunda geração” do Cap. 19 leem liquidez e toxicidade apenas a partir de dados de barras: spreads de Roll e Corwin-Schultz, impacto de Kyle, Amihud e Hasbrouck, e o VPIN no relógio de volume com desbalanceamento de fluxo de ordens e o tick rule. Calculamo-los de forma causal em ≈8 barras/dia em 24 instrumentos, com disponibilidade honesta por mercado: cripto tem volume-de-lado real, ações usam um proxy BVC, forex (sem volume) recebe estimadores baseados apenas em preço.

O resultado mais limpo é a ablação à esquerda. Sobre barras de cripto idênticas, o proxy BVC gratuito iguala ou supera os dados reais de fluxo de ordens para a volatilidade da próxima barra. O conteúdo preditivo vive na dinâmica de preço/volume que o BVC reconstrói, uma mesa de pesquisa não precisa de dados caros de lado da operação para extrair o (modesto) sinal de volatilidade de microestrutura.

conteúdo preditivo por mercado, volatilidade fracamente sim, direção não

Fig. 4:AUC fora da amostra por mercado (purged CV). O AUC de volatilidade da próxima barra fica consistentemente acima de 0,50 (≈0,538–0,551, barras de erro estreitas), as features de microestrutura carregam informação real de volatilidade de curto horizonte. A direção da próxima barra fica no cara-ou-coroa (≈0,507–0,513) em todos os mercados.
mercadoAUC dirAUC volSR líqbp/barra
cripto10 instr · n 8,7090.5100.538−0.018−2.72
ações7 instr · n 42,3970.5130.551−0.355−33.45
forex7 instr · n 8,6940.5070.539−0.016−0.26

O long/short com custos sobre o sinal de direção é negativo líquido em 22 de 24 instrumentos. As ações são as piores (−33,45 bp/barra) porque uma comissão de mínimo por ordem domina um book de 1 unidade; cripto e forex ficam logo abaixo de zero. O AUC de volatilidade, não o de direção, é o único lugar onde mora algum sinal.

Fig. 5:Sharpe com custos por instrumento e o filtro de Deflated Sharpe. Ao longo dos 144 trials, o melhor deflaciona para 0,00, o melhor sinal de direção é compatível com sorte. O 0,89 de escopo cripto deflaciona apenas contra um benchmark minúsculo de mesmo escopo (60 trials quase nulos) e carrega PBO 0,36. Após custos realistas, o sinal de direção não é operável.

filtro de Deflated Sharpe

escoponmelhor SRSR₀DSRPBO
todos1440.0700.5350.000.10
cripto600.0700.0570.890.36
ações42−0.0320.4740.000.02
forex420.0530.0540.450.13

ablação de tier de dados, AUC de vol da próxima barra

volume-de-lado REALo que a cripto realmente tem0.522
proxy BVCo tier de ações (preço + volume, sem lado)0.547
tick-onlyo tier de forex (apenas preço)0.526

O proxy BVC gratuito (o tier de ações) supera o volume-de-lado real para a volatilidade da próxima barra. O tier de dados de fluxo de ordens não é a restrição limitante.

Seção 08 · fluxo de ordens estacionário vs bruto

Apresentar o fluxo como input estacionário ajuda? Aqui, não.

Fig. 6:Inputs de fluxo de ordens, transformação estacionária versus nível bruto (cripto, CV purgada). À esquerda: o AUC de direção fora da amostra fica em torno do cara-ou-coroa de 0,50 para o nível bruto e para a transformação estacionária OFI-mais-fractional-differencing, com gap agregado de −0,002. À direita: o Sharpe long/short com custos é negativo líquido para ambos. A transformação atinge estacionariedade com memória preservada; não há sinal direcional em nível de barra para ela revelar.

Uma linha distinta da literatura de fluxo de ordens (Kolm, Turiel e Westray) argumenta que, para previsão guiada por fluxo, a estacionariedade do input importa mais do que o modelo: alimente um nível não estacionário num aprendiz e ele deve degradar fora da amostra, enquanto a mesma informação como transformação estacionária deve prever. Testamos isso lado a lado nas mesmas barras de cripto, mesma validação cruzada purgada e mesmo modelo de custos. O input bruto é o fluxo cumulativo assinado comprador-menos-vendedor (um nível em tendência, não estacionário) mais sua defasagem de uma barra. O input estacionário é o order-flow imbalance (OFI) por barra mais uma fractional differentiation desse nível no d mínimo que mantém a série estacionária preservando memória.

O resultado honesto é um null. Agregado entre seis instrumentos, o AUC de direção é ≈0,50 para ambos os inputs (bruto 0,499, estacionário 0,496), portanto o gap é −0,002, o input estacionário é, se algo, um fio de cabelo pior. Uma fatia recente curta parecia melhor para os inputs estacionários, mas a vantagem não sobreviveu à extensão para a amostra completa, o que a marca como artefato de amostra pequena. A transformação está fazendo seu trabalho: a série fractional-differenced é estacionária com d≈0,5 e memória preservada. Simplesmente não há sinal direcional em nível de barra para ela expor, consistente com o resto do estudo, onde só a volatilidade carrega conteúdo enquanto a direção fica no cara-ou-coroa. Um input estacionário não pode fabricar uma vantagem que não está nos dados; ele só ajuda quando um sinal real está mascarado por não estacionariedade, o que não é o regime aqui.

AUC de direção: nível bruto vs estacionário (OFI + fractional differentiation)

instrumentod usadoAUC brutoAUC estacgap
BTC0.400.4950.492−0.003
ETH0.550.4940.503+0.009
SOL0.450.5020.492−0.010
BNB0.550.4900.503+0.013
XRP0.400.5050.500−0.005
LTC0.550.5040.487−0.017
agregado0.500.4990.496−0.002

Agregado, o Deflated Sharpe Ratio do melhor fold com custos é 0,017 para o bruto e 0,000 para o estacionário contra 36 tentativas, nenhum passa do filtro. A transformação de estacionariedade funciona como pretendido; a direção em nível de barra que ela é incumbida de prever simplesmente não tem sinal.

Como o teste é mantido honesto

Multimercado, apenas-causal, custeado de forma realista, purged-CV e condicionado ao Deflated Sharpe Ratio, a mesma disciplina que ambos os estudos compartilham.

Método

  • Apenas causal. Cada valor de feature na barra t usa apenas barras ≤ t; cada limiar e orientação de regra é ajustado dentro do fold de treino; os horizontes de rótulo são purgados e embargados. Nenhuma figura ou estatística usa informação futura.
  • Barras orientadas a informação. Dollar bars para cripto e ações, tick bars para forex, a barra preferida de López de Prado, com ~6.000 (quebras estruturais) ou ≈8/dia (microestrutura) barras por instrumento.
  • Custos realistas, sem clamping. Tabela de meio-spread por horário do dia para ações mais uma comissão de mínimo por ordem; meio-spread por par em pips para forex com um multiplicador por horário UTC; cripto com um default da casa. São exatamente esses custos que viram as famílias de features de ações significativamente negativas, um teste sem custos reportaria um falso positivo.
  • Purged k-fold CV com embargo para que a janela de rótulo de múltiplas barras nunca cruze treino e teste.
  • Deflated Sharpe + PBO como resultado principal. O False Strategy Theorem fornece o máximo esperado de uma família nula de trials; um resultado só é real se passar dessa barra após deflação por número de trials, dispersão, assimetria e curtose.
  • Kernels verificados. Cada estimador crítico tem uma implementação de referência pura e uma acelerada, conferidas como idênticas bit a bit (máx|Δ| = 0 para CUSUM, LZ76, Kontoyiannis e o bloco móvel de microestrutura; arredondamento de OLS ~1e-13 para SADF).

Notas & limitações

Ambos os estudos deliberadamente não encontram nada operável, e essa é a descoberta. O viés de retorno futuro do regime explosivo é real, mas é em grande parte drift incondicional, não alfa: cripto e ações subiram ao longo da amostra, episódios SADF>0 se agrupam dentro das pernas de alta, e uma média condicional enviesada para comprado parece grande até você exigir uma regra long/short e pagar custos. O resultado de direção em microestrutura é nulo em dados de barras; o resultado de volatilidade é modesto e é o único lugar para onde o trabalho futuro deveria mirar (uma sobreposição de volatility-targeting em vez de um long/short autônomo). Os custos são realistas, não adversariais; a comissão de mínimo por ordem em ações pune um notional minúsculo, mas o veredito qualitativo (AUC de direção ≈ 0,50, DSR ≈ 0) é robusto a isso porque não há edge bruto a defender nem mesmo antes dos custos. Os rótulos são de curto horizonte; um span de tripla barreira mais longo poderia mudar o quadro de direção e fica para trabalho posterior.

Reprodutibilidade

Os kernels das features, as referências, o harness de purged-CV com custos e as análises aprofundadas estão no repositório companheiro, project 07 e project 08 de lopez-de-prado-work-review (privado durante a revisão). O explorador desta página é autocontido: todo número que ele mostra está codificado no componente, então as duas descobertas que ele ilustra reproduzem exatamente a cada carregamento.

Citar

Referências

As fontes primárias das features revisadas aqui:

  • López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. Capítulos 17 (Structural Breaks), 18 (Entropy Features) e 19 (Microstructural Features).
  • Easley, D., López de Prado, M., & O'Hara, M. (2012). Flow Toxicity and Liquidity in a High-Frequency World (VPIN). Review of Financial Studies, 25(5).
  • Roll, R. (1984). A Simple Implicit Measure of the Effective Bid-Ask Spread in an Efficient Market. Journal of Finance, 39(4).
  • Kyle, A. S. (1985). Continuous Auctions and Insider Trading. Econometrica, 53(6).
  • Amihud, Y. (2002). Illiquidity and Stock Returns: Cross-Section and Time-Series Effects. Journal of Financial Markets, 5(1).
  • Corwin, S. A., & Schultz, P. (2012). A Simple Way to Estimate Bid-Ask Spreads from Daily High and Low Prices. Journal of Finance, 67(2).
  • Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5).

Veja também

A espinha dorsal de significância deflacionada que estes dois estudos compartilham é construída e testada sob estresse em Backtest Overfitting & the Deflated Sharpe Ratio, o tema da disciplina de seleção é desenvolvido de forma narrativa em A vantagem está no processo, e o corpo de trabalho mais amplo está em Pesquisa.