Revisão de pesquisa · processo de pesquisa · estudo 11
Meta-Strategy Organization
Conduza a pesquisa como a linha de montagem de uma fábrica, com estações especializadas e separáveis e um único portão de validação compartilhado, e registre cada trial, porque esconder o número de tentativas é o que transforma seleção em uma vantagem falsa
Este é o ponto culminante do programa. López de Prado argumenta que a pesquisa quant deveria ser organizada como a linha de montagem de uma fábrica, com estações especializadas e separáveis, em vez de um artesão solitário, regida por dois princípios: separabilidade (ninguém desenha uma aposta e também a avalia) e divulgação obrigatória (cada trial de cada estação é registrado, de modo que um vencedor reportado pode ser deflacionado pelo verdadeiro número de tentativas N). O anti-padrão contra o qual ele adverte é o quant “Sisyphus” solitário, que encontra estratégias fazendo backtest de uma mesma ideia repetidas vezes e reportando apenas a melhor. A evidência honesta para toda a tese é o próprio scorecard deste programa: cerca de 98.000 configurações de estratégia avaliadas ao longo dos estudos, todas medidas contra a mesma barra deflacionada. O null se sustenta amplamente nos regimes naive e de série única, quase nada passa. Mas o portão não é um não generalizado: três regimes disciplinados de fato sobrevivem à deflação, ranking cross-sectional com um modelo gradient-boosted em todo horizonte, a regra de trading Ornstein–Uhlenbeck/OU sobre seu verdadeiro spread de reversão à média, e risk parity de universo amplo. Eles aproximam-se, mas não superam, o melhor arquétipo estático (cerca de PF 1,17), e o pipeline ponta-a-ponta totalmente divulgado ainda não coloca nada em produção em uma janela deixada de fora. O playground abaixo mostra exatamente quanto Sharpe grátis a seleção compra quando N é escondido.
Working paper
texto em revisão, ainda não publicado
Código & dados
lopez-de-prado-work-review / projects / 16
the claim
O que diz López de Prado
- A pesquisa quant deveria funcionar como a linha de montagem de uma fábrica, com estações especializadas e separáveis, curadores de dados, analistas de features, estrategistas, backtesters e uma estação de validação, deployment e dimensionamento, supervisão de portfólio, não como um artesão solitário que faz tudo.
- Dois princípios regem a linha. Separabilidade: ninguém desenha uma aposta e também a avalia, porque quem constrói uma estratégia e a julga, a julgará com indulgência. Divulgação obrigatória: cada trial de cada estação é registrado, de modo que, quando um vencedor é reportado, a estação de validação conhece o verdadeiro número de trials N e pode deflacionar o resultado.
- A advertência é o quant Sisyphus solitário, que descobre estratégias fazendo backtest repetidamente de uma única ideia e reportando apenas a melhor. A razão pela qual isso falha é matemática, não uma questão de força de vontade: tente configurações suficientes, reporte apenas o vencedor, e o vencedor parecerá forte mesmo com zero vantagem real. Esconder N é o que torna o número sem sentido; divulgar N é a única coisa que permite que alguém corrija para isso.
our result
O que encontramos
- O backtester solitário não ganha nada out-of-sample. Ao longo de 1.208 janelas de walk-forward em 39 instrumentos, escolher a única melhor estratégia in-sample a cada trimestre e colocá-la em produção deu um Sharpe out-of-sample realizado e agrupado de negativo 0,02 (banda de 95 por cento de negativo 0,21 a positivo 0,18). As escolhas tiveram um Sharpe in-sample mediano de 3,09 anualizado, então o decaimento de in-sample para out-of-sample foi de 2,61 de Sharpe, a maldição do vencedor apaga toda a vantagem aparente. O Sharpe out-of-sample foi negativo para 82 por cento dos instrumentos e a taxa de acerto mediana foi de 0,40, pior que cara ou coroa. O processo divulgado, recusando-se a colocar em produção qualquer estratégia individual que não passe a deflação, não colocou nada em produção.
- A diversificação compra vantagem deflacionada apenas onde o mercado tem estrutura. Combinar muitas estratégias fracamente correlacionadas reduziu a correlação mediana dentro da shortlist para 0,11 e elevou o número efetivo de apostas independentes para cerca de 17, mas o sleeve agrupado de política fixa ainda realizou um Sharpe out-of-sample de negativo 0,64. Apenas 3 de 39 instrumentos passaram a barra de Deflated Sharpe de 0,95 em nível de portfólio, e todos os três são fundos amplos de índice de ações (o proxy do Nasdaq-100 com Sharpe OOS 2,50 e DSR 1,00, o proxy do S&P-500 com 1,96, o proxy de small-cap com 0,85). Cada sleeve de cripto, FX, setor e volatilidade foi negativo. Um portfólio de ruído ainda é ruído.
- O próprio melhor resultado do programa fica abaixo da expectativa sem habilidade. O backtest overfitting, medido em todo o programa por Combinatorially-Symmetric Cross-Validation, foi de 0,21 (0,34 cripto, 0,11 FX, 0,00 ações). E ao longo de 985.570 configurações elegíveis, o melhor Sharpe anualizado observado é 3,21, enquanto o expected maximum Sharpe de trials puramente sem habilidade nesta escala é de 5,22 a 5,61. Então o melhor resultado do programa, impressionante isolado, fica abaixo do que a seleção sobre ruído sozinha produziria uma vez que a busca é divulgada, a curva cruza 3,21 em apenas cerca de 200 trials. Essa diferença, divulgada com clareza, é a tese.
- Mas o null não é absoluto, a disciplina sobrevive onde a busca naive não sobrevive. Três regimes passam o portão de deflação honestamente. O ranking cross-sectional com um modelo gradient-boosted passa a barra de Deflated Sharpe em 10 de 10 horizontes de manutenção (probability of backtest overfitting 0,10, correlação de rank in-sample para out-of-sample 0,78, profit factor out-of-sample mediano cerca de 1,12), a primeira vantagem de machine learning do programa a sobreviver ao DSR. A optimal-trading-rule Ornstein–Uhlenbeck/OU, rodada em seu verdadeiro regime (o spread residual de um par cointegrado, e não uma série única), passa o DSR em 3 de 5 pares com um profit factor mediano de 2,11 e bate um controle de Bollinger-band em 4 de 5. E a hierarchical risk parity (HRP) de universo amplo mostra uma vantagem real de variância out-of-sample sobre o equal weight que cresce com a amplitude (razão de variância HRP-para-1/N de 0,87 em 25 nomes, 0,45 em 200). Cada um deles aproxima-se, mas não supera, o melhor arquétipo estrutural estático em cerca de PF 1,17, e o pipeline ponta-a-ponta totalmente divulgado ainda não coloca nada em produção em uma janela deixada de fora, então a leitura honesta é que o ML disciplinado iguala a vantagem estática sem dominá-la.
O resultado em três linhas
E1 · 1.208 janelas · 39 instrumentos
O backtester solitário não ganha nada out-of-sample
Escolher a única melhor estratégia in-sample a cada trimestre e colocá-la em produção deu um Sharpe out-of-sample realizado e agrupado de negativo 0,02 (banda de 95 por cento de negativo 0,21 a +0,18). As escolhas tiveram um Sharpe in-sample mediano de 3,09, então o decaimento foi de 2,61 de Sharpe, a maldição do vencedor apaga toda a vantagem. O Sharpe out-of-sample foi negativo em 82 por cento dos instrumentos; a taxa de acerto mediana foi de 0,40. O processo divulgado, recusando qualquer estratégia individual que não passe a deflação, não colocou nada em produção em nenhuma das 1.208 janelas.
E2 · 39 instrumentos · ~17 apostas efetivas
A diversificação só paga onde o mercado tem estrutura
Combinar apostas fracamente correlacionadas cortou a correlação mediana dentro da shortlist para 0,11 e elevou a contagem efetiva de apostas para cerca de 17, mas o sleeve agrupado de política fixa ainda realizou um Sharpe out-of-sample de negativo 0,64. Apenas 3 de 39 instrumentos passaram a barra de Deflated Sharpe de portfólio de 0,95, e todos os três são fundos amplos de índice de ações (QQQ com OOS 2,50 / DSR 1,00, SPY 1,96, IWM 0,85). Cada sleeve de cripto, FX, setor e volatilidade foi negativo.
E4 · 985.570 trials · melhor 3,21
O melhor do programa fica abaixo da expectativa sem habilidade
O backtest overfitting de todo o programa foi de 0,21 (0,34 cripto, 0,11 FX, 0,00 ações). Ao longo de 985.570 configurações elegíveis, o melhor Sharpe anualizado observado é 3,21, enquanto a seleção pura sobre ruído nesta escala seria esperada produzir de 5,22 a 5,61. O melhor resultado fica abaixo da expectativa sem habilidade uma vez que a busca é divulgada; a curva cruza 3,21 em apenas cerca de 200 trials. Essa diferença é o efeito da divulgação, e a tese.
Disciplina · 3 regimes passam o DSR
Mas o null não é absoluto, a disciplina sobrevive
O portão não é um não generalizado. O ranking cross-sectional com um modelo gradient-boosted passa a barra de Deflated Sharpe em 10 de 10 horizontes (PBO 0,10, ρ de rank IS→OOS 0,78, PF mediano ~1,12), a primeira vantagem de ML do programa a sobreviver ao DSR. A OU sobre seu verdadeiro spread de reversão à média passa o DSR em 3 de 5 pares cointegrados (PF mediano 2,11). A vantagem de variância da risk parity de universo amplo sobre o 1/N cresce com a amplitude (0,87 → 0,45 de 25 a 200 nomes). Cada um aproxima-se, mas não supera, o melhor arquétipo estático (~PF 1,17), e o pipeline totalmente divulgado ainda não coloca nada em produção fora da amostra.
Divulgue seus trials
Arraste o número de configurações N que um pesquisador silenciosamente pesquisou. A curva é o expected maximum Sharpe de estratégias sem habilidade; sem vantagem real, o melhor de N ainda assim cresce com N. O marcador do quant solitário fica em 2.500 trials silenciosos. Este é um mecanismo pedagógico, não uma alegação negociável.
O ponto do playground é que a seleção se disfarça de habilidade a menos que cada trial seja divulgado. Aumente N e o expected maximum Sharpe de uma busca sem vantagem cresce com ele, em 2.500 trials já está próximo de 1,8, um número que pareceria uma estratégia séria. Um quant solitário que reporta apenas o melhor desses trials e esconde N lhe entrega essa cifra como se fosse habilidade. Divulgar N é a única coisa que permite ao Deflated Sharpe Ratio subtrair esse benchmark e deflacionar o vencedor rumo à barra de acaso de 0,95. Essa disciplina de divulgação é exatamente o que a linha de montagem institucionaliza.
Demo, divulgue seus trials
Arraste o número de configurações N que um pesquisador silenciosamente pesquisou. A curva é o expected maximum Sharpe de estratégias sem habilidade (False Strategy Theorem, T = 1000 observações por trial): com zero vantagem real por construção, o melhor de N backtests ainda assim cresce com N. Um quant solitário que reporta apenas o melhor e esconde N lhe entrega esse número como se fosse habilidade. Divulgar N é a única coisa que permite ao Deflated Sharpe Ratio subtrair esse benchmark.
N é o verdadeiro número de configurações tentadas, incluindo cada reexecução silenciosa.
O único melhor de N backtests, anualizado, o número que acaba sendo publicado.
Pesquisar … → 1.76. configurações sem habilidade e reportar apenas a melhor compra todo este Sharpe anualizado de pura seleção. Até que N seja divulgado, não há como distingui-lo de habilidade; uma vez divulgado, o Deflated Sharpe Ratio subtrai o benchmark e o vencedor deflaciona rumo à barra de acaso de 0,95.
A armadilha de Sisyphus, quantificada
O False Strategy Theorem dá o expected maximum Sharpe de N trials sem habilidade, cada um estimado sobre uma série de T observações. Com zero vantagem real por construção, o melhor de N backtests ainda assim cresce de forma constante com N, e esse crescimento é pura seleção. Em 2.500 trials silenciosos, o tamanho do corpus de cripto por instrumento deste programa, a seleção sozinha compra cerca de 1,8 de Sharpe anualizado. Se o quant nunca lhe disser N, você não tem como saber que o 1,8 é uma miragem. Divulgar N é exatamente o que permite ao Deflated Sharpe Ratio subtrair esse benchmark e revelar o vencedor como sorte.
Seis estações separáveis, um portão compartilhado
O esquema dispõe as seis estações e mapeia cada estudo concluído à estação que ele testou sob estresse: curadores de dados (barras dirigidas por informação, diferenciação fracionária), analistas de features (quebras estruturais e entropia, features microestruturais, fatores causais), estrategistas (triple-barrier e meta-labeling, rótulos de trend-scanning), backtesters e validação (cross-validation com purga, ensembles e importância, e o próprio arcabouço de overfitting e Deflated Sharpe), deployment e dimensionamento (dimensionamento de aposta, regras ótimas de negociação) e supervisão de portfólio (construção de portfólio). Nenhum estudo isolado fez tudo, e nenhum estudo avaliou o próprio trabalho, porque a estação de validação era compartilhada e aplicada de forma idêntica. O laço de divulgação registra cada trial para que o portão possa deflacionar pelo verdadeiro N.
O scorecard do programa: o portão segurou amplamente, mas a disciplina passou
Configurações avaliadas versus configurações que passam pelo portão de deflação, por estudo. Ao longo dos estudos naive e de série única, a linha avaliou cerca de 98.000 configurações e quase nenhuma passou; o corpus de overfitting com 92.500 estratégias passa em 0 de 3 mercados. Mas o portão não é um não generalizado. Três regimes disciplinados sobrevivem à deflação honestamente: o ranking cross-sectional com um modelo gradient-boosted passa o DSR em 10 de 10 horizontes (a primeira vantagem de machine learning do programa a sobreviver ao DSR), a regra Ornstein–Uhlenbeck/OU sobre seu verdadeiro spread de reversão à média passa 3 de 5 pares cointegrados, e a vantagem de variância out-of-sample da risk parity de universo amplo sobre o equal weight cresce com a amplitude. Cada um aproxima-se, mas não supera, o melhor arquétipo estático perto de PF 1,17. A fábrica rodou de ponta a ponta, e o portão disse não à busca naive e sim apenas à disciplina, que é a disciplina funcionando como pretendido.
O programa como uma linha de montagem, uma meta-análise
Cada estudo, medido contra uma única barra deflacionada
Cada número abaixo é lido das próprias tabelas de resultados dos estudos. O veredito tem dois lados: os estudos naive e de série única, cerca de 98.000 configurações, quase não passam nada, enquanto três regimes disciplinados de fato sobrevivem à mesma barra deflacionada (ranking cross-sectional com um modelo gradient-boosted, a regra Ornstein–Uhlenbeck/OU sobre seu verdadeiro spread de reversão à média, e risk parity de universo amplo). Os estudos de representação de dados (barras dirigidas por informação, diferenciação fracionária) e o estudo de vazamento são trabalho de propriedades estatísticas, sem custo por natureza, então não carregam um portão de deflação em nível de estratégia e são excluídos do total de trials e marcados como tal.
| estudo | estação | trials | passam DSR>0.95 | alegação reproduzida |
|---|---|---|---|---|
| Backtest overfitting & DSR | Validation | 92,500 | 0 / 3 markets | Yes, best Sharpe below the null E[max] in all 3 markets; DSR 0.00–0.03 |
| Information-driven bars | Data representation | , | n/a | Yes, excess kurtosis collapses toward Gaussian in all 3 markets (property study) |
| Fractional differentiation | Data representation | , | n/a | Yes, FFD keeps ~0.98 memory while buying stationarity (property study) |
| Triple-barrier + meta-labeling | Labeling | 1,134 | 0 / 42 | Partly, mechanics reproduce; meta-label adds no deflated edge |
| Purged CV / CPCV leakage | Validation | , | n/a | Yes, naive k-fold inflates the score; purging removes it (property study) |
| Trend-scanning labels | Labeling | 378 | 19 / 42 | Partly, DSR hits exist but the labeller ties its fixed-horizon control (19 vs 18 of 42) |
| Structural breaks & entropy | Features | 108 | 0 | Yes as features, but not tradeable; best DSR 0.002 |
| Microstructural features | Features | 144 | 0 | Partly, estimators cheap, but nothing tradeable after costs |
| Cross-sectional ML (LightGBM ranking) | Model / strategy | 10 horizons | 10 / 10 | Yes, the program's first DSR-surviving ML edge; PBO 0.10, IS→OOS rank ρ 0.78, median PF ~1.12; approaches but does not beat the best static archetype |
| Ensembles & feature importance | Model / importance | 1,280 | 0 / 40 | Yes on the science, bagging gap ~5× smaller, MDA less biased; no deflated edge |
| Bet sizing | Sizing | 1,344 | 0 / 42 | Partly, sizing changes turnover, not deflated performance (PBO ~0.49) |
| Optimal trading rules (OU on a cointegrated spread) | Sizing / exits | 5 pairs | 3 / 5 | Yes in its true regime, on the mean-reverting residual spread the OU rule clears DSR on 3 of 5 pairs (median PF 2.11) and beats the band control on 4 of 5; the single-series mesh still ties its IS-tuned control |
| Portfolio construction (HRP / large universe) | Allocation | 5 sizes | ranking | Yes on ranking, HRP's out-of-sample variance advantage over 1/N grows with breadth (HRP/1N variance 0.87 at N=25 → 0.45 at N=200); 0 clear an absolute DSR on this net-noisy panel |
| Causal factor investing | Features / validation | 9 | 0 | Yes, MC reproduces the bias; no real factor survives adjustment + deflation (best DSR 0.45) |
“Trials” conta as configurações de estratégia avaliadas; os estudos de propriedades não carregam portão de deflação de estratégia e são excluídos do total de ~98.000 do regime naive. O único dado sintético em todo o programa é o Monte Carlo rotulado que valida a fórmula do expected-max-Sharpe; todo o resto são dados de mercado reais. Os regimes disciplinados que passam o portão, ranking cross-sectional (10 de 10 horizontes), OU sobre seu verdadeiro spread cointegrado (3 de 5 pares) e risk parity de universo amplo, aproximam-se, mas não superam, o melhor arquétipo estático perto de PF 1,17; os antigos melhores de trend-scan de série única e de mesh OU ainda empatam com seus próprios controles ajustados in-sample.
Quatro experimentos sobre o próprio corpus do programa
Cerca de 1,20 milhão de configurações de estratégia, ao longo de 42 instrumentos, postas à prova
O scorecard acima é o programa lendo suas próprias tabelas de resultados. Os quatro experimentos abaixo vão além: eles re-executam a tese organizacional como um experimento controlado, líquido de custos, sobre o próprio corpus de resultados reais de estratégia do programa, cerca de 1,20 milhão de configurações de estratégia ao longo de 42 instrumentos abrangendo cripto, ações e câmbio, com cada fluxo realizado líquido de custos e purgado de look-ahead por construção. Cada experimento responde a uma pergunta que a tese levanta, e onde o resultado é negativo ele é reportado como negativo.
E1 · Sisyphus versus a linha de montagem divulgada
Ao longo de 1.208 janelas de walk-forward em 39 instrumentos (um ano in-sample, um trimestre out-of-sample, com passo trimestral), rodamos dois processos de pesquisa lado a lado sobre o mesmo conjunto de candidatas. O backtester solitário escolhe a única melhor estratégia in-sample em cada janela e a coloca em produção; a linha de montagem divulgada filtra o conjunto contra o null do False Strategy Theorem para o número total de trials buscados e só coloca em produção estratégias que passam a barra de Deflated Sharpe.
As escolhas do backtester solitário tiveram um Sharpe in-sample mediano de 3,09 anualizado e um Sharpe out-of-sample realizado agrupado de negativo 0,02 (banda de 95 por cento de negativo 0,21 a positivo 0,18). O decaimento médio de in-sample para out-of-sample foi de 2,61 de Sharpe anualizado, a maldição do vencedor apaga toda a vantagem aparente. O Sharpe out-of-sample realizado foi negativo para 82 por cento dos instrumentos, e a taxa de acerto mediana foi de 0,40, pior que cara ou coroa. O processo divulgado, exigindo que qualquer estratégia individual passe o null de trials divulgados, não colocou nada em produção em nenhuma das 1.208 janelas; o Deflated Sharpe da melhor estratégia individual foi efetivamente zero em cada janela (máximo por janela 0,0001), e relaxar a barra de 0,95 para 0,60 não mudou nada. Recusar-se a colocar em produção não é uma falha da disciplina; é a disciplina reportando corretamente que nenhum backtest individual sobrevive quando se admite quantos foram tentados.
E2 · A meta-strategy portfolio
A resposta construtiva de López de Prado não é uma grande estratégia, mas muitas fracas e fracamente correlacionadas combinadas, deflacionando o sleeve em vez de cada parte. Construímos shortlists diversificadas por instrumento e por janela, alocamos de quatro maneiras e deflacionamos o sleeve contra um null em nível de portfólio.
A diversificação foi real: a correlação absoluta mediana dentro da shortlist caiu para 0,11 e o número efetivo de apostas independentes subiu para cerca de 17. Mas combinar apostas fracas combinou, sobretudo, ruído. O sleeve agrupado de política fixa teve um Sharpe out-of-sample realizado de negativo 0,64, e apenas 3 de 39 instrumentos passaram a barra de Deflated Sharpe de 0,95 em nível de portfólio, e todos os três são fundos amplos de índice de ações. Cada sleeve de cripto, câmbio, setor e volatilidade foi negativo. A diversificação reduz a correlação e eleva a contagem efetiva de apostas exatamente como anunciado; se isso compra vantagem deflacionada depende inteiramente de o mercado carregar estrutura persistente após custos. Um portfólio de ruído ainda é ruído.
E2 · os únicos sleeves que passaram
Três índices amplos de ações, e nada mais
De 39 instrumentos, apenas três passaram a barra de Deflated Sharpe de 0,95 em nível de portfólio, e todos os três são fundos amplos de índice de ações. Cada sleeve de cripto, câmbio, setor e volatilidade teve um Sharpe out-of-sample realizado negativo e um Deflated Sharpe de portfólio em torno de zero ou nele.
| sleeve | o que é | Sharpe OOS (anual.) | DSR de portfólio |
|---|---|---|---|
| QQQ | Nasdaq-100 index proxy | 2.50 | 1.00 |
| SPY | S&P 500 index proxy | 1.96 | 1.00 |
| IWM | small-cap (Russell 2000) proxy | 0.85 | 1.00 |
Sharpe out-of-sample realizado do melhor sleeve deflacionado, com o Deflated Sharpe Ratio em nível de portfólio. O sleeve agrupado de política fixa ao longo de todos os 39 instrumentos foi negativo 0,64; o Deflated Sharpe de portfólio mediano foi essencialmente zero. A vantagem que sobrevive é o mercado, não a busca.
E3 · Probability of backtest overfitting em nível de programa
A Probability of Backtest Overfitting pergunta com que frequência a melhor estratégia in-sample cai na metade inferior out-of-sample sob Combinatorially-Symmetric Cross-Validation. Um valor próximo de 0,5 significa que o ranking in-sample não carrega informação out-of-sample. Nós a rodamos sobre a matriz real de PnL líquido diário de cada instrumento, amostrando até 1.500 estratégias filtradas por atividade por instrumento com uma semente fixa.
A probability of backtest overfitting de todo o programa foi de 0,21. Por mercado foi 0,34 para cripto, 0,11 para câmbio e 0,00 para ações. Os rankings de índice de ações são estáveis out-of-sample; os rankings de cripto ficam perto de cara ou coroa; o câmbio fica no meio. A ordenação reproduz o estudo por-corpus anterior do programa em uma grade menor, com o corpus diário maior e mais diverso aqui mostrando um pouco mais de espaço para overfitting em cripto e câmbio, exatamente o que se espera quando o espaço de busca cresce.
E3 · overfitting por mercado
O mesmo diagnóstico separa os mercados de forma limpa
Probability of backtest overfitting por mercado, agrupada ao longo dos instrumentos via Combinatorially-Symmetric Cross-Validation sobre as matrizes reais de PnL líquido diário. Um valor próximo de 0,5 significa que o ranking in-sample não carrega informação out-of-sample.
| mercado | PBO | leitura |
|---|---|---|
| Equities | 0.00 | rankings stable out of sample |
| Foreign exchange | 0.11 | in between |
| Crypto | 0.34 | close to a coin flip |
| Program-wide | 0.21 | pooled across all instruments |
Probability of backtest overfitting de todo o programa 0,21 (mediana por instrumento 0,22), com uma faixa por instrumento de 0,00 a 0,63. O backtest overfitting é real e fortemente dependente do mercado.
E4 · O melhor resultado do programa, contra a expectativa sem habilidade
O False Strategy Theorem diz que o expected maximum Sharpe de N trials sem habilidade cresce com N e com a dispersão dos Sharpes dos trials. Medimos os três a partir do corpus real: a contagem de trials, a dispersão empírica dos Sharpes por estratégia e o número efetivo de trials independentes a partir do participation ratio dos autovalores da estrutura de correlação real.
O programa buscou 985.570 configurações elegíveis. A estrutura de correlação real é frouxa (correlação absoluta mediana 0,05), de modo que o número efetivo de trials independentes é 186.139, cerca de 19 por cento do nominal. O melhor Sharpe anualizado observado em todo o corpus é 3,21, no proxy do Nasdaq-100. O expected maximum Sharpe de trials puramente sem habilidade nesta escala é 5,61 sob a contagem nominal e 5,22 sob a contagem efetiva. Daí o número mais marcante do estudo: o próprio melhor resultado do programa, impressionante isolado, fica abaixo do que a seleção sobre ruído sozinha seria esperada produzir uma vez que cerca de um milhão de trials são divulgados. A curva sem habilidade cruza 3,21 em apenas cerca de 200 trials. Com uma busca tão grande, um Sharpe de 3,21 nem sequer acompanha o acaso. Esta é a tese em uma única figura.
E4 · o melhor do programa versus o null
Melhor observado 3,21, esperado só de ruído 5,22 a 5,61
Os ingredientes da comparação de expected maximum Sharpe em escala de programa, todos medidos a partir do corpus real. O melhor observado fica abaixo da expectativa sem habilidade tanto na contagem nominal quanto na efetiva de trials.
| quantidade | valor | nota |
|---|---|---|
| Eligible configurations searched | 985,570 | 1.20M in total |
| Effective independent trials | 186,139 | ~19% of nominal; median |corr| 0.05 |
| Observed best Sharpe (ann.) | 3.21 | Nasdaq-100 proxy |
| E[max Sharpe], nominal N | 5.61 | skill-less expectation |
| E[max Sharpe], effective N | 5.22 | skill-less expectation |
| Trials to reach 3.21 by chance | ~200 | where the skill-less curve crosses the observed best |
O N efetivo é medido por instrumento a partir do participation ratio dos autovalores e somado ao longo dos instrumentos, tratando os instrumentos como blocos independentes, uma estimativa conservadora-baixa da redundância entre instrumentos. O melhor observado de 3,21 reproduz independentemente a cifra anterior de melhor-do-corpus do programa.
A linha de montagem inteira, encadeada e rodada uma vez
Os quatro primeiros experimentos dissecam o programa uma estação de cada vez. O teste final do capstone faz o oposto: encadeia todas as estações em um único sistema divulgado e o roda uma vez, de ponta a ponta, sobre uma janela de tempo que nunca foi tocada durante a calibração. Information-driven bars (dollar bars) alimentam os triple-barrier labels; pesos de sample-uniqueness reduzem o peso de eventos sobrepostos; um modelo de árvores com bagging e um meta-label gate decidem quando agir; uma regra de bet sizing dimensiona a posição; a Hierarchical Risk Parity aloca entre quaisquer sleeves que se qualifiquem; e um deploy gate de Deflated Sharpe Ratio, fixado em 0,95 contra a contagem divulgada de trials, dá a palavra final. Seis instrumentos, 162 configurações pesquisadas no total, os últimos 20 por cento de cada série deixados de fora, 7 pontos-base de custo por lado.
O pipeline divulgado não fez deploy de nada. Nenhum Deflated Sharpe de calibração de instrumento algum passou da barra de 0,95, então o gate ficou em caixa e realizou exatamente zero. A escolha Sisyphus, a única melhor configuração in-sample, posta em deploy às cegas, perdeu dinheiro out-of-sample, com Sharpe anualizado de -0,83 e profit factor de 0,96. O único fluxo realizado positivo na janela deixada de fora foi o buy-and-hold simples, em +1,81. A tese se resume a uma única decisão aqui, e o gate divulgado a toma corretamente: recusa-se a embarcar a escolha perdedora do backtester solitário.
E5 · um pipeline divulgado, pontuado uma vez em tempo deixado de fora
O gate não embarca nada, a escolha solitária perde, só o buy-and-hold é positivo
Resultado realizado agrupado sobre a janela out-of-time deixada de fora em seis instrumentos. O pipeline com DSR gate é o sistema divulgado; a escolha Sisyphus é a melhor configuração in-sample do backtester solitário posta em deploy às cegas; o buy-and-hold é o benchmark passivo.
| processo | Sharpe OOS (anual.) | PF OOS | faz deploy? |
|---|---|---|---|
| assembled pipeline (DSR-gated) | 0.00 | n/a | NO, held cash |
| Sisyphus best-in-sample pick | -0.83 | 0.96 | deploys blindly |
| buy and hold | +1.81 | 1.06 | , |
Out-of-sample são os últimos 20 por cento de cada série, nunca usados na calibração; o custo é de 7 pontos-base por lado; o deploy gate é um Deflated Sharpe Ratio de 0,95 contra as 162 configurações divulgadas. Nenhum instrumento passou do gate, então o pipeline fez deploy de zero sleeves e realizou zero.
Reconciliando os cortes: o efeito da divulgação, tornado explícito
Duas afirmações verdadeiras parecem, à primeira vista, uma contradição. O scorecard por instrumento do programa reporta sobreviventes que passaram uma barra alta de Deflated Sharpe, 19 de 42 instrumentos no estudo de trend-scanning e 3 de 42 no estudo de optimal trading rules, 22 ao todo. Ainda assim, o melhor resultado individual do programa tem um Deflated Sharpe abaixo de 0,03 contra o corpus completo, e o processo divulgado do E1 não colocou nada em produção.
Ambas estão corretas, e a diferença entre elas é o efeito da divulgação. A cifra por instrumento deflaciona cada sobrevivente contra a contagem de trials pequena do próprio instrumento; a cifra do melhor do programa deflaciona o único melhor resultado contra o null completo de cerca de um milhão de trials. O mesmo resultado pode passar um null local pequeno e falhar um null global grande. É precisamente o efeito que a linha de montagem foi construída para revelar: divulgue cada trial, deflacione o vencedor contra o verdadeiro N, e um número que parecia habilidade é revelado como seleção.
A divulgação também tem um lado construtivo, e o programa o mostra. Dois regimes de fato passam a barra sem se apoiar em um null local pequeno: a regra Ornstein–Uhlenbeck/OU deflacionada sobre seu verdadeiro spread de reversão à média (3 de 5 pares cointegrados, batendo um controle de banda em 4 de 5), e o ranking cross-sectional com um modelo gradient-boosted, que passa em todos os 10 horizontes a uma probability of backtest overfitting de 0,10, a primeira vantagem de machine learning do programa a sobreviver ao DSR. Ambos aproximam-se do melhor arquétipo estático perto de PF 1,17 em vez de superá-lo, então a leitura honesta não é “nada funciona”, mas “a disciplina iguala a vantagem estática, e a busca naive de Sisyphus não”.
O custo da não-divulgação
Expected maximum Sharpe de trials sem habilidade versus N
O expected maximum Sharpe anualizado de N trials sem habilidade (False Strategy Theorem, T = 1000 observações por trial). O ponto central: com zero vantagem real, o melhor de N backtests ainda assim cresce de forma constante com N. Este é o benchmark que um N divulgado permite ao Deflated Sharpe Ratio subtrair.
| trials N | E[max Sharpe], anualizado | nota |
|---|---|---|
| 10 | 0.79 | |
| 100 | 1.27 | |
| 1,000 | 1.63 | |
| 2,500 | 1.76 | lone quant, best of 2,500 |
| 10,000 | 1.94 | |
| 100,000 | 2.20 | |
| 1,000,000 | 2.44 |
Valores analíticos do False Strategy Theorem em T = 1000. Validados contra um Monte Carlo de estratégias sem habilidade dentro do erro de Monte Carlo (diferença absoluta máxima de 0,0009 no Sharpe por observação ao longo de N de 10 a 5.000); o laço interno do Sharpe é verificado como bit-idêntico a uma referência independente (diferença máxima 0,0 sobre 200 matrizes aleatórias).
Método
- Curva expected-max-Sharpe: o False Strategy Theorem (Bailey & López de Prado) dá E[max SR] para N trials independentes sem habilidade, cada um com uma série de T = 1000 observações e variância do Sharpe por trial ~1/T. A curva é avaliada analiticamente ao longo de N de 2 a 1.000.000 e reportada anualizada.
- Validação por Monte Carlo: para vários valores de N, extraímos milhares de fluxos independentes de retornos de média zero e variância unitária (sem vantagem por construção), tomamos o Sharpe amostral máximo em cada universo e tiramos a média. Este experimento sintético rotulado é o único dado sintético em todo o programa. Ele concorda com a fórmula analítica dentro do erro de Monte Carlo em cada N testado (máx. |Δ| 0,0009 no Sharpe por observação ao longo de N de 10 a 5.000).
- Verificação numérica: o laço interno do Sharpe-de-uma-matriz foi implementado duas vezes, uma em código de array simples e outra como um kernel compilado, e os dois foram verificados como bit-idênticos (diferença máxima 0,0 sobre 200 matrizes de entrada aleatórias). Nesta carga de trabalho, o sorteio aleatório, e não o cálculo do Sharpe, domina o tempo de execução, então o kernel compilado é um seguro de correção e não um ganho de velocidade.
- Scorecard de meta-análise: cada estudo concluído no programa é mapeado à estação da linha de montagem que ele testou sob estresse, e sua própria tabela de resultados fornece as configurações avaliadas e a contagem das que passam pelo portão do Deflated Sharpe (DSR > 0,95), com a Probability of Backtest Overfitting e o número efetivo de trials como diagnósticos de apoio. O mesmo arcabouço de validação foi aplicado de forma idêntica em todos os estudos. Os estudos de propriedades (barras, diferenciação fracionária, vazamento) não carregam portão de deflação de estratégia e são excluídos do total de trials.
Notas & avaliação honesta
Este é um resultado de processo e disciplina, não uma vantagem negociável, e é enquadrado assim do início ao fim. A fórmula do expected-max-Sharpe mostra com precisão quanto Sharpe grátis a seleção compra quando N é escondido, e ela casa com um Monte Carlo sem habilidade dentro do erro de Monte Carlo. O programa é, ele mesmo, o exemplo prático da linha de montagem: rodou cada estação, registrou cada trial e mediu tudo contra a mesma barra deflacionada. O veredito honesto tem dois lados. O null se sustenta amplamente nos regimes naive e de série única, o portão rejeitou quase todas as cerca de 98.000 configurações ali. Mas o portão não é um não generalizado: três regimes disciplinados sobrevivem à deflação, ranking cross-sectional com um modelo gradient-boosted em todo horizonte, a regra Ornstein–Uhlenbeck/OU sobre seu verdadeiro spread de reversão à média, e risk parity de universo amplo, e cada um aproxima-se, mas não supera, o melhor arquétipo estático perto de PF 1,17, enquanto o pipeline ponta-a-ponta totalmente divulgado ainda não coloca nada em produção em uma janela deixada de fora. A linha de montagem somada à divulgação obrigatória é o que separa a pesquisa honesta da armadilha de Sisyphus, e a evidência mais forte para isso é um programa que divulgou seu N e deixou os números dizerem não à busca naive e um sim medido apenas à disciplina. O playground é um mecanismo pedagógico ancorado à curva real, não a alegação de que qualquer número nele seja uma vantagem alcançável.
Reprodutibilidade
A curva expected-max-Sharpe, a validação por Monte Carlo, a checagem de paridade bit-idêntica, o scorecard de meta-análise e as figuras estão reunidos no project 16 de lopez-de-prado-work-review. O playground desta página é autocontido: as âncoras da curva real estão codificadas no componente, de modo que o mecanismo que ele ilustra se reproduz exatamente a cada carregamento.
Citar
Referências
As fontes primárias do arcabouço sintetizado aqui:
- López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. (Chapter 1, the research assembly line; and the multiple-testing discipline throughout.)
- Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. Journal of Portfolio Management, 40(5).
- Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance, 20(4).
- López de Prado, M. (2020). Machine Learning for Asset Managers. Cambridge Elements in Quantitative Finance.
Veja também
O portão de validação compartilhado é o tema de Backtest Overfitting & the Deflated Sharpe Ratio, a estação de grafo causal é Causal Factor Investing, o mesmo tema da disciplina de seleção percorre The edge is in the process, e o corpo de trabalho mais amplo está em Research.