M/02 · Higher Criticism + Knockoffs Model-X

Detecção de sinais esparsos com controle de FDR

Higher Criticism para triagem global de sinais esparsos, combinado com knockoffs Model-X para seleção de variáveis com FDR controlado em populações de estratégias.

A matemática

Higher Criticism

Suponha que você observe p p-valores bilaterais $p_{(1)} \leq p_{(2)} \leq \dots \leq p_{(p)}$ de p testes de hipótese. Sob o nulo global, as estatísticas de ordem se distribuem como as estatísticas de ordem de p variáveis Uniformes(0,1) i.i.d., com j-ésimo valor esperado j/(p+1). A estatística Higher Criticism compara a CDF empírica à sua expectativa uniforme, escalada pela variância de uma binomial sob o nulo:

HC^{*} = 1 \leq j \leq α p max \frac{p ( j / p - p _{(j)} )}{( j / p ) ( 1 - j / p )}

com α tipicamente tomado como 1/2. Donoho & Jin (2004) mostram que sob a alternativa raro-e-fraco, uma fração de esparsidade p^−β de não-nulos com tamanho de efeito $r 2 lo g p$ , HC é assintoticamente ótimo na fronteira de detecção que nenhuma regra de limiar consegue cruzar. Como benefício adicional, o argmax j* fornece um corte orientado por dados: rejeite os menores j* p-valores.

Knockoffs Model-X

Para p features X₁, …, X_p com distribuição conjunta conhecida, uma matriz knockoff Model-X X̃ satisfaz duas condições:

Intercambialidade par-a-par: para qualquer subconjunto S ⊆ {1,…,p}, $(X, \tilde{X})_{swap (S)} = d (X, \tilde{X}) .$
Independência condicional da resposta: $\tilde{X} ⊥ Y ∣ X .$

Construa qualquer estatística de importância de feature Z_j para a variável original e Z̃_jpara seu knockoff (e.g. coeficientes lasso, z-scores de regressão). A estatística de knockoff é

W_{j} = ∣ Z_{j} ∣ - ∣ \tilde{Z}_{j} ∣.

Sob o nulo, o sinal de W_j é simétrico e intercambiável. O filtro de knockoff escolhe o menor limiar t tal que

\frac{1 + # { j : W _{j} \leq - t }}{max ( # { j : W _{j} \geq t } , 1 )} \leq q,

e seleciona S = {j : W_j ≥ t}. O Teorema 3.4 de Candes et al. (2018) então fornece controle em amostra finita da taxa modificada de falsas descobertas

mFDR (S) = E [\frac{∣ S \cap H _{0} ∣}{∣ S ∣ + 1/ q}] \leq q .

Exemplo trabalhado

p = 200 features; k = 10 verdadeiramente não-nulas com efeito A = 3,0; as 190 restantes são puro N(0, 1). Compare três procedimentos:

Ingênuo |z| > 1,96: seleciona ~14 features (10 verdadeiras + ~4 nulas) mas conforme p cresce a proporção de falsas descobertas explode em 2,5% × p / k.
Higher Criticism: seleciona os menores j* p-valores onde j* = argmax HC. Com sinal esparso a A = 3, j* cai perto do verdadeiro k.
Filtro de knockoff a q = 0,10: seleciona ~9 features, esperado ≤ 1 falsa descoberta.

O demo abaixo regenera o experimento ao vivo. Observe que, conforme A → 0 (sinal fraco), o filtro de knockoff corretamente retorna o conjunto vazio em vez de fabricar seleções, uma propriedade que nenhuma regra de limiar ingênua possui.

Demo: Higher Criticism vs Model-X Knockoffs

p features, k true non-nulls with effect size A. Knockoffs control FDR at level q; HC chooses a data-driven threshold from the empirical p-value process.

p (features)200

k (true non-nulls)10

A (signal strength)3.0

q (target FDR)0.10

seed=11

|z|>1.96 (naive)

selected19

true positives9

false positives10

FDP52.6%

power90.0%

Higher Criticism

HC*3.50

argmax j43

selected43

FDP76.7%

power100.0%

Knockoffs @ q=0.10

threshold t∅

selected0

true pos0

false pos0

FDP0.0%

power0.0%

Histogram of W statistics. Amber overlay = true non-nulls. The vertical green line is the knockoff threshold +t; everything to the right is selected. Note that under H0, W is symmetric about 0, that’s what makes the FDR control work.

Figuras

Fig. 1:Estatística de knockoff Wⱼ = |Zⱼ| − |Z̃ⱼ| no pool OOS de estratégias BTC. Z é construído a partir de Sharpes reais escalados por √n_trades e MAD-normalizados; Z̃ é um knockoff Gaussiano simétrico em sinal. A linha tracejada âmbar é o τ orientado por dados que atinge o alvo de FDR q = 0,10; estratégias selecionadas são tudo à direita de τ.

Fig. 2:Higher-Criticism HCⱼ = √p · (j/p − p₍ⱼ₎)/√((j/p)(1−j/p)) varrendo o rank j dos p-valores ordenados do mesmo pool BTC. HC* é o máximo sobre j ∈ [1, p/2]. As linhas tracejada/pontilhada são quantis de 95% e 99% de HC* sob um nulo de pᵢ uniformes construído por 400 réplicas simuladas da mesma dimensão.

Por que isso importa para estratégias sistemáticas

Um pool de estratégias com p = 38.000 combinações de parâmetros em um único ativo produzirá vários milhares de estatísticas-t nominalmente significativas sob qualquer limiar não ajustado. O remédio padrão em finanças tem sido Bonferroni (conservador demais, mata sinais reais) ou BH-FDR (correto sob independência, quebrado sob dependência arbitrária). Knockoffs são projetados para a estrutura de dependência que pools de estratégias de trading de fato exibem: compartilham dados de mercado, famílias de indicadores, vizinhanças de parâmetros.

Uso combinado: rode Higher Criticism no pool primeiro. Se HC* estiver abaixo de seu quantil nulo assintótico, pare, não há sinal detectável nessa esparsidade. Se HC* estiver acima, rode knockoffs para extrair as features responsáveis com FDR controlado.

Reprodutibilidade

DaruFinance / hc-knockoffs

R · implementação de referência open-source

Invocação mínima

library(hc.knockoffs)

# Z: vector of per-strategy z-scores, length p
hc <- higher_criticism(Z)
hc$HC_star      # global statistic
hc$selected     # indices below the HC threshold

# Model-X knockoffs at FDR q = 0.10
sel <- knockoff_filter(Z, q = 0.10, method = "gaussian")
sel$tau         # data-dependent threshold
sel$selected    # selected feature indices

Referências

[1]Donoho, D. & Jin, J. (2004). Higher criticism for detecting sparse heterogeneous mixtures. Annals of Statistics 32(3), 962–994.
[2]Barber, R. F. & Candes, E. J. (2015). Controlling the false discovery rate via knockoffs. Annals of Statistics 43(5), 2055–2085.
[3]Candes, E., Fan, Y., Janson, L. & Lv, J. (2018). Panning for gold: Model-X knockoffs for high-dimensional controlled variable selection. JRSS-B 80(3), 551–577.
[4]Benjamini, Y. & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. JRSS-B 57(1), 289–300.

Todos os projetos Ver no GitHub