M/02 · Higher Criticism + Knockoffs Model-X

Détection de signaux parcimonieux avec contrôle du FDR

Higher Criticism pour le criblage global de signaux parcimonieux, associé aux knockoffs Model-X pour une sélection de variables à FDR contrôlé sur des populations de stratégies.

TL;DR

Higher Criticism (Donoho & Jin 2004) est un test global de la présence d'un quelconque signal parcimonieux parmi p hypothèses, optimal dans le régime rare-et-faible.
Les knockoffs Model-X (Candes, Fan, Janson, Lv 2018) construisent des features-fantômes échangeables avec les originales sous le nul, puis un filtre de knockoff sélectionne des features avec un contrôle du FDR à échantillon fini à tout niveau q choisi par l'utilisateur.
Usage combiné : HC vous dit si un signal existe ; les knockoffs vous disent quelles features le portent, avec une garantie serrée sur les fausses découvertes.
Dans un pool de 38k variantes de stratégies, c'est la différence entre sélectionner 800 stratégies dont ~70 % sont du bruit (|t|>1,96 naïf) et en sélectionner 60 dont ≤ 10 % sont de fausses découvertes.

Les mathématiques

Higher Criticism

Supposez que vous observiez p p-valeurs bilatérales $p_{(1)} \leq p_{(2)} \leq \dots \leq p_{(p)}$ issues de p tests d'hypothèse. Sous le nul global, les statistiques d'ordre se distribuent comme les statistiques d'ordre de p variables Uniformes(0,1) i.i.d., avec une j-ième valeur attendue j/(p+1). La statistique Higher Criticism compare la CDF empirique à son espérance uniforme, mise à l'échelle par la variance d'une binomiale sous le nul :

HC^{*} = 1 \leq j \leq α p max \frac{p ( j / p - p _{(j)} )}{( j / p ) ( 1 - j / p )}

avec α pris typiquement égal à 1/2. Donoho & Jin (2004) montrent que sous l'alternative rare-et-faible, une fraction de parcimonie p^−β de non-nuls avec une taille d'effet $r 2 lo g p$ , HC est asymptotiquement optimal à la frontière de détection qu'aucune règle de seuillage ne peut franchir. Comme bénéfice secondaire, l'argmax j* fournit une coupure pilotée par les données : rejetez les j* plus petites p-valeurs.

Knockoffs Model-X

Pour p features X₁, …, X_p de distribution jointe connue, une matrice knockoff Model-X X̃ satisfait deux conditions :

Échangeabilité par paires : pour tout sous-ensemble S ⊆ {1,…,p}, $(X, \tilde{X})_{swap (S)} = d (X, \tilde{X}) .$
Indépendance conditionnelle de la réponse : $\tilde{X} ⊥ Y ∣ X .$

Construisez n'importe quelle statistique d'importance de feature Z_j pour la variable originale et Z̃_jpour son knockoff (p. ex. coefficients lasso, z-scores de régression). La statistique de knockoff est

W_{j} = ∣ Z_{j} ∣ - ∣ \tilde{Z}_{j} ∣.

Sous le nul, le signe de W_j est symétrique et échangeable. Le filtre de knockoff choisit le plus petit seuil t tel que

\frac{1 + # { j : W _{j} \leq - t }}{max ( # { j : W _{j} \geq t } , 1 )} \leq q,

et sélectionne S = {j : W_j ≥ t}. Le théorème 3.4 de Candes et al. (2018) fournit alors un contrôle à échantillon fini du taux modifié de fausses découvertes

mFDR (S) = E [\frac{∣ S \cap H _{0} ∣}{∣ S ∣ + 1/ q}] \leq q .

Exemple travaillé

p = 200 features ; k = 10 véritablement non-nulles avec un effet A = 3,0 ; les 190 restantes sont du pur N(0, 1). Comparez trois procédures :

Naïf |z| > 1,96 : sélectionne ~14 features (10 vraies + ~4 nulles) mais à mesure que p croît, la proportion de fausses découvertes explose à 2,5 % × p / k.
Higher Criticism : sélectionne les j* plus petites p-valeurs où j* = argmax HC. Avec un signal parcimonieux à A = 3, j* tombe près du vrai k.
Filtre de knockoff à q = 0,10 : sélectionne ~9 features, ≤ 1 fausse découverte attendue.

La démo ci-dessous régénère l'expérience en direct. Notez que lorsque A → 0 (signal faible), le filtre de knockoff retourne correctement l'ensemble vide plutôt que de fabriquer des sélections, une propriété qu'aucune règle de seuillage naïve ne possède.

Demo: Higher Criticism vs Model-X Knockoffs

p features, k true non-nulls with effect size A. Knockoffs control FDR at level q; HC chooses a data-driven threshold from the empirical p-value process.

p (features)200

k (true non-nulls)10

A (signal strength)3.0

q (target FDR)0.10

seed=11

|z|>1.96 (naive)

selected19

true positives9

false positives10

FDP52.6%

power90.0%

Higher Criticism

HC*3.50

argmax j43

selected43

FDP76.7%

power100.0%

Knockoffs @ q=0.10

threshold t∅

selected0

true pos0

false pos0

FDP0.0%

power0.0%

Histogram of W statistics. Amber overlay = true non-nulls. The vertical green line is the knockoff threshold +t; everything to the right is selected. Note that under H0, W is symmetric about 0, that’s what makes the FDR control work.

Figures

Fig. 1:Statistique de knockoff Wⱼ = |Zⱼ| − |Z̃ⱼ| sur le pool de stratégies BTC hors échantillon. Z est construit à partir de Sharpes réels mis à l'échelle par √n_trades et MAD-normalisés ; Z̃ est un knockoff gaussien symétrique en signe. La ligne ambre en tirets est le τ piloté par les données qui atteint la cible de FDR q = 0,10 ; les stratégies sélectionnées sont tout ce qui se trouve à droite de τ.

Fig. 2:Higher-Criticism HCⱼ = √p · (j/p − p₍ⱼ₎)/√((j/p)(1−j/p)) balayant le rang j des p-valeurs triées du même pool BTC. HC* est le maximum sur j ∈ [1, p/2]. Les lignes en tirets/pointillés sont les quantiles à 95 % et 99 % de HC* sous un nul de pᵢ uniformes construit par 400 répliques simulées de même dimension.

Pourquoi c'est important pour les stratégies systématiques

Un pool de stratégies avec p = 38 000 combinaisons de paramètres sur un seul actif produira plusieurs milliers de statistiques-t nominalement significatives sous n'importe quel seuil non ajusté. Le remède standard en finance a été Bonferroni (trop conservateur, tue les signaux réels) ou BH-FDR (correct sous indépendance, cassé sous dépendance arbitraire). Les knockoffs sont conçus pour la structure de dépendance que les pools de stratégies de trading présentent réellement : ils partagent des données de marché, des familles d'indicateurs, des voisinages de paramètres.

Usage combiné : exécutez d'abord Higher Criticism sur le pool. Si HC* est en dessous de son quantile nul asymptotique, arrêtez, il n'y a aucun signal détectable à cette parcimonie. Si HC* est au-dessus, exécutez les knockoffs pour extraire les features responsables à FDR contrôlé.

Reproductibilité

DaruFinance / hc-knockoffs

R · implémentation de référence open-source

Invocation minimale

library(hc.knockoffs)

# Z: vector of per-strategy z-scores, length p
hc <- higher_criticism(Z)
hc$HC_star      # global statistic
hc$selected     # indices below the HC threshold

# Model-X knockoffs at FDR q = 0.10
sel <- knockoff_filter(Z, q = 0.10, method = "gaussian")
sel$tau         # data-dependent threshold
sel$selected    # selected feature indices

Références

[1]Donoho, D. & Jin, J. (2004). Higher criticism for detecting sparse heterogeneous mixtures. Annals of Statistics 32(3), 962–994.
[2]Barber, R. F. & Candes, E. J. (2015). Controlling the false discovery rate via knockoffs. Annals of Statistics 43(5), 2055–2085.
[3]Candes, E., Fan, Y., Janson, L. & Lv, J. (2018). Panning for gold: Model-X knockoffs for high-dimensional controlled variable selection. JRSS-B 80(3), 551–577.
[4]Benjamini, Y. & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. JRSS-B 57(1), 289–300.

Tous les projets Voir sur GitHub