研究評述 · 預測性特徵 · 研究 07 與 08

預測性特徵:結構性斷裂、熵與微觀結構

López de Prado 的這些非典型特徵確實存在且可計算,但在現實成本與緊縮顯著性門檻之下,在此沒有任何一個是可交易的,而昂貴的資料層級也買不到額外的預測力

López de Prado 的兩個特徵章節承諾了普通動量特徵看不見的預測內容:結構性斷裂與熵的估計量(第 17–18 章),用以標記體制轉換並量化一段報酬序列的可預測程度;以及微觀結構估計量(第 19 章),用以解讀誰在交易、以何種成本交易。本評述在加密貨幣、美股 ETF 與外匯上實作這兩個特徵家族,使每個特徵嚴格保持因果性,計入符合現實的時段成本,以淨化與禁制進行交叉驗證,並以 Deflated Sharpe Ratio 作為主結論的門檻。兩項研究的結論誠實且一致:特徵能乾淨地計算出來,且有一個描述性的體制效應在統計上很強,然而沒有一個能以可交易、經緊縮校正的規則存活下來,而昂貴的訂單流資料層級也買不到額外的預測力。

來源

Advances in Financial ML,第 17–19 章

López de Prado (2018) · structural breaks, entropy & microstructure

結構性斷裂與熵

lopez-de-prado-work-review / projects / 07

微觀結構特徵

lopez-de-prado-work-review / projects / 08

結構性斷裂與熵

the claim

López de Prado 的主張

兩個特徵家族:結構性斷裂偵測器(CUSUM 事件取樣器與 SADF 爆發性/泡沫統計量)與熵估計量(Shannon、Lempel-Ziv、Kontoyiannis),用以量化報酬序列的資訊含量。他將這些呈現為特徵,而非獨立策略,是分類器可運用的體制與可預測性的摘要。

our result

我們的發現

作為獨立、計入成本、經淨化交叉驗證的訊號,它們基本上不帶有任何經過擬合校正的優勢:在 108 次試驗中,最佳特徵緊縮後 DSR ≈ 0(PBO 0.36)。確實有一個乾淨的描述性效應,爆發性(SADF>0)體制在加密貨幣(+21bp)與股票(+29bp)中領先較高的未來報酬,但這多半是無條件漂移,且無法作為可交易、經緊縮的規則存活(最佳體制規則 DSR 0.46)。

微觀結構特徵

the claim

López de Prado 的主張

僅由 bar 資料建構的第二代微觀結構估計量(Roll、Corwin-Schultz、Kyle's λ、Amihud、Hasbrouck、VPIN)。其前提是:這些量摘要了誰在交易、以何種成本交易,這是報酬/動量特徵集看不見的,因此應能為短期走勢與波動度增添預測內容。

our result

我們的發現

波動度可以,方向不行:下一根 bar 的波動度 AUC 在三個市場中一致地高於 0.50(約 0.54),但方向停留在擲硬幣水準(約 0.51),這些特徵有助於風險的定量與擇時,而非選邊。計入成本的多空在 24 個工具中有 22 個淨為負,全範圍 DSR 為 0.00。一個書中沒有的附帶結果:免費的 Bulk-Volume-Classification 代理在波動度任務上與真實成交方向資料打平,昂貴的訂單流層級並非限制瓶頸。

三行總結

27 個工具 · 3 個資產類別

這些特徵確實存在且可計算

CUSUM、SADF 爆發性、Shannon/Lempel-Ziv/Kontoyiannis 熵,以及 Roll/Kyle/Amihud/Hasbrouck/VPIN 微觀結構估計量,全部在加密貨幣、美股 ETF 與外匯上以資訊驅動 bar 嚴格因果地建構,參考實作與加速核逐位元相同(max|Δ| = 0)。

最佳 DSR ≈ 0.002 · ≈ 0.00

沒有任何一個越過緊縮門檻

作為獨立訊號,結構性斷裂/熵特徵在 108 次計入成本的淨化交叉驗證試驗中,回傳的最佳 Deflated Sharpe Ratio 為 ≈0.002;微觀結構方向訊號在 144 次試驗中緊縮為 0.00。兩項研究中,0.95 的顯著性門檻從未被逼近。

BVC ≈ 真實流

昂貴的資料層級什麼也買不到

在相同的加密貨幣 bar 上,免費的 Bulk-Volume-Classification 代理在下一根 bar 的波動度上打平或勝過真實的買/賣方成交量(0.547 對 0.522 AUC),而 tick-only 也僅相差 0.004。你需要的是價格 + 成交量,而非訂單流資料,資料層級並非限制瓶頸。

探索,兩項發現,互動式

切換資料層級;揭示成本與緊縮的判定

此探索器編碼了兩項研究的真實數字。切換微觀結構資料層級,觀察下一根 bar 的波動度 AUC 幾乎不動,而方向維持在擲硬幣水準(Project 08 的消融),再揭示強烈的爆發性體制未來報酬傾斜(Project 07)如何在現實成本與緊縮之下崩潰。

Demo,昂貴的資料層級能買到預測力嗎?

在相同的加密貨幣 bar 上,四個訂單流估計量以三種方式重算並對下一根 bar 評分。切換資料層級,觀察波動度訊號幾乎不動,而方向訊號維持在擲硬幣水準。然後揭示對體制傾斜的成本與緊縮判定。

資料層級
下一根 bar 波動度,樣本外 AUC
0.522
下一根 bar 方向,樣本外 AUC
0.507
波動度 AUC 相對於免費 BVC 代理的差距
-0.025
下一根 BAR 波動度,樣本外 AUC,相同加密貨幣 bar(0.50 = 擲硬幣)0.500.510.520.530.540.550.56真實成交方向量0.522BVC 代理0.547tick-only0.526

在相同加密貨幣 bar 上的四個成交方向量估計量(Kyle、Hasbrouck、VPIN、OFI)。免費的 BVC 代理(0.547)勝過昂貴的 真實成交方向量 層級(0.522)於下一根 bar 波動度,而 tick-only(0.526)僅相差 0.004。就方向而言,三個層級都停留在擲硬幣水準(約 0.507–0.512)。訂單流資料層級並非限制瓶頸,價格 + 成交量已足夠。

爆發性體制領先較高的未來報酬,但它們可交易嗎?
依因果體制的平均未來 5-BAR 報酬(基點,樣本外)-50102030股票 · 爆發性 (SADF > 0)+29.2 bp股票 · 非爆發性+9.7 bp加密貨幣 · 爆發性 (SADF > 0)+21.4 bp加密貨幣 · 非爆發性-3.8 bp外匯 · 爆發性 (SADF > 0)-0.4 bp

描述性、樣本外、門檻在 fold 內擬合(無偷看)。爆發性(SADF>0)bar 領先 +29.2 bp(股票,p<1e-6)以及 +21.4 bp(加密貨幣,p=7.5e-5),而非爆發性的加密貨幣 bar 實際上為負。外匯則毫無表現。

第 07 節,結構性斷裂與熵

爆發性體制確實領先較高的報酬,只是那不是 alpha

Fig. 1:依因果體制的條件未來報酬(樣本外,95% CI)。爆發性(SADF>0)體制在股票(+29.2 bp, p<1e-6)與加密貨幣(+21.4 bp, p=7.5e-5)中領先實質更高的未來報酬;非爆發性的加密貨幣 bar 實際上為負(−3.8 bp)。外匯區分不出任何東西。門檻僅在訓練 fold 內擬合,無前視。

第 17–18 章提出兩個特徵家族:結構性斷裂,CUSUM 事件取樣器與 SADF 爆發性/泡沫統計量,以及熵,Shannon plug-in、Lempel-Ziv (LZ76) 複雜度與 Kontoyiannis 匹配長度率。我們在每個工具約 6,000 根配對 dollar bar 上、以回溯視窗嚴格因果地計算全部這些量,涵蓋三個資產類別的 27 個工具。

以因果體制為條件的未來報酬浮現出一個穩健的描述性效應:爆發性(SADF>0)bar 在加密貨幣與股票中領先一個大幅的正向未來走勢。但這多半是無條件漂移,SADF>0 的事件群聚於趨勢上漲段內,而非方向性優勢,下一個面板將此說清楚。

試驗數(工具 × 特徵)

108

27 工具 × 4 特徵

最佳樣本外 Sharpe

0.063

外匯 USDJPY · Shannon

E[max] 虛無 (SR₀)

0.101

無技能的 108 試驗族

Deflated Sharpe

0.0016

門檻為 0.95

PBO (CSCV)

0.357

語料庫

% 正向試驗

45.4%

區間 [−0.171, +0.063]

作為獨立訊號,這些特徵處於雜訊帶:108 次計入成本的淨化交叉驗證試驗中的最佳者(外匯 USDJPY Shannon,Sharpe 0.063)低於無技能 108 試驗族的期望最大值(SR₀ 0.101),因此其 Deflated Sharpe 崩塌至 ≈0.002。把爆發性體制轉成方向性規則並在 81 規則族上緊縮,得到 DSR 0.46,這個描述性傾斜無法變現。

哪個家族承載這個(微弱的)傾斜,依市場

市場家族SRfrac>0符號-p
加密貨幣斷裂 (SADF)+0.0120.750.146
加密貨幣−0.0080.440.62
股票斷裂 (SADF)−0.0460.000.016
股票−0.0330.190.007
外匯斷裂 (SADF)+0.00040.501.00
外匯+0.0050.670.152

在加密貨幣中,這個微弱的正向傾斜來自 SADF 而非熵;在外匯中是熵而非 SADF;在股票中,兩個家族在計入成本後皆顯著為負(p=0.016 / 0.007)。沒有任何家族在正確方向上於任何地方顯著。以 CUSUM 事件取樣取代時鐘取樣,對樣本外 Sharpe 的影響 ≤0.003,一個非事件。

Fig. 2:純回溯特徵面板(BTC dollar bar):價格,下方為 SADF 爆發性統計量與滾動熵。bar t 上的每個值僅使用 ≤ t 的 bar,這些特徵是其所處體制的描述,無前視。

第 08 節,微觀結構特徵

波動度,微弱地可以;方向,不行,而且資料層級無關緊要

Fig. 3:在相同加密貨幣 bar 上的資料層級消融(唯一具有真實買/賣方成交量的市場)。以三種方式重算四個成交方向量估計量,免費的 Bulk-Volume-Classification 代理(0.547 AUC)在 10 個工具中有 9 個於下一根 bar 波動度上打平或勝過真實成交方向量(0.522),而 tick-only(0.526)僅相差 0.004。昂貴的訂單流層級什麼也買不到。

第 19 章的「第二代」估計量僅由 bar 資料解讀流動性與毒性:Roll 與 Corwin-Schultz 價差、KyleAmihudHasbrouck 衝擊,以及成交量時鐘 VPIN 搭配訂單流不平衡與 tick rule。我們在 24 個工具上以每日約 8 根 bar 因果地計算它們,並誠實地依市場提供可得性:加密貨幣有真實成交方向量,股票使用 BVC 代理,外匯(無成交量)採用僅價格的估計量。

最乾淨的結果是左側的消融。在相同加密貨幣 bar 上,免費的 BVC 代理在下一根 bar 波動度上打平或勝過真實訂單流資料。預測內容存在於 BVC 所重建的價格/成交量動態之中,研究團隊不需要昂貴的成交方向資料即可萃取(適度的)微觀結構波動度訊號。

依市場的預測內容,波動度微弱地可以,方向不行

Fig. 4:依市場的樣本外 AUC(淨化交叉驗證)。下一根 bar 的波動度 AUC 一致地高於 0.50(約 0.538–0.551,誤差棒很窄),微觀結構特徵帶有真實的短期波動度資訊。下一根 bar 的方向在每個市場都停留在擲硬幣水準(約 0.507–0.513)。
市場方向 AUC波動 AUC淨 SRbp/bar
加密貨幣10 工具 · n 8,7090.5100.538−0.018−2.72
股票7 工具 · n 42,3970.5130.551−0.355−33.45
外匯7 工具 · n 8,6940.5070.539−0.016−0.26

對方向訊號計入成本的多空,在 24 個工具中有 22 個淨為負。股票最差(−33.45 bp/bar),因為最低票券手續費壓垮了 1 單位的部位;加密貨幣與外匯僅略低於零。波動度 AUC,而非方向 AUC,是唯一存有任何訊號之處。

Fig. 5:各工具計入成本的 Sharpe 與 Deflated Sharpe 門檻。在全部 144 次試驗中,最佳者緊縮為 0.00,最佳方向訊號與運氣相符。加密貨幣範圍的 0.89 僅相對於一個微小的同範圍基準(60 個接近零的試驗)緊縮,並帶有 PBO 0.36。在計入現實成本後,方向訊號不可交易。

Deflated Sharpe 門檻

範圍n最佳 SRSR₀DSRPBO
全部1440.0700.5350.000.10
加密貨幣600.0700.0570.890.36
股票42−0.0320.4740.000.02
外匯420.0530.0540.450.13

資料層級消融,下一根 bar 波動度 AUC

真實成交方向量加密貨幣實際擁有的0.522
BVC 代理股票層級(價格 + 成交量,無方向)0.547
tick-only外匯層級(僅價格)0.526

免費的 BVC 代理(股票層級)在下一根 bar 波動度上勝過真實成交方向量。訂單流資料層級並非限制瓶頸。

第 08 節,平穩 vs 原始訂單流

把訂單流呈現為平穩輸入有幫助嗎?此處,沒有。

Fig. 6:訂單流輸入,平穩變換 vs 原始水準(加密貨幣,淨化 CV)。左:原始水準與平穩 OFI-加-fractional-differencing 變換的樣本外方向 AUC 都環繞在 0.50 的擲硬幣水準,彙總差距為 −0.002。右:計入成本的多空 Sharpe 對兩者皆淨為負。變換在保有記憶下達成平穩;沒有 bar 層級的方向訊號可供它呈現。

訂單流文獻中另有一支(Kolm、Turiel 與 Westray)主張,對於由訂單流驅動的預測,輸入的 stationarity 比模型更重要:把非平穩的水準餵給學習器,它在樣本外應會劣化,而把同樣的資訊作為平穩變換則應能預測。我們在相同的加密貨幣 bar、相同的淨化交叉驗證與相同的成本模型上做正面對比。原始輸入是累積的買方減賣方有號訂單流(一條有趨勢、非平穩的水準線)加其落後一根 bar 的值。平穩輸入是每根 bar 的 order-flow imbalance(OFI)加上該水準的 fractional differentiation,取在保有記憶又使序列平穩的最小 d。

誠實的結果是一個 null。在六個工具上彙總,方向 AUC 對兩種輸入皆為 ≈0.50(原始 0.499,平穩 0.496),因此差距為 −0.002,平穩輸入若有差別,也只是略差一絲。一段較短的近期切片對平穩輸入看似較佳,但該優勢在延伸至完整樣本後並未存續,這標示它為小樣本假影。變換確實有在做它的工作:fractional-differenced 序列以 d≈0.5 達到平穩且保有記憶。只是沒有 bar 層級的方向訊號可供它揭露,這與研究其餘部分一致,那裡只有波動度承載內容,而方向停在擲硬幣水準。平穩輸入無法製造出資料中不存在的優勢;它只在真實訊號被非平穩性遮蔽時有幫助,而此處並非那種情形。

方向 AUC,原始水準 vs 平穩(OFI + fractional differentiation)

工具d 值原始 AUC平穩 AUC差距
BTC0.400.4950.492−0.003
ETH0.550.4940.503+0.009
SOL0.450.5020.492−0.010
BNB0.550.4900.503+0.013
XRP0.400.5050.500−0.005
LTC0.550.5040.487−0.017
彙總0.500.4990.496−0.002

彙總而言,最佳計入成本 fold 的 Deflated Sharpe Ratio 對原始為 0.017、對平穩為 0.000,皆相對 36 次試驗,兩者皆未越過門檻。stationarity 變換如預期運作;它被要求預測的 bar 層級方向,根本沒有訊號。

如何維持測試的誠實

多市場、僅因果、計入現實成本、淨化交叉驗證,並以 Deflated Sharpe Ratio 為門檻,兩項研究共享的相同紀律。

方法

  • 僅因果。 bar t 上的每個特徵值僅使用 ≤ t 的 bar;每個門檻與規則方向都在訓練 fold 內擬合;標籤視野經淨化與禁制。沒有任何圖表或統計量使用未來資訊。
  • 資訊驅動 bar。 加密貨幣與股票用 dollar bar,外匯用 tick bar, López de Prado 偏好的 bar,每個工具約 6,000 根(結構性斷裂)或每日約 8 根(微觀結構)。
  • 現實成本,不做截斷。 股票採時段半價差表加最低票券手續費;外匯採以 pip 計的逐對半價差,搭配 UTC 時段乘數;加密貨幣採內部預設值。正是這些成本使股票特徵家族顯著轉負,無成本的測試會回報一個偽陽性。
  • 帶禁制的淨化 k-fold 交叉驗證,使多根 bar 的標籤視窗永不跨越訓練與測試。
  • 以 Deflated Sharpe + PBO 為主結論。 False Strategy Theorem 提供無技能試驗族的期望最大值;唯有在依試驗數、離散度、偏度與峰度緊縮後仍越過該門檻,結果才算為真。
  • 已驗證的核。 每個關鍵估計量都有純參考實作與加速實作,並驗證為逐位元相同(CUSUM、LZ76、Kontoyiannis 與微觀結構滾動區塊 max|Δ| = 0;SADF 約 1e-13 的 OLS 捨入誤差)。

註記與限制

兩項研究都刻意找不到任何可交易之物,而那正是發現。爆發性體制的未來報酬傾斜是真實的,但多半是無條件漂移而非 alpha:加密貨幣與股票在樣本期間趨勢向上,SADF>0 事件群聚於上漲段內,而偏多的條件均值看起來很大,直到你要求一條多空規則並支付成本。微觀結構的方向結果在 bar 資料上為零;波動度結果適度,且是未來工作唯一應瞄準之處(波動度目標化的覆蓋層,而非獨立的多空)。成本是現實的而非對抗性的;股票的最低票券手續費懲罰了極小的名目金額,但定性結論(方向 AUC ≈ 0.50,DSR ≈ 0)對此穩健,因為即便在成本之前也沒有可捍衛的毛優勢。標籤為短期;更長的三重障礙跨度可能改變方向圖像,留待後續工作。

可重現性

特徵核、參考實作、計入成本的淨化交叉驗證框架以及深入分析都在配套儲存庫中,lopez-de-prado-work-reviewproject 07project 08(審閱期間為私有)。本頁的探索器是自包含的:它顯示的每個數字都編碼在元件中,因此它所闡釋的兩項發現在每次載入時都精確重現。

引用

參考文獻

此處所評述特徵的主要來源:

  • López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. 第 17 章(Structural Breaks)、第 18 章(Entropy Features)與第 19 章(Microstructural Features)。
  • Easley, D., López de Prado, M., & O'Hara, M. (2012). Flow Toxicity and Liquidity in a High-Frequency World (VPIN). Review of Financial Studies, 25(5).
  • Roll, R. (1984). A Simple Implicit Measure of the Effective Bid-Ask Spread in an Efficient Market. Journal of Finance, 39(4).
  • Kyle, A. S. (1985). Continuous Auctions and Insider Trading. Econometrica, 53(6).
  • Amihud, Y. (2002). Illiquidity and Stock Returns: Cross-Section and Time-Series Effects. Journal of Financial Markets, 5(1).
  • Corwin, S. A., & Schultz, P. (2012). A Simple Way to Estimate Bid-Ask Spreads from Daily High and Low Prices. Journal of Finance, 67(2).
  • Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5).

另見

這兩項研究共享的緊縮顯著性骨幹,在 Backtest Overfitting 與 Deflated Sharpe Ratio 中建構並做壓力測試,其選擇紀律的主題則在 優勢在於過程 中以敘事方式展開,而更廣泛的工作整體則在 研究