返回 López de Prado

研究評論 · 因果推論 · 研究 14

Causal Factor Investing

關聯不等於因果,同一個找到明星因子的因子迴歸,也可以被誘導去發明一個因子、抹殺一個真實因子,或印出一個幻影,全憑其背後的因果圖而定

factor investing 文獻報告的是關聯,把報酬對候選「因子」作迴歸,並默默地把它們讀作因果,卻不陳述能授權這種解讀的因果圖。但一個關聯係數是否識別出因果效應,完全取決於其背後的結構,而三種基本結構會把樸素迴歸拉向相反的方向。本研究把 López de Prado 的批評轉化為一個受控模擬,再加上一個真實、無前視的跨資產示範,而下方的互動演示讓你在瀏覽器中親眼看到一個因子迴歸被誘導去說謊。

來源

Causal Factor Investing (2023)

López de Prado · Cambridge Elements in Quant. Finance

程式碼與資料

lopez-de-prado-work-review / projects / 14

the claim

López de Prado 的主張

  • factor investing 文獻報告的是關聯,把報酬對候選因子作迴歸,並默默地把它們讀作因果,卻從不陳述或捍衛能授權這種解讀的因果圖。
  • 一個關聯係數是否識別出因果效應完全取決於結構:fork(confounder)製造出虛假效應,對 mediator 進行條件化會摧毀一個真實效應,對 collider 進行條件化則無中生有地產生顯著性。透過 backdoor adjustment 弄錯調整集合,一個虛假的「因子」就會看似顯著。

our result

我們的發現

  • 一個 20,000 次模擬的 Monte Carlo 精確重現了該偏誤:樸素估計量的誤差隨被錯誤處理結構的強度單調上升(在強度 0.30 時假陽性率已達 96%),而結構上正確的估計量維持其名目 5%。
  • 在一個真實的 26 個標的面板上,正確的 backdoor adjustment 翻轉了 9 個顯著因子裁決中的 2 個,並衰減約 ⅔ 的原始訊號;只有 1/9 能通過第二個獨立 confounder。
  • 誠實的裁決:零個因子能通過 deflation,最佳的關聯型組合僅得 DSR 0.455,遠低於 0.95。證據鏈正好斷在他所說之處,但沒有任何候選曾達到一個受捍衛的因果圖;這是教學示範,而非賺錢結果。

三行說清結果

Monte Carlo · 20,000 次模擬

三種結構精確重現了 LdP

一個 confounder(fork)讓一個零效應因子在樸素迴歸下 100% 看似顯著,經 backdoor adjustment 修正回名目 5%。對 mediator(chain)過度控制會把一個真實效應的檢定力壓到約 5%。對 collider 條件化會從真實為零的效應中製造出一個 100% 顯著的 −0.50 因子。每一個 Monte Carlo 數字都經逐位元相同驗證(最大 |Δ| ≈ 1e-13),對照一個獨立參考。

真實因子 · 26 個標的 · 無前視

backdoor adjustment 翻轉裁決;幾乎沒有東西存活

三個滯後的因果因子(momentum、已實現波動率、短期反轉),跨加密貨幣、美股與外匯。市場均值的 backdoor 翻轉了 9 個顯著裁決中的 2 個,兩者皆被判為虛假,而一個典型原始因子訊號約有三分之二(中位數 |t| 衰減 67%)是滲漏進來的 confounder。只有 1/9 個格子能通過第二個獨立 confounder。

DSR 0.46 · 門檻 0.95

最佳的關聯型組合未能通過 deflation

最佳的樸素多空組合(美股低波動,年化 SR ≈ 0.47)在 9 次試驗的 False-Strategy-Theorem 基準下 deflate 為 DSR 0.46,遠低於 0.95 門檻。一張證偽計分卡讓每個候選沿證據層級往上走;證據鏈正好斷在 LdP 所說之處。這是方法論結果,而非賺錢結果。

三種結構,一個受控的 Monte Carlo

同一個迴歸發明一個因子、抹殺一個真實因子,或印出一個幻影

Fork / confounder

真實 X→Y 效應 = 0

Chain / mediator

真實總效應 = (b·d) = s²

Collider

真實 X→Y 效應 = 0

Fig. 1:Monte Carlo(20,000 次模擬 × 2,000 觀測)。左,fork:樸素 Y~X 迴歸堆積在 0.50(真實效應為 0);經 backdoor adjustment 的估計落在零。中,chain:樸素迴歸正確地回收了真實總效應 0.64,但對 mediator M 過度控制把它壓垮到零。右,collider:樸素迴歸正確地落在零,但對 collider C 條件化無中生有地製造出一個 −0.50 係數。

對於每一個 20,000 個獨立資料集,我們從每種結構的線性高斯模型抽取新資料,並擬合兩個迴歸:報酬對因子的樸素簡單迴歸,以及一位謹慎分析師在已知因果圖下會跑的迴歸。抽樣分布從同樣的算術中講出三個不同的故事。

fork 中,一個共同原因讓一個零效應因子有 100% 的時候顯著;backdoor adjustment 將其還原為名目 5%。在 chain 中,樸素迴歸是對的,而對 mediator 過度控制會把一個真實效應的檢定力壓回 5%。在 collider 中,樸素迴歸在零上是對的,但對 collider 條件化會製造出一個 100% 顯著的 −0.50 因子。

結構真實效應樸素係數樸素拒絕率調整後係數調整後拒絕率
Fork / confounderZ→X, Z→Y0.000.500100%0.0005.0%
Chain / mediatorX→M→Y0.640.640100%−0.0005.1%
ColliderX→C←Y0.00−0.0004.9%−0.500100%

係數與拒絕率為 20,000 次模擬的 MC 平均值;「拒絕」是 |t|>1.96 的比例。樸素迴歸在 fork 中顯著且錯誤,在 chain 中正確(其風險是過度控制),在 collider 中正確(其風險是條件化)。每一個數字都經逐位元相同驗證,對照一個獨立參考(最大 |Δ| ≈ 1e-13)。

讓一個因子迴歸說謊

選擇一種結構,然後切換「對 Z 取條件」。在混淆因子中,取條件會關閉虛假的後門路徑,關聯崩塌回其真實的零;在中介變數中,它會阻斷真實效應;在對撞變數中,它會開啟原本關閉的路徑並憑空製造一個。散佈圖與讀數均由固定種子樣本計算得出。

互動演示的重點是:偏誤並非刀刃般的病態,它是錯誤調整集合的通常行為,並隨你錯誤處理的結構強度平滑地放大。把 fork 的 confounder 強度往上拉,一個零效應因子的樸素係數會爬向 0.50;拉高 chain 的路徑強度,過度控制的估計會固定在零,而真實效應卻在增長;collider 的兩個父節點推得越用力,它就發明出越來越大的幻影。

互動演示,confounder / mediator / collider 遊樂場

選擇一種因果結構,然後切換「對 Z 取條件」,觀察觀測到的 X-Y 關聯開啟或關閉。在混淆因子中,取條件會關閉虛假的後門路徑;在中介變數中,它會摧毀真實效應;在對撞變數中,它會無中生有地製造一個。散佈圖是每種結構的固定種子抽樣,讀數由這些精確的點計算得出。

XYZ

X ⇆ Y 路徑開啟,關聯流動

偏誤強度 s0.90
00.61.2

s = confounder 載荷(a = c)

觀測到的 corr(X, Y)
真實的 X→Y 效應
0.000
虛假落差 |觀測 − 真實|
抽樣的 (X, Y), Fork / confounder-3-2-10123-3-2-10123X,候選因子Y,次日報酬原始(未調整)

混淆因子 Z 完全開啟:X 與 Y 一起變動,兩者之間並無因果連結。樸素相關純粹是虛假因子。

取條件使你更接近真相

偏誤隨結構放大,在強度 0.30 時誤差達到 96%

掃描結構偏誤強度給出了總結整個批評的那個單一定量主張:樸素或錯誤條件化估計量的決策誤差隨被(錯誤)處理結構的強度 單調 上升,在強度 0.30 時已達 96%,而結構上正確的估計量在每個劑量上都維持其名目 5% 誤差(fork、collider)或回收全部檢定力(chain)。

Fork:假阳性率 (真实 X→Y = 0)

Collider:假阳性率 (真实 X→Y = 0)

Chain:检测真实效应的功效 (真实总效应 = (b·d)²)

Fig. 2:劑量反應掃描。左,隨 confounder 強度上升,fork 的假陽性率從 5% 爬升到 100%(backdoor adjustment 維持 5%)。中,對 collider 條件化把其假陽性率推到 100%(樸素迴歸維持 5%)。右,樸素迴歸保有偵測真實 chain 效應的全部檢定力,而對 mediator 過度控制把檢定力維持在 5% 的無檢定力下限。
Fig. 3:真實因子:樸素 t 值(x)對市場均值 backdoor 調整後 t 值(y),九個市場×因子格子。偏離對角線的點把訊號輸給了 confounder;被標示的點(美股 momentum、美股波動率)越過 |t|=1.96 線,它們表面的顯著性大多是滲漏進來的市場 confounder。

真實跨資產因子:backdoor adjustment 翻轉裁決

同一台機器,套用於真實資料。三個滯後的因果因子,21 日 momentum、21 日已實現波動率(一個低波動代理)、5 日短期反轉,通過一個對 26 個加密貨幣、美股與外匯標的之次日報酬的市場內合併面板迴歸。接著我們加入市場均值(因子與報酬兩者明顯的共同驅動因素)作為 backdoor 控制,再加一個第二個獨立 confounder,滯後的共同已實現波動率。一個因子唯有同時通過 兩者 才算候選存活者。

九個格子中有四個在樸素下顯著。市場均值 backdoor 翻轉了 2 個裁決,美股 momentum 與美股波動率,兩者皆為 spurious_killed:表面的因子大多是市場 confounder。樸素顯著格子間的 |t| 中位數衰減為 67%:原始因子訊號約三分之二是 confounder。只有 1/9 個格子同時通過 兩個 backdoor(美股短期反轉),即便如此,t 也從 −12.0 掉到 −4.9,而反轉是一種微結構/買賣價差跳動效應,並非受捍衛的風險溢酬。加密貨幣波動率甚至在兩個 confounder 之間 變號,這是它屬於條件化人為產物而非結構的徵兆。

市場因子樸素 t+市場 t+滯後波動率 t|t| 衰減翻轉
加密貨幣momentum2.262.111.737%,
加密貨幣波動率1.360.36−1.2674%,
加密貨幣反轉−0.230.66−0.39, ,
股票momentum−6.39−1.60−6.2675%spurious_killed
股票波動率2.140.531.6575%spurious_killed
股票反轉−11.98−4.88−11.9659%,
外匯momentum0.020.500.01, ,
外匯波動率0.760.180.5176%,
外匯反轉−1.84−1.71−1.847%,

所有因子皆為滯後(第 t 日的值只使用到 t−1 為止的資訊),因此沒有任何東西用未來資料預測第 t 日的報酬。t 值來自對真實每日報酬的市場內合併面板迴歸。

最佳的關聯型組合未能通過 deflation

頭條指標是最佳樸素多空因子組合上的 Deflated Sharpe Ratio,把九個市場×因子格子當作試驗次數。最佳組合是美股低波動,年化 Sharpe ≈ 0.47。對照九次試驗的預期最大 Sharpe 基準:

DSR = 0.46,遠低於 0.95 門檻。 看起來最好的關聯型組合無法通過多重檢定 deflation;這個「優勢」與九次試驗中的運氣一致。

證據鏈正好斷在 LdP 所說之處

一張證據層級計分卡讓每個候選訊號沿階梯往上走。任何候選達到的最高層級是 3:條件化檢定的唯一存活者(美股反轉)在 L5(deflation)被抹殺,且從未達到一個受捍衛的因果圖或介入性證據。關聯很廉價,條件化很脆弱,而 deflation 加上一個受捍衛的圖,文獻幾乎從不提供,正是「因子」消失之處。

層級問題裁決
L1存在關聯嗎?(原始 |t|>1.96)通過,9 個格子中有 4 個在樸素下顯著
L2能通過市場均值 backdoor 嗎?通過,2/9;2 個裁決翻轉;|t| 中位數衰減 67%
L3能通過第二個獨立 confounder(滯後共同波動率)嗎?通過,只有 1/9 同時通過(美股反轉)
L4因果圖是否已陳述並捍衛?未通過,沒有任何存活者提供受捍衛的 SEM
L5能通過多重檢定 deflation 嗎(DSR>0.95)?未通過,最佳 DSR 0.46
L6有介入性/do 證據嗎?未通過,所有證據皆為觀察性
L7因果主張有真實 OOS/跨市場複製嗎?未通過,沒有存活者在三個市場全部複製

向 L6 攀登

一場永續合約上市的自然實驗為本研究提供了首個非觀察性證據

永续上市后延续组合的异常收益

延续组合 CAR95% 自助置信区间

永续上市后的交易日

反转因子 t 值:事件处的不连续

Fig. 4:永續上市自然實驗。左:延續型組合(當反轉獲利時其虧損)在上市後 30 日內取得 −14.9% 的累積異常報酬,已扣除各資產自身的事前基準(自助法雙尾 p = 0.021),負報酬意味著反轉增強。右:在處理組資產中,反轉效應於上市前缺席、上市後強烈,而控制組大型幣在事前與事後之間幾乎不動。

上述每一項結果都是觀察性條件化,其上限止於 L3。要觸及 介入性(L6)證據,我們需要一個其時機由我們所檢驗效應以外的因素所決定的衝擊。一次幣安 USD-M 永續合約上市正是如此:它是對某資產微觀結構的外生結構性改變(槓桿、做空管道、資金費率機制、廣泛的投機參與者基礎),而其日期由交易所選定,而非由短期反轉所決定。這使其成為一場 自然實驗(natural experiment),我們將其應用於本計畫唯一的 L3 倖存者,短期反轉。

預先登記的方向性預測:若反轉是一種微觀結構/流動性供給效應,則其強度應在上市時 不連續地跳變。對於 170 次符合條件的上市中的每一次,事前窗口為該代幣自身的 現貨(spot)報酬,事後窗口為其永續報酬(同一資產,工具切換即為處理);滯後 5 日的反轉因子在每一側分別計算,因此沒有任何數值橫跨邊界。我們擬合一個因子效應上的 回歸不連續(regression discontinuity,事前 vs 事後斜率,外加一個交互項),以及一個延續型組合的事件時間 異常報酬(abnormal return),並以十支既有大型幣作為控制組,在相同日曆日期切割,但無上市事件,作為安慰劑/平行趨勢檢查。

組別視窗反轉斜率t 值n
處理組事前(現貨)−0.0008−0.508,671
處理組事後(永續)−0.0050−6.499,350
處理組事後 − 事前(RD 交互項)−0.0042−2.5518,021
控制組(安慰劑)事前(現貨)−0.0025−3.028,738
控制組(安慰劑)事後(永續)−0.0019−3.289,350
控制組(安慰劑)事後 − 事前(RD 交互項)+0.0006+0.5818,088

匯總面板的反轉斜率與 t 值,對照外生上市的事前與事後,附回歸不連續交互項。處理組不連續顯著(t = −2.55);安慰劑控制組不連續平穩(t = +0.58)。

在處理組資產中,反轉於上市前缺席t = −0.50),上市後強烈存在t = −6.49);此不連續顯著(RD 交互項 t = −2.55)。控制組大型幣在相同日期間保持平穩(交互項 t = +0.58),因此此跳變追蹤的是事件,而非日曆。這是本計畫中首個並非純粹觀察性條件化的證據:它為反轉的 微觀結構解讀達到了部分 L6(介入性)支持,並相應地削弱了將其視為已辯護風險溢酬的任何解讀。

誠實的告誡。此不連續是一個 匯總面板平均值:逐一資產來看,上市後反轉 |t| 超過上市前 |t| 的情形僅出現於 48% 的事件。因此這是關於典型新上市代幣微觀結構的證據,而非逐一資產的定律。它 並未在 L5 拯救該因子(去膨脹夏普裁決不變)、L4(無正式辯護圖)或 L7(無跨市場因果複製)。證據鏈與先前一樣脆弱,此實驗釐清了倖存訊號 是什麼(微觀結構,而非溢酬),卻未將其轉變為一個風險因子。

方法

  • Monte Carlo(a 部分):線性高斯結構方程模型,fork(Z→X、Z→Y)、chain(X→M→Y)與 collider(X→C←Y),共 20,000 個獨立資料集,每個 2,000 個觀測。對每個資料集我們擬合樸素簡單迴歸 Y~X 與結構驅動的調整後迴歸,記錄 X 係數的抽樣分布,以及 |t|>1.96 處的拒絕率。
  • 決策理論框架:對 fork 與 collider,真實效應為 0,所以一次拒絕是第一型假陽性;對 chain,效應為真,所以一次未拒絕是假陰性(檢定力流失)。劑量反應掃描描繪樸素與校正後決策誤差如何隨結構偏誤強度在 [0, 1.2] 上升而反應。
  • 真實跨資產面板(b 部分):26 個標的、跨三個市場(11 個加密貨幣永續、7 個美股 ETF、8 個外匯主要貨幣對)的每日簡單報酬,由 1 分鐘原始資料建構。每個因子皆為因果,第 t 日的每個值只使用到 t−1 為止的資訊(明確滯後),因此沒有任何東西用未來資料預測第 t 日的報酬。僅使用真實資料。
  • 樸素 vs. backdoor:對次日報酬以滯後、標準化因子作市場內合併面板迴歸,接著加入市場均值(明顯的共同驅動因素),再加入第二個獨立 confounder,滯後的共同已實現波動率。一個因子唯有同時通過兩個 backdoor 才算候選存活者。我們報告每個設定下的 t 值、裁決是否翻轉、翻轉類型,以及 |t| 衰減。
  • 頭條指標(c 部分):最佳樸素多空因子組合上的 Deflated Sharpe Ratio,把市場 × 因子集合(9 個格子)當作試驗次數,並採用 False Strategy Theorem 的預期最大 Sharpe 基準。一張證據層級計分卡精確指出每個存活訊號斷裂的那一階。

備註與誠實評估

這是一項 方法論/教學的貢獻,而非「因子賺錢」的結果,且全篇都如此框定。結構方程與 backdoor 結果是標準的 Pearl / López de Prado;真實資料的部分是對該 批評的示範,而非發現一個優勢。要升級為正面結果,至少需要對一個因子提供受捍衛的因果圖與介入性/自然實驗證據,本研究刻意把這留為誠實的前沿。它乾淨俐落地做到的,是把以下三者匯集於一處:一個以劑量反應與逐位元相同交叉檢驗重現三種偏誤的 Monte Carlo、一個真實的多市場無前視雙 confounder 示範,以及一張定量的證偽計分卡。

可重現性

模擬、真實面板管線、圖表與驗證框架都收錄於 project 14(隸屬於 lopez-de-prado-work-review)。本頁的互動演示是自包含的:模擬結構的封閉解與劑量反應錨點已編碼於元件之中,因此它所闡明的機制在每次載入時都精確重現。

引用

參考文獻

此處所評論批評的主要來源:

另見

關於多重檢定 deflation 的姊妹研究是 Backtest Overfitting & the Deflated Sharpe Ratio,選擇紀律的主題貫穿 The edge is in the process,而更廣泛的工作匯集於 Research