“FlowHFT: Flow Policy Induced Optimal High-Frequency Trading under Diverse Market Conditions”

市場做市（MM）是一種通過同時(shí)下買賣單來從買賣差價(jià)中獲利的交易策略，提供流動(dòng)性并提高市場效率。高頻交易（HFT）是市場做市的一種形式，以毫秒或微秒的速度執(zhí)行訂單，利用小幅價(jià)格變動(dòng)獲利。

傳統(tǒng)HFT策略（如AS模型和GLFT模型）依賴歷史市場數(shù)據(jù)進(jìn)行參數(shù)校準(zhǔn)，但在市場條件變化時(shí)效果受限，容易導(dǎo)致次優(yōu)表現(xiàn)。

本文提出FlowHFT框架，基于流匹配策略，能夠從多個(gè)專家模型中學(xué)習(xí)，適應(yīng)不同市場狀態(tài)。FlowHFT包含網(wǎng)格搜索微調(diào)機(jī)制，能在復(fù)雜或極端市場情境中優(yōu)化策略。

測試結(jié)果顯示，F(xiàn)lowHFT能夠在隨機(jī)環(huán)境中學(xué)習(xí)有效的交易策略，整合了不同市場情境下專家策略的知識(shí)，快速適應(yīng)市場變化。FlowHFT在開發(fā)自適應(yīng)高效高頻交易策略方面具有前景。

摘要

高頻交易（HFT）策略依賴歷史數(shù)據(jù)模型，假設(shè)未來市場狀態(tài)與過去相似，限制了模型的適用性。傳統(tǒng)模型在特定市場條件下表現(xiàn)最佳，但現(xiàn)實(shí)市場動(dòng)態(tài)多變且常常波動(dòng)。本文提出FlowHFT框架，基于流匹配策略，能夠從多個(gè)專家模型中學(xué)習(xí)，適應(yīng)不同市場狀態(tài)。FlowHFT包含網(wǎng)格搜索微調(diào)機(jī)制，能在復(fù)雜或極端市場情境中優(yōu)化策略。測試結(jié)果顯示，F(xiàn)lowHFT在隨機(jī)市場環(huán)境中有效學(xué)習(xí)交易策略，且在各市場條件下表現(xiàn)優(yōu)于最佳專家。

簡介

市場做市（MM）是一種通過同時(shí)下買賣單來從買賣差價(jià)中獲利的交易策略，提供流動(dòng)性并提高市場效率。高頻交易（HFT）是市場做市的一種形式，以毫秒或微秒的速度執(zhí)行訂單，利用小幅價(jià)格變動(dòng)獲利。

傳統(tǒng)HFT策略（如AS模型和GLFT模型）依賴歷史市場數(shù)據(jù)進(jìn)行參數(shù)校準(zhǔn)，但在市場條件變化時(shí)效果受限，容易導(dǎo)致次優(yōu)表現(xiàn)。強(qiáng)化學(xué)習(xí)（RL）將HFT問題視為代理與市場環(huán)境的互動(dòng)，旨在學(xué)習(xí)最大化累積獎(jiǎng)勵(lì)的策略，但往往只優(yōu)化單步動(dòng)作，可能導(dǎo)致錯(cuò)誤累積。HFT需要長遠(yuǎn)視角，因?yàn)橛蕾囉趶亩鄠€(gè)小收益中積累。每個(gè)動(dòng)作都會(huì)影響后續(xù)的可行性和盈利能力。

本文提出FlowHFT框架，基于流匹配策略，結(jié)合模仿學(xué)習(xí)和網(wǎng)格搜索機(jī)制。第一部分通過模仿學(xué)習(xí)開發(fā)預(yù)訓(xùn)練模型，觀察市場狀態(tài)并生成交易動(dòng)作，模擬多種市場場景，選出最佳表現(xiàn)模型作為“專家”。FlowHFT通過模仿專家的動(dòng)作整合多種策略，即使在次優(yōu)情況下也能學(xué)習(xí)并改進(jìn)。第二部分使用網(wǎng)格搜索機(jī)制微調(diào)預(yù)訓(xùn)練模型提出的初始動(dòng)作，生成最終交易動(dòng)作。FlowHFT是首次將流匹配策略應(yīng)用于金融隨機(jī)控制問題，展示出在市場條件變化時(shí)的適應(yīng)性。

框架支持毫秒級(jí)快速推理，生成交易動(dòng)作，并在價(jià)格劇烈波動(dòng)時(shí)表現(xiàn)出顯著的魯棒性。通過生成動(dòng)作序列而非單步?jīng)Q策，F(xiàn)lowHFT考慮了短期軌跡，減少了復(fù)合誤差，提高了戰(zhàn)略穩(wěn)定性和表現(xiàn)。

預(yù)備知識(shí)

高頻交易（HFT）利用自動(dòng)化算法在毫秒或微秒級(jí)別執(zhí)行訂單，目標(biāo)是通過買賣限價(jià)單從買賣差價(jià)中獲利。HFT市場做市任務(wù)可建模為離散時(shí)間步驟的隨機(jī)控制過程，時(shí)間集為T = {0, 1, ..., T}。觀察狀態(tài)空間O包含時(shí)間t的市場信息L_t（如限價(jià)訂單簿中的股票價(jià)格和買賣差價(jià)）和代理信息Z_t（如余額、當(dāng)前庫存水平和時(shí)間t），即O ? L × Z × T。狀態(tài)S_t通常滿足馬爾可夫性質(zhì)。

市場做市商選擇行動(dòng) A_t 來設(shè)置買賣報(bào)價(jià)，通常通過相對(duì)于參考價(jià)格 p_{ref}^t 的價(jià)差 (delta_b^t, delta_a^t) 參數(shù)化。系統(tǒng)演變由隨機(jī)轉(zhuǎn)移概率 P(O_{t+1} | O_t, A_t) 決定，反映市場狀態(tài) L_{t+1} 和代理庫存 I_{t+1} 的變化。代理尋求最優(yōu)策略 ( pi: O to A )，以最大化目標(biāo)函數(shù) J(pi) ，通常是期望最終價(jià)值與庫存風(fēng)險(xiǎn)懲罰的組合。優(yōu)化問題為 max_{pi} J(pi)，需要在復(fù)雜的隨機(jī)環(huán)境中動(dòng)態(tài)平衡盈利能力與庫存和逆向選擇風(fēng)險(xiǎn)。

FlowHFT

FlowHFT骨干模型：流匹配策略

FlowHFT的核心是條件流匹配策略πθ(A t+1 | O t)，通過模仿學(xué)習(xí)從專家演示中訓(xùn)練，映射市場觀察O t到交易動(dòng)作A t+1。目標(biāo)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)vθ(a, t | O t)來參數(shù)化條件向量場，定義從簡單先驗(yàn)分布p prior(a 0)到專家交易動(dòng)作序列p expert(a E | O t)的概率流。

訓(xùn)練過程通過最小化網(wǎng)絡(luò)預(yù)測向量場vθ與目標(biāo)向量場u t之間的差異，使用Flow Matching損失函數(shù)C_{FA}(θ)。

推理時(shí)，從先驗(yàn)分布中采樣初始動(dòng)作序列a 0，迭代求解常微分方程以生成高頻交易動(dòng)作序列。

通過快捷策略加速推理

為滿足高頻交易的低延遲要求，引入快捷策略s?(a, t, ?t | O t)，專門訓(xùn)練以在更少的離散化步驟中生成高質(zhì)量動(dòng)作序列。

策略s ?的訓(xùn)練旨在實(shí)現(xiàn)更大、更有信息量的離散步伐。結(jié)合了修正流和一致性模型的兩種策略。

在訓(xùn)練數(shù)據(jù)的一部分中，策略通過直接目標(biāo)向量x 1 ? x 0進(jìn)行引導(dǎo)。

x 0為噪聲樣本，x 1為專家樣本，x t為插值。通過設(shè)置d = 0，模型s ?被訓(xùn)練以對(duì)齊直接路徑速度，促進(jìn)更直、更高效的生成路徑。

使用自一致性目標(biāo)訓(xùn)練策略，模型s ?通過預(yù)測較大步長的速度來匹配兩個(gè)小步長的結(jié)果，目標(biāo)為s target ← stopgrad(s t + s t+d )/2，提升大步長的準(zhǔn)確性。

訓(xùn)練后的策略s ?可通過算法4以較少步驟（如1到5）生成高質(zhì)量的動(dòng)作序列，顯著降低推理延遲。

微調(diào)預(yù)訓(xùn)練模型

框架的第一部分是流匹配策略，模仿專家策略；第二部分對(duì)預(yù)訓(xùn)練策略進(jìn)行微調(diào)，以超越專家表現(xiàn)。通過線性變換快速校準(zhǔn)預(yù)訓(xùn)練模型的動(dòng)作，結(jié)合當(dāng)前市場信息，提升實(shí)時(shí)適應(yīng)性，效率高于傳統(tǒng)高頻交易模型。

預(yù)訓(xùn)練模型輸出的動(dòng)作序列通過線性變換調(diào)整，形式為 a' = a cdot a + b，其中 a 為標(biāo)量縮放因子，b 為向量偏移量，二者通過驗(yàn)證集校準(zhǔn)。調(diào)整后的動(dòng)作序列 a' 用于策略執(zhí)行，通常從中執(zhí)行第一個(gè)動(dòng)作 a'_{t+1}。

模仿學(xué)習(xí)數(shù)據(jù)生成

市場模擬和專家模型

FlowHFT 是一個(gè)模仿學(xué)習(xí)框架，需準(zhǔn)備高質(zhì)量學(xué)習(xí)材料。生成多種市場場景，并評(píng)估候選專家（包括傳統(tǒng)算法和強(qiáng)化學(xué)習(xí)代理），選擇表現(xiàn)最佳者作為該場景的“專家”。使用專家策略生成的動(dòng)作創(chuàng)建狀態(tài)-動(dòng)作對(duì)，用于訓(xùn)練 FlowHFT。

中間價(jià)格 S_t 被建模為跳躍-擴(kuò)散過程，描述連續(xù)價(jià)格變動(dòng)和突發(fā)跳躍。隨機(jī)微分方程為：

• mu：漂移系數(shù)，表示資產(chǎn)的預(yù)期收益。
• sigma：波動(dòng)率，量化價(jià)格波動(dòng)。
• dB_H(t)：分?jǐn)?shù)布朗運(yùn)動(dòng)增量，捕捉連續(xù)價(jià)格變動(dòng)。
• J：跳躍大小，服從正態(tài)分布 N(mu_J, sigma_J^2)。
• dN_t：強(qiáng)度為 lambda_J 的泊松過程，建模跳躍發(fā)生。

訂單到達(dá)使用互激勵(lì)的霍克斯過程建模，捕捉自激勵(lì)和交叉激勵(lì)效應(yīng)。

• 自激勵(lì)：先前的買（或賣）訂單增加后續(xù)相同類型訂單的到達(dá)。
• 交叉激勵(lì)：買訂單影響賣訂單的到達(dá)，反之亦然。

買賣訂單強(qiáng)度模型：

• 買單強(qiáng)度 λ_a(t) = μ_a + P α - β(t - t_i) - β(t - t_j)
• 賣單強(qiáng)度 λ_b(t) = μ_b + P α + β(t - t_j)

μ_a、μ_b 為基線強(qiáng)度；α_bb、α_aa 為自激勵(lì)效應(yīng)；α_ba、α_ab 為交叉激勵(lì)效應(yīng)；β 為衰減率；N_a、N_b 為過去訂單時(shí)間戳集合。

FlowHFT專家演示生成使用多種專家模型：

• Avellaneda-Stoikov (AS) 模型：考慮庫存風(fēng)險(xiǎn)和市場波動(dòng)的最優(yōu)報(bào)價(jià)框架。
• Guéant-Lehalle-Fernandez-Tapia (GLFT) 模型：擴(kuò)展最優(yōu)控制方法，包含訂單流動(dòng)態(tài)。
• 修改版 GLFT 模型：加入價(jià)格漂移成分，適應(yīng)趨勢(shì)市場。
• 基于強(qiáng)化學(xué)習(xí)的無模型代理：使用近端策略優(yōu)化（PPO）訓(xùn)練，最大化獎(jiǎng)勵(lì)函數(shù)。

市場情景生成

創(chuàng)建高、中、低流動(dòng)性市場場景，測試模型在壓力下的表現(xiàn)。模擬市場環(huán)境的參數(shù)：

• Hurst成分水平：Hurst指數(shù)H反映長期記憶特性，H>0.5為趨勢(shì)跟隨，H<0.5為均值回歸，H=0.5為無記憶性。
• 波動(dòng)性水平：通過波動(dòng)參數(shù)σ控制，高σ導(dǎo)致更大價(jià)格波動(dòng)。
• 流動(dòng)性水平：通過基線強(qiáng)度μb、μa和Hawkes過程的激勵(lì)參數(shù)調(diào)整，高流動(dòng)性對(duì)應(yīng)高到達(dá)率。
• 突發(fā)市場變化：通過引入跳躍事件，增加跳躍強(qiáng)度λJ和跳躍大小J。

其中：

• 時(shí)間步長(dt)：0.01, 0.02
• 漂移(μ)：0.01, 0.05, 0.2
• 波動(dòng)率(σ)：0.1, 0.2, 0.4
• Hurst指數(shù)(H)：0.3, 0.5, 0.7
• 跳躍強(qiáng)度(λ j)：0.05, 0.1, 0.2
• 買賣基線強(qiáng)度(μ a, μ b)：10, 20, 40
• 策略：主導(dǎo)隨機(jī)策略
• 參數(shù)組合總數(shù)：486

狀態(tài)-動(dòng)作對(duì)的生成

為每個(gè)市場生成狀態(tài)-動(dòng)作對(duì)，模擬100個(gè)回合。每個(gè)回合包含1/dt時(shí)間步，收集專家策略的狀態(tài)-動(dòng)作對(duì)。從候選策略（AS, GLFT, GLFT-Drift, PPO）中獲取主導(dǎo)隨機(jī)策略的狀態(tài)-動(dòng)作對(duì)?？偣彩占?62萬狀態(tài)-動(dòng)作對(duì)，作為擴(kuò)散策略的訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)集覆蓋廣泛的市場條件，確保穩(wěn)健的策略學(xué)習(xí)。

實(shí)驗(yàn)

實(shí)驗(yàn)在不同于訓(xùn)練階段的市場條件下進(jìn)行，以評(píng)估FlowHFT的適應(yīng)性和性能。研究問題包括：

• FlowHFT能否將專家演示學(xué)習(xí)的策略有效推廣到新市場條件？
• 集成微調(diào)機(jī)制是否顯著提升預(yù)訓(xùn)練模型提出的行動(dòng)表現(xiàn)？
• FlowHFT框架在挑戰(zhàn)性外樣本情況下能否實(shí)現(xiàn)更高的盈利能力？

測試市場環(huán)境設(shè)定

設(shè)置Hurst指數(shù)(H)為0.2、0.5、0.8，分別模擬強(qiáng)均值回歸、隨機(jī)游走和強(qiáng)趨勢(shì)市場。漂移參數(shù)(μ)為0或0.2，分別表示無趨勢(shì)市場和一般看漲市場。形成6種市場場景(2×3)基于趨勢(shì)和記憶特性。進(jìn)一步細(xì)分為4種微觀市場結(jié)構(gòu)：高波動(dòng)/高到達(dá)率(HH)、高波動(dòng)/低到達(dá)率(HL)、低波動(dòng)/高到達(dá)率(LH)、低波動(dòng)/低到達(dá)率(LL)，共24種場景(6×4)。設(shè)計(jì)用于評(píng)估高頻交易策略在不同市場條件下的適應(yīng)性和表現(xiàn)。通過驗(yàn)證集調(diào)整參數(shù)，隨后在交易階段應(yīng)用于流匹配模型的行動(dòng)調(diào)節(jié)。

評(píng)估指標(biāo)

• 利潤與損失（PnL）：衡量交易策略產(chǎn)生的總利潤。
• 夏普比率（SR）：評(píng)估風(fēng)險(xiǎn)調(diào)整后的收益。
• 最大回撤（MDD）：衡量風(fēng)險(xiǎn)，計(jì)算PnL的最大峰值到谷值的下降幅度。

結(jié)果分析

GLFT模型通常優(yōu)于AS模型，預(yù)訓(xùn)練的流匹配策略模型與GLFT教師的表現(xiàn)相當(dāng)，表明其成功學(xué)習(xí)了有效策略。微調(diào)后的流匹配策略模型在各測試環(huán)境中顯著超越傳統(tǒng)基線模型（AS和GLFT）及初始預(yù)訓(xùn)練模型，驗(yàn)證了框架的第二核心目標(biāo)。微調(diào)過程使模型能夠根據(jù)驗(yàn)證集校準(zhǔn)“感知”市場條件，調(diào)整行為以適應(yīng)特定市場環(huán)境。表4-7擴(kuò)展了波動(dòng)率和到達(dá)率選項(xiàng)，以研究更廣泛的未見場景。

總結(jié)

本文提出了新型模仿學(xué)習(xí)框架FlowHFT，首次將流匹配策略應(yīng)用于金融隨機(jī)控制任務(wù)。FlowHFT能夠在隨機(jī)環(huán)境中學(xué)習(xí)有效的交易策略。該框架整合了不同市場情境下專家策略的知識(shí)，快速適應(yīng)市場變化。引入的網(wǎng)格搜索機(jī)制優(yōu)化了行動(dòng)，尤其在專家策略不佳時(shí)表現(xiàn)突出。

本文轉(zhuǎn)載自??靈度智能??，作者：靈度智能