高波動(dòng)市場(chǎng)吸引了全球投資者，涉及超過(guò)40萬(wàn)億美元的市值，交易者可利用跨式期權(quán)應(yīng)對(duì)市場(chǎng)波動(dòng)。深度強(qiáng)化學(xué)習(xí)在量化交易中取得成功，但高波動(dòng)市場(chǎng)的特性限制了價(jià)格預(yù)測(cè)的準(zhǔn)確性，可能導(dǎo)致極端損失。

本文提出基于強(qiáng)化學(xué)習(xí)和注意力機(jī)制的自動(dòng)化跨式期權(quán)交易方法，適應(yīng)高波動(dòng)市場(chǎng)的不確定性。在中國(guó)股市、布倫特原油和比特幣市場(chǎng)的實(shí)驗(yàn)中，注意力機(jī)制的Transformer-DDQN模型在最大回撤方面表現(xiàn)最佳，平均收益率超出其他模型92.5%。

摘要

跨式期權(quán)是一種金融交易工具，利用高波動(dòng)市場(chǎng)中的波動(dòng)溢價(jià)，不預(yù)測(cè)價(jià)格方向。深度強(qiáng)化學(xué)習(xí)在金融市場(chǎng)的交易自動(dòng)化中表現(xiàn)強(qiáng)大，但現(xiàn)有研究多集中于價(jià)格趨勢(shì)預(yù)測(cè)，導(dǎo)致高計(jì)算成本和不穩(wěn)定性。

本文提出基于強(qiáng)化學(xué)習(xí)和注意力機(jī)制的自動(dòng)化跨式期權(quán)交易方法，適應(yīng)高波動(dòng)市場(chǎng)的不確定性。采用Transformer-DDQN中的自注意力和通道注意力機(jī)制處理時(shí)間序列數(shù)據(jù)和多周期信息。設(shè)計(jì)了考慮超額收益的新獎(jiǎng)勵(lì)函數(shù)，關(guān)注長(zhǎng)期利潤(rùn)，忽略短期損失。識(shí)別阻力位以提供價(jià)格波動(dòng)不確定時(shí)的參考信息。

在中國(guó)股市、布倫特原油和比特幣市場(chǎng)的實(shí)驗(yàn)中，注意力機(jī)制的Transformer-DDQN模型在最大回撤方面表現(xiàn)最佳，平均收益率超出其他模型92.5%。

簡(jiǎn)介

高波動(dòng)市場(chǎng)吸引了全球投資者，涉及超過(guò)40萬(wàn)億美元的市值，交易者可利用跨式期權(quán)應(yīng)對(duì)市場(chǎng)波動(dòng)。深度強(qiáng)化學(xué)習(xí)在量化交易中取得成功，但高波動(dòng)市場(chǎng)的特性限制了價(jià)格預(yù)測(cè)的準(zhǔn)確性，可能導(dǎo)致極端損失?？缡狡跈?quán)可通過(guò)交易波動(dòng)性來(lái)降低因價(jià)格預(yù)測(cè)不準(zhǔn)確而造成的潛在損失，已有研究證明其在高波動(dòng)市場(chǎng)中的優(yōu)越表現(xiàn)。

本文提出在算法交易中引入跨式期權(quán)，以追求長(zhǎng)期穩(wěn)定的超額收益，面臨兩個(gè)主要挑戰(zhàn)：尋找最佳交易時(shí)機(jī)和理解長(zhǎng)期趨勢(shì)。采用Transformer-DDQN模型，設(shè)計(jì)新注意力網(wǎng)絡(luò)方法計(jì)算交易決策的Q值，動(dòng)態(tài)調(diào)整以適應(yīng)市場(chǎng)條件。主要貢獻(xiàn)包括：設(shè)計(jì)自注意力和通道注意力機(jī)制，輸入阻力位信息，采用延遲獎(jiǎng)勵(lì)函數(shù)以避免局部最優(yōu)，實(shí)驗(yàn)結(jié)果顯示該模型在多個(gè)市場(chǎng)中優(yōu)于六個(gè)基線模型。

相關(guān)工作

深度學(xué)習(xí)

AbdelKawy等人提出了一種多股票交易模型，采用同步多智能體DRL方法，動(dòng)態(tài)提取金融數(shù)據(jù)特征，處理大規(guī)模歷史交易數(shù)據(jù)。Tran等人使用DRL（DDQN和貝葉斯優(yōu)化）優(yōu)化交易策略參數(shù)，在加密貨幣市場(chǎng)中實(shí)現(xiàn)了正收益，優(yōu)于其他優(yōu)化方法。Azhikodan等人開發(fā)了一個(gè)基于深度確定性策略梯度（DDPG）模型的擺動(dòng)交易機(jī)器人，結(jié)合金融新聞情感分析預(yù)測(cè)股票趨勢(shì)。Kabbani等人應(yīng)用雙延遲深度確定性策略梯度算法，構(gòu)建部分可觀測(cè)馬爾可夫決策過(guò)程模型，獲得高夏普比率，超越傳統(tǒng)機(jī)器學(xué)習(xí)方法。

注意力網(wǎng)絡(luò)

注意機(jī)制提升了神經(jīng)網(wǎng)絡(luò)在多任務(wù)中的性能、效率和可解釋性，能夠選擇性關(guān)注相關(guān)輸入特征。Transformer模型利用自注意力機(jī)制，替代遞歸或卷積層，實(shí)現(xiàn)并行化和長(zhǎng)距離依賴處理。SAGAN模型將自注意力機(jī)制融入GAN框架，增強(qiáng)高分辨率圖像生成。SE-Nets通過(guò)自適應(yīng)重校準(zhǔn)通道特征響應(yīng)，提升網(wǎng)絡(luò)的表征能力。本模型結(jié)合自注意力和通道注意力機(jī)制，快速捕捉市場(chǎng)信息，優(yōu)化資產(chǎn)權(quán)重，平衡短期調(diào)整與長(zhǎng)期趨勢(shì)，提升交易表現(xiàn)。

問(wèn)題建模

模擬期權(quán)交易環(huán)境

歷史波動(dòng)率計(jì)算：使用標(biāo)準(zhǔn)差測(cè)量資產(chǎn)價(jià)格波動(dòng)，假設(shè)市場(chǎng)短期內(nèi)漲跌概率為50%，因此平均市場(chǎng)回報(bào)為零。采用15分鐘蠟燭圖數(shù)據(jù)捕捉日內(nèi)波動(dòng)。

期權(quán)定價(jià)模型：基于Black-Scholes模型，期權(quán)價(jià)格受當(dāng)前價(jià)格、到期時(shí)間和波動(dòng)率影響。公式為C(S, t)和P(S, t)，其中N(d)為標(biāo)準(zhǔn)正態(tài)分布的累積分布函數(shù)。

短期交易策略：研究月度期權(quán)交易，忽略股息對(duì)期權(quán)定價(jià)的影響，使用歷史波動(dòng)率替代隱含波動(dòng)率。

建立跨式期權(quán)頭寸規(guī)則：根據(jù)行權(quán)價(jià)區(qū)間選擇期權(quán)，確保投資組合的整體德爾塔接近零，優(yōu)先選擇流動(dòng)性好的近月合約。

阻力位識(shí)別

阻力位是技術(shù)分析中的關(guān)鍵概念，價(jià)格到達(dá)阻力位時(shí)買賣雙方博弈加劇，導(dǎo)致價(jià)格波動(dòng)不確定性增加。通過(guò)識(shí)別歷史阻力位，結(jié)合錨定效應(yīng)，可以為交易模型提供參考信息。

使用算法自動(dòng)識(shí)別阻力和支撐位，定義阻力區(qū)域?yàn)椤?.3%范圍內(nèi)，價(jià)格進(jìn)入該區(qū)域時(shí)發(fā)出阻力信號(hào)。市場(chǎng)狀態(tài)的特征由滑動(dòng)窗口提取，包含蠟燭圖數(shù)據(jù)、浮動(dòng)盈虧、歷史波動(dòng)率和距離下一個(gè)交易日的天數(shù)。

狀態(tài) S_t^1 包含時(shí)間序列 Seq_t、阻力信號(hào)和持倉(cāng)時(shí)間，提供交易決策信息。觀察時(shí)間序列 obs_pt 關(guān)注市場(chǎng)趨勢(shì)，使用不同周期的蠟燭圖數(shù)據(jù)，形成市場(chǎng)狀態(tài) S_t。

動(dòng)作空間僅有持倉(cāng)（1）和非持倉(cāng)（0）兩種狀態(tài)，模型需執(zhí)行完整的交易過(guò)程。

方法

市場(chǎng)狀態(tài)信息分為兩個(gè)部分：S t 1 和 S t 2，具有時(shí)間序列特性和序列間關(guān)系。Q值估計(jì)的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)為兩個(gè)模塊：一個(gè)處理時(shí)間序列信息，另一個(gè)整合多期數(shù)據(jù)。

時(shí)間序列信息處理模塊

Transformer模型通過(guò)自注意力機(jī)制捕捉長(zhǎng)序列中的長(zhǎng)程依賴，適用于時(shí)間序列數(shù)據(jù)，如蠟燭圖數(shù)據(jù)。將時(shí)間序列數(shù)據(jù)Seq_t輸入Transformer-Encoder模塊以學(xué)習(xí)市場(chǎng)狀態(tài)信息，提取特征。

特征矩陣通過(guò)flatten層轉(zhuǎn)化為向量，隨后通過(guò)dense層壓縮信息。結(jié)合ResFlag和HoldTime，形成新的特征表示H_t^3。

最后，使用全連接層學(xué)習(xí)ResFlag和HoldTime信息，輸出H_t^4。對(duì)于觀察到的市場(chǎng)趨勢(shì)時(shí)間序列obs_pt，采用相同的處理流程。

多周期信息融合模塊

短期市場(chǎng)趨勢(shì)相似，但不同的中長(zhǎng)期趨勢(shì)背景信息可能不同，因此交易需關(guān)注長(zhǎng)期蠟燭圖信息。使用注意力機(jī)制增強(qiáng)模型處理不同周期數(shù)據(jù)的能力。

多周期信息融合模塊中，H_t^4作為查詢向量，其他周期的蠟燭數(shù)據(jù)O_t^p作為鍵和值向量。計(jì)算每個(gè)周期相對(duì)于H_t^4的注意力分?jǐn)?shù)并進(jìn)行歸一化。

融合多周期信息后，輸出集成查詢向量Q(S_t, a_t)。注意力分?jǐn)?shù)計(jì)算中，操作符α(·)為a = p^T W_q。

獎(jiǎng)勵(lì)功能的設(shè)計(jì)

獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)是影響深度強(qiáng)化學(xué)習(xí)（DRL）模型性能的關(guān)鍵因素，常見的包括利潤(rùn)最大化、損失最小化和風(fēng)險(xiǎn)調(diào)整回報(bào)最大化。在不同市場(chǎng)波動(dòng)下，需優(yōu)化獎(jiǎng)勵(lì)函數(shù)以適應(yīng)市場(chǎng)變化，調(diào)整風(fēng)險(xiǎn)偏好參數(shù)以平衡收益與風(fēng)險(xiǎn)。使用風(fēng)險(xiǎn)度量（如夏普比率和最大回撤）設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)有助于風(fēng)險(xiǎn)控制與收益最大化的平衡，但不適合跨式期權(quán)交易。

本文采用延遲獎(jiǎng)勵(lì)機(jī)制和止損系統(tǒng)來(lái)控制回撤風(fēng)險(xiǎn)，減少市場(chǎng)波動(dòng)對(duì)模型訓(xùn)練的干擾。獎(jiǎng)勵(lì)機(jī)制細(xì)則：

• 開倉(cāng)（0→1）時(shí)，獎(jiǎng)勵(lì)為0。
• 持倉(cāng)（1→1）時(shí)：

若收益大于止損，獎(jiǎng)勵(lì)為0；

• 若收益小于止損，獎(jiǎng)勵(lì)為e^(收益-1)。
• 平倉(cāng)（1→0）時(shí)：
• 若在止損閾值平倉(cāng)，獎(jiǎng)勵(lì)為a（a>0）；
• 否則，獎(jiǎng)勵(lì)為e^(收益-1)，若偏離開倉(cāng)點(diǎn)超過(guò)g%，則給予雙倍獎(jiǎng)勵(lì)。
• 不持倉(cāng)（0→0）時(shí)，獎(jiǎng)勵(lì)為0。

該獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)使模型有效管理跨式期權(quán)頭寸，保持穩(wěn)定并響應(yīng)市場(chǎng)波動(dòng)。

實(shí)驗(yàn)

數(shù)據(jù)集

研究數(shù)據(jù)來(lái)源于上海證券交易所的主要指數(shù)，包括SSE 50、CSI 300和CSI 500。為驗(yàn)證方法的普適性，還對(duì)布倫特原油和比特幣數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)。數(shù)據(jù)時(shí)間范圍為2018年1月4日至2024年3月31日，包含15分鐘的K線數(shù)據(jù)，內(nèi)容包括開盤價(jià)、最高價(jià)、最低價(jià)、收盤價(jià)、成交量和交易價(jià)值。A股市場(chǎng)中，跟蹤的指數(shù)期權(quán)產(chǎn)品包括在SSE上市的ETF期權(quán)和在中國(guó)金融期貨交易所（CFFEX）交易的指數(shù)期權(quán)，統(tǒng)稱為指數(shù)期權(quán)。

環(huán)境設(shè)置

訓(xùn)練集：2018年1月1日至2021年12月31日的15分鐘K線數(shù)據(jù)；測(cè)試集：2022年1月1日至2024年3月31日。模型回溯20天，歷史波動(dòng)率基于過(guò)去5天計(jì)算。

交易成本：CFFEX指數(shù)期權(quán)每合約15元，按點(diǎn)收費(fèi)0.15元；Binance比特幣期權(quán)手續(xù)費(fèi)為0.02%（不超過(guò)期權(quán)溢價(jià)的10%）；倫敦ICE布倫特原油期權(quán)每合約1.5美元。初始資本100萬(wàn)元，ETF交易成本0.05%。期權(quán)最大持有期5天，止損閾值15%。

評(píng)估指標(biāo)：年化平均對(duì)數(shù)收益（AVGR）、夏普比率（SP）、最大回撤（MDD）。

其他設(shè)置

研究比較了提議模型與兩種基于規(guī)則的交易策略（市場(chǎng)自身回報(bào)和雙移動(dòng)平均策略）、兩種機(jī)器學(xué)習(xí)股票價(jià)格預(yù)測(cè)模型（XGBoost和LSTM網(wǎng)絡(luò)）以及兩種深度強(qiáng)化學(xué)習(xí)自動(dòng)交易模型（GRU-DDQN和DDPG）。

進(jìn)行了消融研究，測(cè)試不同模型組件對(duì)結(jié)果的影響，選取了三種模型變體：

• NoRes-Transformer-DDQN：屏蔽阻力水平信息。
• DR-Transformer-DDQN：使用常見績(jī)效指標(biāo)（回報(bào)）作為獎(jiǎng)勵(lì)函數(shù)。
• LSTM-DDQN：用LSTM網(wǎng)絡(luò)替代Transformer編碼器來(lái)估計(jì)Q值。

結(jié)果和分析

本文提出的Transformer-DDQN模型在交易價(jià)格方向的各項(xiàng)性能指標(biāo)上優(yōu)于基線方法，尤其在高波動(dòng)的A股市場(chǎng)中。傳統(tǒng)的規(guī)則基礎(chǔ)交易策略在波動(dòng)條件下表現(xiàn)不佳，雙移動(dòng)平均策略在趨勢(shì)條件下效果較好。原油市場(chǎng)因需求穩(wěn)定和對(duì)沖交易，價(jià)格波動(dòng)小，盈利能力較差；而加密貨幣市場(chǎng)因投機(jī)者主導(dǎo)，價(jià)格波動(dòng)劇烈，盈利能力高。

Xgboost-Predict和LSTM-Predict因只關(guān)注預(yù)測(cè)準(zhǔn)確性而忽視交易賠率，導(dǎo)致交易表現(xiàn)不佳。GRU-DDQN和DDPG訓(xùn)練失敗，因市場(chǎng)高波動(dòng)導(dǎo)致頻繁的收益和損失切換，增加學(xué)習(xí)難度。Transformer-DDQN在不同數(shù)據(jù)集上的表現(xiàn)差異，SSE 50和CSI 300的盈利能力較弱，CSI 500因中小盤股波動(dòng)性大而盈利能力強(qiáng)。

三種模型變體的表現(xiàn)均不及完整的Transformer-DDQN模型。

• NoRes-Transformer-DDQN缺乏阻力信息，導(dǎo)致對(duì)波動(dòng)的誤解。
• DRTransformer-DDQN在橫盤時(shí)利潤(rùn)波動(dòng)大，干擾學(xué)習(xí)過(guò)程，未能有效捕捉正常市場(chǎng)波動(dòng)。
• LSTM-DDQN交易頻率高，導(dǎo)致交易費(fèi)用增加，盡管在極端波動(dòng)條件下表現(xiàn)較好，但忽視歷史波動(dòng)信息。
• Transformer相較于LSTM更好地捕捉長(zhǎng)期依賴，能有效過(guò)濾市場(chǎng)噪音，但在市場(chǎng)波動(dòng)降低時(shí)反應(yīng)較慢，可能導(dǎo)致部分利潤(rùn)回吐。

總結(jié)

本文提出Transformer-DoubleDQN模型，用于學(xué)習(xí)跨式期權(quán)量化交易策略，關(guān)注交易資產(chǎn)的波動(dòng)性。該模型旨在在正常市場(chǎng)波動(dòng)中實(shí)現(xiàn)穩(wěn)定收益，在極端市場(chǎng)運(yùn)動(dòng)中獲得超額收益。主要風(fēng)險(xiǎn)來(lái)源是期權(quán)時(shí)間價(jià)值的衰減，而非資產(chǎn)價(jià)格波動(dòng)，有助于更好地管理風(fēng)險(xiǎn)暴露。隱含波動(dòng)率是期權(quán)定價(jià)的重要因素，通常圍繞歷史波動(dòng)率波動(dòng)，但在實(shí)際市場(chǎng)中難以預(yù)測(cè)。本文假設(shè)隱含波動(dòng)率近似歷史波動(dòng)率，未來(lái)研究方向是將隱含波動(dòng)率信息整合進(jìn)深度強(qiáng)化學(xué)習(xí)模型。

本文轉(zhuǎn)載自???靈度智能???，作者：靈度智能