当深度学习遇上量化交易——公开信息篇
?PaperWeekly 原創 ·?作者｜桑運鑫
單位｜上海交通大學碩士生
研究方向｜圖神經網絡在金融領域的應用
本文主要回顧三篇利用文本信息和音頻信息進行量化交易的文章。
StockNet
論文標題：Stock Movement Prediction from Tweets and Historical Prices
論文來源：ACL 2018
論文鏈接：https://www.aclweb.org/anthology/P18-1183/
代碼鏈接：https://github.com/yumoxu/stocknet-code
文章指出，股票市場具有高隨機性（high market stochasticity），噪聲信息（chaotic market information）和時序依賴預測（temporally-dependent prediction）三個特點，為此作者提出了稱為 StockNet 的架構用于解決上述問題，并利用 tweet 信息來增強股票預測。
其中 MIE 直接從文本中提取信息，用于充分利用市場信息。VMD 用于融合隨機因素。ATA 使用一個延遲窗口（lag window）來獲取預測依賴。
文章將股價預測建模為一個二分類問題：
一般來說股價比較小的波動我們不會將其標記為漲或跌，而是會作為 preserve 類，但本文直接設定了閾值，將波動幅度在 (-0.5%, 0.55%] 的數據丟棄。
對于 tweet 數據的建模，使用雙向 GRU 獲取其隱向量：
之后通過一個 Attention 機制將時刻 股票的全部信息聚合成矩陣 ，利用一個 Attention 機制獲取一個固定長度的向量：
這里的 是 softmax 函數。拼接股票的歷史價格數據 作為 VMD 的輸入 ：
VMD 的思路來自變分自編碼器（VAE，相關的介紹可以看變分自編碼器介紹、推導及實現 [1]），總的來說就是我們想要獲得一個分布 ，但這個分布因為先驗 不知道所以不可解，這時候我們使用一個 來近似這個分布，利用優化算法不斷縮小兩個分布間的距離就可以近似獲得 。
因為股票數據具有時序性，所以 VMD 使用 RNN 來獲取序列表示：
利用神經網絡獲取近似分布 （我們默認它是正態分布）的均值與方差：
?由如下方式計算：
利用重參數化技巧獲取隱向量 :
最終獲取預測結果：
傳統的 VAE 會將 視作標準正態分布 ，但這里將這個分布的均值和方差同樣使用神經網絡進行了計算：
通過上述過程我們已經獲得了一系列可用于輔助預測的歷史數據 。歷史數據對最終結果的影響可以通過 Attention 機制分成兩部分：信息分數（information score） 和依賴分數（dependency score）：
最終時刻 的預測結果由 VMD 的結果 和 ATA 兩部分的結果融合給出：
時刻 的損失函數由兩部分組成，似然函數部分和 KL 散度：
對于整體的預測損失，使用之前的 來做權重進行加總：
實驗使用了 5 天的延遲窗口，并對 5 中 baseline 和 5 種變體：TECHNICALANALYST（只使用歷史價格數據）、FUNDAMENTALANALYST（只使用 tweet 數據）、INDEPENDENTANALYST（不包括 TAT 模塊）、DISCRIMINATIVEANALYST（在目標函數中去除 KL 散度）。結果證明了模型及各部分的有效性。
HCAN
論文標題：Hierarchical Complementary Attention Network for Predicting Stock Price Movements with News
論文來源：CIKM 2018
論文鏈接：https://dl.acm.org/doi/10.1145/3269206.3269286
股價會收到新聞的影響，但是現在很多的研究只使用了新聞標題用于預測股價，因為新聞的內容可能包含無關內容影響預測準確率。但是在文章內容中也包含一定的信息，如下圖所示，雖然都是 CEO 離職的信息，但對股價的影響是不同的。
因此這篇文章提出了一種稱為? hierarchical complementary attention network (HCAN) 的框架，通過兩層的 attention 機制來獲取新聞標題和內容中的有價值信息。
對于新聞標題和內容中的每個詞，首先通過 Bi-GRU 獲取它的隱向量。
之后用 和 分別表示標題和內容中詞的隱向量。
HCAN 的核心部分就是 Word-Level Attention 和 Sentence-Level Attention 兩層注意力機制，分別對詞和句子進行加權平均，獲取有效信息。
在 word-level 上，使用一種 score-inverse similarity (S-IS) 來計算標題和內容中的詞之間的注意力矩陣：
對于內容中的第 個詞和標題中的第 個詞， 計算如下：
這里的 score 衡量了內容和標題中不同詞的相關關系，sim 測量了兩個單詞的相似程度：
之后可以利用 softmax 函數計算出對內容和標題進行加權的注意力權重 和 ：
加權獲得標題和內容中各個句子的表示 和 ：
在句子層面上，只需要對內容中的各個句子進行加權：
在實驗方面設置了 BoW（詞袋模型）、FastText（對標題、對標題和文本）、Structured-Event（提取結構化事件）、IAN（只使用 word-level attention，拼接進行預測），在 2007 年到 2012 年的 Returns 新聞和標準普爾 500 的股票漲跌預測上表現良好：
MDRM
論文標題：What You Say and How You Say It Matters: Predicting Financial Risk Using Verbal and Vocal Cues
論文來源：ACL 2019
論文鏈接：https://www.aclweb.org/anthology/P19-1038
這篇文章發在了 ACL 2019 上。預測金融市場的風險是金融從業人員關心的話題，而我們可以利用大量的公開信息來預測股價波動，其中 earning conference call 是一個重要的信息來源。
earning conference call 是公司向所有相關方（包括機構和個人投資者）以及買方和賣方分析師傳遞信息的一種方式。earning conference call 允許公司強調繁榮時期的成功，并在不利時期平息恐懼。
通常公司舉行 earning conference call 的時間是在每個季度的財務報告發布之后（通常在每個季度末）之后。以往的研究主要集中在對于這個會議的文本信息研究上，但研究顯示，音頻信息也十分重要（文章給出一個例子，對沖基金雇傭前 CIA雇員解讀公司管理層在公開場合的語音語調等線索，還有這種騷操作，我服了……）。
earning conference call 包括兩部分：introduction 和 question-and-answer 部分。在 introduction 部分，CEO 或 CFO 會做一些陳述報告，解釋在這個季度的財務表現。在 QA 環節，分析師可以提問題要求管理層解釋某些問題或提供一些之前沒有提到的問題.
earning conference call 經常會導致股價的明顯波動。作者在文章中構建了一個數據集 S&P 500 Earnings Conference Calls dataset [2]，收集了 2017 年 S&P 500 成分股的 earnings conference calls 中 CEO 的發言文本特征及音頻特征。之后提出了一個稱為 multimodal deep regression model (MDRM) 的模型，如下圖所示。
這個模型比較簡單，首先是利用 Contextual BiLSTM（BiLSTM+一層 NN+RELU激活）來獲取每個句子的隱向量。之后拼接輸入一個 BiLSTM 和兩層 NN 完成預測。
文章的目標是預測股價波動，計算方式如下：
其中 是第 天的收益率 ， 是 時段的平均收益率，實驗選擇 來測試短期預測和長期預測的有效性。使用均方誤差作為損失函數：
實驗結果顯示該模型是有效的。
文章最后給出了幾個結論：
所有的模態都是有用的，增加模態信息可以緩解過擬合問題
一些個人的音頻特征是十分重要的。case study 中提到，在 AMD 2017 年 5 月 1 日的 earnings conference call 后，股價跌了 16.1%。在會議上，CEO 說的“Overall, from a performance standpoint, the product and the customer engagements are going as we would expect”時，盡管這句話在文本上看是積極的，但他聲音的 mean pitch 比起平均提高了 20% 的，而根據之前的研究，這是不自信的表現（emmm...）
短期波動預測是困難的。模型對短期波動預測的 MSE 顯著高于長期預測的 MSE
模型相對簡單模型的邊際收益隨著時間的延長在逐漸消失。這符合有效市場假說。
總結
雖然公開信息（新聞、財報、會議等）對于股價的影響是顯而易見的，但利用這一類信息對股價進行預測對信息的獲取和處理速度要求比較高（上面的文章已經指出長期預測的邊際收益在下降），更適合用于短期內的預測，而且存在過擬合、噪聲等問題，對這個方向的研究還有很長的路要走。
因為相關的資料確實相當匱乏，我在 GitHub 上新建了一個 repo 用于收集、整理相關的研究論文、書籍、數據、網站等，歡迎 star。
https://github.com/sangyx/deep-stock
如果您對深度學習在量化交易中的應用感興趣，歡迎加我微信一起學習探討（請備注一下姓名, 機構或研究方向）。
參考鏈接
[1]?https://zhuanlan.zhihu.com/p/83865427
[2] https://github.com/GeminiLn/EarningsCall_Dataset
點擊以下標題查看更多往期內容：?
變分推斷（Variational Inference）最新進展簡述
變分自編碼器VAE：原來是這么一回事
圖神經網絡三劍客：GCN、GAT與GraphSAGE
如何快速理解馬爾科夫鏈蒙特卡洛法？
深度學習預訓練模型可解釋性概覽
ICLR 2020：從去噪自編碼器到生成模型
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的当深度学习遇上量化交易——公开信息篇的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： w10怎么用u盘安装系统 如何使用U盘安
- 下一篇： CVPR 2020 | 反传统的无监督人