大家好，我是數庫科技的CTO夏磊，我們是一家創業型企業，成立于2009年，先后獲得穆迪和京東金融的投資，在2016年被KPMG評為金融科技50強，非常高興有機會跟大家分享下我們在行業工作中的一些經驗。今天我主要想從下面幾個方面來講：

演講提綱：

?

第一部分：人工智能與金融創新??

我相信今天大家每天都能聽到甚至接觸到人工智能相關的信息和產品，最近人工智能也被首次寫入2017年的全國政府工作報告。從百度、阿里、騰訊、滴滴、今日頭條到Facebook, Microsoft, Google, IBM, Amazon都在將人工智能技術融入數據、產品和服務，通過大數據、機器學習及深度學習為用戶提供更好的服務和互動。

在金融領域，人工智能將與傳統金融市場的諸多功能緊密結合從而提高效率；涉及到決策、交易以及風險控制，學習模仿專家進行交易、通過用戶畫像和交易行為分析進行風險控制等。

下圖是數庫統計的在金融領域與科技相關的最熱門的一些概念。

在開始介紹數庫的智能助手之前，想先簡單介紹一下金融領域這兩年很熱的兩個人工智能的應用方向：智能投顧和服務機器人。

先說智能投顧，2016年，畢馬威在對1500名銀行客戶調查后發布《智能投顧——跟進步伐，引領潮流》報告(Robo Advising Catching Up And Getting Ahead)，預計到2020年美國智能投顧的資產管理規模將會達到2.2萬億美元。智能投顧實質上是解決了平衡風險與收益的同時，提高效率、降低成本。這類公司有像Betterment、Wealthfront、Future Advisor等；在國內，智能投顧解決的一個問題是以前通過專業的理財投顧來服務少數高凈值人群，現在可以通過機器用更低的費用服務更廣大的中低凈值人群。目前國內的金融機構多是通過黑盒方式提供服務的，其背后或者是結合投資者風險偏好、財產狀況與理財目標做智能投資組合分析，或者是通過量化分析進行交易決策。但國內的問題是剛剛起步，我們大數據的挖掘不夠深入，標準理財品種比較少，投資者以追求短期收益為主等，所以人工智能到底發揮了多少價值這個很難說清楚。

再來說服務機器人，這里主要說聊天機器人（chatterbot），提供一個人機交互界面來做問答，多用在客服、教育等特定領域，國內已經有很多這種中文聊天機器人的產品，更類似一種百科或者知識庫，但是在金融領域，關于投資的決策往往非常復雜，決策往往不是一個有標準答案的問題，想實現智能問答還有很長一段路要走，一方面把已經有的一些先進的方法論用機器實現，一方面要收集清洗并提取大量數據形成知識。

所以就以上的兩點，數庫對于金融領域智能問答的定位，更偏向于兩者的結合，投顧+智能問答。數庫在金融領域專注于交易前的決策環節，我們挖掘有價值的數據，在圖像識別和自然語言處理的技術支持下，我們可以對更多非結構化數據進行信息提取、知識分類和聚類，加入量化分析，形成知識庫，以此來輔助決策，不斷減少個體從得到信息到決策的時間。

我們在服務機構用戶時，實際是如何操作的呢？通常分為兩步：

第一，首先對企業內部散落的數據進行挖掘和關聯，形成知識庫；知識庫的搭建并不是簡單的數據的匯總，現在企業比較困擾的是數據過多，對于基礎數據的整理需要耗費大量的人力。比方說關于一家上市公司的研報會有幾十篇，上百頁，如果僅僅是把數據做匯總，需要大量的時間去消化理解這些信息。所以在面對當前信息過量的情況，我們做的是基于數據做提取觀點、挖掘知識，才能夠真正地輔助決策。

這里我舉個例子，對研究員來說可能想了解某個行業、上市公司的一些信息，如：公司業務分布、產量產能、供應鏈、產業鏈圖譜、研究員評級和觀點、公司業務的外幣構成（美元升值）、主要客戶、參控股關系、主題概念、公司事件軸、量化分析等，這些信息其實分布在研究報告、上市公司財報、互聯網媒體資訊中，我們要做的就是首先從這些數據源挖掘出知識和觀點，通過我們的多因子和事件驅動回測分析服務進行實時分析。

第二，知識庫搭建后，如何讓用戶使用呢。通過搜索、問答的方式，是目前最為便捷和簡單的一個方式。但是如何理解用戶的問題并給一個有效的答案是技術上的一個很大的挑戰。這部分也是我今天分享的重點。除了智能問答以外，我們也為金融企業中一些特定的場景，搭建從信息到決策的自動化流程。

圖示：從知識到問答

?

第二部分：數庫智能助手引擎的架構與技術實現??

前面已經提到了，數庫的智能助手引擎包含兩個端：

• 一端是對海量數據的解析，包括文本自然語言處理（實體識別/摘要/情感分析/事件提取），PDF表格和圖像解析，數據基于標簽的關聯分析；

• 一端是怎么樣去構建個交互式問答的搜索引擎。

今天我們著重講下后者，下面這張圖描述了我們這塊最初的技術架構。

整個架構主要分成3大塊：

1． Query解析：包含對用戶輸入進行分詞、拼寫檢查、組塊分析、詞性標注、命名實體識別、依存句法分析、語義角色標注、Ontology詞義擴展、實體歧義消解、指代消解、主題探測、意圖分析和相同會話檢測等；

2．問題回答引擎：這塊目前我們融合了多種方式，包括基于意圖的結構化問答（API），基于檢索的問答系統（news and reports），基于領域知識圖譜查詢和推理的問答系統（業務，產業鏈，事件，參控股關系）以及利用深度學習(如Encoder-Decoder+LSTM+Attention model)借用機器翻譯的思想實現端到端的問答匹配及更深入結合語言模型自動生成問題答案。

3．場景定義及上下文管理：通過提供管理后臺，讓用戶建立起自己的業務場景，并在場景中建立起上下文會話，而會話則由實體、意圖和生成模板構成。在新的問題中，如果語法錯誤，比如缺少實體和目標屬性，那么我們需要根據上下文回溯到之前提到的實體和屬性，如果上下文中還是缺少這些，我們則需要用追問的方式讓用戶補充回答以填充（slot-filling）。

下面就幾種問答實現方式進行展開：

?? ?基于意圖的結構化問答系統

我們來舉一個例子，來說明什么是基于意圖來回答。

如果我們在百度搜索“銀江股份的市盈率”，百度并沒有直接給出答案，而是基于搜索推薦了相關網站內容。而對于這種有直接答案的問題，我們現在要做的就是理解用戶的意圖并直接給出答案。

對于像上市公司財務指標這種結構化信息的查詢，我們只需要將回答對應到我們API服務就可以了，這種情況下，理解用戶的問題，其實就是挖掘出用戶的意圖，比如：“銀江股份的市盈率”，我們識別出其中的實體是銀江股份（300020），意圖是查詢財務指標，目標參數是市盈率，隱藏的時間是當前日期，那么我們只需要把這個問題對應到財務的微服務API就可以了，拿到API的返回結果，調用響應模板做填充。當然在這里我們還需要處理很多細節問題，比如實體的別名、消歧、時間提取、意圖識別、模板生成等；

?? ?基于檢索的問答系統

有一種問題，我們是不需要自己去生成答案的，只需要通過啟發式方法從現有的文檔中挖掘出對應的觀點和經驗就可以很專業的回答問題了。例如，對于像新聞、研究報告類的文檔內容的搜索和觀點挖掘，應該是一種精細化的搜索方式，不是直接對文檔的全文進行檢索，而是首先提取分析出文檔的重要成分，比如：公司事件、摘要、情感、評級、作者正負面觀點等，建立到搜索引擎中，基于啟發式方法根據輸入的內容進行匹配回復。比如：“航天信息可以買嗎？”，我們不一定能準確的告訴用戶可以或不可以，但是告訴他航天信息在當前的技術指標（金叉、死叉等），資金流量，研究員的正負面觀點以及年報對2017年的管理層意見摘要等等。

?? ?基于領域知識圖譜的問答系統

除上面的情況之外，還有一種問題是可以通過對大數據信息提取推理生成答案的，比如：“和蘋果手機有關系的股票有哪些？”，“治理霧霾對哪些上市公司會產生影響？”，“鈷價上升對哪些股票產生影響最大？”等，當然這些問題通過搜索的方式也能給出答案，但我們發現它們有一些共同點，那就是問題的本身都描述著實體和實體之間的關系或者相關性，而這個正是知識圖譜能夠解決的問題，知識圖譜將搜索引擎從字符串匹配推進到實體關系查詢推理層面，自2012年Google搜索發布知識圖譜，它便成為下一代搜索引擎和問答系統等智能應用的基礎設施。所以上面的這些問題我們可以基于新聞資訊去抽取實體和關系，并建立相應的概念事件、參控股及產業鏈圖譜，然后基于圖譜去查詢和推理出相關的答案。

進行中的工作??

目前我們還有一些工作沒有做好，比如在實體關系抽取上，在檢索和問答中融入個性化，使用深度學習模型來做檢索和問答，比如使用生成模型，我們一直在探索這些工作。同時非常歡迎機器學習和自然語言處理方向的牛人加入數庫，攜手用智能推進金融發展。

最后，非常感謝大家今天的時間，本次分享僅代表個人觀點。

答疑環節?? ?? ?問答機器人能否給出肯定的回答, 比如"同花順"當前可以買入, "銀江股份"當前不可以買入 , 如果可以給出肯定的回答, 正確率大概有多少?

夏磊：其實股票的漲跌是很難準確預測的，它只是一個概率事件，金融市場由太多因素的影響了，但是我們有一些方法得到充足的信息來輔助判斷，比如像剛才分享提到的，我們可以通過對資訊的分析，提取出研究員的一些觀點，對公司基本面及技術面走勢給出一些分析，也可以通過對公司歷史發生的事件進行回測分析，從而得到大概率事件。

?? ?知識圖譜選擇什么圖數據庫實現，高并發場景能否支持？

夏磊：我們目前使用了多種數據庫，如neo4j、mongodb、redis等，主要還是側重在存儲和查詢，如果數據量大的話可以選擇一些商業的圖引擎，或者使用spark的graphx。我們的知識圖譜描述了公司、概念、事件、產品、參控股等關系，節點在幾十萬級別，用neo4j結合ES沒有什么問題。

?? ?在智能問答和投顧方面能否做到預測？

夏磊：這個問題可以分以下層次：

是對用戶預期結果的預測，不同用戶問一個期望得到的答案不盡相同，大數據可以對用戶行為進行分析，進一步分析出用戶的興趣點，并結合數據給出期望結果；

對標的如股價、公司、某個事件發展進行預測，市面上有類似的智能投顧，背后有的是拿一些傳統量化模型做得；有的確實有大數據的預測，數庫在這兩方面都有涉及。

?? ?經濟算到最后還是政治，政治講的就是風險與機會，大數據怎么體現價值？

夏磊：問題提到了風險與機會，實際上大數據在這兩個方面都已經有很不錯的表現。拿金融領域舉例，在風險衡量方面，越來越金融機構利用大數據建立風控模型，對用戶的風險發生概率進行預測，從而提高定價的彈性和風險的規避能力；機會把握上，利用大數據的營銷在金融及諸多行業已經有非常多成功案例。

?? ?作為一個搜索系統，投入這么大，應用場景是不是有點窄了？投入回報率是怎么考慮的

夏磊：對這個問題，我的看法有所不同。在金融領域的搜索投入不是太大而是太小了，資本在這個領域的投入還會不斷加大。智能化的金融搜索和問答或者說金融科技帶來的行業效率改進所產生的收益在很多方面都遠遠沒有被體現出來。

作者介紹

夏磊， 數庫（上海）科技有限公司 CTO， 2012年加入數庫，負責數庫整體研發和技術發展，推動人工智能在金融證券領域的應用，在加入數庫之前，曾先后就職于IBM Demandtec和HP，分別從事retailer大數據架構、云計算和移動互聯網架構相關工作。

總結

以上是生活随笔為你收集整理的智能问答在金融领域中的实践与应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。