大家好，我是數(shù)庫科技的CTO夏磊，我們是一家創(chuàng)業(yè)型企業(yè)，成立于2009年，先后獲得穆迪和京東金融的投資，在2016年被KPMG評為金融科技50強(qiáng)，非常高興有機(jī)會(huì)跟大家分享下我們在行業(yè)工作中的一些經(jīng)驗(yàn)。今天我主要想從下面幾個(gè)方面來講：

演講提綱：

?

第一部分：人工智能與金融創(chuàng)新??

我相信今天大家每天都能聽到甚至接觸到人工智能相關(guān)的信息和產(chǎn)品，最近人工智能也被首次寫入2017年的全國政府工作報(bào)告。從百度、阿里、騰訊、滴滴、今日頭條到Facebook, Microsoft, Google, IBM, Amazon都在將人工智能技術(shù)融入數(shù)據(jù)、產(chǎn)品和服務(wù)，通過大數(shù)據(jù)、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)為用戶提供更好的服務(wù)和互動(dòng)。

在金融領(lǐng)域，人工智能將與傳統(tǒng)金融市場的諸多功能緊密結(jié)合從而提高效率；涉及到?jīng)Q策、交易以及風(fēng)險(xiǎn)控制，學(xué)習(xí)模仿專家進(jìn)行交易、通過用戶畫像和交易行為分析進(jìn)行風(fēng)險(xiǎn)控制等。

下圖是數(shù)庫統(tǒng)計(jì)的在金融領(lǐng)域與科技相關(guān)的最熱門的一些概念。

在開始介紹數(shù)庫的智能助手之前，想先簡單介紹一下金融領(lǐng)域這兩年很熱的兩個(gè)人工智能的應(yīng)用方向：智能投顧和服務(wù)機(jī)器人。

先說智能投顧，2016年，畢馬威在對1500名銀行客戶調(diào)查后發(fā)布《智能投顧——跟進(jìn)步伐，引領(lǐng)潮流》報(bào)告(Robo Advising Catching Up And Getting Ahead)，預(yù)計(jì)到2020年美國智能投顧的資產(chǎn)管理規(guī)模將會(huì)達(dá)到2.2萬億美元。智能投顧實(shí)質(zhì)上是解決了平衡風(fēng)險(xiǎn)與收益的同時(shí)，提高效率、降低成本。這類公司有像Betterment、Wealthfront、Future Advisor等；在國內(nèi)，智能投顧解決的一個(gè)問題是以前通過專業(yè)的理財(cái)投顧來服務(wù)少數(shù)高凈值人群，現(xiàn)在可以通過機(jī)器用更低的費(fèi)用服務(wù)更廣大的中低凈值人群。目前國內(nèi)的金融機(jī)構(gòu)多是通過黑盒方式提供服務(wù)的，其背后或者是結(jié)合投資者風(fēng)險(xiǎn)偏好、財(cái)產(chǎn)狀況與理財(cái)目標(biāo)做智能投資組合分析，或者是通過量化分析進(jìn)行交易決策。但國內(nèi)的問題是剛剛起步，我們大數(shù)據(jù)的挖掘不夠深入，標(biāo)準(zhǔn)理財(cái)品種比較少，投資者以追求短期收益為主等，所以人工智能到底發(fā)揮了多少價(jià)值這個(gè)很難說清楚。

再來說服務(wù)機(jī)器人，這里主要說聊天機(jī)器人（chatterbot），提供一個(gè)人機(jī)交互界面來做問答，多用在客服、教育等特定領(lǐng)域，國內(nèi)已經(jīng)有很多這種中文聊天機(jī)器人的產(chǎn)品，更類似一種百科或者知識(shí)庫，但是在金融領(lǐng)域，關(guān)于投資的決策往往非常復(fù)雜，決策往往不是一個(gè)有標(biāo)準(zhǔn)答案的問題，想實(shí)現(xiàn)智能問答還有很長一段路要走，一方面把已經(jīng)有的一些先進(jìn)的方法論用機(jī)器實(shí)現(xiàn)，一方面要收集清洗并提取大量數(shù)據(jù)形成知識(shí)。

所以就以上的兩點(diǎn)，數(shù)庫對于金融領(lǐng)域智能問答的定位，更偏向于兩者的結(jié)合，投顧+智能問答。數(shù)庫在金融領(lǐng)域?qū)Ｗ⒂诮灰浊暗臎Q策環(huán)節(jié)，我們挖掘有價(jià)值的數(shù)據(jù)，在圖像識(shí)別和自然語言處理的技術(shù)支持下，我們可以對更多非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行信息提取、知識(shí)分類和聚類，加入量化分析，形成知識(shí)庫，以此來輔助決策，不斷減少個(gè)體從得到信息到?jīng)Q策的時(shí)間。

我們在服務(wù)機(jī)構(gòu)用戶時(shí)，實(shí)際是如何操作的呢？通常分為兩步：

第一，首先對企業(yè)內(nèi)部散落的數(shù)據(jù)進(jìn)行挖掘和關(guān)聯(lián)，形成知識(shí)庫；知識(shí)庫的搭建并不是簡單的數(shù)據(jù)的匯總，現(xiàn)在企業(yè)比較困擾的是數(shù)據(jù)過多，對于基礎(chǔ)數(shù)據(jù)的整理需要耗費(fèi)大量的人力。比方說關(guān)于一家上市公司的研報(bào)會(huì)有幾十篇，上百頁，如果僅僅是把數(shù)據(jù)做匯總，需要大量的時(shí)間去消化理解這些信息。所以在面對當(dāng)前信息過量的情況，我們做的是基于數(shù)據(jù)做提取觀點(diǎn)、挖掘知識(shí)，才能夠真正地輔助決策。

這里我舉個(gè)例子，對研究員來說可能想了解某個(gè)行業(yè)、上市公司的一些信息，如：公司業(yè)務(wù)分布、產(chǎn)量產(chǎn)能、供應(yīng)鏈、產(chǎn)業(yè)鏈圖譜、研究員評級和觀點(diǎn)、公司業(yè)務(wù)的外幣構(gòu)成（美元升值）、主要客戶、參控股關(guān)系、主題概念、公司事件軸、量化分析等，這些信息其實(shí)分布在研究報(bào)告、上市公司財(cái)報(bào)、互聯(lián)網(wǎng)媒體資訊中，我們要做的就是首先從這些數(shù)據(jù)源挖掘出知識(shí)和觀點(diǎn)，通過我們的多因子和事件驅(qū)動(dòng)回測分析服務(wù)進(jìn)行實(shí)時(shí)分析。

第二，知識(shí)庫搭建后，如何讓用戶使用呢。通過搜索、問答的方式，是目前最為便捷和簡單的一個(gè)方式。但是如何理解用戶的問題并給一個(gè)有效的答案是技術(shù)上的一個(gè)很大的挑戰(zhàn)。這部分也是我今天分享的重點(diǎn)。除了智能問答以外，我們也為金融企業(yè)中一些特定的場景，搭建從信息到?jīng)Q策的自動(dòng)化流程。

圖示：從知識(shí)到問答

?

第二部分：數(shù)庫智能助手引擎的架構(gòu)與技術(shù)實(shí)現(xiàn)??

前面已經(jīng)提到了，數(shù)庫的智能助手引擎包含兩個(gè)端：

• 一端是對海量數(shù)據(jù)的解析，包括文本自然語言處理（實(shí)體識(shí)別/摘要/情感分析/事件提取），PDF表格和圖像解析，數(shù)據(jù)基于標(biāo)簽的關(guān)聯(lián)分析；

• 一端是怎么樣去構(gòu)建個(gè)交互式問答的搜索引擎。

今天我們著重講下后者，下面這張圖描述了我們這塊最初的技術(shù)架構(gòu)。

整個(gè)架構(gòu)主要分成3大塊：

1． Query解析：包含對用戶輸入進(jìn)行分詞、拼寫檢查、組塊分析、詞性標(biāo)注、命名實(shí)體識(shí)別、依存句法分析、語義角色標(biāo)注、Ontology詞義擴(kuò)展、實(shí)體歧義消解、指代消解、主題探測、意圖分析和相同會(huì)話檢測等；

2．問題回答引擎：這塊目前我們?nèi)诤狭硕喾N方式，包括基于意圖的結(jié)構(gòu)化問答（API），基于檢索的問答系統(tǒng)（news and reports），基于領(lǐng)域知識(shí)圖譜查詢和推理的問答系統(tǒng)（業(yè)務(wù)，產(chǎn)業(yè)鏈，事件，參控股關(guān)系）以及利用深度學(xué)習(xí)(如Encoder-Decoder+LSTM+Attention model)借用機(jī)器翻譯的思想實(shí)現(xiàn)端到端的問答匹配及更深入結(jié)合語言模型自動(dòng)生成問題答案。

3．場景定義及上下文管理：通過提供管理后臺(tái)，讓用戶建立起自己的業(yè)務(wù)場景，并在場景中建立起上下文會(huì)話，而會(huì)話則由實(shí)體、意圖和生成模板構(gòu)成。在新的問題中，如果語法錯(cuò)誤，比如缺少實(shí)體和目標(biāo)屬性，那么我們需要根據(jù)上下文回溯到之前提到的實(shí)體和屬性，如果上下文中還是缺少這些，我們則需要用追問的方式讓用戶補(bǔ)充回答以填充（slot-filling）。

下面就幾種問答實(shí)現(xiàn)方式進(jìn)行展開：

?? ?基于意圖的結(jié)構(gòu)化問答系統(tǒng)

我們來舉一個(gè)例子，來說明什么是基于意圖來回答。

如果我們在百度搜索“銀江股份的市盈率”，百度并沒有直接給出答案，而是基于搜索推薦了相關(guān)網(wǎng)站內(nèi)容。而對于這種有直接答案的問題，我們現(xiàn)在要做的就是理解用戶的意圖并直接給出答案。

對于像上市公司財(cái)務(wù)指標(biāo)這種結(jié)構(gòu)化信息的查詢，我們只需要將回答對應(yīng)到我們API服務(wù)就可以了，這種情況下，理解用戶的問題，其實(shí)就是挖掘出用戶的意圖，比如：“銀江股份的市盈率”，我們識(shí)別出其中的實(shí)體是銀江股份（300020），意圖是查詢財(cái)務(wù)指標(biāo)，目標(biāo)參數(shù)是市盈率，隱藏的時(shí)間是當(dāng)前日期，那么我們只需要把這個(gè)問題對應(yīng)到財(cái)務(wù)的微服務(wù)API就可以了，拿到API的返回結(jié)果，調(diào)用響應(yīng)模板做填充。當(dāng)然在這里我們還需要處理很多細(xì)節(jié)問題，比如實(shí)體的別名、消歧、時(shí)間提取、意圖識(shí)別、模板生成等；

?? ?基于檢索的問答系統(tǒng)

有一種問題，我們是不需要自己去生成答案的，只需要通過啟發(fā)式方法從現(xiàn)有的文檔中挖掘出對應(yīng)的觀點(diǎn)和經(jīng)驗(yàn)就可以很專業(yè)的回答問題了。例如，對于像新聞、研究報(bào)告類的文檔內(nèi)容的搜索和觀點(diǎn)挖掘，應(yīng)該是一種精細(xì)化的搜索方式，不是直接對文檔的全文進(jìn)行檢索，而是首先提取分析出文檔的重要成分，比如：公司事件、摘要、情感、評級、作者正負(fù)面觀點(diǎn)等，建立到搜索引擎中，基于啟發(fā)式方法根據(jù)輸入的內(nèi)容進(jìn)行匹配回復(fù)。比如：“航天信息可以買嗎？”，我們不一定能準(zhǔn)確的告訴用戶可以或不可以，但是告訴他航天信息在當(dāng)前的技術(shù)指標(biāo)（金叉、死叉等），資金流量，研究員的正負(fù)面觀點(diǎn)以及年報(bào)對2017年的管理層意見摘要等等。

?? ?基于領(lǐng)域知識(shí)圖譜的問答系統(tǒng)

除上面的情況之外，還有一種問題是可以通過對大數(shù)據(jù)信息提取推理生成答案的，比如：“和蘋果手機(jī)有關(guān)系的股票有哪些？”，“治理霧霾對哪些上市公司會(huì)產(chǎn)生影響？”，“鈷價(jià)上升對哪些股票產(chǎn)生影響最大？”等，當(dāng)然這些問題通過搜索的方式也能給出答案，但我們發(fā)現(xiàn)它們有一些共同點(diǎn)，那就是問題的本身都描述著實(shí)體和實(shí)體之間的關(guān)系或者相關(guān)性，而這個(gè)正是知識(shí)圖譜能夠解決的問題，知識(shí)圖譜將搜索引擎從字符串匹配推進(jìn)到實(shí)體關(guān)系查詢推理層面，自2012年Google搜索發(fā)布知識(shí)圖譜，它便成為下一代搜索引擎和問答系統(tǒng)等智能應(yīng)用的基礎(chǔ)設(shè)施。所以上面的這些問題我們可以基于新聞資訊去抽取實(shí)體和關(guān)系，并建立相應(yīng)的概念事件、參控股及產(chǎn)業(yè)鏈圖譜，然后基于圖譜去查詢和推理出相關(guān)的答案。

進(jìn)行中的工作??

目前我們還有一些工作沒有做好，比如在實(shí)體關(guān)系抽取上，在檢索和問答中融入個(gè)性化，使用深度學(xué)習(xí)模型來做檢索和問答，比如使用生成模型，我們一直在探索這些工作。同時(shí)非常歡迎機(jī)器學(xué)習(xí)和自然語言處理方向的牛人加入數(shù)庫，攜手用智能推進(jìn)金融發(fā)展。

最后，非常感謝大家今天的時(shí)間，本次分享僅代表個(gè)人觀點(diǎn)。

答疑環(huán)節(jié)?? ?? ?問答機(jī)器人能否給出肯定的回答, 比如"同花順"當(dāng)前可以買入, "銀江股份"當(dāng)前不可以買入 , 如果可以給出肯定的回答, 正確率大概有多少?

夏磊：其實(shí)股票的漲跌是很難準(zhǔn)確預(yù)測的，它只是一個(gè)概率事件，金融市場由太多因素的影響了，但是我們有一些方法得到充足的信息來輔助判斷，比如像剛才分享提到的，我們可以通過對資訊的分析，提取出研究員的一些觀點(diǎn)，對公司基本面及技術(shù)面走勢給出一些分析，也可以通過對公司歷史發(fā)生的事件進(jìn)行回測分析，從而得到大概率事件。

?? ?知識(shí)圖譜選擇什么圖數(shù)據(jù)庫實(shí)現(xiàn)，高并發(fā)場景能否支持？

夏磊：我們目前使用了多種數(shù)據(jù)庫，如neo4j、mongodb、redis等，主要還是側(cè)重在存儲(chǔ)和查詢，如果數(shù)據(jù)量大的話可以選擇一些商業(yè)的圖引擎，或者使用spark的graphx。我們的知識(shí)圖譜描述了公司、概念、事件、產(chǎn)品、參控股等關(guān)系，節(jié)點(diǎn)在幾十萬級別，用neo4j結(jié)合ES沒有什么問題。

?? ?在智能問答和投顧方面能否做到預(yù)測？

夏磊：這個(gè)問題可以分以下層次：

是對用戶預(yù)期結(jié)果的預(yù)測，不同用戶問一個(gè)期望得到的答案不盡相同，大數(shù)據(jù)可以對用戶行為進(jìn)行分析，進(jìn)一步分析出用戶的興趣點(diǎn)，并結(jié)合數(shù)據(jù)給出期望結(jié)果；

對標(biāo)的如股價(jià)、公司、某個(gè)事件發(fā)展進(jìn)行預(yù)測，市面上有類似的智能投顧，背后有的是拿一些傳統(tǒng)量化模型做得；有的確實(shí)有大數(shù)據(jù)的預(yù)測，數(shù)庫在這兩方面都有涉及。

?? ?經(jīng)濟(jì)算到最后還是政治，政治講的就是風(fēng)險(xiǎn)與機(jī)會(huì)，大數(shù)據(jù)怎么體現(xiàn)價(jià)值？

夏磊：問題提到了風(fēng)險(xiǎn)與機(jī)會(huì)，實(shí)際上大數(shù)據(jù)在這兩個(gè)方面都已經(jīng)有很不錯(cuò)的表現(xiàn)。拿金融領(lǐng)域舉例，在風(fēng)險(xiǎn)衡量方面，越來越金融機(jī)構(gòu)利用大數(shù)據(jù)建立風(fēng)控模型，對用戶的風(fēng)險(xiǎn)發(fā)生概率進(jìn)行預(yù)測，從而提高定價(jià)的彈性和風(fēng)險(xiǎn)的規(guī)避能力；機(jī)會(huì)把握上，利用大數(shù)據(jù)的營銷在金融及諸多行業(yè)已經(jīng)有非常多成功案例。

?? ?作為一個(gè)搜索系統(tǒng)，投入這么大，應(yīng)用場景是不是有點(diǎn)窄了？投入回報(bào)率是怎么考慮的

夏磊：對這個(gè)問題，我的看法有所不同。在金融領(lǐng)域的搜索投入不是太大而是太小了，資本在這個(gè)領(lǐng)域的投入還會(huì)不斷加大。智能化的金融搜索和問答或者說金融科技帶來的行業(yè)效率改進(jìn)所產(chǎn)生的收益在很多方面都遠(yuǎn)遠(yuǎn)沒有被體現(xiàn)出來。

作者介紹

夏磊， 數(shù)庫（上海）科技有限公司 CTO， 2012年加入數(shù)庫，負(fù)責(zé)數(shù)庫整體研發(fā)和技術(shù)發(fā)展，推動(dòng)人工智能在金融證券領(lǐng)域的應(yīng)用，在加入數(shù)庫之前，曾先后就職于IBM Demandtec和HP，分別從事retailer大數(shù)據(jù)架構(gòu)、云計(jì)算和移動(dòng)互聯(lián)網(wǎng)架構(gòu)相關(guān)工作。

總結(jié)

以上是生活随笔為你收集整理的智能问答在金融领域中的实践与应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。