對話式AI類產(chǎn)品，已經(jīng)在各行各業(yè)中實現(xiàn)規(guī)模化的應用。隨著科技創(chuàng)新支撐下的高質(zhì)量行業(yè)發(fā)展，人工智能已成為數(shù)字經(jīng)濟時代的核心生產(chǎn)力。其中對話式AI，作為人工智能技術的一個分支，隨著深度學習、預訓練模型等技術的突破，逐漸在各行各業(yè)中實現(xiàn)了從產(chǎn)品測試到規(guī)模化應用的落地。比如：智能客服、外呼機器人、語音助手等產(chǎn)品應用。

據(jù)艾瑞咨詢2022年《中國對話式AI行業(yè)發(fā)展白皮書》所示，預計到2026年，對話式AI的核心產(chǎn)品規(guī)模將達到108億元，帶動相關產(chǎn)業(yè)規(guī)模超385億元，2021~2026年的年均復合增長率（CAGR）分別為18.9%和25%；對話式AI作為“替代與輔助人工”的核心應用，為市場最原始直觀的“降本增效”價值訴求提供了先行落地的有效解決方案。眾多企業(yè)將引入“對話式AI”作為智能化轉(zhuǎn)型的首要試驗田。

艾瑞咨詢：2019-2026年中國對話式AI產(chǎn)品及帶動相關產(chǎn)業(yè)規(guī)模

企業(yè)在應用對話式AI產(chǎn)品中，通常會遇到以下兩個痛點：

1、部署階段-問答知識庫構建周期長，用戶冷啟動門檻高。主要表現(xiàn)在：1、企業(yè)數(shù)據(jù)分散在會話日志、網(wǎng)頁等多種文檔中，需要人工收集。2、企業(yè)數(shù)據(jù)積累較少，需要業(yè)務專家介入梳理。3、人工標注成本居高不下，易受個人主觀意識左右，影響模型訓練效果。

2、運營階段-AI服務效果不穩(wěn)定，且缺乏有效的監(jiān)控手段，不能及時進行模型調(diào)優(yōu)。主要表現(xiàn)在：1、系統(tǒng)中人工構建知識庫質(zhì)量不可控，導致AI服務效果不穩(wěn)定。2、系統(tǒng)對未覆蓋知識無法做到及時發(fā)現(xiàn)，導致無法回答，用戶體驗差。3、系統(tǒng)無法對錯誤案例（BadCase）及時分析，模型無法及時更新。

上述兩個痛點說明，對話式AI產(chǎn)品若要實際滿足用戶需求，僅擁有對話能力是不夠的，更需要完善的問答知識庫作為底層支撐。換句話說，問答知識庫的規(guī)模和質(zhì)量直接決定了對話式AI產(chǎn)品的整體服務效果。然而僅靠人力堆積的模式來構建和運營知識庫，不僅服務質(zhì)量得不到保證，而且項目運營成本也存在失控的風險，早已無法適應市場的要求和增速。

問答知識庫的快速構建及閉環(huán)運營能力，是解決上述兩個痛點的關鍵。

問答知識庫快速構建及閉環(huán)運營的核心技術介紹

問答知識庫的構建和運營是一項系統(tǒng)工程，冷啟動階段運用系統(tǒng)工具輔助人工快速構建知識體系，推進對話式AI落地；運營階段運用大數(shù)據(jù)挖掘技術，實現(xiàn)價值數(shù)據(jù)自動回流，知識庫持續(xù)更新。兩套體系搭建完成后將形成數(shù)據(jù)閉環(huán)，并相輔相成，逐步形成“雙飛輪”的自運營體系。其整體運行邏輯如下圖：

?知識構建及閉環(huán)運營工具流程圖

?如圖所示：冷啟動階段運用知識挖掘、智能標注、智能薦句、質(zhì)量檢查等工具輔助人工快速構建知識體系；運營階段運用新知識發(fā)現(xiàn)、BadCase分析、質(zhì)量檢查等工具保持模型持續(xù)迭代。其中用到的核心技術主要有文本聚類、樣本增廣、知識質(zhì)量檢查等。下面就針對這些核心技術做下介紹。

?1、文本聚類技術，可以為知識庫持續(xù)挖掘和發(fā)現(xiàn)新的知識：

文本聚類技術在知識構建及閉環(huán)運營工具中，主要用于新知識的發(fā)現(xiàn)（無法聚到現(xiàn)有的任何一個意圖類別中）和拒識問題的歸納（可以聚到現(xiàn)有意圖體系中，但是現(xiàn)在無法應答，需要人工處理）。當前的主流算法為無監(jiān)督句向量表示+聚類算法，聚類算法常采用K-means、DBSCAN等，目前常用的無監(jiān)督句向量表示方法有：

?表1.目前常用的無監(jiān)督句向量表示方法

隨著深度學習的發(fā)展，預訓練模型目前是向量表示的主流方法。最簡單的方式是使用BERT的[CLS]token對應的embedding作為整句話的句向量表示。但是該向量存在向量坍塌的問題，即使差異性非常大的兩個句子，相似度得分也可能會比較高。因此引入了對比學習，對比學習主要思想是讓相似的文本對應的向量表示盡可能接近，不相似的文本對應的向量盡可能遠離，目前預訓練+對比學習是獲取無監(jiān)督句向量的主流方法。

經(jīng)過調(diào)研，研究院團隊將句向量的獲取方式由無監(jiān)督升級為了半監(jiān)督，將少量帶標注的先驗知識融入模型，使模型能夠?qū)W習到更具區(qū)分性的向量表示，從而進一步提升了文本聚類的效果。下圖為某電商場景半監(jiān)督聚類和無監(jiān)督聚類效果對比，可以明顯看出半監(jiān)督聚類結(jié)果更加內(nèi)聚（半監(jiān)督對于相似的文本只聚出了3類，而無監(jiān)督聚出了7類）。

?

表2.某電商場景半監(jiān)督聚類和無監(jiān)督聚類效果對比

我們也在公開數(shù)據(jù)集上對比了各種聚類算法的效果，半監(jiān)督模型+對比學習的效果提升明顯。

?

表3.公開數(shù)據(jù)集上各聚類算法的效果對比

聚類效果評價指標：

NMI(Normalized Mutual Information, 標準化互信息)

AMI(Adjusted Mutual Information, 調(diào)整互信息)

AR(Adjusted Rand, 調(diào)整蘭德指數(shù))

文本聚類在實踐中發(fā)現(xiàn)的新知識和重新歸納的拒識問題經(jīng)人工審核，采用率可達87%。大大降低了運營人員人力投入。為提升聚類速度，我們使用batch K-means替換K-means算法，在聚類效果不變的情況下，速度提升了近3倍。

2、樣本增廣技術，可以解決知識庫語料稀少和不平衡的問題：

樣本增廣技術，主要應用在智能薦句工具中解決知識庫語料稀少和不平衡問題。當前主流樣本增廣算法如下：

?

表4.當前主流樣本增廣算法

中關村科金人工智能研究院結(jié)合一線運營人員與客戶的實際應用反饋，系統(tǒng)分析了上述各方案的優(yōu)缺點之后，創(chuàng)造性地提出了一種融合了文本檢索和生成式樣本增廣的技術，作為最終的樣本增廣方案。

其中文本檢索是利用研究院積累的大量真實行業(yè)知識語料（已脫敏）作為檢索底庫，基于文本語義向量匹配技術從底庫中獲取語義相似樣本，可以同時兼顧增廣樣本的多樣性、準確性和真實性。我們采用融合了對比學習的半監(jiān)督預訓練模型獲取文本語義向量，用余弦相似度作為度量指標，為提升檢索速度，使用了milvus向量索引。生成式樣本增廣我們采用了Prefix_LM結(jié)構模型，然后在生成結(jié)果基礎上做了進一步的數(shù)據(jù)后處理。

大致流程為：當用戶輸入待增廣樣本，系統(tǒng)先從歷史積累的語料庫中檢索相似樣本，當檢索數(shù)量能達到用戶需求時，直接返回檢索結(jié)果；如果數(shù)量不足，再通過生成式樣本增廣算法進行擴充。考慮到生成式樣本增廣的不可控問題，我們做了兩個數(shù)據(jù)后處理操作，進一步提升生成樣本的質(zhì)量。一是通過計算生成樣本與原始樣本的相似度，如果相似度太低則不采納該生成結(jié)果；二是通過語言模型對生成樣本進行打分，如果分數(shù)太低也不采納。最終增廣樣本的人工采用率近70%，大大降低了運營人員人力投入成本。下面以“怎么提現(xiàn)呢”為例，樣本增廣效果對比如下：

?

表5.樣本增廣效果對比

3、知識質(zhì)量檢查技術，可以檢測數(shù)據(jù)標注質(zhì)量并對潛在錯誤樣本進行矯正：

知識質(zhì)量檢查技術主要用于評估數(shù)據(jù)標注質(zhì)量并挑選出潛在的標注錯誤樣本。我們采用了Cleanlab工具，對標注樣本進行了1~5的噪音指數(shù)評分，值越高說明人工標注結(jié)果越有可能存在錯誤，需要對標注進行復核糾正。經(jīng)過質(zhì)量檢查和標注矯正后，意圖識別準確率平均可提升6%~15%。以保險領域的一部分知識為例，質(zhì)量檢查結(jié)果如下：

?

表6.某保險場景部分知識質(zhì)量檢查結(jié)果

問答知識庫構建技術助力多行業(yè)快速落地對話式AI

中關村科金人工智能研究院自主研發(fā)的問答知識庫快速構建工具，目前已在保險、電商、銀行、零售等多個行業(yè)，永安保險、步步高等多個頭部企業(yè)中，實現(xiàn)落地應用。在上述場景中，基于文本聚類技術進行新知識發(fā)現(xiàn)，可發(fā)現(xiàn)占對話日志總量2%~3%的無法應答的新知識，經(jīng)人工審核，采用率可達87%；智能薦句工具通過樣本增廣技術為每條知識平均增廣10條相似樣本，經(jīng)過人工審核，采用率近70%；知識質(zhì)量檢查工具可以在減少85%人工審核工作量下提升10%的意圖識別準確率；BadCase分析及回流工具平均每周可以自動回流一次知識庫并重新訓練一次模型。

實踐證明，問答知識庫快速構建及閉環(huán)運營工具可至少節(jié)省2/3的知識庫運營和維護人力，使冷啟動和知識庫更新時間縮短近70%。

總結(jié)與展望

現(xiàn)階段對話式AI技術應用的業(yè)界難題，主要是新場景中對話機器人的冷啟動問題。上面介紹了我們在快速構建問答知識庫上的工作，在一定程度上解決了冷啟動問題，使冷啟動和知識庫更新時間縮短近70%，但是仍然需要一定的人力在工具的輔助下進行知識庫審核和構建。目前流行的基于提示學習prompt的小樣本學習，可充分利用預訓練模型在大量無監(jiān)督數(shù)據(jù)集上學習到的豐富知識，進一步減少冷啟動所需要的數(shù)據(jù)量和人力投入。

未來，中關村科金將利用現(xiàn)有的知識庫快速構建技術，結(jié)合最新的小樣本學習方法，進一步縮短對話式AI的部署周期，為企業(yè)的智能化轉(zhuǎn)型和對話式AI的大規(guī)模快速落地提供有力的支持。

作者：李寬 中關村科金人工智能研究院高級算法研究員

總結(jié)

以上是生活随笔為你收集整理的问答知识库快速构建技术解析及行业实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。