日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

决策树准确率低原因_智能质检优化实践:召回率和准确率,哪个更重要?

發布時間:2024/10/14 编程问答 46 豆豆
生活随笔 收集整理的這篇文章主要介紹了 决策树准确率低原因_智能质检优化实践:召回率和准确率,哪个更重要? 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

題圖:美劇《了不起的麥瑟爾夫人》

很多企業擁有中大型電銷或客服中心,每天與客戶產生成千上萬次溝通。溝通的質量,決定了企業的收入或客戶滿意度。企業監督業務人員的溝通質量和執行力的過程,被稱為質檢。

前兩篇文章,我們介紹了“關鍵詞+正則”質檢方式和全新的“非正則”質檢方式的區別,也介紹了兩種機器質檢方式各自適配的場景。

雙模質檢,各司其職。“非正則”質檢方式通過引入深度學習算法模型,能夠更好地利用上下文語義來判斷一個句子是否命中了質檢項,顯著提升找全率(術語“召回率”)和找準率(術語“準確率”)。同時,由于深度學習算法模型對訓練數據量有要求,因此“非正則”方式更適合目標通話量較多的質檢項,而目標通話量過少的質檢項,無法訓練出好的算法模型,需要繼續使用“關鍵詞+正則”的方式。

今天,我們進一步分析,如何對不同的質檢項采取不同的優化策略,使機器質檢和人工復檢更好地平衡,提升整體質檢工作的效率。

召回率和準確率的關系

我們希望每個質檢項所命中的目標通話又全又準。這也是循環智能的質檢產品引入“非正則”模式的原因。

但在優化質檢項的命中效果時,當召回率和準確率都達到了一定的高度,想要繼續提升,難免會遇到“二選一”的問題:召回率和準確率互相影響、此消彼長,一個指標增長,另一個指標通常就會下降。

圖:Designed by Creazilla

在實際應用中,大部分企業的業務流程是“機器質檢+人工復檢”:將機器質檢的結果交給人工做復檢。因此,機器質檢的召回率和準確率變化,會影響到人工復檢的成本:

  • 提升召回率(適當犧牲準確率),意味著降低“漏檢”的風險,但可能會增加“誤檢”帶來的人工復檢成本;
  • 提升準確率(適當犧牲召回率),意味著降低“誤檢”帶來的人工復檢成本,但可能會增加“漏檢”的風險。

那么對于不同的質檢項而言,如果碰到“二選一”的問題,該如何做出選擇?

負向質檢項:通常“召回率”優先

負向質檢,就是找出不合格、不合規的地方。通俗地說,在銷售、客服質檢中,是指找出業務員“說了什么不該說的”。負向質檢是企業比較常見的需求,尤其是在受監管比較嚴格的領域。

在貸后資產管理(催收)領域,質檢項以負向為主,例如恐嚇威脅、疑似私收錢款等。負向質檢項通常有兩個特征,第一是違規量通常都不太大(大部分通話不會違規),第二是漏檢之后的風險相對比較大。因此,針對負向質檢項,我們通常應該通過調整算法模型的參數或規則代碼,保證“召回率”優先,將更多涉嫌違規的通話都找出來,然后增加人工成本去做復檢,“寧可錯殺一片,不可放過一個”。

正向質檢項:通常“準確率”優先

正向質檢,是指對業務員符合規范的地方進行加分激勵。最近幾年,正向質檢越來越受到企業重視,因為負向質檢判斷的只是業務員有沒有犯錯,是一種“懲惡”的理念,而正向質檢可以用來激勵業務員變得更加專業、更加規范,是一種“揚善”的理念,更有利于形成正向循環。

例如客服領域的規范性用語:“標準開場白”、“標準結束語”、“服務延伸用戶(請問還有什么可以幫您)”以及“確認客戶預留信息”等。這類正向質檢項,通常目標通話量比較大,如果錯誤率較高,復檢成本就會很高。面臨二選一的時候,我們通常應該通過調整模型參數或規則代碼,優先提升準確率,降低人工復檢成本,“寧可漏掉幾個,不可錯殺一片”。

實際場景更復雜

需要重申,我們在優化質檢項命中效果的時候,最好的情況是,能找到同時提升召回率和準確率的方法,或者能找到大幅提升其中一個指標,而另一個指標不會明顯下降的方法。如果這兩條路都走不通,為了繼續提升效果,才需要結合漏檢的風險高低以及人工復檢的成本,進行“二選一”。

通常,因為負向質檢項的漏檢風險比較高,所以“召回率優先”,降低漏檢風險;而正向質檢項的目標通話量比較大,所以“準確率優先”,降低復檢成本。

?不過,也有少量例外。比如有的負向質檢項,目標通話量不算少,而且風險也比較低,那可以考慮“準確率優先”;有的正向質檢項,目標通話率非常少,而且重要性比較高,那就應該考慮“召回率優先”。

此外,在實際應用中,還要將其他因素綜合考慮進去,比如不同質檢項的召回率和準確率提升難度不同,比如不同企業的復檢員數量是不同的……我們才能更好地制定不同質檢項的優化策略。 ? THE END


循環智能的主產品是基于對話數據的 AI 銷售中臺,針對銷售和客服場景,提供三大核心模塊:線索成單預測、客戶心聲分析和智能質檢,并提供電話錄音ASR語音識別基礎服務。猛戳這里,預約在線演示。

總結

以上是生活随笔為你收集整理的决策树准确率低原因_智能质检优化实践:召回率和准确率,哪个更重要?的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。