第十三届“华中杯”大学生数学建模挑战赛题目 B 题 技术问答社区重复问题识别
B 題 技術(shù)問答社區(qū)重復(fù)問題識(shí)別
技術(shù)社區(qū)問答平臺(tái)作為用戶互相分享交流的社區(qū)平臺(tái)，近年來逐步成為用戶尋找技術(shù)類疑難解答的首要渠道。 各分類技術(shù)性問題的文本數(shù)據(jù)量不斷攀升，給問答平臺(tái)的日常運(yùn)營維護(hù)帶來了挑戰(zhàn)。隨著新用戶的不斷加入以及用戶數(shù)量的增加，新用戶提出的疑問可能已經(jīng)在平臺(tái)上被其他用戶提出并解答過，但由于技術(shù)性問題的復(fù)雜性，各個(gè)用戶提問的切入角度不同，用問題標(biāo)題關(guān)鍵詞匹配的搜索系統(tǒng)無法指引新用戶至現(xiàn)有的問題。于是，新用戶會(huì)提出重復(fù)的問題，而這些問題會(huì)進(jìn)一步增加平臺(tái)上的文本量，導(dǎo)致用戶重復(fù)響應(yīng)相同的問題。對(duì)于這種現(xiàn)象，通常的做法是及時(shí)找到新增的重復(fù)問題并打上標(biāo)簽，然后在搜索結(jié)果中隱藏該類重復(fù)問題，保證對(duì)應(yīng)已解決問題出現(xiàn)的優(yōu)先度。所以，建立一個(gè)基于自然語言處理技術(shù)的自動(dòng)標(biāo)重系統(tǒng)會(huì)對(duì)問答平臺(tái)的日常維護(hù)起到極大幫助。
目前，問答平臺(tái)上的問題標(biāo)重主要依靠用戶人工辨別。平臺(tái)用戶會(huì)對(duì)疑似重復(fù)的問題
進(jìn)行投票標(biāo)記，然后平臺(tái)內(nèi)的管理員和資深用戶（平臺(tái)等級(jí)高的用戶）對(duì)該問題是否被重
復(fù)提問進(jìn)行核實(shí)，若確認(rèn)重復(fù)則打上重復(fù)標(biāo)簽。該過程較為繁瑣，依賴用戶主觀判斷，存
在時(shí)間跨度大、工作量大、效率低等問題，增加了用戶的工作量且延長了新用戶尋求答案
所需的時(shí)間。因而，如能建立一個(gè)檢測問題重復(fù)度的模型，通過配對(duì)新提出問題與文本庫
中現(xiàn)存問題，找出重復(fù)的問題組合，就能提高重復(fù)問題標(biāo)記效率，提高平臺(tái)問題的文本質(zhì)
量，減少問題冗余。同時(shí)，平臺(tái)用戶也能及時(shí)地根據(jù)重復(fù)標(biāo)簽提示找到相關(guān)問題并查看已
有的回復(fù)。
附件給出了問答平臺(tái)上問題的文本內(nèi)容記錄，以及比較兩個(gè)問題之間是否重復(fù)的數(shù)據(jù)
集。請根據(jù)附件給出的問題文本數(shù)據(jù)及問題配對(duì)信息，建立一個(gè)能判斷問題是否重復(fù)的分
類模型，并解決：
1）輸出樣本問題組為重復(fù)問題的概率；
通常使用 F1-score 對(duì)分類模型進(jìn)行評(píng)價(jià)：
其中𝑃𝑖為第𝑖類的查準(zhǔn)率，𝑅𝑖為第𝑖類的查全率；
2）從附件問題列表中，給出與目標(biāo)問題重復(fù)概率最大的前 10 個(gè)問題的編號(hào)；
對(duì)于每個(gè)問題的預(yù)測結(jié)果采用 top K 列表對(duì)其進(jìn)行評(píng)估，評(píng)估公式如下：
其中𝑁𝑑𝑒𝑡𝑒𝑐𝑡𝑒𝑑 為在 top K 列表結(jié)果中正確檢測到的重復(fù)問題編號(hào)數(shù)量，𝑁𝑡𝑜𝑡𝑎𝑙為該樣
本實(shí)際擁有的重復(fù)問題數(shù)量。評(píng)估時(shí) K 取 10，若樣本中無重復(fù)問題則不會(huì)計(jì)分。
總結(jié)
以上是生活随笔為你收集整理的第十三届“华中杯”大学生数学建模挑战赛题目 B 题 技术问答社区重复问题识别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
