引自

Ye B , Wang Y .CrowdRec: Trust-Aware Worker Recommendation in Crowdsourcing Environments[C]//2016 IEEE International Conference on Web Services (ICWS). IEEE, 2016.

摘要

在由請求者和工人組成的眾包平臺上，為請求者發布的人工智能任務（HIT）推薦合適的工人是一個挑戰。合適的工人是為發布的HIT提交正確答案的概率很高的人。然而，有四個問題使得現有的方法在推薦合適的工人方面不太有效。首先，在大多數眾包平臺上，絕大多數員工都有良好的聲譽，因此被視為具有同等機會被推薦的同質員工。其次，不誠實的員工可能會通過偽造良好聲譽和夸大個人技能來獲得推薦。此外，傳統的數據稀疏和冷啟動問題在眾包環境中并存。

為了有效地區分同種類型的工作人員，我們最終計算工作人員在不同請求者發布的不同類型HIT中的表現。為了提高預測員工績效的準確性，我們提出了一個指標，該指標分別考慮了兩個請求者在與他們信任的普通員工進行交易和與他們不信任的普通員工進行交易時的相似性。然后，針對不誠實行為，提出了基于交易的信任模型。針對數據稀疏問題，提出了一種新的信任子網絡提取算法（TSE），以發現更多的請求者，為生成建議提供值得信任的意見。最后，結合相似性度量、新的信任模型、新的信任子網提取算法和新的策略，提出了一種新的基于信任的員工推薦方法crowdrec。

關鍵字：眾包；信任網絡；員工推薦；協同過濾；

問題定義

為了獲得高質量的面向HIT的推薦，我們需要考慮眾包環境中存在的兩個新挑戰和傳統推薦系統中的兩個經典挑戰，也就是同質工人、不誠實行為、數據稀疏和冷啟動問題并存的情況。

C1（同質工人）：同質工人有平等的機會得到建議，因為他們都有良好的聲譽。例如圖1中的工人w1、w2、w3、w4和w5，每個人的審批率都高于0.9。

C2（不誠實行為）：傳統的基于信任的推薦方法可能會被不誠實行為欺騙，包括偽造良好聲譽和夸大個人技能。例如，在圖1中，不誠實的工作者w3可以通過參與不誠實的請求者r3發布的HIT來獲得良好的聲譽。此外，W3可以在其注冊信息中描述自己是熟練工人，以獲得更多推薦。

C3（數據稀疏性）：在眾包平臺上，請求者工作者矩陣中的每個元素都是請求者和工作者之間的事務記錄。由于請求者可以處理所有工作人員中的一小部分，因此請求者工作人員矩陣變得非常稀疏。

C4（冷啟動）：由于幾乎沒有關于新請求者和新工人的信息（如圖1中的請求者R5和工人W6），因此很難為他們生成建議。

創新點

（1）提出一種方法，根據員工在與請求者進行交易時的過往表現，計算請求者與員工之間的直接信任（DT）。根據DT值，我們區分了同質工作者在不同請求者發布的不同類型HIT中的表現。

（2）提出了一種基于信任強度（SOT）的新型信任模型，該模型測量了兩個沒有與任何普通員工進行交易的請求者之間的信任。

（3）針對數據稀疏問題，提出了一種信任子網絡提取算法（TSE），通過該算法可以找到更可靠的請求者，為生成建議提供意見。

（4）引入相似性度量、新的信任模型、新的信任子網提取方法和新的策略，提出一種新的信任感知工作推薦方法。

研究內容

1. 基于交易網絡的信任模型

（1）基于交易的眾包直接信任

定義1：直接信任（DT）是請求者認為工作人員可能提交正確的HIT答案的概率。

N 是工作人員提交并由請求者批準的答案數； M 是工作人員在過去與請求者進行的交易中提交的答案總數。

然后，設定閾值，若DT大于閾值，則為信任關系，否則為不信任關系。

（2）行為相似性

定義2：兩個請求者之間的行為相似性（SIB）表明他們對工人未來績效有相同期望的可能性。

SIB由信任相似和不信任相似組成。對于兩個請求者，表明他們的相似性來自他們信任的普通工作者，表明他們的相似性來自他們不信任的普通工作者。

（3）請求者行為的修訂相似性

（注：即設定兩種信任的權重，對相似性進行修正）

直接根據DT計算行為相似性可能會出現類似這樣的問題，兩個請求者只與一個普通工作者進行了交易，那么兩個請求者之間的SIB可能是一個高值。因此，我們通過考慮普通工人的比例來修正兩個請求者之間的相似性。

其中，pw 包括一般受信任的工作人員的比例和一般不受信任的工作人員的比例。由于pw可能是非常接近0的小值，因此不能分別直接用作權重。因此，我們使用sigmoid函數將其映射到范圍[0,1]。

（4）信任強度（SOT）

在社交網絡中，通過詢問目標用戶的朋友或朋友的朋友來生成推薦。然而，在眾包平臺上，兩個請求者之間沒有可用的社會聯系。兩個請求者通過與其進行交易的工作人員進行連接。

將與普通工作者進行交易的請求者稱為直接關聯請求者，將未與普通工作者進行交易的請求者稱為間接關聯請求者。對于一個目標請求者，由于可能很少有直接相關的請求者能夠就目標工人的績效提供意見，因此我們必須考慮間接相關的請求者的意見。因此，我們提出了一種新的度量信任強度（SOT）來度量直接連接請求者和間接連接請求者的可信度。

定義3：請求者和請求者之間的信任強度（SOT）是從以為中心的信任路徑推斷出來的信任關系。SOT源于出現在所有以為中心的信任路徑中的頻率以及這些信任路徑中記錄的相似性。

例如，如果圖2中的源請求者，在信任路徑tp1=r1→r2→r3→r5→r4中，從r1的角度來看，r3的信任度弱于r2的信任度。因此，我們利ri和rj之間信任路徑中所有sib值的乘積，從ri的角度對rj的可信度進行建模。

2.眾包中的信任推薦方法

（1）信任子網提取算法（TSE）

為了找出能夠對目標員工提供意見的值得信賴的類似請求者，我們必須計算目標請求者r和其他請求者之間的信任強度（SOT）。遍歷所有以r為中心的信任路徑可以獲得從r到任何其他請求者的精確SOT值，但是，遍歷的復雜性隨邊數呈指數增長。因此，我們提出了一種基于隨機游走的搜索算法來提取一個復雜度較低的信任子網，從而可以估計可信請求者的SOT值。

當選擇一個請求者作為r的下一個時，通過采用sib作為啟發式因素，更可能在信任路徑中連接兩個類似的請求者。直觀地說，這種機制減少了通過不誠實的請求者搜索路徑的可能性，后者在某些HITs中批準誠實工人的答案，并幫助不誠實工人在其他HITs中獲得良好聲譽。當達到預先設定的最大搜索次數或大多數搜索請求者的估計信任值收斂時，該算法終止。提取信任子網絡的目的是找到請求者r可能信任的請求者，并計算這些值得信任的請求者的SOT值。

（2）冷啟動問題的策略

提出了為新注冊工人和新注冊請求者生成建議的策略，通過選擇測試項目和測試HITs，通過測試結果，生成相應的人物屬性及關系特征。

（3）推薦方法

首先，我們計算第三節中定義的每對直接連接的請求者的相似性。然后，根據我們提出的信任模型，我們采用TSE提取一個信任子網絡，在該子網絡中計算可信請求者的SOT值。此外，我們根據請求者是否信任或不信任目標工作者，將其分為兩組。結合目標工作者在過去事務中的表現和不同組中的請求者，我們預測目標工作者在發布的HITs中的表現。

工人在HITs中的表現預測如下：

3. 實驗與分析

在實驗中，我們評估了我們提出的crowdrec，并將其與傳統的CF和三種基于信任的推薦方法進行了比較，如下所述。

CF：基于用戶的協同過濾推薦方法。

Trustwalker：一種基于信任和項目的推薦方法。

TSR：一種基于信任和項目的協作過濾推薦方法。

MTMRRA：基于多維信任模型的穩健推薦方法。

（1）實驗設置

數據集：以真實眾包平臺的統計結果為基礎，模擬合成交易信息：15種不同類型的HITs，100種請求者在發布不同類型HITs時的偏好，800種同種類型的員工在不同類型HITs時的表現。

針對這四個目標問題進行了四個實驗：同種工人、不誠實行為、數據稀疏和冷啟動問題。評價指標：

覆蓋率最簡單的定義為：推薦系統能夠推薦出來的物品占總物品集合的比例。覆蓋率主要針對內容提供者，其中熱門排行榜的推薦覆蓋率是很低的，所以一個好的推薦系統不僅需要有比較高的用戶滿意度，也要有較高的覆蓋率。

（2）實驗結果

A.實驗1（針對同質性工作者問題）

就精確度而言，CRWODREC是最好的方法，最低MAE為0.101，最低RMSE為0.122。此外，在覆蓋率和F-Measure方面，CrowdRec的最高值分別為91.34%和0.896。面對同種工作人員時，CrowdRec優于所有比較方法，因為CrowdRec區分工作人員在不同請求者發布的不同類型點擊中的表現。

B.實驗2（針對同質性員工和不誠實行為問題）

與表三的結果相比，我們可以觀察到，在MAE和RMSE中，CrowdRec分別提高了12.3%和21.8%，這是因為CrowdRec可以從不信任目標員工的值得信賴的請求者那里獲得意見，這提高了CrowdRec預測不誠實員工績效的準確性。從圖4（a）和圖4（b）可以看出，當同質工人和不誠實工人共存時，crowdrec是最低MAE 0.079、最低RMSE 0.107、最高覆蓋率90.03%和最高F-measure 0.897的最有效方法。

由于CrowdRec是一種信任感知的推薦方法，通過改變模擬眾包平臺上存在的不誠實員工的數量來驗證其穩健性（見表二）。圖5（a）和圖5（b）描繪了不誠實工人數量增加時不同方法的比較。平均而言，Crowdrec維持最低的RMSE 0.1，比第二最佳方法MTMRRA高11.5%。同時，CrowdRec的覆蓋率最高，為90.3%。CrowdRec優于其他四種方法，因為它從提取的信任子網絡中獲得了更多的意見。

C.實驗3（針對同質性工作者、不誠實行為和數據稀疏問題）

可以觀察到，crowdrec是最低MAE 0.079，最低RMSE 0.106，最高覆蓋率80.21%，最高F-measure0.845的最佳方法。這是因為crowdrec可以通過搜索可靠的請求者來獲取稀疏數據集中更有用的信息，這些請求者可能沒有與目標請求者進行共同事務處理的工作人員。

對比表六和表五的結果，我們可以發現，CF和三種最先進的方法的覆蓋率明顯降低。相比之下，crowdrec的覆蓋率從80.21%略微下降到79.26%。這是因為CrowdRec采用了兩種策略來獲得初始連接，這可以為新參與者生成建議。

D.實驗4（針對同種工人、不誠實行為、數據稀疏和冷啟動問題）

圖7（a）和圖7（b）比較了同種工人、不誠實行為、數據稀疏和冷啟動問題并存時不同推薦方法的結果。可以看出，CrowdRec的MAE、RMSE最低，且覆蓋率、F-Measure最高，算法性能最佳。

綜上所述，當同種工人、不誠實行為、數據稀疏和冷啟動問題并存時，Crowdrec在準確性和覆蓋率方面明顯優于傳統的CF推薦方法和基于信任的三種最先進的推薦方法。

總結

在同質工人、不誠實行為、數據稀疏和冷啟動問題并存的情況下，推薦合適的工人受到HIT。在Crowdrec中，我們提出了一種新的區分同質工人的方法，一種新的相似性以提高預測的準確性，一種新的信任子網絡提取方法來解決不誠實行為和數據稀疏問題，以及冷啟動問題的新策略。實驗結果表明，在準確性和覆蓋率方面，Crowdrec明顯優于傳統的CF推薦方法和三種最先進的基于信任的推薦方法Trustwalker、TSR和MTMRRA。

總結

以上是生活随笔為你收集整理的CrowdRec：众包环境中，基于信任感知的工人推荐的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。