引自

Ye B , Wang Y .CrowdRec: Trust-Aware Worker Recommendation in Crowdsourcing Environments[C]//2016 IEEE International Conference on Web Services (ICWS). IEEE, 2016.

摘要

在由請(qǐng)求者和工人組成的眾包平臺(tái)上，為請(qǐng)求者發(fā)布的人工智能任務(wù)（HIT）推薦合適的工人是一個(gè)挑戰(zhàn)。合適的工人是為發(fā)布的HIT提交正確答案的概率很高的人。然而，有四個(gè)問題使得現(xiàn)有的方法在推薦合適的工人方面不太有效。首先，在大多數(shù)眾包平臺(tái)上，絕大多數(shù)員工都有良好的聲譽(yù)，因此被視為具有同等機(jī)會(huì)被推薦的同質(zhì)員工。其次，不誠實(shí)的員工可能會(huì)通過偽造良好聲譽(yù)和夸大個(gè)人技能來獲得推薦。此外，傳統(tǒng)的數(shù)據(jù)稀疏和冷啟動(dòng)問題在眾包環(huán)境中并存。

為了有效地區(qū)分同種類型的工作人員，我們最終計(jì)算工作人員在不同請(qǐng)求者發(fā)布的不同類型HIT中的表現(xiàn)。為了提高預(yù)測(cè)員工績(jī)效的準(zhǔn)確性，我們提出了一個(gè)指標(biāo)，該指標(biāo)分別考慮了兩個(gè)請(qǐng)求者在與他們信任的普通員工進(jìn)行交易和與他們不信任的普通員工進(jìn)行交易時(shí)的相似性。然后，針對(duì)不誠實(shí)行為，提出了基于交易的信任模型。針對(duì)數(shù)據(jù)稀疏問題，提出了一種新的信任子網(wǎng)絡(luò)提取算法（TSE），以發(fā)現(xiàn)更多的請(qǐng)求者，為生成建議提供值得信任的意見。最后，結(jié)合相似性度量、新的信任模型、新的信任子網(wǎng)提取算法和新的策略，提出了一種新的基于信任的員工推薦方法crowdrec。

關(guān)鍵字：眾包；信任網(wǎng)絡(luò)；員工推薦；協(xié)同過濾；

問題定義

為了獲得高質(zhì)量的面向HIT的推薦，我們需要考慮眾包環(huán)境中存在的兩個(gè)新挑戰(zhàn)和傳統(tǒng)推薦系統(tǒng)中的兩個(gè)經(jīng)典挑戰(zhàn)，也就是同質(zhì)工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題并存的情況。

C1（同質(zhì)工人）：同質(zhì)工人有平等的機(jī)會(huì)得到建議，因?yàn)樗麄兌加辛己玫穆曌u(yù)。例如圖1中的工人w1、w2、w3、w4和w5，每個(gè)人的審批率都高于0.9。

C2（不誠實(shí)行為）：傳統(tǒng)的基于信任的推薦方法可能會(huì)被不誠實(shí)行為欺騙，包括偽造良好聲譽(yù)和夸大個(gè)人技能。例如，在圖1中，不誠實(shí)的工作者w3可以通過參與不誠實(shí)的請(qǐng)求者r3發(fā)布的HIT來獲得良好的聲譽(yù)。此外，W3可以在其注冊(cè)信息中描述自己是熟練工人，以獲得更多推薦。

C3（數(shù)據(jù)稀疏性）：在眾包平臺(tái)上，請(qǐng)求者工作者矩陣中的每個(gè)元素都是請(qǐng)求者和工作者之間的事務(wù)記錄。由于請(qǐng)求者可以處理所有工作人員中的一小部分，因此請(qǐng)求者工作人員矩陣變得非常稀疏。

C4（冷啟動(dòng)）：由于幾乎沒有關(guān)于新請(qǐng)求者和新工人的信息（如圖1中的請(qǐng)求者R5和工人W6），因此很難為他們生成建議。

創(chuàng)新點(diǎn)

（1）提出一種方法，根據(jù)員工在與請(qǐng)求者進(jìn)行交易時(shí)的過往表現(xiàn)，計(jì)算請(qǐng)求者與員工之間的直接信任（DT）。根據(jù)DT值，我們區(qū)分了同質(zhì)工作者在不同請(qǐng)求者發(fā)布的不同類型HIT中的表現(xiàn)。

（2）提出了一種基于信任強(qiáng)度（SOT）的新型信任模型，該模型測(cè)量了兩個(gè)沒有與任何普通員工進(jìn)行交易的請(qǐng)求者之間的信任。

（3）針對(duì)數(shù)據(jù)稀疏問題，提出了一種信任子網(wǎng)絡(luò)提取算法（TSE），通過該算法可以找到更可靠的請(qǐng)求者，為生成建議提供意見。

（4）引入相似性度量、新的信任模型、新的信任子網(wǎng)提取方法和新的策略，提出一種新的信任感知工作推薦方法。

研究?jī)?nèi)容

1. 基于交易網(wǎng)絡(luò)的信任模型

（1）基于交易的眾包直接信任

定義1：直接信任（DT）是請(qǐng)求者認(rèn)為工作人員可能提交正確的HIT答案的概率。

N 是工作人員提交并由請(qǐng)求者批準(zhǔn)的答案數(shù)； M 是工作人員在過去與請(qǐng)求者進(jìn)行的交易中提交的答案總數(shù)。

然后，設(shè)定閾值，若DT大于閾值，則為信任關(guān)系，否則為不信任關(guān)系。

（2）行為相似性

定義2：兩個(gè)請(qǐng)求者之間的行為相似性（SIB）表明他們對(duì)工人未來績(jī)效有相同期望的可能性。

SIB由信任相似和不信任相似組成。對(duì)于兩個(gè)請(qǐng)求者，表明他們的相似性來自他們信任的普通工作者，表明他們的相似性來自他們不信任的普通工作者。

（3）請(qǐng)求者行為的修訂相似性

（注：即設(shè)定兩種信任的權(quán)重，對(duì)相似性進(jìn)行修正）

直接根據(jù)DT計(jì)算行為相似性可能會(huì)出現(xiàn)類似這樣的問題，兩個(gè)請(qǐng)求者只與一個(gè)普通工作者進(jìn)行了交易，那么兩個(gè)請(qǐng)求者之間的SIB可能是一個(gè)高值。因此，我們通過考慮普通工人的比例來修正兩個(gè)請(qǐng)求者之間的相似性。

其中，pw 包括一般受信任的工作人員的比例和一般不受信任的工作人員的比例。由于pw可能是非常接近0的小值，因此不能分別直接用作權(quán)重。因此，我們使用sigmoid函數(shù)將其映射到范圍[0,1]。

（4）信任強(qiáng)度（SOT）

在社交網(wǎng)絡(luò)中，通過詢問目標(biāo)用戶的朋友或朋友的朋友來生成推薦。然而，在眾包平臺(tái)上，兩個(gè)請(qǐng)求者之間沒有可用的社會(huì)聯(lián)系。兩個(gè)請(qǐng)求者通過與其進(jìn)行交易的工作人員進(jìn)行連接。

將與普通工作者進(jìn)行交易的請(qǐng)求者稱為直接關(guān)聯(lián)請(qǐng)求者，將未與普通工作者進(jìn)行交易的請(qǐng)求者稱為間接關(guān)聯(lián)請(qǐng)求者。對(duì)于一個(gè)目標(biāo)請(qǐng)求者，由于可能很少有直接相關(guān)的請(qǐng)求者能夠就目標(biāo)工人的績(jī)效提供意見，因此我們必須考慮間接相關(guān)的請(qǐng)求者的意見。因此，我們提出了一種新的度量信任強(qiáng)度（SOT）來度量直接連接請(qǐng)求者和間接連接請(qǐng)求者的可信度。

定義3：請(qǐng)求者和請(qǐng)求者之間的信任強(qiáng)度（SOT）是從以為中心的信任路徑推斷出來的信任關(guān)系。SOT源于出現(xiàn)在所有以為中心的信任路徑中的頻率以及這些信任路徑中記錄的相似性。

例如，如果圖2中的源請(qǐng)求者，在信任路徑tp1=r1→r2→r3→r5→r4中，從r1的角度來看，r3的信任度弱于r2的信任度。因此，我們利ri和rj之間信任路徑中所有sib值的乘積，從ri的角度對(duì)rj的可信度進(jìn)行建模。

2.眾包中的信任推薦方法

（1）信任子網(wǎng)提取算法（TSE）

為了找出能夠?qū)δ繕?biāo)員工提供意見的值得信賴的類似請(qǐng)求者，我們必須計(jì)算目標(biāo)請(qǐng)求者r和其他請(qǐng)求者之間的信任強(qiáng)度（SOT）。遍歷所有以r為中心的信任路徑可以獲得從r到任何其他請(qǐng)求者的精確SOT值，但是，遍歷的復(fù)雜性隨邊數(shù)呈指數(shù)增長(zhǎng)。因此，我們提出了一種基于隨機(jī)游走的搜索算法來提取一個(gè)復(fù)雜度較低的信任子網(wǎng)，從而可以估計(jì)可信請(qǐng)求者的SOT值。

當(dāng)選擇一個(gè)請(qǐng)求者作為r的下一個(gè)時(shí)，通過采用sib作為啟發(fā)式因素，更可能在信任路徑中連接兩個(gè)類似的請(qǐng)求者。直觀地說，這種機(jī)制減少了通過不誠實(shí)的請(qǐng)求者搜索路徑的可能性，后者在某些HITs中批準(zhǔn)誠實(shí)工人的答案，并幫助不誠實(shí)工人在其他HITs中獲得良好聲譽(yù)。當(dāng)達(dá)到預(yù)先設(shè)定的最大搜索次數(shù)或大多數(shù)搜索請(qǐng)求者的估計(jì)信任值收斂時(shí)，該算法終止。提取信任子網(wǎng)絡(luò)的目的是找到請(qǐng)求者r可能信任的請(qǐng)求者，并計(jì)算這些值得信任的請(qǐng)求者的SOT值。

（2）冷啟動(dòng)問題的策略

提出了為新注冊(cè)工人和新注冊(cè)請(qǐng)求者生成建議的策略，通過選擇測(cè)試項(xiàng)目和測(cè)試HITs，通過測(cè)試結(jié)果，生成相應(yīng)的人物屬性及關(guān)系特征。

（3）推薦方法

首先，我們計(jì)算第三節(jié)中定義的每對(duì)直接連接的請(qǐng)求者的相似性。然后，根據(jù)我們提出的信任模型，我們采用TSE提取一個(gè)信任子網(wǎng)絡(luò)，在該子網(wǎng)絡(luò)中計(jì)算可信請(qǐng)求者的SOT值。此外，我們根據(jù)請(qǐng)求者是否信任或不信任目標(biāo)工作者，將其分為兩組。結(jié)合目標(biāo)工作者在過去事務(wù)中的表現(xiàn)和不同組中的請(qǐng)求者，我們預(yù)測(cè)目標(biāo)工作者在發(fā)布的HITs中的表現(xiàn)。

工人在HITs中的表現(xiàn)預(yù)測(cè)如下：

3. 實(shí)驗(yàn)與分析

在實(shí)驗(yàn)中，我們?cè)u(píng)估了我們提出的crowdrec，并將其與傳統(tǒng)的CF和三種基于信任的推薦方法進(jìn)行了比較，如下所述。

CF：基于用戶的協(xié)同過濾推薦方法。

Trustwalker：一種基于信任和項(xiàng)目的推薦方法。

TSR：一種基于信任和項(xiàng)目的協(xié)作過濾推薦方法。

MTMRRA：基于多維信任模型的穩(wěn)健推薦方法。

（1）實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：以真實(shí)眾包平臺(tái)的統(tǒng)計(jì)結(jié)果為基礎(chǔ)，模擬合成交易信息：15種不同類型的HITs，100種請(qǐng)求者在發(fā)布不同類型HITs時(shí)的偏好，800種同種類型的員工在不同類型HITs時(shí)的表現(xiàn)。

針對(duì)這四個(gè)目標(biāo)問題進(jìn)行了四個(gè)實(shí)驗(yàn)：同種工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題。評(píng)價(jià)指標(biāo)：

覆蓋率最簡(jiǎn)單的定義為：推薦系統(tǒng)能夠推薦出來的物品占總物品集合的比例。覆蓋率主要針對(duì)內(nèi)容提供者，其中熱門排行榜的推薦覆蓋率是很低的，所以一個(gè)好的推薦系統(tǒng)不僅需要有比較高的用戶滿意度，也要有較高的覆蓋率。

（2）實(shí)驗(yàn)結(jié)果

A.實(shí)驗(yàn)1（針對(duì)同質(zhì)性工作者問題）

就精確度而言，CRWODREC是最好的方法，最低MAE為0.101，最低RMSE為0.122。此外，在覆蓋率和F-Measure方面，CrowdRec的最高值分別為91.34%和0.896。面對(duì)同種工作人員時(shí)，CrowdRec優(yōu)于所有比較方法，因?yàn)镃rowdRec區(qū)分工作人員在不同請(qǐng)求者發(fā)布的不同類型點(diǎn)擊中的表現(xiàn)。

B.實(shí)驗(yàn)2（針對(duì)同質(zhì)性員工和不誠實(shí)行為問題）

與表三的結(jié)果相比，我們可以觀察到，在MAE和RMSE中，CrowdRec分別提高了12.3%和21.8%，這是因?yàn)镃rowdRec可以從不信任目標(biāo)員工的值得信賴的請(qǐng)求者那里獲得意見，這提高了CrowdRec預(yù)測(cè)不誠實(shí)員工績(jī)效的準(zhǔn)確性。從圖4（a）和圖4（b）可以看出，當(dāng)同質(zhì)工人和不誠實(shí)工人共存時(shí)，crowdrec是最低MAE 0.079、最低RMSE 0.107、最高覆蓋率90.03%和最高F-measure 0.897的最有效方法。

由于CrowdRec是一種信任感知的推薦方法，通過改變模擬眾包平臺(tái)上存在的不誠實(shí)員工的數(shù)量來驗(yàn)證其穩(wěn)健性（見表二）。圖5（a）和圖5（b）描繪了不誠實(shí)工人數(shù)量增加時(shí)不同方法的比較。平均而言，Crowdrec維持最低的RMSE 0.1，比第二最佳方法MTMRRA高11.5%。同時(shí)，CrowdRec的覆蓋率最高，為90.3%。CrowdRec優(yōu)于其他四種方法，因?yàn)樗鼜奶崛〉男湃巫泳W(wǎng)絡(luò)中獲得了更多的意見。

C.實(shí)驗(yàn)3（針對(duì)同質(zhì)性工作者、不誠實(shí)行為和數(shù)據(jù)稀疏問題）

可以觀察到，crowdrec是最低MAE 0.079，最低RMSE 0.106，最高覆蓋率80.21%，最高F-measure0.845的最佳方法。這是因?yàn)閏rowdrec可以通過搜索可靠的請(qǐng)求者來獲取稀疏數(shù)據(jù)集中更有用的信息，這些請(qǐng)求者可能沒有與目標(biāo)請(qǐng)求者進(jìn)行共同事務(wù)處理的工作人員。

對(duì)比表六和表五的結(jié)果，我們可以發(fā)現(xiàn)，CF和三種最先進(jìn)的方法的覆蓋率明顯降低。相比之下，crowdrec的覆蓋率從80.21%略微下降到79.26%。這是因?yàn)镃rowdRec采用了兩種策略來獲得初始連接，這可以為新參與者生成建議。

D.實(shí)驗(yàn)4（針對(duì)同種工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題）

圖7（a）和圖7（b）比較了同種工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題并存時(shí)不同推薦方法的結(jié)果。可以看出，CrowdRec的MAE、RMSE最低，且覆蓋率、F-Measure最高，算法性能最佳。

綜上所述，當(dāng)同種工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題并存時(shí)，Crowdrec在準(zhǔn)確性和覆蓋率方面明顯優(yōu)于傳統(tǒng)的CF推薦方法和基于信任的三種最先進(jìn)的推薦方法。

總結(jié)

在同質(zhì)工人、不誠實(shí)行為、數(shù)據(jù)稀疏和冷啟動(dòng)問題并存的情況下，推薦合適的工人受到HIT。在Crowdrec中，我們提出了一種新的區(qū)分同質(zhì)工人的方法，一種新的相似性以提高預(yù)測(cè)的準(zhǔn)確性，一種新的信任子網(wǎng)絡(luò)提取方法來解決不誠實(shí)行為和數(shù)據(jù)稀疏問題，以及冷啟動(dòng)問題的新策略。實(shí)驗(yàn)結(jié)果表明，在準(zhǔn)確性和覆蓋率方面，Crowdrec明顯優(yōu)于傳統(tǒng)的CF推薦方法和三種最先進(jìn)的基于信任的推薦方法Trustwalker、TSR和MTMRRA。

總結(jié)

以上是生活随笔為你收集整理的CrowdRec：众包环境中，基于信任感知的工人推荐的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。