Incorporating External Knowledge into Crowd Intelligence for More Specific Knowledge Acquisition

關(guān)鍵知識：眾包、加權(quán)投票、WordNet

引自：Han T , Sun H , Song Y , et al. Incorporating External Knowledge into Crowd Intelligence for More Specific Knowledge Acquisition[C]// IJCAI2016. AAAI Press, 2016.

摘要：

? 眾包已經(jīng)成為一種有效的機(jī)制，可以利用人類智能為明確的任務(wù)獲取有用的知識。然而，當(dāng)基于當(dāng)前開發(fā)的投票算法對群體知識進(jìn)行聚合時，通常會無法推理出符合預(yù)期的統(tǒng)一知識。在本文中，我們考慮通過眾包收集盡可能具體的知識的問題。借助WordNet等外部知識庫，將備選答案之間的語義關(guān)系納入概率模型，以確定哪個答案更具體。在考慮工人能力和任務(wù)難度的基礎(chǔ)上，建立了概率模型，并用期望最大化算法求解。實(shí)驗(yàn)結(jié)果表明，當(dāng)期望得到更具體的答案時，我們的方法比多數(shù)投票法提高了35.88%。

1. Introduction

? 眾包已經(jīng)成功地用于利用人類智能來執(zhí)行計算機(jī)目前無法完成的任務(wù)。它已應(yīng)用于許多應(yīng)用，如命名實(shí)體分辨率、圖像注釋、音頻識別、視頻注釋等。然而，當(dāng)眾包技術(shù)應(yīng)用于知識獲取時，如信息提取和圖像標(biāo)注，就會產(chǎn)生一個需要獲取何種知識的問題。據(jù)我們所知，大多數(shù)眾包結(jié)果的聚集算法都基于多數(shù)投票或其變體。在投票方法中，最終的聚合答案通常用基本級概念的常識知識表示。對于對象識別，機(jī)器可以用基本級概念識別對象，這與人類更為一致。然而，對于知識獲取，更具體的概念往往是首選。一方面，更具體的知識意味著對一個實(shí)例或一個問題有更多具體的注解或答案。另一方面，當(dāng)我們有足夠的分類學(xué)知識庫時，我們可以很容易地將特定的概念映射到更普遍的概念中。然而，在計算機(jī)在運(yùn)行中卻很難將一般概念實(shí)例化為更具體的概念。例如，如果我們想要注釋蜂鳥的圖片，大多數(shù)工作人員將其標(biāo)記為鳥，投票算法將其注釋為鳥，那么就沒有機(jī)會獲得蜂鳥的知識，因?yàn)橐呀?jīng)做出了決定。

? 在本文中，我們主要關(guān)注如何從眾包結(jié)果中生成更具體的知識。這個問題有兩大挑戰(zhàn)。首先，與普通知識相比，更具體的答案往往被貼上更少的工人標(biāo)簽。因此，不太可能直接從投票結(jié)果中獲得此類信息。盡管如此，如果我們有一些外部知識表明某些概念是更高層次概念的子接受，那么我們可以得出一個模型，將這些知識納入投票中，以重新加權(quán)更具體的概念。一些知識庫對這種概念接受關(guān)系有廣泛的覆蓋，而我們在這里使用WordNet作為外部知識。

? 其次，由于人的行為包含策略、錯誤和惡意，如何從這些不可靠的多重答案中總結(jié)出可信的答案是眾包中的一個重要問題。不同的工人可能有不同的回答能力，而不同的任務(wù)可能對不同的工人有不同的難度。因此，研究表明，將員工能力和任務(wù)難度納入眾包決策可以顯著提高結(jié)果。對于更具體的知識，工作人員的能力和任務(wù)難度是更為關(guān)鍵的問題，因?yàn)楸姲脚_通常不針對任何特定領(lǐng)域開發(fā)，平臺上的工作人員可能不是領(lǐng)域?qū)＜摇Ｒ虼?#xff0c;在決策模型中考慮這兩個因素更為重要。例如，在我們的案例中，我們需要考慮這些因素如何與外部知識交互。

? 考慮到上述挑戰(zhàn)和考慮，我們提出了一種概率模型，稱為具有外部知識的簡單性能力估計模型（SEEK），其中我們將任務(wù)難度、工作能力和外部知識方面最具體的可信標(biāo)簽的條件概率分解為因子。在這里，我們使用“任務(wù)簡單性”而不是“困難性”來使這個因素與工人的能力相一致。然后采用期望最大化算法對模型進(jìn)行求解。在獲取二元關(guān)系以構(gòu)建概念分類法方面，已有一些重大研究，并使用分類法根據(jù)多標(biāo)簽分類法對項目進(jìn)行分類。與在分類法中提出任何二進(jìn)制問題并智能地選擇由控制算法提出哪些問題的方法相比，我們的方法要求工作人員輸入一個標(biāo)簽，并決定在所有標(biāo)簽中哪一個更具體。

本文的貢獻(xiàn)總結(jié)如下：

• 提出了一個眾包問題，目標(biāo)是從工人那里獲得更具體的知識。
• 提出了一種決策算法，可以評估任務(wù)的簡單性、用戶能力，并結(jié)合外部知識來解決問題。
• 進(jìn)行了一系列實(shí)驗(yàn)，以證明與最先進(jìn)的方法相比，表明工作的有效性和優(yōu)勢。

2. Problem Formulation

? 在本節(jié)中，我們將介紹我們通過眾包獲取知識的問題。

2.1 Definition of KAC

? 我們一般將我們的問題稱為利用眾包的知識獲取（Knowledge Acquisition with Crowdsourcing，KAC）問題。

? 例如，如果有100個任務(wù)、10個工作人員和4個候選標(biāo)簽供工作人員選擇，那么聚合算法將確定一個以10010標(biāo)簽矩陣為輸入，以100維標(biāo)簽向量為輸出的函數(shù)。標(biāo)簽向量的每個元素都是4個候選標(biāo)簽之一中對應(yīng)任務(wù)的最終答案。。

2.2 Definition of HKAC

? 當(dāng)員工的替代答案之間存在概念上的次接受關(guān)系時，我們稱之為“眾包分層知識獲取”（Hierarchical Knowledge Acquisition with Crowdsourcing，HKAC）。在這種情況下，標(biāo)簽具有如圖1所示的層次樹形結(jié)構(gòu)。如果標(biāo)簽是另一個標(biāo)簽的父節(jié)點(diǎn)，這意味著第一個標(biāo)簽的概念比第二個標(biāo)簽的概念更通用。相反，如果標(biāo)簽是另一個標(biāo)簽的子節(jié)點(diǎn)之一，這意味著第一個標(biāo)簽的概念比第二個標(biāo)簽的概念更具體。HKAC問題是選擇一個盡可能具體的標(biāo)簽，即使工人提供的標(biāo)簽比相對具體的標(biāo)簽更常見。由于投票不能幫助我們選擇更具體的標(biāo)簽，我們建議使用外部知識庫，即WordNet，來識別替代標(biāo)簽之間的語義關(guān)系。

2.3 Workflow

? 為了整合層次知識，我們提出了如圖2所示的眾包工作流程。

? 與一般的眾包工作流程不同，我們整合了外部知識，以克服標(biāo)簽與共同知識的融合。本工作流程的步驟如下所示。

• 步驟1：請求者將任務(wù)發(fā)布到眾包平臺，例如Crowdflower。
• 步驟2：平臺根據(jù)其調(diào)度策略和用戶指定的約束將任務(wù)分配給工人。
• 步驟3：對于每個接收到的任務(wù)，工作人員提供一個標(biāo)簽，她/他認(rèn)為最好描述對象或回答相應(yīng)任務(wù)中的問題。
• 步驟4：從工人那里收集所有標(biāo)簽之后，我們使用外部知識庫運(yùn)行模型，以推斷每個任務(wù)的聚合結(jié)果。最后，所有的聚合結(jié)果都返回給請求者。

3. SEEK Model

? 在本節(jié)中，我們首先展示了從外部知識庫wordnet派生的關(guān)系函數(shù)。然后，我們提出了一個簡單的修改過的多數(shù)投票算法，以納入外部知識。我們進(jìn)一步引入概率模型，使外部知識與任務(wù)難度和工人能力相互作用。最后，我們完成了搜索模型，并用EM算法給出了解決方案。

3.1 External Knowledge

? 我們使用出一個關(guān)系函數(shù)覆蓋基于外部知識的標(biāo)簽域，以此來描述標(biāo)簽的語義關(guān)系：

? 其中，Dist是WordNet圖上兩個節(jié)點(diǎn)之間的標(biāo)準(zhǔn)化距離。它被計算為**從較淺的節(jié)點(diǎn)到根的路徑長度上兩個節(jié)點(diǎn)到它們的共同祖先的最短路徑的長度**。

3.2 Majority Voting with External Knowledge

? 在最初的多數(shù)投票中，我們根據(jù)標(biāo)簽的頻率對其進(jìn)行評估。

? 其中，i是一個指標(biāo)函數(shù)。在加權(quán)多數(shù)投票中，我們稱之為能力加權(quán)多數(shù)投票（MWW）算法，我們用工人i的能力ai （我們可以簡單地使用聚合標(biāo)簽置信度）來計算工作能力對每個標(biāo)簽進(jìn)行加權(quán)。

? 在給定關(guān)系函數(shù)的情況下，我們可以得到一個簡單的基于外部知識的多數(shù)投票算法，如算法1所示。給定標(biāo)簽集L和關(guān)系矩陣R，它推斷出每個任務(wù)的答案。

3.3 Probabilistic Modeling

? MWK以簡單的方式考慮外部知識和工人能力。現(xiàn)在，我們引入了一個更通用、更精細(xì)的模型，將工作能力和任務(wù)簡單性結(jié)合起來。從概率論的觀點(diǎn)來看，我們把 R(xk,xl) 看作是標(biāo)簽 lij=xk 概率的非負(fù)單調(diào)遞增函數(shù)，給定聚合標(biāo)簽 ，即

? 其中g(shù)(·)是單調(diào)函數(shù)。

3.4 Inference

? 根據(jù)之前的討論，我們正式引入了圖3所示的Seek模型。我們將 作為標(biāo)簽域j中的觀察標(biāo)簽，未觀察到的變量是“完美”標(biāo)簽、能力參數(shù)、簡單參數(shù)、優(yōu)勢和的條件概率變量。

? 為了簡單起見，我們忽略了a和s的先驗(yàn)，并使用EM算法獲得和參數(shù)的最大似然估計，EM算法總結(jié)在算法2中。

4. Evaluation

? 在本節(jié)中，我們報告了提出的SEEK模型在正確性和有效性方面的評估結(jié)果。

4.1 Data Preparation

? 我們使用了LEVAN (learn everything about anything)項目中使用的圖像，該項目提供了不同概念顆粒度的多種圖像類別。我們使用的概念選自以下一組靠前的概念{bird, dog, cat, crow, horse, sheep}。我們用不同的概念對圖像進(jìn)行了爬取，并過濾掉無效URL的圖像，最終得到631張清晰的實(shí)驗(yàn)圖像。

? 我們遵循基于Crowdflower的工作流程，通過雇傭平臺中工人的最高級別的3級工人來確保標(biāo)簽的質(zhì)量。我們給了工人一個簡短的指示，讓他們盡可能地提供具體的標(biāo)簽。對于每項任務(wù)，都要求工人在文本框中填寫他們?yōu)閳D像提供的標(biāo)簽。

? 最初，我們計劃在Crowdflower上用WordNet中的相應(yīng)概念呈現(xiàn)候選標(biāo)簽集。然而，Crowdflower不支持從WordNet動態(tài)提取概念，我們必須要求工人在文本框中輸入標(biāo)簽。因此，在檢索到這631個任務(wù)及其6310個標(biāo)簽（其中每個任務(wù)有10個標(biāo)簽）并手動更正拼寫錯誤后，我們使用WordNet檢查了這些標(biāo)簽，并保留了WordNet中可以找到的標(biāo)簽。

? 對于評估而言，“Groundtruth”不是Levan提供的正確類別，而是包含每個圖像最具體知識的最佳類別。而且，對最特別的類別的原始LEVAN的注釋還不夠好。因此，我們手動地從任務(wù)的標(biāo)簽域中修正了標(biāo)簽的Groundtruth。每項任務(wù)都由我們實(shí)驗(yàn)室的兩名同事貼上標(biāo)簽，只有他們雙方同意的標(biāo)簽被保留為基本事實(shí)。然后還有344個任務(wù)，其中有142個任務(wù)的標(biāo)簽域只包含一個標(biāo)簽，這意味著不需要聚合。因此，我們進(jìn)一步篩選了344個任務(wù)中的142個任務(wù)，最終有202個任務(wù)需要評估。在我們的標(biāo)簽過程中，我們發(fā)現(xiàn)確定“Groundtruth”的挑戰(zhàn)在于難以區(qū)分概念上非常相似的標(biāo)簽。例如，ecrow and raven,eagle and hawk等沖突案例。
? 在選定的202個任務(wù)中，有1789個標(biāo)簽由154名工人標(biāo)注，唯一標(biāo)簽的數(shù)量為92個，這與其他眾包標(biāo)記任務(wù)相比相當(dāng)大。這些標(biāo)簽的部分分布如圖4所示。我們按照原始工人標(biāo)簽的頻率的降序對唯一標(biāo)簽進(jìn)行分類，圖中顯示為“Total”。我們還將在同一個圖中顯示由我們固定的“Groundtruth”標(biāo)簽。通過對標(biāo)簽分布的比較，我們可以看出，在原工人的標(biāo)簽結(jié)果中，高頻標(biāo)簽是最平常的知識。相反，“Groundtruth”集合中的標(biāo)簽是更具體的標(biāo)簽。

【注：即工人所標(biāo)記的大多為一般性知識標(biāo)簽；而groundtruth標(biāo)記的大多是更具體的知識標(biāo)簽】

4.2 Comparison Results

? 我們實(shí)施了六種比較算法：我們的SEEK算法、多數(shù)投票（MV）、能力權(quán)重多數(shù)投票（MWW）、外部知識多數(shù)投票（MWK）、Zhou的極大極小熵法和基于DAWID和SKENE方法（DS）。在這些算法中，SEEK和MWK結(jié)合了外部知識。MWK以一種本地的方式使用知識，同時SEEK通過“學(xué)習(xí)”ai和sj的參數(shù)。

? 所有算法的精度如表1所示。由于在我們的整體問題中，我們有一組更大的獨(dú)特標(biāo)簽，因此問題比之前工作中評估過的問題更為困難。從表1可以看出，Zhou和DS的精度與MV和MWW的精度相當(dāng)，因?yàn)樗鼈儽举|(zhì)上是同一類算法它們之間的區(qū)別在于如何結(jié)合工人的能力和任務(wù)的簡單性。然而，對于我們的問題，如何評價這些參數(shù)的差異并不會對最終結(jié)果產(chǎn)生太大的影響。由于他們不考慮標(biāo)簽的特殊性，當(dāng)模型過于復(fù)雜時，單純地估計工人的能力和任務(wù)的簡單性甚至可能損害結(jié)果。MWW還考慮了通過工人“能力”來增強(qiáng)大多數(shù)標(biāo)簽影響的權(quán)重。由于數(shù)據(jù)的稀缺性，因此，MWW估計能力的方式根本不影響結(jié)果，而MWW和MV結(jié)果的準(zhǔn)確性完全相同。最后我們可以看到，Seek的精度為61.88%，與多數(shù)投票相比提高了35.88%。有趣的是，MWK也明顯優(yōu)于多數(shù)投票。這意味著對于我們的問題，整合外部知識可能比整合工人能力和任務(wù)簡單性更有用。盡管如此，評估工人能力和任務(wù)簡單性的方法以及與知識的交互方式也有幫助，這導(dǎo)致尋求優(yōu)于MWK。

? 我們最后在圖5和圖6中報告了結(jié)果標(biāo)簽分布。在圖5中，我們分別比較不同算法的分布，其中水平軸表示圖4中所示的相同標(biāo)簽。由于空間限制，我們只顯示標(biāo)簽的ID，而不顯示標(biāo)簽本身。我們可以看到MV/MWW、Zhou和DS的分布主要集中在高頻標(biāo)簽上，這表明它們傾向于在所有數(shù)據(jù)中選擇通用標(biāo)簽。對于SEEK和MWK，它們的尾分布比MV/MWW長。然而，由于數(shù)據(jù)的稀缺性，對標(biāo)簽總分布的估計似乎還不夠完善。我們也在圖6中顯示了更詳細(xì)的部分分布，在這里我們只比較MV、MWW和“Groundtruth”標(biāo)簽。我們可以看到，對于像“鷹”、“藍(lán)鳥”和“海鷗”這樣的低頻標(biāo)簽，SEEK的結(jié)果更接近于“基本事實(shí)”。

5. Comparison Results

? 本文提出了一個基于眾包的知識獲取新問題，并提出了一種新的概率模型，可以利用外部知識庫中的知識，如wordnet。在概率模型中，我們自動學(xué)習(xí)工人的能力和任務(wù)的簡單性來定制算法以適應(yīng)數(shù)據(jù)。研究結(jié)果表明，利用外部知識可以大大提高員工的投票能力，學(xué)習(xí)員工的能力和任務(wù)簡單性也有助于提高員工的績效，而不是對員工能力進(jìn)行簡單的加權(quán)。因此，我們可以得出結(jié)論，對于使用眾包獲取更具體的知識的問題，外部知識和眾包具體參數(shù)（如工人能力和任務(wù)簡單性）都很重要。

? 還有一個問題是，當(dāng)我們設(shè)計眾包任務(wù)時，工人們看不到外部知識庫。我們假設(shè)，如果我們能夠向工人展示知識庫，或者工人能夠與知識庫交互，最終的結(jié)果可能會比當(dāng)前的結(jié)果更好。另一個問題是，多數(shù)投票仍然受到數(shù)據(jù)稀缺的困擾。在我們的問題中，與以前的眾包任務(wù)相比，我們有許多獨(dú)特的標(biāo)簽，并且每項任務(wù)可能比傳統(tǒng)的眾包問題更困難（如果我們將共同概念與更具體的概念進(jìn)行比較）。因此，每項任務(wù)可能需要更多的工人來投票以獲得良好的結(jié)果。因此，如果我們允許更多的工人在同一個任務(wù)上貼上標(biāo)簽，多數(shù)人的投票結(jié)果也會得到改善。然而，在這種情況下，眾包成本也會增加。以前的眾包被證明對更簡單的任務(wù)更有用。通過將眾包和傳統(tǒng)知識庫結(jié)合起來，這項工作可以被視為第一次嘗試解決更困難問題的嘗試之一。

總結(jié)

以上是生活随笔為你收集整理的将外部知识整合到群体智能中，以获得更具体的知识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。