亞馬遜外包平臺的50萬勞工：人工智能的背后，無盡數據集的建造

雷鋒網按：

谷歌剛剛開源的Google Open Image Datasets中含有900萬張圖片，YouTube-8M中包含了800萬段被標記的視頻，而ImageNet作為最早的圖片數據集，目前已有超過1400萬張被分類的圖片。這些精心標記的數據，大部分是由亞馬遜勞務外包平臺”Amazon Mechanical Turk“（以下簡稱”AMT“）上5萬名人員花費2年時間完成的。

深度學習、人工智能崛起的背后，是龐大的計算設施源源不斷地吞噬數據。那么是誰建造了一個個規模驚人、又按規則精心標記的數據集呢？AMT上活躍著的50萬注冊用戶。這些分布在全球各地的工人們，晝夜交替，對數據進行手工輸入、分類，區分出下一張照片中是否有“狗”，辨別語句中的“bass”到底是低音還是鱸魚。這些任務并不具備特別的挑戰，卻時常需要他們時時待命。

當人類變成投喂機器的流水線工人，亞馬遜AMT也順勢成為AI時代的富士康。

亞馬遜的勞務眾包平臺”AMT“與亞馬遜的云服務一樣，都是應自身需求建立，之后逐步對外開放，演變成新的行業。這個平臺上今天擁有50萬的注冊用戶，其中75%來自美國。這些合同工們做著聽起來高大上的工作——訓練人工智能系統，但是他們的收入并不比富士康的工人高多少。

本文來自TechRepublic，作者Hope Reese&Nick Heath，雷鋒網(公眾號：雷鋒網)編譯，未經許可不得轉載。

Image: Sam Santos / George Pimentel Photography

每天早上，居住在多倫多的Kristy Milland醒來第一件事就是打開她的電腦，登錄AMT平臺，然后等待電腦提示音響起。

亞馬遜的AMT系統源于2005年，如今推出已有10年歷史。它是一個在線勞務外包平臺。在那里，你可以領到零星的勞務單子，并借此獲得報酬。

Milland正在系統上搜尋剛剛發布的工單，或者稱為“Hits”，當有工單跟她當前的評級匹配時，系統就會自動向她發出提醒。“這些提醒每隔一分鐘一次，我會停下手頭的事，看看這是不是一個好活，然后決定是否要接。“

“有時候，系統上的活來了，如果正好趕上午飯，或者我約了醫生，或者要出去遛狗，我都會暫時放下，先做完工作。我已經離不開我的電腦了。因為我需要靠它來養活我的孩子，一步也不能走開。”Milland說。

這份工作她已經堅持了11年。

Milland只是50萬名在AMT系統上領取工單的手工勞動者（他們稱之為“Turker”）之一。據紐約大學教授Panos Ipeirotis的估算，在全球范圍內AMT上的每月活躍的Turker在15000至20000人之間，有的人每天只工作幾分鐘，有的人每天則24小時不眠不休。

誰是“Turker”？2016年10月份的數據顯示，在美國，大部分的Turker是女性；而在印度，大部分的Turker則是男性。全球大部分Turker都是在1980年到1990年之間出生。

Image: Erik Underwood / TechRepublic

AMT萌芽的年代

勞務的發布者享有給每個工單定價的權利。這些勞務工單的內容各異，包括但不限于：

• 數據分類（data categorization）

• 元數據標記（metadata tagging）

• 字符識別（character recognition）

• 數據輸入（data entry）

• 收集郵件地址（email harvesting）

• 情感分析（sentiment analysis）

• 視頻的廣告展示位（ad placement on videos）

比如，Milland最近接下的一個任務就是轉錄收據內容（轉錄一份收據報酬是3美分），之后發布任務的公司會將收據的電子信息賣給像強生、寶潔這樣公司的營銷研究部門。

Milland稱自己是數字時代的原住民。她青春期的大部分時光都是在網絡上度過的，從那時候開始，她常常通過eBay之類的平臺來獲得一些額外的收入。2005年的一天，當她讀到一篇關于AMT的文章時，一份點擊鼠標就能賺錢的工作對她頗具吸引力。

不過，在早些時候，Milland僅僅是將其看成一項新鮮的嘗試，而不是一份真正的工作。但一切在2008 - 2009年的時候發生了變化：Milland和她的丈夫同時失業，她開始把AMT當成全職的工作。這意味著每周7天，每天17個小時，不停地盯住屏幕。

住在洛杉磯的Rochelle Laplante自2012年開始就在AMT上全職工作。他和Milland一樣，都認為這份工作存在很多不確定性：“你永遠不知道下一單的任務會在什么時候發布，也許是在凌晨3點，但早上9點的時候肯定是沒活的。”

“我不像一些人那么拼命，我比較注重睡眠。”LaPlante說，”有些人會給自己的手機和電腦都設置提醒。如果一份工作在凌晨3點發布，他們也會起床干活。這份工作已經完全地控制了他們。“

而Turkers的平均收入大概是多少呢？這因人而異。來自印度的Adrien Jabbour說：“如果每天工作4 - 5個小時，那么2個月大概能賺到700美元。”Milland卻說最近工作8個小時才能賺25美元，這還是好的時候。根據Pew Research的一份研究報告，超過一半的Turkers的時薪都沒有達到美國聯邦最低7.25美元的標準。

上圖是Milland的收入表。“Submitted”表示工作已經提交但是還是還沒被確認。“Approved”表示已經支付過了。“Rejected”表示雇主對工作的結果不滿，不會支付酬勞。

手工勞動者的等級制度

對那些在AMT上工作的人來說，他們不得不面對令人沮喪的現實：不是所有的Turkers都是平等的。

亞馬遜的系統會給一些特定的人員評級：“大師級（Master's Level）”。當雇主發布勞務需求時，系統會自動將工作優先分給“大師級”的這類人。對于任務的發布者來說，成本更高，勞務者的收入也因此更高。而如果你沒有這個等級，那么被分配到任務的機會將少很多。

Milland說，三月有一個工作日，在AMT上有4911個需求，但是她只有資格接觸到其中的393個，只占其中的8%。那么，要怎樣才能獲得“大師”這個等級呢？沒人知道。

Milland觀察發現，有的人完成的任務不多，任務完成后的通過率也較低，但是他們也獲得了“大師級”這個評級。“這個評級似乎沒有任何邏輯可言”，她說。

除了大師這個評級，有時候你的居住地也會導致接到任務的機會變少。比如很多任務的發布者要求你必須在美國境內。據雷鋒網了解，亞馬遜一直不愿意公開他們的評級標準。

領取卑微的報酬

“Turker和Turker之間也不一樣。”LaPlante說，“有些人是以此為生，而有些人只不過是想賺點零花錢。”

William Little是加拿大安大略省在線論壇TurkerNation的版主，他通過AMT賺些小錢。他的目標是每天花3個小時的時間掙15美元。他說大部分的時間能夠達到這個目標。

不過，怎樣拿到報酬對很多Turkers來說是一個大問題。

目前，只有美國和印度的Turkers可以拿到用現金支付的薪水。而其他的國家則只能通過亞馬遜的禮品卡來獲取報酬。

對于那些需要現金的人來說，也有變通的方法，不過這通常意味著收入要打點折扣。有些網站，比如purse.io可以把亞馬遜的禮品卡兌換成比特幣。

“有的人會將自己的愿望清單發布在purse.io上，你看到后，可以把他想要的買了后給她寄過去。”Little說，“而那些比特幣暫時由第三方保管，當你收到物品之后，我就會收到比特幣。”

然后就可以把通過PayPal把比特幣賣掉換取現金，然后再轉到自己的銀行賬號上。但是兩次的交易過程中都會有損耗，因此不是很劃算。

機器的奴隸

Milland和LaPlante只不過一支龐大的互聯網勞工中不起眼的兩個個案，但是他們在幫助訓練機器智能方面的作用卻越來越重要。

智能系統在日常應用中越來越普及，人工智能也在慢慢擴大應用范圍。不管是語音控制的虛擬助手，比如亞馬遜的Alexa和微軟的Cortana，還是計算機視覺系統，比如特斯拉的Autopilot，背后都離不開人工智能的支撐。這些系統被訓練去執行那些之前對計算機來說太復雜的任務：從理解語音命令到定位正在穿越馬路的人。

訓練人工智能系統完成這些棘手的任務需要大量的標記數據。這些被標記的數據可能需要辨別照片中是否有狗，或者句子中的“bass”是指男低音還是指鱸魚。這種通過實例來訓練機器的方法稱為監督式學習，那些被標記的數據通常就是由Turkers或者其他的在線勞動力完成的。

訓練這些系統通常需要大量的數據，有的甚至需要幾百萬的實例訓練才能達到高效執行任務的結果。現在，訓練數據集的規模也越來越大。最近谷歌剛剛公布了開源的圖像數據集（Open Image Datasets），其中包含了900萬張圖片，而視頻數據集Youtube-8M中則包含了800萬段被標記的視頻。ImageNet，作為最早的圖片數據集，目前已有超過1400萬張被分類的圖片。而這些大部分是由AMT上的50000名人力花費兩年的時間完成的。

然而，因為數據集規模太過龐大，即使是分配給這么多人，每個人也需要成百上千次地重復同一種任務。這是一份非常消磨心智的工作。

沖向未來

通過做標記，刪除重復的數據，填充空白等一系列任務，Turkers以及其他的在線工作者們將這些原本雜亂無章的數據整理成了可以用來訓練機器學習系統的數據集。

隨著人工智能變得無處不在，所有知名的科技公司都開始雇傭大量人力來完成這樣細碎的任務以支撐機器學習。亞馬遜、蘋果、Facebook、谷歌、IBM、微軟等等，要么有自己的勞務眾包平臺，要么會使用死三方的服務，其中兩個最大平臺的就是AMT以及CrowdFlower。

有的公司會通過內部的微型任務發布系統來完成大量的基礎工作，比如微軟的UHRS（Universal Human Relevance System），谷歌的EWOK。5年前，當UHRS發布的時候，主要是用來為微軟的必應搜索（Bing）以及其他產品服務的。UHRS每個月需要統籌750萬項任務。

據微軟高級研究員Mary Gray描述，微軟的UHRS和AMT非常相似。當需要眾包的工作不在AMT覆蓋的范圍，或者任務內容比較敏感需要保密時，他們會選用UHRS。

微軟劍橋研究實驗室的主管Chris Bishop說，對比第三方平臺AMT，UHRS讓微軟更具靈活性。微軟會利用人工智能自動識別眾包人群的優勢和弱點，比如專業知識的水平，這反過來可以幫助微軟判定哪個工人的結果更可靠。

除了幫助訓練人工智能，像AMT這樣平臺還幫助eBay、Autodesk這樣的知名公司，減輕了重復、枯燥乏味的工作負擔。多年以來，它們一直是AMT上的大型雇主。

這種低技術水平、單調的勞動包含了各式各樣的任務：比如篩選用戶生產的圖片和其他內容，完成市場和學術調查，刪除重復的輸入，檢查在線零售商的產品說明和圖片。亞馬遜最初創辦AMT系統就是為了幫助其管理庫存，將圖片和產品分類，撰寫網站描述，從郵件中提取人名，翻譯文本，將語音或者圖片轉錄成文本，檢查拼寫錯誤，驗證地理位置，為網頁設計提供反饋，對產品進行評論，選擇視頻的縮略圖，以及讓公司能夠追蹤你查看的是廣告的哪一部分。

眾包平臺的歷史和今天

人類幫助機器執行它們不能勝任的工作并不是什么新鮮事。

近年人工智能產業的爆發，需要大量的人力來對數據進行分類和標記。Gray說，對這種細碎工作任務需求可以追溯至20年前，那時微軟需要提高Microsoft Word的拼寫和語法檢查的能力。其實，這種點擊式的互聯網勞務更遠可以追溯至90年代末和20世紀初互聯網泡沫的年代。

2001年的時候，亞馬遜希望尋求更高效的方式來管理商店里快速增長的產品數量，解決庫存難題，然而這些都超出計算機的能力，為此亞馬遜申請了人機混合系統的專利。4年之后，亞馬遜正式發布了AMT數字平臺，通過這個平臺，亞馬遜可以對接到巨大的在線人力資源。

亞馬遜的這個平臺吸引了很多公司，從在線零售商到色情網站希望利用AMT的廉價勞動力來對執行類似產品分類這樣的細碎任務。2015年，平均每天有1278個雇主在AMT平臺上發布任務。與此同時，平臺上完成提交的工作量也在持續上漲。

雖然目前已經有50萬人在AMT上注冊，但是亞馬遜公布的數據中并不包含其中全職人員和兼職人員的比例。

牛津互聯網研究所（Oxford Internet Institute）的數據顯示，AMT和CrowdFlower兩大眾包平臺2013年的收入總額大約為1億2千萬美元。研究所的Vili Lehdonvirta教授估計，這兩者占據了在線眾包勞務市場大約5%到10%的份額。不過，由于非英語市場的數據難以統計，所以很難得到最終的確數。

不斷點擊的代價

這種”點擊、點擊、點擊“的工作不僅沉悶，而且很可能對勞工們的造成身心的雙重傷害。

“每天早上醒來，我就會忽略一切。”Milland說，“我的家人會為我準備食物，讓我可以邊工作邊進食。我的手腕之前得過腱鞘囊腫，而且非常嚴重，我的胳膊也有重復性勞損。但，這就是工作。”

來自南印度的一名Turker，Manish Bhatia，是MTurk論壇的志愿版主。他接到過最奇怪的任務是：拍攝自己躺在撒滿玫瑰花瓣的浴缸里的視頻。而在標記圖片時候，經常會看到一些令人不舒服的內容，因為事先并不知道圖片內容，而且也不能中途退出，如果你不能完成任務的話就拿不到報酬。

Milland說自己也有類似的經歷：“人們常羨慕在家工作的人，但是你不能告訴他們今天看了一天的ISIS的圖片，到處都是人頭。”而Little則說，他自己常常需要標記含有色情內容的圖片或者視頻。

但是當任務一旦完成之后，你不會知道是否會有人檢查了你的工作成果，也不會知道你的工作成果最終被用來做了什么。因為工作的發布者用的是假名，沒人知道到底是誰在發布這些任務。此外，只有發布者能夠評價Turker，Turker卻不能為雇主打分。

盡管工作條件惡劣，但是像Milland這樣的人去不得不依靠AMT來獲得收入。因為殘疾，她申請麥當勞的工作的時候被拒絕了。

人類與AI的協作

微軟的Gray預測，由于發展人工智能，這種對碎片化的、靈活性的工作需求一直在增加，而類似AMT這樣的平臺則幫助人類和機器建立起了共生關系。

她說，目前類似Facebook M這樣的虛擬助手，或者IPsoft's Amelia這樣的客服聊天機器人，還需要人工和算法的相互配合。當機器不能夠解決問題的時候，就需要人類接手。不過隨著時間的推移，這些智能系統可以從人類的反饋中不斷學習，慢慢勝任更高難度的問題。

利用狹義上的人工智能處理簡單的任務，以及利用人類來處理復雜任務的服務需求一直在上升。CrowdFlower最近剛剛發布了一個機器學習平臺來自動處理一些之前需要人力的任務，而人類工作者將專注于更難的問題，并幫助機器學習模型改進學習。雖然很多手工勞動將會被自動化取代，但未來更多的會是對人類和人工智能共同合作的需求，因此工作機會并不會減少。

機器會一直需要人類嗎？

當智能系統能夠執行目前這些需要由人類來完成的任務的時候，那么AMT平臺上分配給人類的工作性質自然就會改變。

2006年，AMT剛剛誕生一年，亞馬遜CEO杰夫·貝佐斯（Jeff?Bezos）說需要人類來判別圖片中是否有人物，但是現在這種工作已經可以通過百度、Facebook、谷歌、微軟的深度學習和神經網絡來執行了。這是否意味著今天的這種微型任務未來會慢慢被機器所取代呢？

牛津互聯網研究所的Lehdonvirta對此抱樂觀的態度。他預測，隨著機器學習應用到越來越多的領域，將會有越來越多的數據將需要被標記。

微軟的Bishop認為，在不久的將來，人工智能系統將會使用人工主導、監督學習和無監督學習的混合訓練方法。微軟的Gray相信，在這個環節中，對人力的需求將是長期存在的。“我們預測，未來對這種人力的需求將是上升的，因為我們嘗試自動化的東西也在增長。”她說

南安普頓大學的Ramchum用那些圖片識別的例子說明，仍然有大量的數據需要標記。“我們還遠未到達極限。對圖片標注仍然需要依靠人力。”他說，”由于圖片包含的特性太多，比如在亮光下拍攝，在暗光下拍攝，模糊，清晰等等。即便在對5000萬張圖片進行歸類之后，也只有幾種特性被準確的標注出來了。”

“當我們把那些需要標記的數據擴展到語音、自然語言理解、情感識別等其他機器學習的領域時，就沒有必要擔心這類工作會消失，特別是當社會發現機器學習的新用途的時候。”

“這類會持續上升。我們會看到越來越多的系統通過人工和機器智能的結合來解決現實生活中的問題。”

工作即服務的新時代

未來無論是否需要人力來幫助訓練人工智能，像AMT這樣的平臺的崛起都反應了工作實踐在持續地變遷。

90年代末，隨著更快、更廣泛的網絡在全球范圍內覆蓋，使工作大范圍的眾包變得可能。在線勞務眾包平臺以及人們能夠大量在家使用寬帶和電腦將重塑世界上的工作，微軟的Gray說。

”不管是好是壞，我們都將能夠把原來的全職工作分解成可以由不同時區、不同地點的人可以全天候完成的任務”，她說。

Gray認為未來這種微型的任務將成為一種常見的工作，也必將重塑廣大人群的工作方式。在過去的十年中，客服服務從呼叫中心到實時在線聊天。而軟件管理也在零售、營銷行業被廣泛應用。由于這些在線平臺能夠快速對接雇主和特定任務所需要的技能，這對今天的公司來說非常重要的，因此對微型工作的需求也將增長。

”這種眾包的方式就像是通過API（Application Programming Interface）來連接、安排、管理工作，并支付薪水。”Gray說，“這個行業就在我們的眼皮底下爆發。”

牛津互聯網研究所的Lehdonvirta和微軟Gray的觀點類似，都認為未來通過計算機系統來協調勞動資源會變得越來越普遍。

”隨著在線連接以及勞動眾包平臺的持續增長，使得越來越多的全職工作被拆分成更小了合同工作包。政府必須開始關注這種工作形式的轉變對人類產生的影響“，Gray說。

”這種轉變已經持續了30年了，然而我們卻絲毫沒有注意，坦率地講，這是因為這種轉變還沒有對那些擁有權利的人和他們的孩子的工作造成沖擊。“

本文作者：周翔

2016-12-20 09:10

總結

以上是生活随笔為你收集整理的亚马逊外包平台的50万劳工：人工智能的背后，无尽数据集的建造的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。