算法工程师眼中的AI岗位
人工智能的飛速發展導致了某些工作崗位因自動化操作取代手動操作而減少甚至消失，技術進步帶來的歡欣鼓舞填補不了部分人因失業而導致的失落。然而，人工智能不僅僅“消滅”工作崗位，同時也會創造另外一些工作機會。這些新的工作機會是什么？與近年來大火的人工智能三大主義、機器學習、深度學習、大數據等概念又有哪些關系？
作為近年來在無論在科技領域還是投資領域都非常火爆的概念，人工智能并不是什么新技術。早在計算機被發明伊始，科學家們就在考慮用計算機技術實現人工智能了。1946 年 2 月 14 日，世界上第一臺電腦 ENIAC 在美國賓夕法尼亞大學誕生。1956 年，“人工智能之父”John McCarth 在達特矛斯會議上提出將 “人工智能就是要讓機器的行為看起來像人所表現出的智能行為一樣”。在如何實現人工智能這個話題領域，科學家們有著不同理念和想法。這些理念和想法后來被歸結為人工智能三大主義。
1）符號主義
符號主義者認為人工智能源于數理邏輯, 可以通過在計算機上進行邏輯演繹的方式實現人工智能。在 1956 年首先使用 “人工智能” 這個術語的正是符號主義者。，在 20 世紀 80 年代，由符號主義發展出專家系統取得很大發展。人們在開發專家系統時發現其瓶頸，計算機沒有常識儲備：計算機并不知道什么是奧巴馬，什么是美國，更不知道奧巴馬曾經是美國總統。為了解決這個問題，人們開始構建常識知識庫（簡稱常識庫），常識庫是一個包含了大多數人所具備的一般知識的數據庫。后來常識庫升級為語義網，而語義網是知識圖譜的前身。現在符號主義整體進入冷寂期，但知識圖譜作為符號主義的余脈依然活躍在學術研究和工業應用中。
下圖正是符號主義為我們創造的工作崗位：知識圖譜工程師，其崗位職責是負責建立和維護知識圖譜。由于現在的知識圖譜是從 Wikipadia 抽取信息，需要正確處理文本，因此知識圖譜崗位需要具備一定的自然語言處理能力。
2）行為主義
行為主義借鑒了心理學的行為主義，認為智能就是 “感知－動作”，即感知外界環境并反饋正確的動作。實現 “感知-動作” 模型的基礎是控制論思想，控制論在 20 世紀 40~50 年代就成為時代思潮的重要部分。行為主義一直致力于智能控制和智能機器人的研究。時至今日，具有“自己行走”、“搬運東西”和其他功能的實體智能機器人依然是研究的熱點。下圖是由大名鼎鼎的波士頓機器人公司研發的四足行走機器人 (人稱大狗)。
當前行為主義并不是人工智能領域的主流，但正如符號主義有一個受人關注的延續 （知識圖譜)，行為主義也啟發了一個著名的分支——強化學習。在早期的控制論中，人們已經開始探索類似于強化學習的機制。強化學習關注決策者與其環境交互時所面臨的學習問題，有點類似于 “感知－動作” 模式。不同點在于強化學習更強調學習，因此強化學習最終被歸入了機器學習，成為機器學習三大模式（有監督學習、無監督學習和強化學習）之一。
3）連接主義
連接主義認為人工智能應模擬大腦連接結構，從而建立了神經網絡模型。早在計算機誕生前，心理學家 W·Mcculloch 和數理邏輯學家 W·Pitts就提出神經元的數學模型。1948 年，首臺計算機設計者馮·諾依曼也研究過神經網絡。50年代末，F·Rosenblatt 制成了一層神經網絡模型 “感知機”，神經網絡從思想走向現實。但 1968 年一本名為《感知機》的著作指出，線性感知機功能是有限的，它甚至不能解決異或這樣的基本關系。神經網絡的研究進入了低潮。
1986 年，Rumelhart 為首的研究小組提出了反向傳播算法，使得能夠逼近復雜函數 (當然包括異或) 的三層神經網絡可以被訓練。神經網絡第二次興起。1995 年，SVM 算法被提出，成為神經網絡的強勁對手。神經網絡進入了第二次低潮。
2006 年，Hinton (也就是 1986 年那篇反向傳播算法論文的共同作者) 提出了用 AutoEncoder 初始化神經網絡參數，再進行訓練的方法，使得表達能力更強的多層神經網絡成為可能。隨后，多層神經網絡在不同競賽中取得了遠比其他方法好的成果。神經網絡第三次興起。
在神經網絡起起落落的這些年里，一位未來的王者開始登上歷史的舞臺，那就是機器學習。連接主義是機器學習中學習概念的重要思想源頭，神經網絡也是機器學習重要模型，機器學習則包含了更多的內容。現在，機器學習馳名當世、聲名遠揚，蓋住了傳統人工智能的風頭，以至于很多人誤以為人工智能就是機器學習。
人工智能工程師做的產品大部分和機器學習相關。如下圖中，盡管工作職位的稱呼是人工智能算法工程師，但絕不是讓你去開發專家系統, 而是讓你做與學習相關的工作。
1986 年是令人振奮的一年。在這一年，反向傳播算法問世，標志著連接主義的載體神經網絡第二次興起。也是這一年，Quinlan 提出了著名的 ID3 決策樹算法，開啟了學習道路的另一條分支。這條樹模型的分支持續演化到了今天，依然在人類工業實踐和學術研究中扮演著重要角色。后來，科學家們陸續將統計學的算法引入該領域，如回歸和聚類；開始為機器學習建立了數學基礎，如 VC 維；或者提出了新的算法，如 SVM 和 RandomForest。這些新思想、新算法遠遠超出了連接主義 “模擬大腦連接結構” 的原定義，再稱之為連接主義已經不合適了，于是人們將神經網絡和這些新思想新算法命名為機器學習。機器學習依然是 “要讓機器的行為看起來像人所表現出的智能行為一樣”，即依然是人工智能的范疇。
在講人工智能連接主義時，我們提到了神經網絡第三次的興起，源于Hinton 在 2006 年發表的一篇關于 “有效訓練多層神經網絡的方法” 的論文。由此神經網絡極大地提升了自己的性能，尤其在圖像和語音領域。多層神經網絡結構效果太好了，以至于人們接受了 Hinton 提出的深度學習的稱呼。深度學習從 2006 年第一篇論文開始，至今已占據了機器學習領域的主流地位，不過短短十年。深度學習的火爆，導致我們需要特別澄清深度學習和機器學習之間的關系：人工智能包含機器學習，而機器學習包含深度學習。
機器學習尤其是深度學習需要用大量的數據進行高效訓練。這需要一個高效的機器學習平臺。即使現在有了 TensorFlow 之類的開源機器學習平臺，也需要工程師將其改造并部署到集群中，以讓其高效工作。因此機器學習專門有一個機器學習系統方向，研究如何設計并實現高效的分布式機器學習平臺。
在工作職位上，相關職位有：機器學習工程師和機器學習平臺工程師。前者的工作職責是將機器學習算法應用在現有業務上，后者的工作職責則是建設并維護分布式機器學習平臺。
還有一個相關工作職位是算法工程師。這里所指的算法不是計算機基礎算法（如動態規劃），而是機器學習算法。筆者個人認為應該稱為機器學習算法工程師更加恰當。這個職位和機器學習工程師類似。另外一個職位是深度學習工程師。由于近年來深度學習非常火爆，不少公司對于深度學習方向的人員需求迫切，于是產生了深度學習工程師的職位。
隨著人們在機器學習領域取得突破，機器學習的思想和方法開始影響不同的領域。
1）數據挖掘
數據挖掘擁有很多定義, 其中一個比較有名的定義為 “一門從大量數據或者數據庫中提取有用信息的科學”。大部分人是通過一個案例認識到數據挖掘：這是因為沃爾瑪通過數據分析發現，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己，于是嘗試推出了將啤酒和尿布擺在一起的促銷手段；沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了。雖然這個故事很可能是假的（Teradata公司一位經理編出來的“故事”目的是讓數據分析看起來更有力更有趣), 但是確實讓不少人開始接觸數據挖掘。
我們似乎能感受數據挖掘的企圖心：從數據出發，建立一個類似現在機器學習那樣龐大的科學體系。開普勒從第谷的大量資料中發現行星運動規律的歷史，“啤酒和尿布” 的故事，從數據中發現的相關關系將替代因果關系的宣言，是數據挖掘理論高度和實際應用的背書，是數據挖掘實現企圖心的見證。一山哪能容二虎，數據挖掘和機器學習正面交鋒了。它們之間有很多重合的地方，如下圖所示。在重合部分的分類、聚類和回歸上，機器學習有高層次的理論分析，有高效的訓練方法；在非重合部分，機器學習有很多數據挖掘沒有的東西，比如學習理論和強化學習。在機器學習崛起的背景下，我們很難說清楚數據挖掘區別于機器學習的獨特價值是什么了。歷史給機器學習加了冕。
在工作崗位方面，我們似乎看到很多數據挖掘工程師成了機器學習工程的別稱，畢竟它們之間有太多的重合。但有一種情況例外: 如果推薦系統和廣告系統部門招聘，機器學習工程師偏重于點擊率預估算法的實現和改進，數據挖掘工程師則偏重于新特征的挖掘。
2）推薦系統和廣告系統
推薦系統和廣告系統都是工業級的大系統，需要各個子系統相互協調配合，但都以機器學習建構其中一個核心子系統 —— 點擊率預估 (CTR)。推薦系統和廣告系統對現在的人工智能有很重要的意義。即便現階段人工智能的幾個創新點（人臉識別、對話機器人和無人駕駛等）失敗，人工智能也不會面臨“The winter is coming”的慘狀，因為推薦系統和廣告系統能直接產生收益。根據艾瑞發布的《2016Q1網絡廣告營收報告》，2016 年第一季度中國網絡廣告市場規模達543.4億元。再加上收益不菲的推薦系統，人工智能社區能夠全身而退，重新回到 “世界上最聰明的一群人，每天研究的是如何讓人更多地點廣告”時代 。
推薦系統和廣告系統作為能直接帶來效益的部門，自然需要招聘專門的推薦算法工程師和廣告算法工程師。推薦算法工程師和廣告算法工程師的主要職責分別是建立推薦和廣告的點擊率預估。
3）搜索引擎
搜索引擎更是一個工業級的大系統。不把搜索引擎、推薦系統和廣告系統并列在一起，是因為機器學習并不是搜索引擎的核心部件。基于可解釋和可控制的因素，搜索引擎的網頁排序大量基于規則，而不是機器學習模型。同時信息采集 (爬蟲子系統) 和信息組織 （信息檢索子系統）等非機器學習部件都在搜索引擎中扮演著非常重要的角色。但機器學習在搜索引擎中也起了一定作用, 比如需要查詢詞的意圖。因此，搜索工程師指的是負責搜索引擎的各個模塊的工程師。
4）自然語言處理、計算機視覺和語音識別
自然語言處理要讓計算機理解和生成人類語言，是機器學習和語言學融合的產物。自然語言處理的經典任務包括分詞、詞性標注、語法樹解析、機器翻譯和人機對話等等。5 年前，除了百度（百度很早就成立了單獨的自然語言處理部門），大部分公司都不單獨招聘自然語言工程師，而是將自然語言處理作為推薦系統、廣告系統和搜索引擎的子模塊。比如搜索引擎中的 query 分詞就是一個典型的分詞任務。近幾年，由于大量的人機對話項目和少部分機器翻譯項目的需求，導致很多公司開始單獨招聘自然語言工程師。下圖就是來自騰訊的自然語言處理的招聘職位，可以看出這個職位的要求就是做對話機器人。
計算機視覺要讓計算機理解和生成圖像，是機器學習和圖像處理融合的產物。計算機視覺在深度學習大發展的今天，取得了巨大的突破。雖然計算機視覺的商業應用場景還在探索中，一些大公司和創業公司已經開始招聘計算機視覺工程師。由于最近幾年計算機視覺的突破幾乎都是由深度學習進步帶來的，因此計算機視覺工程師需要有深度學習的知識和背景。
同樣得益于深度學習的進步，語音識別也取得了突破。語音識別指的是將說話的音頻轉成文字的過程。隨著語音識別的進步，一些大公司和創業公司開始招聘專門的語音識別工程師, 語音識別工程師的主要職責是負責建立和維護語音識別系統。市場上語音識別的訓練數據非常少，收集和整理數據也是職責之一。
?與人工智能密切聯系的領域是大數據。目前大數據在業界的概念比較寬泛，如 4v 、 5v 等 (IBM 咨詢提出，大數據有4V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值))，以至于 “人人都在談大數據，但沒人知道大數據究竟是什么”。 但在技術上，大數據技術的定義是非常明確的，指的是一系列處理和存儲海量數據的技術。大數據技術的起點應該是人稱 Google 三駕馬車的三篇論文: Google FS、 MapReduce 和 Bigtable。受到這三篇論文影響, Doug Cutting 等人陸續改進其負責的 Apache Nutch 項目，于 2006 年完成了一套獨立而完整的軟件, 并將其命名為 Hadoop。其后大數據技術的發展如下圖所示 (該圖最早來源于微博)。目前最主流的大數據處理平臺是 Spark。
大數據領域妖孽多, 業內人有一句戲謔：“凡是提 4v 的大數據都是騙子”。雖然這句話可能會得罪不少人，但鑒于不少人把 excel 級別的數據處理也稱為大數據，我們還能說什么呢？
市場上對大數據工程師的需求非常迫切，其主要職責是使用開源大數據平臺，建立和維護大數據集群。在某些公司，大數據工程師還負責公司內產生數據的收集、整理和入庫。
數據分析指的是是用適當的統計方法對數據進行分析，發現數據中規律，從而幫助業務發展。這個工作和數據很近，要求從業人員對數據敏感，和人工智能比較遠。主要發揮人的主觀能動性，而不是使用算法效能。數據分析的對象是人，而不是機器。
舉個例子，漏斗模型是經典的消費者模型（如上圖），如果網站改版之后，數據分析發現轉化率變低，這就需要分析原因了，如是不是點擊按鈕不夠明顯。根據這些分析結果，能夠持續優化網站。數據分析有自己的故事，“商業智能”、“數據驅動” 和 “增長黑客” 都是數據分析飽含理想和格調的稱呼。下面是一個典型的數據分析職位的例子。
?人工智能、機器學習、深度學習和大數據等概念關系密切，相互之間有很深的淵源，導致相應工作職位內涵重疊。例如深度學習工程師很大概率從事計算機視覺相關的工作，而計算機視覺工程師必須有深度學習背景和知識。
回到文章開頭的問題，雖然人工智能的出現導致了某些工作崗位的消亡，但人工智能三大主義、機器學習、深度學習和大數據等新興領域也創造了大量的新型的工作職位。這是人工智能深刻影響經濟活動和社會生活的縮影，是這個時代的注腳。
PS.騰訊技術工程沙龍首次抵達武漢！在3月30日及3月31日分別走進騰訊眾創空間及華中科技大學，攜手騰訊AI實驗室及騰訊優圖為你揭秘騰訊人工智能，也許還有進入鵝廠從事AI的機會等著你喲！
后臺回復“武漢站”，即可提交報名！
總結
以上是生活随笔為你收集整理的算法工程师眼中的AI岗位的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 官方首次披露，TDSQL十年自主可控之路
- 下一篇： 长文 | 腾讯提出 AI For FEW