課程介紹

本課程是一個完整的項目實戰課程，從項目調研開始到項目最終上線，完整的復現了基于深度學習的實戰項目的流程。

本課程系列文章具有很強的工程性質，同時內容追求循序漸進，建議從頭開始學習。

• 第 01~02 課，將講述如何調研一個項目，如何獲取數據與整理數據。
• 第 03~05 課，將介紹 Linux、圖像、Python 等開源包，以及神經網絡的基礎知識，為接下來的項目做準備。
• 第 06~08 課，將介紹目前 3 大用戶量最大的深度學習開源平臺，將講述準備數據、定義網絡、訓練模型、使用模型測試自己的圖片的整個流程。
• 第 09~11 課，將集中講解如何訓練模型并進行迭代優化。
• 第 12~14 課，我們將把訓練出來的模型部署到微信小程序上，同時介紹小程序的前、后端的基礎技術。

認真學完這個系列文章之后，將會深入理解一個基于深度學習的項目是如何從一個想法變為一個真正產品的。對于欲轉行的人來說，它提供了一個完整的學習鏈，學習完之后將直接具有從事該行業的基本能力。對于已經是相關從業人員來說，可以作為一個知識和經驗的補充。

專家推薦

本課程是基于深度學習的圖像項目開發實踐課程。作者提供了一個非常完整的從深度學習理論、實踐到工業級生產的鏈條。既有基礎的代碼與圖像知識，深度學習入門理論、基于 Python 的幾大主流開源框架的使用；又有實際項目開發中調研立項，從需求分析到實際業務模型的訓練與迭代，最終到模型部署、小程序的前后端開發。本課程非常適合深度學習初學者作為入門，也適用于需要進一步鞏固深度學習技能的從業者，十分推薦！

—— 陳強，360 人工智能研究院科學家

作者介紹

龍鵬，6 年計算機視覺項目從業經驗，華中科技大學本科，中國科學院碩士，原 360 圖像搜索，人工智能研究院算法工程師，今陌陌深度學習實驗室算法工程師，擁有個人技術公眾號《與有三學 AI》，曾在 GitChat 開設過《AI 程序員碼說攝影圖像基礎》課程。

參與過圖像增強降噪、自動駕駛、視頻內容分析、人臉表情與 Parsing 等項目，并熟悉傳統圖像處理算法基礎知識，擁有豐富的基于機器學習的計算機視覺項目經驗。

課程內容

導讀：致想入坑深度學習的你

從混了幾年到遇見深度學習

2011 年暑假，濕熱的武漢校園里，華科電子系里的前 15 名同學正在廝殺 13 個保外的名額，雖然單論裸成績和加上加分后的成績的話，我不會掉隊，但是，在當時的十幾個人中，大部分人仍然會覺得這個有很大的變數。到什么地步呢？舉一個例子，擁有計算機網絡這個證書到底是按照往年一樣加 1 分？還是按照當年新規加 0.5 分？大家在輔導員面前多次爭執。第一名和第十名的加權分差好像都沒有超過 0.5 分的，所以這一點區別有多大，大家可以想象一下。

為此，每晚回宿舍都會有最新消息傳回來，我很苦惱，所以在 8 月份的時候，趕上了中科院物理所夏令營的晚班車。

十幾天的夏令營很爽，匆匆參觀了幾十個研究所，高端到紫金山天文臺、正負電子對撞機等，聽北航物理系專業的同學整天說：優秀的人才必須先留本校，所有有很多想出來的人考試故意放水等。然后，在參觀后來就讀的半導體所時，淋了一場大雨，當時以為北京每年還是會下很多次雨的。

那個時候我曾經有另一個選擇，即自動化所劉成林老師組。來北京之前郵件聯系過，后來在劉老師辦公室也聊了很久，只可惜夏令營回去之后，保外的競爭仍然由于額外增加專業考試的存在而沒有結束，以至于誤了自動化所的面試。后來被問面試結果如何時，實在無臉答問。

沒想到的是，保外最終以所有人的勝利結束了，折騰了幾個月后，跟著系里以前的師兄，選擇了中科院半導體研究所，畢竟自己是微電子專業，這也算是本行了吧。

然后到了實驗室做畢設，師兄拼湊了一臺 512 M 內存的電腦，開始用 Xilinx 和 Matlab 做畢業設計，寫 Verilog 代碼，以前沒有學拍照，照片也沒保存下來，就只有下圖為證了。

每天的業余生活就是打球打球打球，然后混到了碩士畢業。

剛入研究所的第一年有高溫假，幾乎所有同學都回家度過了那兩個星期的高溫假，我跟另一個哥們兒留下來學習。把數字圖像處理和 C++ Prime 認真看了一遍，算是入門了。直到 2015 年畢業，陸陸續續意識到深度學習的興起，在外聽百度 IDL 的一些人的演講，也沒有正兒八經的做過深度學習的項目。碩士論文寫了 130 多頁，從圖像降噪到分割，從 Guided Filter 到去霧算法，到 Level Set、Grab Cut，全部都是傳統的圖像算法。畢業后還有好幾個人問之前發的一篇改進 Guided Filter 的文章，不得不感嘆，何凱明真不是一般人。

畢業后進入 360 圖像組，我們組和顏水成老師手下的一批學生一起組建成了最開始的 360 AI 研究院，開始從自動駕駛、輔助駕駛做到美顏相關的項目，才算是真正入了行業前沿。在 360 的日子是很苦澀的，兩年住的地方都離公司不超過 50 米，但是環境不是 5 戶的隔斷、就是 7 平米的小臥室，從生活上來說，毫無質量可言。

但是，加班的生活使我淡定了很多，沒有學校里那么浮躁了，顏老師偶爾遞過來給大家喝的雞湯，也還受用，熏陶了一段時間之后，因為尋求更合適的生活而離開了。

如果讀書的時候，我更加努力，遇到更對的方向和優秀的人，那么今天一定會更好，相信學習完這套課程內容后，你不會后悔。

我眼中的深度學習

現在應該有一部分讀者并不懂圖像算法，只了解深層神經網絡的調參，我覺得這是錯誤的。遇到真正有挑戰的問題，需要用傳統方法輔助解決的時候，一定會黔驢技窮。所以，建議大家趁早夯實自己的圖像基礎和傳統機器學習算法基礎。

這些年大大小小做了不少項目，對于深度學習這個工具多少有了一些體會。本系列課程主要面向的對象是想快速入行的朋友。

為什么深度學習這么火

6年前的時候，我帶著實驗室師姐和師妹，參加中科院的一個植物識別比賽。

那個時候，誰也沒有深度學習經驗，也沒有多少機器學習的基礎，神經網絡玩的也不好，所以我們的思路是什么呢？用一些方法把植物主體提取出來，然后提取各種顏色特征、形狀特征、紋理特征輸入分類器。到最后，大家積極性并不高，比賽都沒有完成。

如果回到今天，這是一個再簡單不過的分類問題了。

深度學習之所以這么火，就是因為它的技術成熟了，它能讓某些問題得到很輕松、成熟的解決。

從刷臉支付到虐遍人間的 Alpha 狗，都是技術發展的產物，所以它該火，因為它做到了上一代技術做不到的事情。

深度學習是什么，很難學嗎

深度學習是什么？我這里只說它的一個方向，深層卷積神經網絡，這是圖像處理領域所說的深度學習，后面說深度學習就指代這個了。它的本質是神經網絡，不是本世紀出來的新技術，只是有了一些新技巧的加入，關于這個問題，我們以后再詳細說。

那么深度學習難學嗎？

當然難學，不然為什么做這一行的工資那么高、人才這么稀缺。但是，如果你把深度學習只當作一個調參工作來說，它不難學，一個高中生經過 3 個月的培訓，足夠了。那么，深度學習難在哪里？

對所要解決的問題的理解

傳統方法解決問題的思路，是先拎出來一個任務，然后針對這個任務設計圖像特征。在這個過程中，我們不可避免的會去簡化問題，去針對不同的數據來源、想不同的方案。而深度學習這個黑盒子，淡化了這個過程，每個人尤其是新手，以為丟進去一批數據之后，就能得到想要的結果，而實際上幾乎不可能。

要想做好一個項目，需要知道應該準備什么樣的數據、準備多少數據，不同來源的數據怎么使用，怎么確定哪些數據是高質量、哪些是低質量的。比如室內的數據和室外的數據，前置攝像頭和后置攝像頭的數據對于一個任務來說是不是有差異。

需要知道什么時候該簡化問題，比如表情識別的時候，不應該輸入一整張圖做訓練。初學者，往往認為分類任務很簡單，那是因為他們沒有面臨真正的問題，當你只是為了識別貓和狗，當然簡單。但是當你要識別正臉和非正臉時，就必然要處理模糊邊界。實際的業務，需要不斷做出調整，遠非實驗室環境和比賽環境下近乎完美的設定。

前段時間帶了一個實習生對此就有了深刻的體驗，感興趣不妨讀一讀，方便手機閱讀做了二維碼。

上面只說了一部分，實際上對所要解決的問題的理解，是一個很需要經驗的活，只有不斷實戰才能進步，沒有一年半載的鍛煉，一般都無法獨自承擔任務。

對能力的要求

網上曾經有過對從事深度學習相關崗位人的能力要求，我這里做一個簡化版，這些技能是必須掌握的。

• 熟練掌握 C/C++、Python 等編程語言；
• 熟練掌握 Caffe、TensorFlow 等以及不斷新出的開源平臺；
• 熟練閱讀行業前沿研究，都是英文 Paper，并經常需要復現結果。
• 一般必須掌握爬蟲、服務端等前后端的基礎知識，保證日常項目需要時能獨立開工；
• 了解并熟悉 Cuda 等 GPU 編程技術，了解一些移動端的硬件知識；
• 了解并熟悉 Android、iOS 等移動端的基礎知識，在項目中可能會需要使用。

優秀的人才，上面這些技能基本全部必備，難不難，技術人員對比下自己的水平，想必自有判斷。

好了，先說到這兒，以后要說的還多著呢，我是言有三，以后還請多多關照。

福利：為了方便溝通、交流，建立了一個微信群，里面有國內頂尖互聯網公司的朋友和遍布各地的學生，歡迎加入。由于已經超過 100 人，加群請添加有三微信：Longlongtogo。

點擊了解更多《AI 圖像識別項目從入門到上線》

第01課：如何科學的調研并啟動一個項目

每一個項目的第一步就是立項，立項需要進行充分的調研才能確定是否值得啟動一個項目。調研主要是要做好兩個方向：（1）算法調研，主要是確定可行的技術路線，更具體的說，想清楚要做的事情是否已經到達落地的水準，也就是可行性的驗證；（2）市場調研，它主要確定的是，所選中的方案是否有市場需求，是否已經有成熟的競爭對手和市場。

下面分別從這兩個方向進行講述，我們以圖像風格化為例，所謂圖像風格化，學術名詞是 Image Style Transfer，研究起源于這一篇論文 A Neural Algorithm of Artistic Style[1]，三年前我的公眾號《與有三學 AI》也做過報導，有興趣的讀者可以看看：

它是采用神經網絡的方法，分別學習到一幅圖像的紋理和風格，從而實現從一幅圖像風格到另一幅圖像的遷移，如下，將圖2的風格，應用到圖1上。

當然，現在已經有了很多新的應用，尤其是基于人臉的非常多，關于詳細的介紹和技術原理可以參考我以前開設的 AI 攝影基礎課程，里面詳細地講述了攝影中各方面的圖像知識。

在我的知乎專欄中，也有更多的細節：

下面言歸正傳，回到風格化研究的調研。

從哪些地方開始調研

市場調研

在做算法調研之前，先要做市場調研。市場調研需要涵蓋主流的產品形態，包括 App、普通的網頁應用以及小程序；所面對的目標用戶（年齡層次、地域分布）、現有的市場份額以及潛在的競爭對手等也需要了解。

這一塊兒沒有多少可說的，平時多關注關注新聞、相關朋友圈的分享、相關公眾號即可，比如當年非常火的 Prisma，作為從業人員想忽視也不容易的。

然后到 iOS 平臺和安卓平臺去搜搜關鍵詞，看看各大公司是否已經跟上推出的類似產品？

我們調研一下就知道，國內幾大圖像算法公司，騰訊的天天P圖、美圖科技的美圖秀秀、Camera360 的 MIX 濾鏡都有相關產品，其他小產品也不少。

我們分別以三張人臉和風景圖做測試。

試試美圖黑科技中繪畫機器人：

試試用天天P圖出的小學生證件照吧：

還有各種民國仙俠風：

MIX 中藝術濾鏡：

當然，現在已經存在非常多類似的 App 了，初步的調研結果顯示，基于圖片的風格化技術已經很成熟，而且產品面世也已經不止兩年了，我們偶爾會在朋友圈里看到類似的分享尤其是節假日，當然具體的用戶比例，可能需要我們自己去做一些調研問卷、投票之類的。

不過，還沒有看到比較好的基于視頻的調研結果，所以這可能是一個突破點。

最后總結一下調研的結果。

建議從以下幾個方向：

• 技術成熟度
• 受眾
• 產品使用頻率
• 競爭對手

算法調研

國內外前沿學術研究

可以找一些好的博士碩士論文，相關綜述，看看總結和方向，再找學術界和工業界的相關比賽以及數據集。

中文調研

（1）首先調研綜述類文章，查看 CNKI 相關關鍵詞的博士碩士論文，以及優秀中文期刊的綜述。還是以圖像風格化為例，到中國知網平臺，搜索結果詳見這里。

（2）百度學術調研

雖然百度學術與 Google 學術相差甚遠，但是也可以作為輔助。

點擊該鏈接，可彈出如下圖所示的結果：

這其中可以調研到發表時間、來源期刊，同時可以獲取到引用格式，這在寫作學術論文和調研報告中也會非常有用。

英文調研

中文調研應該作為一個入門的了解，而英文文獻的調研，才是了解最前沿技術的正確方法，必須使用好 Google 學術以及 Google 通用搜索引擎。同時，由于現在很多的論文在接收和正式發表之前，都已經發在了arxiv平臺上，所以為了獲取最新的研究結果，這個也是必須的。

（1）Google 與 Google 學術

Google 學術擅長于尋找正式發表的學術論文，而 Google 通用搜索引擎則可以廣泛瀏覽相關內容，都需要去仔細篩選。

另外，Google 和百度都提供了一個 API 調研，即關鍵詞的熱度趨勢：

百度指數：

（2）Arxiv

學術界最新的研究成果往往是先發表在這里，甚至可能領先正式出版機構一年以上，所以這也是需要去認真調研的。機器學習相關的在 computer science 欄目下。

在調研學術論文的時候，優先看綜述，然后重點關注知名的研究機構，引用量大的論文。

比如，開啟圖像風格化這個方向的^【1】，Neural Style Transfer: A Review^【2】，李飛飛組的實時風格化研究^【3】等，這些是需要重點關注的。

通過閱讀綜述文章、一系列經典文章和前沿文章之后，就能對該方向的技術路線等有了很明確的認知。當然如果有機會參與一些比較牛的團隊或者身邊有相關人脈，則更有可能獲得最新的研究成果，那也是極好的。

行業媒體調研

在機器學習領域，現在有很多的優秀自媒體，他們也會經常總結一些前沿的研究，所以這也是一個很好的調研渠道。

這里做一些推薦：

• 機器之心、新智元、AI 科技評論、AI 科技大本營，都是人工智能媒體與產業服務平臺，注重總結學術界的最新研究與工業界的最新動向，干貨很多。
• 深度學習大講堂、Paperweekly、國內 CV 界的前沿研究推送，以學術為主，解讀前沿論文。
• 大數據文摘、內容不限于 AI 與機器學習，所有與大數據相關的資料，所以也會顯得更加全而雜亂。
• 36氪、虎嘯網等，注重商業報告，尤其強調行業趨勢，創業的朋友肯定需要經常關注。
• 知乎、微博，雖然現在知乎內容越來越多整體質量下滑嚴重，但是仍然是國內尤其是技術精英喜歡逛的地方。雖然微博娛樂泛濫，但是也不能完全否定它上面也有一些還不錯的自媒體，像每天堅持截取論文研究結果的“愛可可愛生活”，以及各大新聞媒體如新浪科技、還有大佬的微博動向，比如雷軍每次都會介紹自家小米的產品。

當然厚臉皮推薦一下自己鼓搗的技術公眾號《與有三學 AI》以及知乎專欄《深度學習模型訓練經驗與代碼剖析》，水平有限未形成規模，歡迎大家加入，專欄上面已經放出。

GitHub

GitHub 的重要性就不用多說了吧，鑒于它已經成為了最大的技術人員交友平臺，所以在這里調研技術再適合不夠。另外，正好這幾天微軟收購了 GitHub，對于一個像蘋果一樣封閉的公司，微軟做出這樣的改變其后續動作值得期待。同時，微軟亞洲研究院的計算機視覺研究是國際頂尖的，不知道這次并購會不會帶來更多驚喜。

以 image style transfer 為例，很快就能找到一個高質量的資源，點擊詳見這里。

帶有相當完整的論文 list 與開源代碼，再精讀這些資源之后，想不了解都難了。而且，等正式開始干活之后，這些資源很有可能就會成為起點。

怎樣寫好調研報告

上面既然已經完成了調研，那么要交出去給其他人看的時候，就一定要寫好調研報告。下面做出一些總結，主要從以下幾個方向入手，還是以圖像風格化為例。

用戶調研總結

（1）潛在用戶

• AI 技術愛好者，這一類人喜歡嘗試新鮮技術。
• 攝影愛好者，喜歡研究各類濾鏡。
• 女性，對于美顏和人臉風格化有需求的廣大女性。

（2）使用地點、時間點和頻次

朋友圈等社交平臺，屬于日常低頻需求，朋友圈偶見轉發，可能集中在特定節日，比如 5-4 青年節天天P圖推出的民國風格。

（3）用戶需求

求新與切合時間點，喜歡不斷嘗試新的濾鏡，喜歡在特定時間段集中爆發嘗試與轉發。

（4）使用平臺

移動端 App 和網頁應用。

總結：圖像風格化實際上是一個低頻非剛需，它與美顏有著本質的區別，因為后者只是對圖像的微調，而前者則是一個新的創作。因此，如果做這一類產品，結合特定時間點做趣味性強的短期爆款制造營銷事件比特意開發一個 App 會更加符合一個新的產品定位。

競爭對手調研總結

• 美圖秀秀與天天 P 圖等國內 App。

對手特點，技術一流、產品全面且受眾廣，總是能在特殊時間點制造營銷爆點，正面 PK 技術實力和產品設計都面臨很大的考驗，失敗風險大。

• 小蟻 AI 藝術等小程序：產品簡單，效果相比主流 App 較差，有視頻風格化。

總結：針對大公司技術實力強但是不敢輕易嘗試非成熟技術，而小公司技術實力弱但是產品可以快速迭代的特點，我們可以以短小精美的前端界面 + 最新技術探索的方式，甚至嘗試非主流擦邊球的形態來突然推出爆款。

技術調研總結

• 靜態圖片風格化

技術路線已經比較成熟且風格化效果較好，相關 App 已經大量出現，門檻較低，有經驗的工程師一個月內實現一個 demo 上線沒問題。

• 視頻風格化

計算代價較高相關競品很少，需要具備一流研發能力的團隊。

最終總結：磨刀不誤砍柴工，在正式想好做一個項目之前，最好先做好上面的3步調研，免得閉門造車。

---

【1】 Gatys L A, Ecker A S, Bethge M. A neural algorithm of artistic style[J]. arXiv preprint arXiv:1508.06576, 2015.

【2】 Jing Y, Yang Y, Feng Z, et al. Neural style transfer: A review[J]. arXiv preprint arXiv:1705.04058, 2017.

【3】 Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision. Springer, Cham, 2016: 694-711.

點擊了解更多《AI 圖像識別項目從入門到上線》

第02課：如何科學的準備并整理數據

第03課：如何儲備代碼基礎

第04課：怎樣準備圖像基礎知識

第05課：怎么儲備深度學習與神經網絡基礎

第06課：開源框架之 Caffe 圖像分類實戰

第07課：開源框架之 TensorFlow 圖像分類實戰

第08課：開源框架之 Pytorch 圖像分類實戰

第09課：如何快速訓練出第一版模型

第10課：如何進行數據的迭代與優化

第11課：如何進行模型的迭代與優化

第12課：微信小程序模型部署之前端

第13課：微信小程序模型部署之服務端

第14課：總結

閱讀全文: http://gitbook.cn/gitchat/column/5b1f709a472e0a7085638f9b

總結

以上是生活随笔為你收集整理的AI 图像识别项目从入门到上线的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。