11 月 5 日，在 Wave Summit+2019 深度學(xué)習(xí)開(kāi)發(fā)者峰會(huì)上，飛槳全新發(fā)布和重要升級(jí)了最新的 21 項(xiàng)進(jìn)展，在深度學(xué)習(xí)開(kāi)發(fā)者社區(qū)引起了巨大的反響。

很多未到場(chǎng)的開(kāi)發(fā)者覺(jué)得遺憾，希望可以了解飛槳發(fā)布會(huì)背后的更多技術(shù)細(xì)節(jié)，因此我們特別策劃了一個(gè)系列稿件，分別從核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、工具組件和服務(wù)平臺(tái)五個(gè)層面分別詳細(xì)解讀飛槳的核心技術(shù)與最新進(jìn)展，敬請(qǐng)關(guān)注。

今天給大家?guī)?lái)的是系列文章之飛槳的基礎(chǔ)模型庫(kù)解讀。

飛槳模型庫(kù)，包含智能視覺(jué)(PaddleCV)，智能文本處理(PaddleNLP)，智能語(yǔ)音(PaddleSpeech)和智能推薦(PaddleRec)四大領(lǐng)域，飛槳官方支持 100 多個(gè)經(jīng)過(guò)產(chǎn)業(yè)實(shí)踐長(zhǎng)期打磨的主流模型，其中包括在國(guó)際競(jìng)賽中奪得冠軍的模型；同時(shí)開(kāi)源開(kāi)放 200 多個(gè)預(yù)訓(xùn)練模型，助力快速的產(chǎn)業(yè)應(yīng)用。核心內(nèi)容 1562 字，預(yù)計(jì)閱讀時(shí)間 3 分鐘。全文 7659 字，強(qiáng)烈建議收藏備查。

飛槳全景圖，本文主要針對(duì)基礎(chǔ)模型庫(kù)部分進(jìn)行深度解讀。

第一部分，首先看一下最新版本模型庫(kù)的主要更新點(diǎn)。

本次主要更新點(diǎn)

1.1. PaddleCV

發(fā)布訓(xùn)練部署端到端的圖像分割庫(kù) PaddleSeg，圖像分類(lèi)新增 EfficientNet 等 43 個(gè)預(yù)訓(xùn)練模型。PaddleDetection 新增 2019 Objects365 Full Track 冠軍模型、BlazeFace 等人臉檢測(cè)小模型，行人檢測(cè)和車(chē)輛檢測(cè)的預(yù)訓(xùn)練模型。PaddleVideo 新增 ActivityNet Challenge 2019 奪冠模型，擴(kuò)展包含 video caption、video grounding 等模型。

1.2. PaddleNLP

發(fā)布全新 seq2seq 相關(guān) API 和文本生成模型樣例。語(yǔ)義表示庫(kù)新增 XLNet 預(yù)訓(xùn)練模型；開(kāi)源 EMNLP 2019 閱讀理解競(jìng)賽冠軍模型 D-NET，同時(shí)支持 18 個(gè)不同抽取式閱讀理解數(shù)據(jù)集打榜。發(fā)布飛槳多任務(wù)學(xué)習(xí)庫(kù) PALM (PAddLe Multi-task learning)，更便捷支持多任務(wù)機(jī)器學(xué)習(xí)調(diào)研。

1.3. PaddleSpeech

全新發(fā)布，包含語(yǔ)音識(shí)別模型 DeepSpeech 和語(yǔ)音合成模型 DeepVoice3。

1.4. PaddleRec

增加 PaddleRec 的更多模型覆蓋。

以上可以看到，本次的升級(jí)點(diǎn)中，飛槳提供了更多的官方支持模型和預(yù)訓(xùn)練模型，同時(shí)也開(kāi)源多個(gè)國(guó)際冠軍模型，截至目前，飛槳已官方支持超過(guò) 100 個(gè)模型和 200 多個(gè)預(yù)訓(xùn)練模型，極大的方便開(kāi)發(fā)者的快速應(yīng)用實(shí)踐。

飛槳模型庫(kù)發(fā)布全新完整解讀

本次新版發(fā)布，飛槳模型庫(kù)增加了 8 類(lèi)任務(wù)下的 40 多個(gè)算法模型，覆蓋任務(wù)門(mén)類(lèi)更全面，算法模型更豐富，基本可以滿(mǎn)足產(chǎn)業(yè)應(yīng)用的各種業(yè)務(wù)需求，快速助力開(kāi)發(fā)者實(shí)際項(xiàng)目的落地實(shí)現(xiàn)。

▲ 官方支持100多個(gè)算法，200多個(gè)預(yù)訓(xùn)練模型

飛槳的模型庫(kù)已經(jīng)比較完備地支持了自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)、推薦和語(yǔ)音四大領(lǐng)域。官方支持的模型從 60 個(gè)擴(kuò)充到了 100 多個(gè)，新增了對(duì)于語(yǔ)音算法的支持。截至目前，飛槳已經(jīng)可以支持人工智能領(lǐng)域應(yīng)用主流算法模型的。開(kāi)發(fā)者在工業(yè)應(yīng)用項(xiàng)目落地中，可以利用飛槳模型庫(kù)中快速實(shí)現(xiàn)。

具體來(lái)看，在計(jì)算機(jī)視覺(jué)領(lǐng)域，飛槳在圖像分類(lèi)、生成、檢測(cè)、視頻理解、圖像分割等領(lǐng)域都有新增的模型。在自然語(yǔ)言處理領(lǐng)域，飛槳在語(yǔ)義表示、閱讀理解和問(wèn)答上有升級(jí)，同樣，在推薦、語(yǔ)音方面，都做了進(jìn)一步的完善和升級(jí)。

除了對(duì)于經(jīng)典模型的支持，飛槳還開(kāi)源了多項(xiàng)百度在國(guó)際競(jìng)賽中奪冠的算法模型，這里面既包括在計(jì)算機(jī)視覺(jué)領(lǐng)域的視頻理解、人像分割，也包含自然語(yǔ)言處理領(lǐng)域的閱讀理解。

值得一提的是，在近期剛剛召開(kāi)的 NLP 領(lǐng)域頂級(jí)會(huì)議 EMNLP 中，飛槳的 D-NET 模型，擊敗眾多重量級(jí)參賽玩家，在這次競(jìng)賽當(dāng)中得了 10 項(xiàng)閱讀理解的冠軍。這個(gè)模型飛槳也毫無(wú)保留的開(kāi)放給廣大開(kāi)發(fā)者。

下面，我們將從主流四大領(lǐng)域分別為開(kāi)發(fā)者介紹飛槳模型庫(kù)的一些核心內(nèi)容，因?yàn)樗惴Ｐ蛿?shù)量眾多且受限于篇幅，僅對(duì)算法模型的分類(lèi)及名稱(chēng)、簡(jiǎn)介和應(yīng)用場(chǎng)景、以及在不同數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)進(jìn)行了整理。

一方面，對(duì)于剛?cè)腴T(mén)的開(kāi)發(fā)者，可以提供模型庫(kù)的整體宏觀視角，另一方面，本文也可以作為一個(gè)速查手冊(cè)，強(qiáng)烈建議收藏，供開(kāi)發(fā)者快速根據(jù)需求選用。

如果迫不及待想了解某個(gè)算法的詳細(xì)內(nèi)容，可以直接傳送門(mén)走起！

https://github.com/PaddlePaddle/models

智能視覺(jué)PaddleCV

3.1. 圖像分類(lèi)

圖像分類(lèi)是根據(jù)圖像的語(yǔ)義信息對(duì)不同類(lèi)別圖像進(jìn)行區(qū)分，是計(jì)算機(jī)視覺(jué)中重要的基礎(chǔ)問(wèn)題，是物體檢測(cè)、圖像分割、物體跟蹤、行為分析、人臉識(shí)別等其他高層視覺(jué)任務(wù)的基礎(chǔ)，在許多領(lǐng)域都有著廣泛的應(yīng)用。如：安防領(lǐng)域的人臉識(shí)別和智能視頻分析等，交通領(lǐng)域的交通場(chǎng)景識(shí)別，互聯(lián)網(wǎng)領(lǐng)域基于內(nèi)容的圖像檢索和相冊(cè)自動(dòng)歸類(lèi)，醫(yī)學(xué)領(lǐng)域的圖像識(shí)別等。

更多圖像分類(lèi)模型請(qǐng)參考 Image Classification：

https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/image_classification

3.2. 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)任務(wù)的目標(biāo)是給定一張圖像或是一個(gè)視頻幀，讓計(jì)算機(jī)找出其中所有目標(biāo)的位置，并給出每個(gè)目標(biāo)的具體類(lèi)別。對(duì)于計(jì)算機(jī)而言，能夠“看到”的是圖像被編碼之后的數(shù)字，但很難解圖像或是視頻幀中出現(xiàn)了人或是物體這樣的高層語(yǔ)義概念，也就更加難以定位目標(biāo)出現(xiàn)在圖像中哪個(gè)區(qū)域。

目標(biāo)檢測(cè)模型請(qǐng)參考 PaddleDetection：

https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/PaddleDetection

3.3. 圖像分割

圖像語(yǔ)義分割顧名思義是將圖像像素按照表達(dá)的語(yǔ)義含義的不同進(jìn)行分組/分割，圖像語(yǔ)義是指對(duì)圖像內(nèi)容的理解，例如，能夠描繪出什么物體在哪里做了什么事情等，分割是指對(duì)圖片中的每個(gè)像素點(diǎn)進(jìn)行標(biāo)注，標(biāo)注屬于哪一類(lèi)別。近年來(lái)用在無(wú)人車(chē)駕駛技術(shù)中分割街景來(lái)避讓行人和車(chē)輛、醫(yī)療影像分析中輔助診斷等。

3.4.關(guān)鍵點(diǎn)檢測(cè)

人體骨骼關(guān)鍵點(diǎn)檢測(cè) (Pose Estimation) 主要檢測(cè)人體的一些關(guān)鍵點(diǎn)，如關(guān)節(jié)，五官等，通過(guò)關(guān)鍵點(diǎn)描述人體骨骼信息。人體骨骼關(guān)鍵點(diǎn)檢測(cè)對(duì)于描述人體姿態(tài)，預(yù)測(cè)人體行為至關(guān)重要。是諸多計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)，例如動(dòng)作分類(lèi)，異常行為檢測(cè)，以及自動(dòng)駕駛等等。

3.5. 圖像生成

圖像生成是指根據(jù)輸入向量，生成目標(biāo)圖像。這里的輸入向量可以是隨機(jī)的噪聲或用戶(hù)指定的條件向量。具體的應(yīng)用場(chǎng)景有：手寫(xiě)體生成、人臉合成、風(fēng)格遷移、圖像修復(fù)等。PaddleGAN 包含和圖像生成相關(guān)的多個(gè)模型。

3.6. 場(chǎng)景文字識(shí)別

場(chǎng)景文字識(shí)別是在圖像背景復(fù)雜、分辨率低下、字體多樣、分布隨意等情況下，將圖像信息轉(zhuǎn)化為文字序列的過(guò)程，可認(rèn)為是一種特別的翻譯過(guò)程：將圖像輸入翻譯為自然語(yǔ)言輸出。

3.7. 度量學(xué)習(xí)

度量學(xué)習(xí)也稱(chēng)作距離度量學(xué)習(xí)、相似度學(xué)習(xí)，通過(guò)學(xué)習(xí)對(duì)象之間的距離，度量學(xué)習(xí)能夠用于分析對(duì)象時(shí)間的關(guān)聯(lián)、比較關(guān)系，在實(shí)際問(wèn)題中應(yīng)用較為廣泛，可應(yīng)用于輔助分類(lèi)、聚類(lèi)問(wèn)題，也廣泛用于圖像檢索、人臉識(shí)別等領(lǐng)域。

3.8. 視頻分類(lèi)和動(dòng)作定位

視頻分類(lèi)和動(dòng)作定位是視頻理解任務(wù)的基礎(chǔ)。

視頻數(shù)據(jù)包含語(yǔ)音、圖像等多種信息，因此理解視頻任務(wù)不僅需要處理語(yǔ)音和圖像，還需要提取視頻幀時(shí)間序列中的上下文信息。

視頻分類(lèi)模型提供了提取全局時(shí)序特征的方法，主要方式有卷積神經(jīng)網(wǎng)絡(luò) (C3D, I3D, C2D 等)，神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)圖像算法結(jié)合 (VLAD 等)，循環(huán)神經(jīng)網(wǎng)絡(luò)等建模方法。

視頻動(dòng)作定位模型需要同時(shí)識(shí)別視頻動(dòng)作的類(lèi)別和起止時(shí)間點(diǎn)，通常采用類(lèi)似于圖像目標(biāo)檢測(cè)中的算法在時(shí)間維度上進(jìn)行建模。

智能文本處理PaddleNLP

PaddleNLP 是基于飛槳深度學(xué)習(xí)框架開(kāi)發(fā)的自然語(yǔ)言處理 (NLP) 工具，算法，模型和數(shù)據(jù)的開(kāi)源項(xiàng)目。百度在 NLP 領(lǐng)域十幾年的深厚積淀為 PaddleNLP 提供了強(qiáng)大的核心動(dòng)力。使用 PaddleNLP，您可以得到：

豐富而全面的 NLP 任務(wù)支持：PaddleNLP 為您提供了多粒度，多場(chǎng)景的應(yīng)用支持。涵蓋了從分詞，詞性標(biāo)注，命名實(shí)體識(shí)別等 NLP 基礎(chǔ)技術(shù)，到文本分類(lèi)，文本相似度計(jì)算，語(yǔ)義表示，文本生成等 NLP 核心技術(shù)。同時(shí)，PaddleNLP 還提供了針對(duì)常見(jiàn) NLP 大型應(yīng)用系統(tǒng)(如閱讀理解，對(duì)話(huà)系統(tǒng)，機(jī)器翻譯系統(tǒng)等)的特定核心技術(shù)和工具組件，模型和預(yù)訓(xùn)練參數(shù)等，讓您在 NLP 領(lǐng)域暢通無(wú)阻。穩(wěn)定可靠的 NLP 模型和強(qiáng)大的預(yù)訓(xùn)練參數(shù)：PaddleNLP 集成了百度內(nèi)部廣泛使用的 NLP 工具模型，為您提供了穩(wěn)定可靠的 NLP 算法解決方案。基于百億級(jí)數(shù)據(jù)的預(yù)訓(xùn)練參數(shù)和豐富的預(yù)訓(xùn)練模型，助您輕松提高模型效果，為您的 NLP 業(yè)務(wù)注入強(qiáng)大動(dòng)力。持續(xù)改進(jìn)和技術(shù)支持，零基礎(chǔ)搭建 NLP 應(yīng)用：PaddleNLP 為您提供持續(xù)的技術(shù)支持和模型算法更新，為您的 NLP 業(yè)務(wù)保駕護(hù)航。

4.1. NLP基礎(chǔ)技術(shù)

4.1.1. 中文詞法分析 LAC (Lexical Analysis of Chinese)

百度自主研發(fā)中文特色模型詞法分析任務(wù)，集成了中文分詞、詞性標(biāo)注和命名實(shí)體識(shí)別任務(wù)。輸入是一個(gè)字符串，而輸出是句子中的詞邊界和詞性、實(shí)體類(lèi)別。

4.1.2.詞向量(Word2vec)

提供單機(jī)多卡，多機(jī)等分布式訓(xùn)練中文詞向量能力，支持主流詞向量模型(skip-gram，cbow 等)，可以快速使用自定義數(shù)據(jù)訓(xùn)練詞向量模型。

4.1.3. 語(yǔ)言模型 (Language_model)

給定一個(gè)輸入詞序列(中文需要先分詞、英文需要先 tokenize)，計(jì)算其生成概率。語(yǔ)言模型的評(píng)價(jià)指標(biāo) PPL (困惑度)，用于表示模型生成句子的流利程度。

4.2. NLP 核心技術(shù)

4.2.1. 語(yǔ)義表示

PaddleLARK (Paddle LAngauge Representation ToolKit) 是傳統(tǒng)語(yǔ)言模型的進(jìn)一步發(fā)展，通過(guò)在大規(guī)模語(yǔ)料上訓(xùn)練得到的通用的語(yǔ)義表示模型，可以助益其他自然語(yǔ)言處理任務(wù)，是通用預(yù)訓(xùn)練 + 特定任務(wù)精調(diào)范式的體現(xiàn)。PaddleLARK 集成了 ELMO，BERT，ERNIE 1.0，ERNIE 2.0，XLNet 等熱門(mén)中英文預(yù)訓(xùn)練模型。

4.2.2. 文本相似度計(jì)算

SimNet (Similarity Net) 是一個(gè)計(jì)算短文本相似度的框架，主要包括 BOW、CNN、RNN、MMDNN 等核心網(wǎng)絡(luò)結(jié)構(gòu)形式。SimNet 框架在百度各產(chǎn)品上廣泛應(yīng)用，提供語(yǔ)義相似度計(jì)算訓(xùn)練和預(yù)測(cè)框架，適用于信息檢索、新聞推薦、智能客服等多個(gè)應(yīng)用場(chǎng)景，幫助企業(yè)解決語(yǔ)義匹配問(wèn)題。

4.2.3. 文本生成

PaddleTextGEN (Paddle Text Generation) ,一個(gè)基于飛槳的文本生成框架，提供了一些列經(jīng)典文本生成模型案例，如 vanilla seq2seq，seq2seq with attention，variational seq2seq 模型等。

4.3. NLP 系統(tǒng)應(yīng)用

4.3.1. 情感分析

4.3.2. 閱讀理解

PaddleMRC (Paddle Machine Reading Comprehension)，集合了百度在閱讀理解領(lǐng)域相關(guān)的模型，工具，開(kāi)源數(shù)據(jù)集等一系列工作。

4.3.3. 機(jī)器翻譯

PaddleMT ，全稱(chēng)為 Paddle Machine Translation，基于 Transformer 的經(jīng)典機(jī)器翻譯模型，基于論文《Attention Is All You Need》：https://arxiv.org/abs/1706.03762

4.3.4. 對(duì)話(huà)系統(tǒng)

PaddleDialogue 包含對(duì)話(huà)系統(tǒng)方向的模型、數(shù)據(jù)集和工具。

百度最新前沿工作開(kāi)源，請(qǐng)參考 Research：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research

智能推薦PaddleRec

個(gè)性化推薦，在當(dāng)前的互聯(lián)網(wǎng)服務(wù)中正在發(fā)揮越來(lái)越大的作用，目前大部分電子商務(wù)系統(tǒng)、社交網(wǎng)絡(luò)，廣告推薦，搜索引擎，都不同程度的使用了各種形式的個(gè)性化推薦技術(shù)，幫助用戶(hù)快速找到他們想要的信息。PaddleRec 包含的模型如下。

智能語(yǔ)音PaddleSpeech

PaddleSpeech 包含語(yǔ)音識(shí)別和語(yǔ)音合成相關(guān)的模型。

如果您想詳細(xì)了解更多飛槳 PaddlePaddle 的相關(guān)內(nèi)容，請(qǐng)參閱以下文檔。

官網(wǎng)地址：

https://www.paddlepaddle.org.cn/

項(xiàng)目地址：

https://github.com/PaddlePaddle/models

總結(jié)

以上是生活随笔為你收集整理的飞桨模型保存_史上最全解读｜飞桨模型库重大升级，主流算法模型全覆盖的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。