又來了個 最強王者嗎 說是比yolo7還厲害啊 哈哈 百度飛槳產品。。 ?也許真的很強~~

精度54.7mAP，相較YOLOv7提升1.9%

L版本端到端推理速度42.2FPS

訓練速度提升3.75倍

COCO數據集僅需20epoch即可達到50.0mAP

下游任務泛化性最高提升8%

10+即開即用多端部署Demo

PP-YOLOE+是基于飛槳云邊一體高精度模型PP-YOLOE迭代優化升級的版本，具備以下特點：

• 超強性能?

?

備注：以上速度為端到端推理速度，包含數據解碼+數據預處理+模型預測+后處理計算；均在v100上測試所得，V100 + CUDA11.2 + cudnn8.2.0 + TRT8.0.1.6

• 訓練收斂加速：使用Objects365預訓練模型，減少訓練輪數，訓練收斂速度提升3.75倍。

• 下游任務泛化性顯著提升：在農業、夜間安防、工業等不同場景數據集上驗證，精度最高提升8.1%。

• 高性能部署能力：本次升級PP-YOLOE+支持多種部署方式，包括Python/C++、Serving、ONNX Runtime、ONNX-TRT、INT8量化等部署能力。

超強性能與超高泛化性使得PP-YOLOE+助力開發者在最短時間、最少量數據上能得到最優效果。

模型下載與完整教程請見PP-YOLOE+：

https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/configs/ppyoloe?

?

PP-YOLOE是一款高精度推理速度快的檢測模型，包含骨干網絡CSPRepResNet、特征融合CSPPAN、輕量級ET-Head和改進的動態匹配算法TAL（Task Alignment Learning）等模塊， 并且根據不同的應用場景設計了一系列模型，即s/m/l/x。

PP-YOLOE的全系列模型從精度速度性價比來看達到工業界最優。具體來說，PP-YOLOE-l在COCO test-dev上AP可達51.4，在V100上速度可達78.1 FPS，使用TensorRT FP16進行推理，在V100上速度可達149FPS。

PP-YOLOE-l相較于PP-YOLOv2精度提升1.9AP、速度提升13.35%，相對于YOLOX-l精度提升1.3AP、速度提升24.96%。

此外，PP-YOLOE還避免使用諸如可變形卷積或者Matrix NMS之類的特殊算子，使PP-YOLOE全系列模型能輕松地部署在NVIDIA V100和T4這樣的云端GPU架構、Jetson系列的移動端GPU和高性能的FPGA開發板上。

具體的結構包括以下三大部分：

可擴展的backbone和neck

我們設計了CSPRepResNet作為backbone, neck部分也采用了新設計的CSPPAN結構，backbone和neck均以我們提出的CSPRepResStage為基礎模塊。新的backbone和neck在增強模型表征能力的同時提升了模型的推理速度，并且可以通過width multiplier和depth multiplier靈活地配置模型的大小。

TAL（Task Alignment Learning）

為了進一步提升模型的精度，我們選用了TOOD [1]中的動態匹配算法策略TAL。TAL同時考慮分類和回歸，使得匹配結果同時獲得了最優的分類和定位精度。

Efficient Task-aligned head

檢測head方面，我們在TOOD的T-head基礎上進行改進。

首先，使用ESE block替換掉了原文中比較耗時的layer attention，使得模型在保證精度不變的同時提升了速度。

其次，由于T-head使用了可變形卷積算子，對硬件部署不友好，我們在分類分支使用shortcut替換cls-align模塊，回歸分支使用積分層替換掉含有可變形卷積的reg-align模塊，以上兩個改進使得head變得更為高效、簡潔且易部署。

最終，我們進一步使用VFL（VariFocal Loss）替換BCE作為分類分支Loss，達到了速度精度雙高的目的。

?算法升級深度解讀

本次PP-YOLOE+升級主要內容：

• 升級一：強大的Objects365預訓練模型、升級版backbone等改動大幅提升PP-YOLOE系列模型的精度；

• 升級二：優化預處理，提升模型端到端推理速度，更貼近用戶使用的真實場景；

• 升級三：完善多種環境下的推理部署能力。

精度

首先，我們使用Objects365大規模數據集對模型進行了預訓練。Objects365數據集含有的數據量可達百萬級，在大數據量下的訓練可以使模型獲得更強大的特征提取能力、更好的泛化能力，在下游任務上的訓練可以達到更好的效果。

其次，我們在RepResBlock中的1x1卷積上增加了一個可學習的權重alpha，進一步提升了backbone的表征能力，獲得了不錯的效果提升。最后，我們調整了NMS的參數，在COCO上可以獲得更好的評估精度。

訓練速度

基于Objects365的預訓練模型，將學習率調整為原始學習率的十分之一，訓練的epoch從300降到了80，在大大縮短了訓練時間的同時，獲得了精度上的提升。

端到端推理速度

我們精簡了預處理的計算方式，由于減均值除方差的方式在CPU上極其耗時，所以我們在優化時直接去除掉了這部分的預處理操作，使得PP-YOLOE+系列模型在端到端的速度上能獲得40%以上的加速提升。

下游泛化性增強

我們驗證了PP-YOLOE+模型強大的泛化能力，在農業、低光、工業等不同場景下游任務檢測效果穩定提升。

農業數據集采用Embrapa WGISD，該數據集用于葡萄栽培中基于圖像的監測和現場機器人技術，提供了來自5種不同葡萄品種的實地實例。

• 鏈接?https://github.com/thsant/wgisd

低光數據集使用ExDark，該數據集是一個專門在低光照環境下拍攝出針對低光目標檢測的數據集，包括從極低光環境到暮光環境等10種不同光照條件下的圖片。

• 鏈接?https://github.com/cs-chan/Exclusively-Dark-Image-Dataset

工業數據集使用PKU-Market-PCB，該數據集用于印刷電路板（PCB）的瑕疵檢測，提供了6種常見的PCB缺陷。

• 鏈接?https://robotics.pkusz.edu.cn/resources/dataset/

?精度

可視化效果

?

全面升級的部署支持

在推理部署方面，本次升級給大家帶來了較為完備的部署能力，包括Python、C++、Serving、ONNX Runtime、ONNX-TRT、INT8量化等部署能力。具體的使用文檔可以到PaddleDetection的GitHub上獲取。

• 文檔鏈接?https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/deploy

總的來說，PP-YOLOE+希望真正的站在用戶的角度去解決訓練慢、泛化性差、部署難的問題。通過使用大規模數據集Objects365對模型進行預訓練，使得模型在下游任務上表現更魯棒、泛化能力更強。通過優化推理過程，完善推理鏈條，使得PP-YOLOE+不但在端到端預測速度上得到極大的提升，還拓展了Python、C++、Serving、ONNX Runtime以及TensorRT等多種推理環境下的部署能力，提升模型可擴展性，從而提升用戶的使用體驗。

飛槳端到端開發套件?PaddleDetection

PaddleDetection為基于飛槳的端到端目標檢測套件，內置30+模型算法及300+預訓練模型，覆蓋目標檢測、實例分割、跟蹤、關鍵點檢測等方向，其中包括服務器端和移動端高精度、輕量化產業級SOTA模型、冠軍方案和學術前沿算法，并提供即插即用的垂類場景預訓練模型，覆蓋人、車等20+場景，提供配置化的網絡模塊組件、十余種數據增強策略和損失函數等高階優化支持和多種部署方案，在打通數據處理、模型開發、訓練、壓縮、部署全流程的基礎上，提供豐富的案例及教程，加速算法產業落地應用。 ? ? ?? ? ?whaosoft aiot?http://143ai.com??

項目鏈接??https://github.com/PaddlePaddle/PaddleDetection

?

總結

以上是生活随笔為你收集整理的PP-YOLOE的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。