原文鏈接：進階課程?丨Apollo規劃技術詳解——Understand More on the MP Difficulty?

EM是一個在已知部分相關變量的情況下，估計未知變量的迭代技術，EM的算法流程如下：

初始化分布參數；

重復直到收斂。

重復直到收斂的步驟如下：

E步驟：根據隱含數據的假設值，給出當前的參數的極大似然估計；

M步驟：重新給出未知變量的期望估計，應用于缺失值。

約束問題的核心有三點：第一是目標函數的定義，目標函數比較清晰，對于后面的求解更有幫助。第二是約束，比如路網約束、交規、動態約束等。第三是約束問題的優化，比如動態規劃、二次規劃等。

上周阿波君為大家詳細介紹了「進階課程?Apollo規劃技術詳解——Optimization Inside Motion Planning」。先從對動態規劃和二次規劃的基本概覽出發，然后詳細地講解了二次規劃問題的求解方法，通常使用啟發式方法。

本周阿波君將繼續與大家分享Apollo規劃技術詳解——Understand More on the MP Difficulty的相關課程。下面，我們一起進入進階課程第26期。

目錄

1.Apollo EM規劃框架

2.優化決策問題

3.非線性優化問題

4.規劃問題如何解決

5.強化學習和數據驅動方法

---

本節主要介紹 Apollo 中的 EM planner 。在前面的課程中，我們提到優化問題的三個方面：目標函數、約束條件和求解方法。那么在實際過程中無人車怎樣去抽象約束呢？先看一個簡單的例子，如下圖所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????????硬性限制和軟性限制

在這個場景中，有三類約束，第一個叫做 Rraffic Regulation，第二個是 Decisions，第三個是 Best Trajectory 。這些限制又分為硬限制和軟限制，例如交通規則屬于硬性限制。

---

1.Apollo EM規劃框架

在 Apollo 中，我們設計了一個 EM 規劃框架來處理不同的場景，如下圖所示，展示處理一個換道場景。在藍線和紅線交點處發現前方有車輛行駛緩慢，可能要進行換道處理。如果只是簡單的看到旁邊沒有車就換道，可能會導致危險發生。在 Apollo EM 規劃框架中，我們會對換道和繼續在本車道行駛分別規劃出一條軌跡，只有換道之后的 Trajectory 要比本車道的 Trajectory 好的情況下才換道。在 Apollo 的 EM planner中，決定哪個道比較好的模塊叫做 Reference Line Decider，中間的并行模塊是通過 Path Speed Iterative 的方式并行實現的。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????Apollo EM 規劃框架

---

2.優化決策問題

優化決策問題本身是一個 3D optimization 問題，其中包含了三個維度，需要生成 SLT 。三維空間的優化相對比較復雜，常用的方法有兩種：一種就是離散化的方式去處理。另一種方法是 Expectation??Maximization（期望最大化）。其基本思想是降維處理，先在一個維度上進行優化，然后在優化的基礎上再對其它維度進行優化，并持續迭代以獲得局部最優解。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????3D?optimization 問題

對于無人車，Apollo 上的 EM planner 對 Path-Speed 進行迭代優化。首先，生成一條 Optimal Path ，在最優路徑的基礎上生成 Optimal Speed Profile 。在下一個迭代周期，在優化后的 Speed 的基礎上，進一步優化 Path，依次類推。它分了四步走，其中分為兩步 E step 和 M step 。這種算法的缺點是不一定能收斂到全局最優解。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????優化問題的關鍵步驟

優化問題的關鍵步驟包括： Objective Functional、Constraint、Solver。目標函數是一些關鍵特征的線性組合。約束主要包括交通燈、碰撞以及動態需求等。優化求解方法的目的是找到最佳路徑，包括前面講的動態規劃+二次規劃的啟發式方法。

---

3.非線性優化問題

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????非線性優化問題的步驟

對于非線性優化問題，通常都是分兩步走，一是動態規劃，先找一個粗略解。然后再是二次規劃，從粗略解出發，找出一個最優解。以路徑規劃為例，假設前方有一個障礙物，首先做出從左邊還是右邊的避讓決策，然后通過 QP 生成一條平滑的曲線去避讓障礙物。對于速度而言，先通過動態規劃的方式給出一個粗略的解，然后再通過二次規劃的方式給出一個更平滑的解。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????????路徑規劃優化

具體來講，在決策規劃里如何動態規劃 Path 呢？先確定主車的位置，然后往前排撒若干點，基于撒點網絡得到一個代價最低的路徑，這時候的路徑不夠平滑。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????利用二次規劃方法，生成一條平滑的軌跡

然后利用二次規劃方法，按照問題抽象、模型建立和優化求解的步驟生成一條平滑的軌跡。

對于速度的優化，同樣是類似的，如下圖所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????????????速度規劃優化

---

4.規劃問題如何解決

對于逆行的處理，首先根據當前 Speed Profile 去估計當前逆行障礙物的位置，然后再修正 Path，根據修正之后的 Path 再來處理 Speed，例如需要減速。減速之后，估計需要重新改變路徑，依此類推，直到得到理想的規劃軌跡。

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????????????????規劃問題如何解決逆行

目前，百度 Apollo 無人車項目的規劃模塊進展如下圖所示，支持在城市和高速等環境下的多種駕駛場景處理，包括直行、轉向、路口、停車。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????????????????百度Apollo無人車規劃模塊進展

---

5.強化學習和數據驅動方法

決策問題通常用 POMDP 加上一些機器學習的技術來解決。在前面我們已經介紹過，解決好規劃問題，需要把兩個方面做好，一個是數據閉環（Data Driven），另一個是基于規則的方法。數據驅動是在基于規則的閉環里面的小閉環。Rule Based 的方法可以對遇到的新案例，很快給出解決方案。

在基于規則的方法的基礎上，對問題形成一定的認識，通過把問題抽象成更加通用的問題，定義目標函數來進一步優化問題。數據驅動的方法就是通過大量的案例統計分析，得到模型，使得遇到類似問題的時候，不需要過多的考慮，直接套用數據驅動的模型獲得結果， Data Driven 的方法其實就是基于經驗的方法，只不過這些經驗是模型通過大量的樣本數據學習得到的。

總結

以上是生活随笔為你收集整理的Apollo进阶课程㉖丨Apollo规划技术详解——Understand More on the MP Difficulty的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。