參考代碼：LaneAF

1. 概述

導讀：這篇文章提出了通過語義分割（2分類）檢測車道線的算法，不過在其中添加了affinity fields用于區分不同的車道線（從語義分割演變實現“實例分割”）。文中對每條車道線預測兩個affinity fields，分別是水平方向和垂直方向。其中水平方向的affinity fields用于歸納當前車道線行的中心點，垂直的affinity fileds用于推斷當前車道線下一行預測集合的位置，也就是在圖像的行維度上使用水平和垂直的affinity fields進行耦合，從而將不同的車道線區分開來。因而文章的算法后處理相對來講會復雜一些，經過測試其平均耗時為15～20ms（CPU）。

文章方法新穎點在分割的基礎上引入affinity fields用以在語義分割基礎上實現“實例分割”的效果。其主要流程見下圖所示：

左邊的部分就是傳統的語義分割的編解碼單元，只是在輸出的時候同時輸出語義分割結果和兩個方向上的affinity fields，之后通過后處理得到最后的結果。

2. Affinity Fileds和Loss

2.1 Affinity Fileds

預測標簽的生成：
對于水平方向的affinity fileds是用于完成當前行所在車道線中心點的預測，那么當前行所在車道線上的點指向中心的向量就可以表示為：
$$H_{gt}(x_i^l,y)=(\frac{{\bar{x}}_y^l?x_i^l}{|{\bar{x}}_y^l?x_i^l|},\frac{y?y}{||y?y}{)}^T=(\frac{{\bar{x}}_y^l?x_i^l}{|{\bar{x}}_y^l?x_i^l|},0{)}^T$$
其中，${\bar{x}}_y^l$代表當前車道線所在行的中心點，$y$代表當前所在的圖片行，$l$代表當前所在的車道線，$x_i^l$代表當前所在車道線行上的像素點。形象的描述見下圖所示：

對于垂直方向的affinity fileds的計算就需要2個行（$y?1$和$y$），其計算的過程可以描述為：
$$V_{gt}(x_i^l,y)=(\frac{{\bar{x}}_{y?1}^l?x_i^l}{|{\bar{x}}_{y?1}^l?x_i^l|},\frac{(y?1)?y}{|(y?1)?y|}{)}^T=(\frac{{\bar{x}}_{y?1}^l?x_i^l}{|{\bar{x}}_{y?1}^l?x_i^l|},?1{)}^T$$
上面一些參數與水平計算中的類似，其中需要注意的是計算垂直方向的時候是與上一行的中心點${\bar{x}}_{y?1}^l$進行計算，形象的描述表示為：

那么對于一整幅圖像其中的多個車道線的水平和垂直方向的affinity fileds標注計算過程可以描述為下面算法中的形式（文章中所有的處理過程都是自底向上的）：

水平和垂直affinity fileds的后處理：
在后處理階段對于不同的車道線實例使用$C^k$進行表示（初始的情況下是在$(y?1)$行開始處理），則所在行的車道線實例的判別條件為：
$$H_{pred}(x_{i?1}^{fg},y?1{)}_0\le 0and{H}_{pred}(x_i^{fg},y?1{)}_0>0$$
也就是通過夾逼準則進行中心點確定，其示意圖見下圖所示：

在確定了當前行的的中心點之后，下一行的車道線點集合怎么和當前中心點關聯上呢？文章提出的方式就是使用距離度量，也就是求與當前中心點最近的下一行車道線點集合的距離最小化，從而實現聚類，可以描述為：
$$c_{vaf}^{?}(l)=\underset{C^k}{\mathrm{argmin}}{d}^{C^k}(l)$$
也就是去判斷與當前中心點距離最近的車道線點集合（表示為$x_i^l$），這里使用的度量描述為：
$$d^{C^k}(l)=\frac{1}{C^k}\sum _{i=0}^{|C^k|?1}\Vert ({\bar{x}}^{C^k},y?1{)}^T?(x_i^l,y{)}^T?V_{pred}(x_i^l,y)?||(x^{C^k},y?1{)}^T?(x_i^l,y{)}^T||\Vert$$
具體計算距離的過程可以描述為下圖的形式：

這里的完整后處理算法描述為：

2.2 損失函數

這里的損失函數主要包含分割損失函數和affinity fileds的損失函數。
分割部分的損失函數：
加權的較差熵損失
$$L_{BCE}=?\frac{1}{N}\sum _i[w?t_i?log(o_i)+(1=t_i)log(1?o_i)]$$
IoU損失
$$L_{IoU}=\frac{1}{N}\sum _i[1?\frac{t_i?o_i}{t_i+o_i?t_i?o_i}]$$
affinity fileds部分損失：
直接采用L1監督的形式
$$L_{AF}=\frac{1}{N_{fg}}\sum _i[|t_i^{haf}?o_i^{haf}|+|t_i^{vaf}?o_i^{vaf}|]$$
則整體損失函數被描述為：
$$L=L_{BCE}+L_{IoU}+L_{AF}$$

3. 實驗結果

總結

以上是生活随笔為你收集整理的《LaneAF：Robust Multi-Lane Detection with Affinity Fields》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。