參考代碼：LaneAF

1. 概述

導(dǎo)讀：這篇文章提出了通過語義分割（2分類）檢測(cè)車道線的算法，不過在其中添加了affinity fields用于區(qū)分不同的車道線（從語義分割演變實(shí)現(xiàn)“實(shí)例分割”）。文中對(duì)每條車道線預(yù)測(cè)兩個(gè)affinity fields，分別是水平方向和垂直方向。其中水平方向的affinity fields用于歸納當(dāng)前車道線行的中心點(diǎn)，垂直的affinity fileds用于推斷當(dāng)前車道線下一行預(yù)測(cè)集合的位置，也就是在圖像的行維度上使用水平和垂直的affinity fields進(jìn)行耦合，從而將不同的車道線區(qū)分開來。因而文章的算法后處理相對(duì)來講會(huì)復(fù)雜一些，經(jīng)過測(cè)試其平均耗時(shí)為15～20ms（CPU）。

文章方法新穎點(diǎn)在分割的基礎(chǔ)上引入affinity fields用以在語義分割基礎(chǔ)上實(shí)現(xiàn)“實(shí)例分割”的效果。其主要流程見下圖所示：

左邊的部分就是傳統(tǒng)的語義分割的編解碼單元，只是在輸出的時(shí)候同時(shí)輸出語義分割結(jié)果和兩個(gè)方向上的affinity fields，之后通過后處理得到最后的結(jié)果。

2. Affinity Fileds和Loss

2.1 Affinity Fileds

預(yù)測(cè)標(biāo)簽的生成：
對(duì)于水平方向的affinity fileds是用于完成當(dāng)前行所在車道線中心點(diǎn)的預(yù)測(cè)，那么當(dāng)前行所在車道線上的點(diǎn)指向中心的向量就可以表示為：
$$H_{gt}(x_i^l,y)=(\frac{{\bar{x}}_y^l?x_i^l}{|{\bar{x}}_y^l?x_i^l|},\frac{y?y}{||y?y}{)}^T=(\frac{{\bar{x}}_y^l?x_i^l}{|{\bar{x}}_y^l?x_i^l|},0{)}^T$$
其中，${\bar{x}}_y^l$代表當(dāng)前車道線所在行的中心點(diǎn)，$y$代表當(dāng)前所在的圖片行，$l$代表當(dāng)前所在的車道線，$x_i^l$代表當(dāng)前所在車道線行上的像素點(diǎn)。形象的描述見下圖所示：

對(duì)于垂直方向的affinity fileds的計(jì)算就需要2個(gè)行（$y?1$和$y$），其計(jì)算的過程可以描述為：
$$V_{gt}(x_i^l,y)=(\frac{{\bar{x}}_{y?1}^l?x_i^l}{|{\bar{x}}_{y?1}^l?x_i^l|},\frac{(y?1)?y}{|(y?1)?y|}{)}^T=(\frac{{\bar{x}}_{y?1}^l?x_i^l}{|{\bar{x}}_{y?1}^l?x_i^l|},?1{)}^T$$
上面一些參數(shù)與水平計(jì)算中的類似，其中需要注意的是計(jì)算垂直方向的時(shí)候是與上一行的中心點(diǎn)${\bar{x}}_{y?1}^l$進(jìn)行計(jì)算，形象的描述表示為：

那么對(duì)于一整幅圖像其中的多個(gè)車道線的水平和垂直方向的affinity fileds標(biāo)注計(jì)算過程可以描述為下面算法中的形式（文章中所有的處理過程都是自底向上的）：

水平和垂直affinity fileds的后處理：
在后處理階段對(duì)于不同的車道線實(shí)例使用$C^k$進(jìn)行表示（初始的情況下是在$(y?1)$行開始處理），則所在行的車道線實(shí)例的判別條件為：
$$H_{pred}(x_{i?1}^{fg},y?1{)}_0\le 0and{H}_{pred}(x_i^{fg},y?1{)}_0>0$$
也就是通過夾逼準(zhǔn)則進(jìn)行中心點(diǎn)確定，其示意圖見下圖所示：

在確定了當(dāng)前行的的中心點(diǎn)之后，下一行的車道線點(diǎn)集合怎么和當(dāng)前中心點(diǎn)關(guān)聯(lián)上呢？文章提出的方式就是使用距離度量，也就是求與當(dāng)前中心點(diǎn)最近的下一行車道線點(diǎn)集合的距離最小化，從而實(shí)現(xiàn)聚類，可以描述為：
$$c_{vaf}^{?}(l)=\underset{C^k}{\mathrm{argmin}}{d}^{C^k}(l)$$
也就是去判斷與當(dāng)前中心點(diǎn)距離最近的車道線點(diǎn)集合（表示為$x_i^l$），這里使用的度量描述為：
$$d^{C^k}(l)=\frac{1}{C^k}\sum _{i=0}^{|C^k|?1}\Vert ({\bar{x}}^{C^k},y?1{)}^T?(x_i^l,y{)}^T?V_{pred}(x_i^l,y)?||(x^{C^k},y?1{)}^T?(x_i^l,y{)}^T||\Vert$$
具體計(jì)算距離的過程可以描述為下圖的形式：

這里的完整后處理算法描述為：

2.2 損失函數(shù)

這里的損失函數(shù)主要包含分割損失函數(shù)和affinity fileds的損失函數(shù)。
分割部分的損失函數(shù)：
加權(quán)的較差熵?fù)p失
$$L_{BCE}=?\frac{1}{N}\sum _i[w?t_i?log(o_i)+(1=t_i)log(1?o_i)]$$
IoU損失
$$L_{IoU}=\frac{1}{N}\sum _i[1?\frac{t_i?o_i}{t_i+o_i?t_i?o_i}]$$
affinity fileds部分損失：
直接采用L1監(jiān)督的形式
$$L_{AF}=\frac{1}{N_{fg}}\sum _i[|t_i^{haf}?o_i^{haf}|+|t_i^{vaf}?o_i^{vaf}|]$$
則整體損失函數(shù)被描述為：
$$L=L_{BCE}+L_{IoU}+L_{AF}$$

3. 實(shí)驗(yàn)結(jié)果

總結(jié)

以上是生活随笔為你收集整理的《LaneAF：Robust Multi-Lane Detection with Affinity Fields》论文笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。