本文介紹一篇注意力圖神經(jīng)網(wǎng)絡(luò)用于停車位檢測論文，論文已收錄于 RA-L2021。在之前的基于卷積神經(jīng)網(wǎng)絡(luò)的停車位檢測方法中，很少考慮停車位標(biāo)記點之間的關(guān)聯(lián)信息，從而導(dǎo)致需要復(fù)雜的后處理。在本文中，作者將環(huán)視圖中的標(biāo)記點看作圖結(jié)構(gòu)數(shù)據(jù)，使用圖神經(jīng)網(wǎng)絡(luò)聚合相鄰的標(biāo)記點信息，不需要任何后處理，可以端到端訓(xùn)練。在ps2.0 和 PSV 停車位數(shù)據(jù)集上都取得了最優(yōu)的檢測性能。

論文鏈接為：https://arxiv.org/pdf/2104.02576.pdf

項目鏈接為：https://github.com/Jiaolong/gcn-parking-slot

---

1. Method

1.1 Overview

本文提出的基于注意力圖神經(jīng)網(wǎng)絡(luò)停車位檢測模型結(jié)構(gòu)如下圖所示，由三部分組成：Graph feature encoder，Graph feature aggregation，Entrance line discriminator。停車位一般由四個標(biāo)記點組成 $(P_1,P_2,P_3,P_4)$ （四個頂點按照逆時針排序）；因此停車位檢測問題可以描述為檢測車位進入線上頂點 $(P_1,P_2)$ 的問題。本文提出的停車位檢測流程為：

• 給定一張環(huán)視圖 $\mathbf{I}\in {\mathbb{R}}^{H\times W\times 3}$，首先使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取。 然后標(biāo)記點檢測器檢測標(biāo)記點，標(biāo)記點編碼網(wǎng)絡(luò)提取標(biāo)記點特征。
• 接著使用注意力圖神經(jīng)網(wǎng)絡(luò)推理標(biāo)記點之間的關(guān)系，本文設(shè)計的圖神經(jīng)網(wǎng)絡(luò)為全連接網(wǎng)絡(luò)，其中每一個點表示為標(biāo)記點。
• 最后，使用車位進入線判別器決定兩個標(biāo)記點是否可以形成一個有效的車位進入線。

---

1.2 Graph Feature Encoder

標(biāo)價點檢測器輸出為 $S\times S\times 3$ 的特征圖，其中通道 $3$ 包含標(biāo)記點位置 $(x,y)$ 和置信度 $c$。在使用極大值抑制(NMS)后會得到 $N$ 個標(biāo)記點。

標(biāo)記點特征編碼器包含 $4$ 個卷積層，輸出特征圖為 $S\times S\times 64$。對于檢測到的 $N$ 個標(biāo)記點位置 $P=(x,y)\in {\mathbb{R}}^{N\times 2}$，使用雙線性插值計算標(biāo)記點特征。最終得到標(biāo)記點特征 $\mathbf{F}\in {\mathbb{R}}^{N\times 64}$。這里特征圖大小 $S=16$。

為了增強特征表示，將標(biāo)記點位置和特征進行融合：
$${\mathbf{v}}_i={\mathbf{f}}_i+\mathbf{M}\mathbf{L}\mathbf{P}(x_i,y_i)$$

其中，${\mathbf{f}}_i$ 為最初的標(biāo)記點特征。

---

1.3 Graph Feature Aggregation

融合后的標(biāo)記點特征集合 $\mathbf{V}$，構(gòu)造一個全連接的圖網(wǎng)絡(luò) $\mathbf{G}=(\mathbf{V},\mathbf{E})$，其中 $\mathbf{V}$ 表示 $N$ 個節(jié)點 $({\mathbf{x}}_i)$，$\mathbf{E}$ 表示 $N\times N$ 條邊。

圖神經(jīng)網(wǎng)絡(luò)每一層標(biāo)記點特征更新方法為：
$${\mathbf{x}}_i^{l+1}={\mathbf{x}}_i^l+\mathbf{M}\mathbf{L}\mathbf{P}\left(\left[{\mathbf{x}}_i^l\Vert {\mathbf{m}}_{E_i\to i}^l\right]\right)$$

其中 ${\mathbf{m}}_{E_i\to i}^l$ 為第 $i$ 個節(jié)點一階鄰域 $E_i$ 聚合的信息，由注意力機制計算得來，$[?\Vert ?]$ 為特征結(jié)合操作。

對于每一個圖節(jié)點特征 ${\mathbf{x}}_i^l$，query,key,value 計算為：
$$\begin{array}{rl}{\mathbf{q}}_i& ={\mathbf{W}}_1^l{\mathbf{x}}_i^l+{\mathbf{b}}_1^l\\ {\mathbf{k}}_j& ={\mathbf{W}}_2^l{\mathbf{x}}_j^l+{\mathbf{b}}_2^l\\ {\mathbf{v}}_j& ={\mathbf{W}}_3^l{\mathbf{x}}_j^l+{\mathbf{b}}_3^l\end{array}$$

節(jié)點 $i,j$ 之間的注意力計算為：${\alpha }_{i,j}=Softmax({\mathbf{q}}_i^T{\mathbf{k}}_j)$，則圖節(jié)點聚合信息為： ${\mathbf{m}}_{E_i\to i}^l={\sum }_{j\in E_i}{\alpha }_{i,j}^k{\mathbf{v}}_j$。在本文中，使用多個注意力頭，則聚合信息為：${\mathbf{m}}_{E_i\to i}^l={\mathbf{W}}^l\left({\mathbf{m}}_{E_i\to i}^{l,1}\Vert {\mathbf{m}}_{E_i\to i}^{l,2}\Vert ?\Vert {\mathbf{m}}_{E_i\to i}^{l,h}\right)$。

---

1.4 Entrance Line Discriminator

兩個圖節(jié)點特征結(jié)合得到一個 $1\times 128$ 的輸入特征，然后輸入到線性判別器。最終輸出為 $K\times 5$ 的矩陣，其中 $K=N\times N$，表示為標(biāo)記點對。每一對標(biāo)記點對包含5個元素：$x_1,y_1,x_2,y_2,t$。其中 $(x_1,x_2,x_2,y_2)$ 為標(biāo)記點位置， $t$ 表示形成車位進入線的概率。

整個損失函數(shù)為：
$$loss={\lambda }_{1}los{s}_{point}+{\lambda }_{2}los{s}_{line}$$

其中標(biāo)記點損失 $los{s}_{point}$ 為：
$$\mathrm{los}{s}_{\text{point?}}=\frac{1}{S^2}\sum _{i=1}^{S^2}\left\{{\left(c_i?\widehat{c_i}\right)}^2+1_i\left[{\left(x_i?\widehat{x_i}\right)}^2+{\left(y_i?{\hat{y}}_i\right)}^2\right]\right\}$$

車位進入線損失 $los{s}_{line}$ 為：
$$los{s}_{line}=\frac{1}{N^2}(?\sum _{i=1}^N\sum _{j=1}^N\widehat{l_{ij}}log{l}_{ij})$$

---

2.Experimental Results and Discussion

2.1 Datastes & Setting

ps2.0 停車位數(shù)據(jù)集包含9827張訓(xùn)練圖片（9476個停車位），2338張測試圖片（2168個停車位）；每一張圖片大小為 $600\times 600$，對應(yīng)物理空間大小為 $10m\times 10m$。

${\mathbf{S}}_g$ 表示為停車位真值集合，${\mathbf{S}}_d$ 為檢測結(jié)果集合，如果滿足下列條件，則檢測結(jié)果為真陽性。

$${\Vert \left({\mathbf{p}}_1^g?{\mathbf{p}}_1^d,{\mathbf{p}}_2^g?{\mathbf{p}}_2^d\right)\Vert }_2<10$$

---

2.2 Results and Discussions

在 ps2.0 和 PSV 數(shù)據(jù)集上的測試結(jié)果如下，同時作者還使用了FCN網(wǎng)絡(luò)代替圖網(wǎng)絡(luò)，比較了標(biāo)記點的相似性得分。

---

2.3 Ablation study

下面是一些對照實驗結(jié)果，比較了使用不同特征網(wǎng)絡(luò)的檢測性能和時間消耗，位置編碼器、圖神經(jīng)網(wǎng)絡(luò)層數(shù)和注意力頭個數(shù)影響，以及損失函數(shù)權(quán)重影響。

從中可以看到，標(biāo)記點損失權(quán)重對最終影響是比較大的；不過在ps2.0數(shù)據(jù)集上各種特征提取網(wǎng)絡(luò)的檢測性能都已經(jīng)很高了，后續(xù)還需要在更大的數(shù)據(jù)集上進行測試。

總結(jié)

以上是生活随笔為你收集整理的详解停车位检测论文：Attentional Graph Neural Network for Parking-slot Detection的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。