基于OpenPose的坐姿識(shí)別

Sitting Posture Recognition Based on OpenPose

簡(jiǎn)單說(shuō)，就是提取18個(gè)身體關(guān)節(jié)和17條連接關(guān)節(jié)的線，作為提取到的坐姿特征。

介紹

坐姿識(shí)別方法可以分為兩類(lèi):基于傳感器的方法和基于圖像的方法。

構(gòu)建數(shù)據(jù)集

一個(gè)提取人體姿勢(shì)的工具是OpenPose。OpenPose人體姿態(tài)識(shí)別項(xiàng)目是卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University, CMU)基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)開(kāi)發(fā)的一個(gè)開(kāi)源庫(kù)，在caffe[14]框架下開(kāi)發(fā)。
姿態(tài)估計(jì)，如人體運(yùn)動(dòng)，面部表情，手指運(yùn)動(dòng)。適用于單人和多人，具有極佳的魯棒性[15]。OpenPose提供了一種自下而上的方法來(lái)實(shí)時(shí)估計(jì)多人手勢(shì)，而不需要任何字符檢測(cè)器。
加載OpenPose預(yù)訓(xùn)練模型，算法將提取18個(gè)身體關(guān)節(jié)和17條連接關(guān)節(jié)的線。圖1和圖2是使用OpenPose提取關(guān)節(jié)點(diǎn)信息特征后的部分?jǐn)?shù)據(jù)集。

算法

由于人體姿態(tài)的變化會(huì)導(dǎo)致人體關(guān)節(jié)位置的變化，因此在構(gòu)建數(shù)據(jù)集時(shí)，只保留x和y的最小和最大坐標(biāo)范圍內(nèi)的圖信息。背景設(shè)置為黑色，冗余數(shù)據(jù)減少。整個(gè)數(shù)據(jù)集在應(yīng)用到訓(xùn)練過(guò)程之前進(jìn)行處理。程序如下所示。
(a)將所有圖像切割為(60,60)像素，其中邊緣部分填充黑色像素。
(b)正確坐姿圖像用“0”標(biāo)記，錯(cuò)誤坐姿圖像用“1”標(biāo)記。
?應(yīng)用數(shù)據(jù)增強(qiáng)擴(kuò)大數(shù)據(jù)集。由于實(shí)驗(yàn)條件的限制，構(gòu)建的數(shù)據(jù)集不夠大。因此，數(shù)據(jù)增強(qiáng)對(duì)于擴(kuò)展用于訓(xùn)練的數(shù)據(jù)集是必要的。
(d)對(duì)圖像進(jìn)行歸一化，使像素在0到1的范圍內(nèi)。
CNN模型由19層組成，輸入層用于輸入處理過(guò)的(64,64)像素的圖像。輸出層是使用SoftMax分類(lèi)器的分類(lèi)層。激活層應(yīng)用ReLU函數(shù)，池化層的步長(zhǎng)為(2,2)。
SGD +動(dòng)量?jī)?yōu)化器用于訓(xùn)練。由于采用了categorical_crossentropy作為損失函數(shù)，因此有必要根據(jù)分類(lèi)次數(shù)對(duì)具有一熱編碼的分類(lèi)標(biāo)簽進(jìn)行矢量化。只有兩個(gè)類(lèi)別，所以標(biāo)簽是二維的。
將數(shù)據(jù)增強(qiáng)過(guò)程中圖像的隨機(jī)旋轉(zhuǎn)范圍設(shè)置為20。圖像的水平移動(dòng)范圍設(shè)置為0.2(移動(dòng)前后的寬度比)，圖像可以隨機(jī)進(jìn)行水平翻轉(zhuǎn)。數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別占80%、10%和10%。構(gòu)建的數(shù)據(jù)集用于訓(xùn)練模型以優(yōu)化參數(shù)，并存儲(chǔ)在TensorBoard的每日記錄中。

結(jié)論

本文開(kāi)發(fā)了一種基于計(jì)算機(jī)視覺(jué)的課堂學(xué)生坐姿識(shí)別系統(tǒng)，用于發(fā)現(xiàn)和糾正學(xué)生的不良坐姿。該算法利用OpenCV對(duì)監(jiān)視器捕捉到的視頻信息進(jìn)行提取。然后利用OpenPose提取學(xué)生的姿態(tài)特征。利用Keras深度學(xué)習(xí)框架建立卷積神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練數(shù)據(jù)集。最后，利用訓(xùn)練后的網(wǎng)絡(luò)模型來(lái)識(shí)別學(xué)生的坐姿。實(shí)驗(yàn)表明，通過(guò)100歷元訓(xùn)練，測(cè)試集和驗(yàn)證集的準(zhǔn)確率達(dá)到90%以上。經(jīng)過(guò)實(shí)際測(cè)試，可以有效識(shí)別學(xué)生在課堂上的坐姿，幫助青少年養(yǎng)成良好的坐姿習(xí)慣，促進(jìn)其健康成長(zhǎng)。

總結(jié)

以上是生活随笔為你收集整理的基于OpenPose的坐姿识别的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。