最近自己想用410c來(lái)做一個(gè)運(yùn)動(dòng)相關(guān)的DIY，用410c開(kāi)發(fā)板搭載攝像頭來(lái)實(shí)現(xiàn)對(duì)自己的姿態(tài)的跟蹤，用到健身運(yùn)動(dòng)中，完成對(duì)自己所作的動(dòng)作的定位和標(biāo)準(zhǔn)評(píng)判，實(shí)時(shí)提醒自己所作健身動(dòng)作的標(biāo)準(zhǔn)程度，前期進(jìn)行了一些調(diào)研和預(yù)研究，這里將和大家一起分享一下自己在初期的預(yù)研過(guò)程對(duì)人體姿態(tài)估計(jì)算法的理解。

圖1 不同運(yùn)動(dòng)姿態(tài)示意圖

人體姿態(tài)估計(jì)算法近年來(lái)隨著體感游戲、VR等熱度的不斷提升，這類用于估算人體姿態(tài)的計(jì)算機(jī)算法得到了這些領(lǐng)域的專家和相關(guān)機(jī)構(gòu)的熱捧，也成為了當(dāng)前視頻處理和動(dòng)態(tài)感知領(lǐng)域研究的一個(gè)重點(diǎn)。在前期的研究和分析過(guò)程中，主要從已有的運(yùn)動(dòng)姿態(tài)跟蹤算法和410c開(kāi)發(fā)板支持的fastcv庫(kù)及平臺(tái)性能來(lái)進(jìn)行綜合考慮，最終確定人體姿態(tài)估計(jì)算法，為后續(xù)進(jìn)一步利用攝像頭來(lái)實(shí)現(xiàn)人體姿態(tài)估計(jì)和運(yùn)動(dòng)姿態(tài)識(shí)別。

一、與人體姿態(tài)估計(jì)相關(guān)設(shè)備及算法分析

目前在人體姿態(tài)估計(jì)應(yīng)用方面，大家最為熟悉的可能就是微軟的kinect體感攝像頭和Xbox體感游戲套件這兩款產(chǎn)品，其中xbox體感游戲機(jī)主要是利用微軟開(kāi)發(fā)的kinect攝像頭實(shí)現(xiàn)的各種體感運(yùn)動(dòng)姿態(tài)識(shí)別，來(lái)實(shí)現(xiàn)各種游戲的交互，實(shí)現(xiàn)體感游戲運(yùn)動(dòng)，Kinect上集成了各種處理算法和骨骼算法，可以實(shí)現(xiàn)對(duì)人體運(yùn)動(dòng)過(guò)程總的骨骼識(shí)別，如下圖2，是應(yīng)用kinect來(lái)實(shí)現(xiàn)對(duì)人體骨骼捕捉的應(yīng)用，目前很多體感設(shè)備廠家都開(kāi)始選用這款攝像頭來(lái)進(jìn)行相關(guān)的體感游戲和設(shè)備的開(kāi)發(fā)。

圖2 kinect 人體骨骼識(shí)別

還有一款設(shè)備是英特爾退出的realsense 3D攝像頭，這款攝像頭是英特爾專門推出的一款應(yīng)用于體感設(shè)備、人臉識(shí)別、無(wú)人機(jī)甚至VR的視覺(jué)處理設(shè)備，依托這套設(shè)備也可以快速的對(duì)人體的運(yùn)動(dòng)骨骼進(jìn)行跟蹤和識(shí)別，在realsense中通過(guò)雙攝像頭可以快速的實(shí)現(xiàn)對(duì)拍攝的三維信息進(jìn)行處理，包括色彩、深度和距離的計(jì)算等。如下圖是使用realsense 3D攝像頭實(shí)現(xiàn)的一個(gè)目標(biāo)跟蹤示意圖。

圖3 realsense 3D攝像頭人體識(shí)別跟蹤

在人體姿態(tài)估計(jì)算法方面，主要涉及到了目標(biāo)識(shí)別、提取、匹配、機(jī)器學(xué)習(xí)、模式識(shí)別等一系列算法技術(shù)，通過(guò)應(yīng)用這些基礎(chǔ)的算法進(jìn)行融合，以實(shí)現(xiàn)對(duì)不同人體姿態(tài)的。其中人體的姿態(tài)參數(shù)的估計(jì)是人體運(yùn)動(dòng)識(shí)別的核心處理過(guò)程，在處理過(guò)程中，由于人體本身就是一個(gè)復(fù)雜多變的形體，并且在人體運(yùn)動(dòng)過(guò)程總，人體的各個(gè)部分之間通過(guò)關(guān)節(jié)相連，運(yùn)動(dòng)可以是多個(gè)維度的。目前常用的人體姿態(tài)估計(jì)方法主要有以下幾個(gè)方面：

1）基于多幅圖像數(shù)據(jù)的人體姿態(tài)估計(jì)

這類方法是目前用的比較多的方法，主要是利用攝像頭采集到的多幅圖像數(shù)據(jù)來(lái)自動(dòng)初始化人體的對(duì)象模型，然后根據(jù)多幅圖像中的近似人體形狀信息來(lái)實(shí)現(xiàn)對(duì)人體姿態(tài)的跟蹤和估計(jì)，部分還可以基于多幅圖像信息對(duì)運(yùn)動(dòng)過(guò)程中的人體形狀的變化過(guò)程來(lái)進(jìn)行建模，使用基于模型的方法來(lái)提高人體姿態(tài)估計(jì)和識(shí)別的精度，常用的基礎(chǔ)處理方法有側(cè)影線索引、梯度下降法、空間姿態(tài)隨機(jī)搜索匹配法等。

2）基于單目圖像的姿態(tài)估計(jì)

這類方法主要是利用單個(gè)攝像頭采集圖像，然后根據(jù)圖像數(shù)據(jù)對(duì)人體姿態(tài)進(jìn)行估計(jì)，在估計(jì)過(guò)程中通常會(huì)將人體的姿態(tài)初始化成一個(gè)外觀模型，采用圖像子塊分析或者混合顏色模型來(lái)實(shí)現(xiàn)外觀模型的初始化，然后利用監(jiān)督學(xué)習(xí)、RVM和檢測(cè)算子等來(lái)完成對(duì)人體運(yùn)動(dòng)姿態(tài)的檢測(cè)和識(shí)別。

3）基于多目圖像的姿態(tài)估計(jì)

這類方法是目前最為流行的一種方法，特別是隨著kinect和realsense等推出，采用奪目圖像進(jìn)行姿態(tài)估計(jì)得到了快速的發(fā)展，利用雙目來(lái)模擬人眼觀察世界，可以有效的解決單目處理過(guò)程中的對(duì)遮擋處理和空間三維處理的局限性。

4）基于HMM的姿態(tài)估計(jì)

這種方法是一種類似于神經(jīng)網(wǎng)絡(luò)的方法，來(lái)對(duì)固定間隔的上下文進(jìn)行平滑，其常用的方法有Viterbi算法、Baum-Welch算法等，是人體姿態(tài)估計(jì)中常用的一種方法，在處理過(guò)程中可以將HMM中的隱狀態(tài)定位為需要估計(jì)的人體姿態(tài)，將視頻中的圖像作為觀察對(duì)象，然后通過(guò)它來(lái)推理三維人體姿態(tài)參數(shù)，實(shí)現(xiàn)對(duì)人體的姿態(tài)的估計(jì)。

二、Dragonboard 410c平臺(tái)分析及開(kāi)發(fā)庫(kù)的選擇

前面幾篇博客介紹的相關(guān)工作都是基于Dragoboard 410c開(kāi)發(fā)板的，對(duì)Dragonboard 410c開(kāi)發(fā)板的具體軟件和硬件性能可以參考以下博客內(nèi)容：

http://www.qldv.cn/pld/PLDkaifaban/481147.html

圖4 Dragoboard 410c開(kāi)發(fā)板

這里我們用這個(gè)平臺(tái)來(lái)做人體運(yùn)動(dòng)姿態(tài)估計(jì)，這里首先要考慮到，需要接入攝像頭，這里開(kāi)發(fā)板提供了兩個(gè)USB接口，通過(guò)這兩個(gè)接口可以方便的接入U(xiǎn)SB攝像頭，但是這兩個(gè)USB都是2.0的接口，理論上速度沒(méi)問(wèn)題，但是實(shí)際的速度和理論速度往往有差別，其速度可能跟不上，因此在預(yù)研過(guò)程總我們要考慮到這個(gè)問(wèn)題，后續(xù)研究過(guò)程中將需要進(jìn)一步對(duì)其進(jìn)行實(shí)際測(cè)試，但是綜合考慮，由于使用kinect攝像頭還涉及到微軟的相關(guān)庫(kù)的使用，這里就可能需要用開(kāi)發(fā)板來(lái)跑win10，但是對(duì)win10 不是很熟悉，所以最終我們?cè)谘邪l(fā)過(guò)程總還是選擇普通的攝像頭，采用單目攝像頭進(jìn)行測(cè)試，具體的測(cè)試和調(diào)試過(guò)程，將在后續(xù)的博客中更新。同時(shí)考慮到處速度和效率問(wèn)題，通過(guò)前面幾個(gè)博客中介紹和實(shí)踐的使用OpenCV來(lái)實(shí)現(xiàn)的粒子濾波算法的實(shí)際運(yùn)行處理效果來(lái)看，這個(gè)使用Dragonboard 410c開(kāi)發(fā)板基本可以實(shí)現(xiàn)。

在圖形處理開(kāi)發(fā)庫(kù)方面，綜合考慮到在Dragonboard 410c上可以使用高通專用的fastcv，同時(shí)使用Linux和Android系統(tǒng)的時(shí)候，還可以使用opencv開(kāi)源的視覺(jué)處理庫(kù)，其中這兩個(gè)庫(kù)的具體信息在以下鏈接上具有詳細(xì)介紹。

https://developer.qualcomm.com/software/fast-cv-sdk/tools

http://opencv.org/

通過(guò)對(duì)比分析，這兩個(gè)庫(kù)fastcv 在性能上遠(yuǎn)遠(yuǎn)高于opencv，但是fastcv提供的各種處理函數(shù)和算法沒(méi)有opencv全面，為了實(shí)現(xiàn)交高性能的處理和確保整個(gè)處理能夠滿足Dragoboard 410c處理要求，后續(xù)測(cè)試過(guò)程中將以fastcv優(yōu)先，先用fastcv采用HMM算法來(lái)測(cè)試，看實(shí)現(xiàn)是否穩(wěn)定和可靠性，下期博客中，將同步更新，使用單目攝像頭來(lái)進(jìn)行人體姿態(tài)估計(jì)跟蹤算法的測(cè)試。