由于智能手機上沒有深度攝像頭，在手機上的動作捕捉就必須依靠單目動捕，基于單目的的動作捕捉方案就成了一個必須跨過的門檻。而由于實際中存在的像遮擋、深度、難以估計骨架姿勢等問題，單目動作捕捉的解決方案就變得比較復雜。

最近，瑞士洛桑聯邦理工學院（EPFL）和德國普朗克計算機研究所的研究人員發表論文，展示了一種基于單個單眼相機的“無標記性能捕獲技術”MonoPerfCap，可以實現基于單目的動作捕捉，并且可以實現服裝的3D重建。

簡單來說，MonoPerfCap的原理分兩步完成，首先是將攝像頭繞目標人物一圈，在這個過程中，可以實現對目標人物輪廓的識別和信息的采集，并且基于輪廓生成一個目標人物的骨架模型，這樣有利于動作的捕捉，而其它信息的采集可以應用到外部模型的渲染。

論文表示，MonoPerfCap基于輪廓的姿態細化改善了姿態估計和輪廓分割。 姿勢估計中的錯誤導致在左臂附近不準確的背景減法。而MonoPerfCap的姿態細化將手臂骨架向左移動到正確的位置。 剪影在第二輪廓提取之后分割被顯著地細化基于精確的姿勢（e）。

第二步是基于第一步識別的骨架模型計算出連接點，再基于卷積神經網絡的學習估計出做動作時骨架姿勢的變化，隨后在骨架模型上渲染出整個人身體的輪廓。

通過使用這種提出的方法，我們不僅可以重建人體姿勢，而且還可以重建衣服的穿著動作，并且使我們能夠從自由的角度進行渲染。但是，高速運動時和出現強遮擋時的識別變得略不穩定。

MonoPerfCap的研究人員將自己的動作捕捉分別和2015、2016、2017的方法比較，用MonoPerfCap方法得到的結果優于其它方法的結果，甚至已經非常接近8臺攝像機多視角動作捕捉的結果。

首先，這種捕捉方法必須依靠大約半分鐘的對目標人物的圓形掃描，雖然之后的處理是不需要人干預的，但仍然略顯麻煩。

另外，有的場景下的識別仍然有可能捕捉失敗，由于一般視角下對腳的捕捉很難實現，所以像有大量遮擋的情況或者當運動非常迅速的時候，就可能失敗。如果目標人物穿著像風衣或者夾克這樣的衣服時，很可能對攝像頭的識別造成干擾，從而無法捕捉。在論文的示例中，捕捉目標都穿著比較貼近身體的衣服。

這是論文對各個人物目標的識別示例，可以看到識別效果比較好，另外衣服和身體的細節渲染也不錯。

前兩天我們還剛提到過一個單目動捕方案Vnect，它們在原理上的差別其實不大，同樣是基于骨架模型，同樣利用卷積神經網絡進行學習，區別在于Vnect只能估算出骨架的姿勢模型，MonoPerfCap還添加了估計外部身體姿勢和和衣服細節的能力，相對來說更加成熟。

其實，MonoPerfCap的方案不止可以應用到動作捕捉上，就論文中實現的方案來看，這個方案同樣可以用來識別合適的視頻中人物的動作。

總而言之，MonoPerfCap可以適用于各種不同的場景，復雜的背景也不會對識別結果產生影響，在性能方面也已經超越了之前的方案，細節渲染尤其可圈可點，可以說是一個比較出彩的單眼動作捕捉方案了。對此有興趣的同學也可以點擊閱讀原文下載論文。