3 月 19 日，根據(jù)官方消息，云從科技基于單幀圖像的 3D 人體重建技術(shù)同時在 Human3.6M、Surreal 和 UP-3D 三大數(shù)據(jù)集上創(chuàng)造了最新的世界紀錄，將原有最低誤差記錄大幅降低 30%。

Human3.6M 數(shù)據(jù)集上對比

Surreal 數(shù)據(jù)集上對比

UP-3D 數(shù)據(jù)集上對比

3D 重建領(lǐng)域通常以誤差（Error）作為衡量算法能力的主要指標，誤差就是生成模型與實際圖像的差別。一般來說，誤差越低，精度越高，意味著技術(shù)的性能越好。

云從稱，其 3D 人體重建技術(shù)全身精度誤差（Surface Error）在 Surreal 上從 75.4 毫米降低到 52.7 毫米，關(guān)節(jié)精度誤差（3D Joint Error）從 55.8 毫米降低到 40.1 毫米，Human3.6M 上的關(guān)節(jié)精度誤差（3D Joint Error）從 59.9 毫米降低到 46.7 毫米，技術(shù)的執(zhí)行速度從之前的上百毫秒降低到僅需 5 毫秒。

與傳統(tǒng)關(guān)鍵點檢測、3D 重建的區(qū)別是什么？

傳統(tǒng)的人體關(guān)鍵點檢測技術(shù)往往以 2D 的人體骨骼關(guān)節(jié)點檢測形式出現(xiàn)，即通過技術(shù)預測 RGB 圖像中人體的十幾個關(guān)節(jié)點的坐標，一方面結(jié)果非常稀疏，將人體大為簡化成骨骼的形式，另一方面結(jié)果往往只包含二維平面上的坐標預測，不能還原深度信息，因此無法體現(xiàn)縱深的感覺。

而基于單幀圖像的 3D 重建技術(shù)不僅能輸出骨骼關(guān)節(jié)點信息，更能同時預測大量的人體表面關(guān)鍵點信息，預測結(jié)果更加豐富，而且每個點的坐標都是 3D 的，能夠體現(xiàn)不同軀干的縱深信息。

3D 關(guān)鍵點檢測

傳統(tǒng) 3D 重建技術(shù)大多需要連續(xù)的圖像序列或是多視角的圖像，在硬件設(shè)備上一般需要采用雙目攝像機或者結(jié)構(gòu)光攝像機等設(shè)備，因此在手機等便攜設(shè)備上往往難以實現(xiàn)；另一方面，專用設(shè)備還會增加部署成本，增加大規(guī)模普及 3D 重建技術(shù)的難度。

上述突破是如何實現(xiàn)的？

據(jù)悉，該論文對人體具有豐富多樣的姿態(tài)和穿著的特點，提出了一套全新的基于人體 3D 縱深預測的 3D 信息表征方式。通過對三原色圖像（RGB，不含深度信息）的分析，預測人體的 3D 形態(tài)和姿勢，并用 6 萬多個點完整描繪人體，從而在人體重建技術(shù)上取得速度與精度的雙突破，呈現(xiàn)出來的模型更精細，幀率高達到 200fps，原本由于受實時顯示限制而無法實現(xiàn)的應用可以一一實現(xiàn)。

不過，基于單幀圖像的 3D 重建技術(shù)對原始圖像的需求放松的同時，對背后的技術(shù)提出了更難的挑戰(zhàn)：技術(shù)需要從單幀圖像中推理出人體或人臉的 3D 形態(tài)，并通過光學透視、陰影疊加等基本光學原則準確預測出各個關(guān)鍵點在 3D 空間的位置和朝向，從而得到人體的姿態(tài)或表情信息。

可探索的技術(shù)應用方向

人體姿態(tài)和服飾復雜多樣，精度提升意味著對復雜場景的適應性更好，模型更接近真實的情況。如《阿凡達》、《阿麗塔》、漫威系列等電影中，都需要專用特效設(shè)備與面部貼點來完成精細的人像采集，基于單幀圖像的 3D 人體 / 人臉重建技術(shù)，意味著可能顛覆電影視頻的拍攝制作，同時降低工業(yè)級 3D 動畫合成的門檻。

由于對輸入圖像的要求低，使 3D 重建技術(shù)將可以利用普通光學攝像頭作為感知設(shè)備。例如，該技術(shù)將會使美顏 App 無需結(jié)構(gòu)光攝像頭也能具備高精準度的瘦身與動畫合成功能。

目前，這項技術(shù)可通過重要人員影像重建、醫(yī)療仿真肢體打印、虛擬試衣、美顏化妝、表情姿態(tài)動畫合成等應用場景在大型商場、直播平臺、美顏軟件、影視特效制作等行業(yè)普及。