利用人工智能,科學(xué)家現(xiàn)在甚至可以在智能手機上快速生成照片級真實感彩色3D全息圖。根據(jù)一項新的研究顯示,這項新技術(shù)可以在虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)耳機以及其他應(yīng)用中得到應(yīng)用。
全息圖能夠出色地展現(xiàn)3D世界,而且它的呈現(xiàn)效果非常漂亮。全息圖可以根據(jù)觀看者的位置提供變化的視角,并允許眼睛調(diào)整焦深以交替聚焦在前景和背景上。
提起三維場景可視化,虛擬現(xiàn)實(VR)是最常見的一種技術(shù)。雖然用戶實際上是注視著 2D 顯示器,但 VR 會產(chǎn)生 3D 觀看的錯覺,從而使人視覺疲勞和感到頭暈惡心。更好的 3D 可視化解決方案可能在于一種誕生了六十年的技術(shù):全息圖。
然而,盡管像三星這樣的公司最近在開發(fā)能夠顯示全息視頻的硬件方面取得了長足的進步,但實際生成全息數(shù)據(jù)以供此類設(shè)備顯示仍然是一個重大挑戰(zhàn)。
長期以來,研究者們一直在試圖制造出計算機生成的全息圖,但傳統(tǒng)上,該過程需要一臺超級計算機來進行物理模擬,這非常耗時,并且產(chǎn)生的效果真實感不高。
為了把全息影像帶給大眾,科學(xué)家們嘗試了許多不同的策略來減少所需的計算量——例如,用簡單的查找表代替復(fù)雜的物理模擬。然而,這些往往以犧牲圖像質(zhì)量為代價。
現(xiàn)在麻省理工學(xué)院(MIT)的研究人員已經(jīng)開發(fā)出一種新的方法,幾乎可以瞬間產(chǎn)生全息圖——這種基于深度學(xué)習(xí)的方法非常有效,它可以在筆記本電腦上一眨眼就產(chǎn)生全息圖。他們在近日的《自然》雜志上詳細(xì)介紹了他們的研究結(jié)果,該研究部分由索尼公司資助。
麻省理工學(xué)院計算機科學(xué)家Liang Shi說:“一切都神奇地完成了,這真的超出了我們的預(yù)期。”
Shi指出,利用物理模擬計算全息圖涉及到計算全息圖中許多塊的外觀,然后將它們結(jié)合起來得到最終的全息圖。他說,使用查找表就像記憶一組常用的全息圖塊,但這犧牲了準(zhǔn)確性,仍然需要組合步驟。
在某種程度上,計算機生成的全息圖有點像計算如何切蛋糕,Shi說。使用物理模擬來計算空間中每個點的外觀是一個耗時的過程,類似于使用八次精確切割來生產(chǎn)八片蛋糕。使用計算機生成全息圖的查找表就像在切割前標(biāo)記每個切片的邊界一樣。雖然這樣做省去了計算切割位置的步驟,節(jié)省了一點時間,但執(zhí)行所有八次切割仍然需要大量時間。
相比之下,新技術(shù)利用深度學(xué)習(xí),從根本上解決了如何只切三次蛋糕就把蛋糕切成八片的問題,Shi說。卷積神經(jīng)網(wǎng)絡(luò)——一個大致模擬人腦如何處理視覺數(shù)據(jù)的系統(tǒng)——學(xué)習(xí)“捷徑”來生成一個完整的全息圖,而不需要單獨計算每一塊全息圖的顯示方式,“這將使總運算量減少幾個數(shù)量級,”他說。
研究人員首先建立了一個由4000張計算機生成的圖像組成的自定義數(shù)據(jù)庫,每個圖像都包含每個像素的顏色和深度信息。該數(shù)據(jù)庫還包括對應(yīng)于每個圖像的三維全息圖。接下來,算法開始發(fā)揮作用。卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何生成新的全息圖,通過多攝像頭設(shè)置或激光雷達(dá)傳感器進行計算。
新系統(tǒng)需要不到620 kilobytes的內(nèi)存,并且可以在單個消費級GPU上每秒生成60幅分辨率為1920×1080像素的彩色3D全息圖。研究人員可以在iPhone11Pro上以每秒1.1個全息圖的速度運行它,在Google Edge TPU上以每秒2個全息圖的速度運行它,這意味著有朝一日它可以在未來的虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)移動耳機上實時生成全息圖。
實時 3D 全息技術(shù)還有助于 VR、3D 打印等系統(tǒng)的發(fā)展。研究團隊表示,新系統(tǒng)可以幫助 VR 觀眾沉浸在更真實的場景中,同時消除眼睛疲勞和長期使用 VR 的其他副作用。這項技術(shù)可以很容易地應(yīng)用在調(diào)制光波相位的顯示器上。目前,大多數(shù)價格合理的消費級顯示器只調(diào)節(jié)亮度,但如果廣泛采用 3D 全息技術(shù),相位調(diào)制顯示器的成本會下降。
未來的研究可能會增加眼睛跟蹤技術(shù),通過創(chuàng)建只有眼睛看的地方才有高分辨率的全息圖來加速系統(tǒng)的速度,Shi說。另外,他補充,另一個方向是根據(jù)人的視覺敏銳度來制作全息圖。
原文標(biāo)題:研究人員推出3D全息圖生成新方法 可在智能手機上實時運行
文章出處:【微信公眾號:IEEE電氣電子工程師學(xué)會】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:haq
-
3D
+關(guān)注
關(guān)注
9文章
2910瀏覽量
107995 -
vr
+關(guān)注
關(guān)注
34文章
9645瀏覽量
150784
原文標(biāo)題:研究人員推出3D全息圖生成新方法 可在智能手機上實時運行
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論