Apple在 6 月 5 日的WWDC 主題演講中宣布推出其首款增強現(xiàn)實(AR) 頭戴設(shè)備Vision Pro. 該設(shè)備包含兩個領(lǐng)先的微型 OLED 顯示器，擁有令人難以置信的 2300 萬像素——幾乎是 4K 顯示器的三倍。

自最初的Oculus Rift具有單個 1,280 x 800 顯示器以來，AR/VR 顯示質(zhì)量有了突飛猛進的提升。但平衡價格與質(zhì)量的需要迫使 AR/VR 領(lǐng)導(dǎo)者（例如Meta和HTC Corp.）做出妥協(xié)。Apple 選擇了不同的策略，將設(shè)備的顯示技術(shù)和耳機制造商建議零售價 3,499 美元推向極致。

“[Apple] 最終在這款耳機上配備了三個顯示屏，無論以何種標準衡量，這都不便宜，” Moor Insights & Strategy的首席分析師Anshel Sag說。“內(nèi)部的兩個微型 OLED，我從未見過任何應(yīng)用。這是一款體積極小、成本高昂的顯示器，帶有三元素鏡頭和光學(xué)系統(tǒng)，顯然是為這款耳機定制設(shè)計的。”

像素密度的新前沿

Vision Pro 有一對 1.41 英寸的微型 OLED 顯示屏。每個像素的大小與人類紅細胞的大小相當。

除了像素數(shù)外，Apple 在 WWDC 2023 上幾乎沒有提供有關(guān) Vision Pro 顯示器的具體信息，但分析師已經(jīng)填寫了詳細信息。Display Supply Chain Consultants首席執(zhí)行官 Ross Young表示，Vision Pro 包含一對 1.41 英寸微型 OLED 顯示器，該顯示器結(jié)合了索尼的 OLED 前面板和芯片代工廠臺積電的硅背板。每個像素的尺寸僅為 7.5 微米——與人類紅細胞的直徑相似。“這是迄今為止市場上分辨率最高的微型 OLED，”Young 說。

該決議雖然令人印象深刻，但并沒有說明全部情況。AR/VR 工程師通過每視野像素數(shù) (PPD) 來衡量像素密度，這是一種衡量頭顯視野的指標。Apple 尚未公布 Vision Pro 的 FOV，但試用過該設(shè)備的記者表示，它與其他提供 100 到 120 度 FOV 的 AR/VR 頭戴式耳機具有競爭力。這應(yīng)該使耳機的每度像素在 50 到 70 PPD 左右。

“中央凹的分辨率是眼睛最高分辨率的部分，被認為是每度 60 像素。如果你有一個每度 60 像素的顯示器，可能 99.9% 的人不會感知到這些像素，” Niantic的增強現(xiàn)實硬件負責人邁克爾米勒說。“將它減少到每度 40 個像素，而不是 60 個，仍然被認為是可以的。而對于 [Niantic] 的參考設(shè)計，我們嘗試了每度 30 個像素，只要用戶看不到像素之間的間隙，它仍然可以。”

大多數(shù) AR/VR 耳機的像素密度要低得多。Meta 的 Quest Pro 提供 22 PPD，HTC Vive XR Elite 提供 19 PPD，而 Microsoft HoloLens 2 引用 47 PPD（盡管有人對這個數(shù)字提出異議）。廣受贊譽的Varjo VR-3于 2021 年發(fā)布，零售價為 3,645 美元，實現(xiàn)了 70 PPD，但它采用“仿生顯示器”，結(jié)合了高分辨率對焦區(qū)域和外圍顯示器，實現(xiàn)了較低但仍然令人印象深刻的， 30 PPD。

“我覺得我們已經(jīng)有一些耳機幾乎達到了那個點，或者已經(jīng)過了一點，比如 Varjo 耳機，”Sag 說。“所以我認為 [Apple] 的分辨率已經(jīng)足夠高，以至于你無法看到像素。”

Apple Silicon 和注視點渲染分擔負載

Apple 令人難以置信的像素數(shù)帶來了超出顯示器本身生產(chǎn)的挑戰(zhàn)。像素數(shù)的任何增加都會增加渲染圖像所需的圖形性能，從而增加功耗和發(fā)熱。

每款 Vision Pro 耳機都將配備Apple 的 M2，其中包括單芯片上的 CPU、GPU 和 AI 加速器，以驅(qū)動其顯示器和處理計算。然而，即使是 MacBook Air 等中檔 Apple 筆記本電腦中最常見的芯片 M2，如果被迫以全分辨率驅(qū)動 Vision Pro 的顯示屏，也會受到嚴重的負擔。

Varjo VR-3 清楚地說明了這一點。與完全獨立的計算機 Apple Vision Pro 不同，VR-3 不包括 CPU 或 GPU，而是用作 Windows PC 的顯示器。Varjo 推薦一系列配備英特爾酷睿 i7 和 i9 處理器以及 Nvidia RTX 3080 或 3090 顯卡的笨重高端筆記本電腦和臺式機。

Apple 使用全新的芯片Apple R1解決了這個問題，它承擔了處理耳機攝像頭輸入的負擔。該數(shù)據(jù)的一部分用于注視點渲染，這是一種動態(tài)改變分辨率以響應(yīng)用戶注視的技術(shù)。

“我認為注視點渲染是一個非常非常重要的因素，它決定了實際使用了多少 GPU，以及它們需要多少顯示器才能以全分辨率運行，”Sag 說。“理論上他們可以使用注視點渲染來運行顯示器，他們只在中間運行全分辨率，其他一切都是較低的分辨率。”

Foveated 渲染并不是一個新想法——微軟的研究人員在十多年前就探索了這個想法——但直到最近才出現(xiàn)在Meta Quest Pro 和索尼的 PlayStation VR 2 等消費類耳機中。它的稀有性是由于跟蹤用戶的困難問題眼睛以確定他們的注意力集中在哪里。Apple 于 2017 年收購了領(lǐng)先的眼動追蹤解決方案供應(yīng)商 SensoMotoric Instruments (SMI)，迫使其他公司依賴更新的替代方案或設(shè)計內(nèi)部解決方案。

像素密度是增強現(xiàn)實的必備條件

對于喜歡 VR 而不是 AR 的發(fā)燒友來說，Apple Vision Pro 中的顯示技術(shù)可能有點矯枉過正。“如果我們深入研究屏幕技術(shù)本身，最好的總結(jié)方法是，對于許多用例來說，它并不重要，”空間計算顧問兼“ Reality Check ”一書的作者Jeremy Dalton說。Dalton 指出，大多數(shù)消費類 AR/VR 耳機用于游戲、電影和完全身臨其境的 3D 體驗。提高清晰度雖然很不錯，但在Beat Saber中重擊曲目或探索 Meta 的 Horizon Worlds 時并不是必需的。

蘋果有不同的受眾。它的演示沒有提到元宇宙，只是簡單地提到了游戲。該公司轉(zhuǎn)而專注于視頻通話、攝影、辦公效率和 AR 娛樂。這些場景極大地增加了對分辨率的需求，因為用戶將同時與真實和虛擬對象交互。

“他們絕對想支持直通用例。您需要使用顯示器向用戶展示他們自己的環(huán)境。這是至關(guān)重要的，”米勒說。“為了創(chuàng)造這種體驗，讓它變得可信，這是你需要所有這些高分辨率的最重要原因。”

極高的像素密度為有用的 AR 應(yīng)用程序打開了大門，這些應(yīng)用程序不會增加上一代 AR 顯示模型的眼睛疲勞。

當前的耳機無法提供真實感。我在 CES 2023 上試用過的HTC Elite XR提供了迄今為止我遇到過的最具吸引力的直通模式，但與現(xiàn)實世界的物體交互仍然很尷尬。Meta 的 Quest Pro 更沒有說服力。為 The Verge 審查耳機的Adi Robertson抱怨說“Meta 的顏色直通看起來與現(xiàn)實世界完全不同。”

“例如，當您要提供高端培訓(xùn)時，高端屏幕最有意義。NASA 使用 Varjo 進行宇航員訓(xùn)練，”Dalton 說。Apple 沒有為宇航員打造 Vision Pro，但高密度像素在更平凡的任務(wù)中仍然有用，也是。宇航員需要敏銳的眼光才能看到和讀取航天器駕駛艙中的小儀表和刻度盤。其他人都需要它來舒適地閱讀印刷文檔或使用智能手機。

“我希望設(shè)備在這些場景中表現(xiàn)出色，”道爾頓說。“生產(chǎn)力往往非常基于文本。觀看體驗越好，壓力越小，你能堅持的時間就越長。”