電子發(fā)燒友網(wǎng)報道（文/吳子鵬）機器視覺起源于20世紀50年代。近幾年，隨著邊緣智能需求爆發(fā)，機器視覺發(fā)展換擋提速。根據(jù)前瞻產(chǎn)業(yè)研究院的統(tǒng)計數(shù)據(jù)，2023年全球機器視覺市場規(guī)模約為130億美元，預計2024-2029年將以20%左右的年復合增長率高速增長，到2029年市場規(guī)模達到近400億美元。

在機器視覺應用快速增長的過程中，傳統(tǒng)基于CMOS傳感器、CCD傳感器或RGBD的相機，在捕捉場景中的運動變化，以及無“事件”發(fā)生時的功耗等方面遇到了一定的瓶頸，EVS（基于事件的視覺傳感器）成為打造機器視覺應用的新選擇。

在2024中國（上海）機器視覺展暨機器視覺技術及工業(yè)應用研討會（VisionChina（上海）2024）上，Prophesee銷售總監(jiān)高喆敏在接受電子發(fā)燒友網(wǎng)記者采訪時表示，傳統(tǒng)相機有一個重要指標是幀率，也就是通過每秒捕捉一些靜止幀來表現(xiàn)運動，并不具備動態(tài)捕獲的能力 ，由于傳統(tǒng)相機受限于曝光時間，所以無法捕捉每一幀之間的信息的，這與人眼的工作原理是完全不同的。EVS則是模擬人眼感知光的原理，我們設計了像視網(wǎng)膜感光細胞一樣工作的像素，EVS中所有的像素都是獨立和異步的，所以它們只會在場景發(fā)生變化時做出反應，上報事件即event。這樣的工作原理讓它兼具：超高速、小數(shù)據(jù)量、低功耗等優(yōu)勢。

高喆敏強調(diào)，在EVS相機中，每個像素只在感覺到運動時才被觸發(fā)，且每一個像素都是完全獨立的。當像素捕捉光的亮度超過閾值后就會被檢測為事件，然后輸出事件像素的坐標、時間和極性信息。和傳統(tǒng)相機相比，EVS相機能夠捕獲的信息不會逐幀到達，也就不存在幀與幀之間的損失。由于EVS的像素不是同步而是異步的，因此時間域上是非常稠密的，Prophesee已經(jīng)量產(chǎn)的傳感器芯片可以等效每秒10000幀的傳統(tǒng)傳感器。并且，每個像素只有在被觸發(fā)時才會記錄，數(shù)據(jù)量是非常小的，并不需要很高的處理器性能和傳輸帶寬，功耗低是EVS天然的優(yōu)勢。

在VisionChina（上海）2024上，Prophesee展示了多款基于EVS相機的demo，包括顆粒檢測、振動監(jiān)測、運動捕捉，以及采用ST MCU和AMD芯片打造的高級應用。

基于EVS的振動監(jiān)測

Prophesee演示了基于EVS相機的振動監(jiān)測應用。傳感器可以監(jiān)測馬達和電刷的振動，打造一個非接觸式的解決方案。然后通過軟件界面上的數(shù)據(jù)，就可以準確獲取到電機系統(tǒng)每一個部分的振動情況，當檢測到振動數(shù)值超出設定數(shù)值后，系統(tǒng)就會報警。在演示案例中，Prophesee的方案能夠覆蓋1Hz到kHz范圍的振動范圍，提供1個像素的精度。



高喆敏談到，由于EVS相機在時間域上是非常稠密的，通過跟蹤場景中每個像素的時間演變，能夠連續(xù)遠程監(jiān)控振動頻率，具有像素精度。因此，EVS相機在工業(yè)設備檢測上不會丟失關鍵信息，這是一個非常大的優(yōu)勢，有助于實現(xiàn)更好的設備維護。

基于EVS的運動檢測

Prophesee還演示了基于EVS相機的運動檢測應用。通過XYT查看器可視化事件數(shù)據(jù)，揭露物體在時間和空間上連續(xù)變化的信息。如上所述，在這個應用中，EVS相機可以揭示幀與幀之間的不可見內(nèi)容，并且可以放大時間，了解場景中的細微運動。



針對運動檢測應用，高喆敏說，EVS在捕獲運動信息時，不會呈現(xiàn)傳統(tǒng)相機提供的色彩、紋理和灰度值等信息，只能看到物理運動的邊緣信息，這個邊緣信息在時間戳上是非常稠密的。之所以能夠做到這樣連續(xù)的邊緣信息輸出，得益于EVS另一個顯著的特征：快，通過快速捕獲動態(tài)信息的變化，克服了傳統(tǒng)相機在拍攝高速運動物體時掉幀的問題。

基于第三方計算芯片打造的高級功能

Prophesee也展示了基于第三方計算芯片打造的高級功能。比如，在基于成本優(yōu)化的MCU平臺上演示數(shù)據(jù)流、以及端到端延遲事件處理實驗。這個demo選擇的就是市面上非常常見的ST MCU。



基于ST MCU的demo演示專為嵌入式應用設計，提供320×320 像素采用1/5光學格式，像素延遲@1k lux <150μs，動態(tài)范圍為>120 dB。這個demo的典型應用場景包括：

·AR/VR/XR和可穿戴設備
·眼動追蹤
·手勢識別
·IoT和智能家居
·邊緣AI算法和機器學習
·Always on cameras
·醫(yī)療健康（保護隱私）攝像頭

高喆敏表示，在這個demo里Prophesee的EVS傳感器提供超低功耗模式，相關應用的能效表現(xiàn)會非常好。在方案設計上，EVS相機不需要傳統(tǒng)相機所需的ISP模塊，能夠進一步降低方案成本。

另一款demo是Prophesee攜手AMD推出的業(yè)界首款兼容 Kria? KV260視覺AI入門套件的事件視覺解決方案，專為高級視覺應用開發(fā)而構建，無需開發(fā)者擁有復雜的硬件設計知識或 FPGA 編程技能。



該套件中包含一款突破性的即插即用主動光通信（Active Markers Tracking）應用程序，支持>1,000Hz的3D位姿估算（3D pose estimation），能夠在像素級別上完全消除背景干擾，同時在復雜的照明條件下提供極高的魯棒性。該款應用程序展現(xiàn)了Prophesee Metavision 事件視覺技術的獨特功能，為實現(xiàn)一系列全新的超高速跟蹤用例提供了助力，如游戲控制器跟蹤、建筑工地安全、重載防搖擺系統(tǒng)等。

產(chǎn)品迭代和資源支持

在產(chǎn)品迭代上，目前Prophesee已經(jīng)發(fā)布第五代EVS傳感器。第四代產(chǎn)品的空間分辨率是1280×720，是一個百萬像素級的產(chǎn)品。第五代產(chǎn)品的空間分辨率是320×320，是一個十萬級像素的產(chǎn)品。兩者之間的目標應用有明顯的差異。同時，為了進一步體現(xiàn)低功耗的屬性，第五代EVS傳感器提供超低功耗的模式，可以分區(qū)感受環(huán)境的變化，打造目前熱門的“always on”應用。高喆敏稱，在超低功耗模式下，Prophesee第五代EVS傳感器的功耗是微瓦級的。

為了幫助開發(fā)人員更好地運用EVS相機打造機器視覺應用，Prophesee不僅是提供傳感器，也提供配套的開發(fā)資源，包括開發(fā)板和SDK等。同時，Prophesee也在積極籌建和運營EVS技術社群，讓更多開發(fā)人員了解和參與到EVS相機的生態(tài)建設中。

結語

EVS相機的出現(xiàn)，解決了傳統(tǒng)相機每一幀捕獲的信息并不存在動態(tài)信息，且每一幀之間的信息無法被捕捉的痛點，以模仿人眼的機制構建了一個機器視覺的新范式。EVS相機不僅能夠連續(xù)捕捉動態(tài)信息，且天然具有低功耗的特性，加上非常小的數(shù)據(jù)量傳輸，能夠顯著降低機器視覺的硬件門檻，讓更多應用受益于這項先進的技術。