科學家和工程師們正在聯合開發搭載 NVIDIA Jetson 的海底研究助手，以收集有關珊瑚礁、海洋生物和生態系統的數據。

研究人員正在讓機器人“深度學習”深海潛水

圖片來源：Austin Greene, 伍茲霍爾海洋研究所

伍茲霍爾海洋研究所（WHOI）自主機器人與感知實驗室（WARPLab）和麻省理工學院（MIT）正在開發一種用于研究珊瑚礁及其生態系統的機器人。

由 NVIDIA Jetson Orin NX 模塊支持的 WARPLab 自主潛水器（AUV）是這一全球最大的私人海洋研究機構做出的一次努力，以扭轉珊瑚礁減少的趨勢。

根據伍茲霍爾海洋研究所珊瑚礁解決方案倡議（WHOI Reef Solutions Initiative）的數據，在過去三十年中，全球約有 25% 的珊瑚礁消失，剩下的珊瑚礁也大多正在瀕臨滅絕。

這臺名為 CUREE（Curious Underwater Robot for Ecosystem Exploration，好奇的水下生態探索機器人）的自主潛水器，能夠與潛水員一起收集視覺、聲音和其他環境數據，幫助研究人員了解人類對珊瑚礁及其周圍海洋生物的影響。該機器人借助不斷擴展的 NVIDIA Jetson 邊緣 AI 功能，建立起珊瑚礁的 3D 模型，并跟蹤動植物。它還能通過運行模型來實現自主導航和數據收集。

WHOI 的潛水艇曾于 1986 年首次探索泰坦尼克號，研究所目前正在開發用于數據收集的 CUREE 機器人，以擴展這項工作的規模并協助制定緩解策略。該機構還在探索如何使用仿真和數字孿生來更好地復制珊瑚礁的狀況，并研究像 NVIDIA Omniverse（用于構建和連接 3D 工具和應用的開發平臺）這樣的解決方案。

NVIDIA 正在 Omniverse 中創建地球的數字孿生，并正在開發世界上最強大的人工智能超級計算機 Earth-2，用于預測氣候變化。

水下 AI：DeepSeeColor 模型

浮潛過的人都知道，在水下看東西可不像在陸地上那么清晰。隨著距離的增加，水會削弱水下太陽光的可見光譜，使某些顏色比其他顏色更加暗淡。同時，水中的微粒會造成朦朧的視野，即所謂的反向散射。

WARPLab 的一個團隊最近發表了一篇關于海底視覺校正的研究論文，幫助緩解了這些問題，并為 CUREE 的工作提供了幫助。這篇論文描述了一個名為 DeepSeeColor 的模型，該模型在海底使用兩個卷積神經網絡序列減少反向散射，并在 NVIDIA Jetson Orin NX 上實時校正顏色。

麻省理工學院機器人學博士候選人、WARPLab AI 開發者 Stewart Jamieson 表示：“NVIDIA GPU 參與了我們的大部分工作流程。一般來說，當有圖像進來時，我們就會使用 DeepSeeColor 校正顏色，然后就可以探測魚類，并將探測結果傳送給船上的科學家?！?/p>

水下視覺與聽覺：魚類和珊瑚礁探測

CUREE 配備了四個前向攝像頭、四個用于捕捉水下聲音的水聽器以及多個深度傳感器和慣性測量單元傳感器。由于全球定位系統（GPS）無法在水下工作，因此只能在水面上用它來初始化機器人的起始位置。

借助攝像頭、水聽器和在 Jetson Orin NX 上運行的 AI 模型，CUREE 能夠收集數據，并以此制作出珊瑚礁和海底地形的 3D 模型。

為了使用水聽器收集音頻數據，CUREE 需要在關閉馬達的情況下漂浮在水中，以避免干擾音頻。

WARPLab 負責人、WHOI 副研究員 Yogesh Girdhar 表示：“它可以利用不同動物發出的聲音，繪制出珊瑚礁的空間聲景地圖。”他補充道：“我們目前（在后期處理中）可以探測到與生物多樣性熱點相關的所有叫聲所在的位置。”他所指的是海洋生物發出的所有噪聲。

該團隊一直在訓練根據音頻和視頻輸入來追蹤生物的探測模型。但在探測清晰的音頻樣本時，有一種生物的噪音干擾特別大。

Girdhar 提到：“問題在于水下槍蝦的叫聲很大?！痹陉懙厣希绾螌⒙曇魪谋尘霸胍糁蟹蛛x這一經典難題被稱為“雞尾酒會問題”。Girdhar 說：“如果我們能找到一種算法來消除音頻中蝦叫聲的影響就好了，但目前還沒有好的解決方案。”

麻省理工學院 - WHOI 聯合項目博士候選人 Levi Cai 表示，盡管現有的水下數據集很少，但魚類探測和追蹤這一開創性的工作進展很順利。他表示他們正在采用一種半監督方法進行海洋動物追蹤，即通過使用魚類探測神經網絡探測到的目標對追蹤進行初始化。該網絡在開源的魚類探測數據集上訓練而成，這些數據集使用 CUREE 收集到的圖像進行遷移學習并進行微調。

Cai 提到：“我們先手動駕駛潛水器，直到看到想要追蹤的動物，然后點擊它，讓半監督追蹤器接手。”

Jetson Orin 利用能效驅動 CUREE

能效對于像 CUREE 這樣的小型自動潛水器來說至關重要。數據收集所需的計算消耗了約 25% 的可用能源，剩余的能源則用于驅動機器人。

在圣約翰島（美屬維爾京群島島嶼）執行潛水任務的 Girdhar 談到，根據珊瑚礁任務和觀測要求，一般來說，CUREE 充電一次可以工作兩個小時。

為了提高能效，該團隊正在研究使用 AI 來管理傳感器，從而使計算資源能夠在進行觀測時自動喚醒，并在不使用時自動休眠。

Girdhar 表示：“我們的機器人很小，所以用在 GPU 計算上的能量就很重要。借助 Jetson Orin NX，我們解決了功耗問題，它還使我們的系統變得更加穩健?！?/p>

探索如何使用 Isaac Sim 進行改進

WARPLab 團隊正在嘗試使用 NVIDIA Isaac Sim（一款由 Omniverse 提供動力支持、可擴展的機器人仿真應用和合成數據生成工具），以加快 CUREE 自主性和觀測能力的開發。

Yogesh 表示此舉的目標是在 Isaac Sim 中進行簡單的仿真，以便了解需要仿真的問題的核心，然后在真實的海底世界中完成訓練。他表示：“在珊瑚礁環境中，我們不能依賴聲納，而是需要近距離觀察。我們的目標是觀察不同的生態系統和正在發生的過程?！?/p>

了解生態系統并制定緩解策略

WARPLab 團隊打算將 CUREE 平臺提供給他人使用，使人們了解到人類對海底環境造成的影響，并幫助制定緩解策略。

研究人員計劃學習從數據中發現的模式。Jamieson 表示，CUREE 提供了一個幾乎完全自主的數據收集‘科學家’，它可以將研究結果傳達給人類研究人員，“比起整天盯著屏幕、駕駛著它手動完成任務，‘科學家’的收獲多出了不少?！?/p>

Girdhar 表示，可以為珊瑚礁等生態系統構建一個網絡模型，不同節點對應不同類型的物種和棲息地。所有這些不同的相互作用都在這個網絡中發生，研究人員可通過了解這個網絡來了解各種動物與其棲息地之間的關系。

他表示：“我們希望使用 CUREE AUV 收集到足夠多的數據，從而全方位了解生態系統及其如何隨著時間的推移而發展，以及它們如何受到港口、農藥、碳排放和潛水旅游的影響，這樣我們就能更好地設計和落實干預措施，并確定一些問題，比如說假設我們種植新的珊瑚，它們將會如何逐漸改變珊瑚礁。”

訪問鏈接進一步了解 NVIDIA Jetson Orin NX：

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/

Omniverse：

https://www.nvidia.com/en-us/omniverse/

Earth-2：

https://www.nvidia.com/en-us/high-performance-computing/earth-2/

*本文中圖片來源于伍茲霍爾海洋研究所，如您有任何疑問或需要使用該圖片，請聯系伍茲霍爾海洋研究所。