大多數(shù)無人機(jī)檢查工作仍然需要人工檢查視頻中的缺陷。計(jì)算機(jī)視覺可以幫助實(shí)現(xiàn)無人機(jī)檢查的自動化并加快檢查進(jìn)程。但如果缺失大量包含潛在缺陷的標(biāo)記數(shù)據(jù)，那么訓(xùn)練計(jì)算機(jī)視覺模型以實(shí)現(xiàn)自動化檢查這一工作會十分困難。

在一場 NVIDIA GTC 分會上，專家分享了 Exelon 如何在NVIDIA Omniverse中使用Omniverse Replicator進(jìn)行合成數(shù)據(jù)生成，從而自動創(chuàng)建涵蓋各種電網(wǎng)資產(chǎn)缺陷的數(shù)千個已標(biāo)記的逼真示例。本文將重點(diǎn)介紹如何將合成圖像用于訓(xùn)練實(shí)時無人機(jī)檢查模型，以便優(yōu)化電網(wǎng)維護(hù)，提升電網(wǎng)的可靠性和彈性。

項(xiàng)目概述

Exelon 是一家電力公司，其負(fù)責(zé)為美國多地的 1000 多萬客戶提供服務(wù)。

根據(jù)其“Path to Clean”計(jì)劃，這家能源供應(yīng)商計(jì)劃到 2030 年減少 50% 的排放，到 2050 年實(shí)現(xiàn)凈零排放。

該項(xiàng)目能夠?yàn)楣編碓S多好處，包括降低工作人員暴露在危險(xiǎn)現(xiàn)場的風(fēng)險(xiǎn)、減少在審核圖像上花費(fèi)的人工勞動、通過縮短從圖像采集到解決缺陷的時間來提高電網(wǎng)可靠性等。

Exelon 的方法在確定了目標(biāo)電網(wǎng)資產(chǎn)以及圖像數(shù)據(jù)中的相關(guān)缺陷后，會創(chuàng)建一個使領(lǐng)域?qū)＜遥⊿ME）能夠標(biāo)記資產(chǎn)和缺陷的資產(chǎn)圖像標(biāo)記流程。然后，Exelon 與領(lǐng)域?qū)＜乙黄饦?gòu)建、測試并驗(yàn)證計(jì)算機(jī)視覺資產(chǎn)和缺陷檢測模型。最后努力向企業(yè)相關(guān)人員推廣該解決方案。

過程中他們也遇到了許多挑戰(zhàn)。項(xiàng)目需要大量經(jīng)過標(biāo)記的真實(shí)世界缺陷數(shù)據(jù)來訓(xùn)練和測試 AI 模型，Exelon 想知道在Omniverse Replicator中生成的合成數(shù)據(jù)是否能解決這一挑戰(zhàn)。Omniverse Replicator是建立在Omniverse 平臺和通用場景描述（USD）上的一個核心擴(kuò)展程序，能夠生成用于訓(xùn)練計(jì)算機(jī)視覺模型并符合物理學(xué)的合成數(shù)據(jù)。

他們還想建立一個端到端的可擴(kuò)展生態(tài)圈，以便幫助其加快如高壓線、輸電塔、變電站等其他輸配電資產(chǎn)的部署。

無人機(jī)檢查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，該公司為美國馬里蘭州的 100 多萬客戶提供服務(wù)。在對指定目標(biāo)進(jìn)行現(xiàn)場無人機(jī)檢查時，BGE 也會派出一個現(xiàn)場小組，使用無人機(jī)在約 8-15 英尺遠(yuǎn)的地方從正面、側(cè)面、上面、背面等不同角度拍攝多張照片。這主要是為了至少有一張圖像中能看到電線桿、橫擔(dān)、絕緣子、變壓器等資產(chǎn)的任何缺陷。統(tǒng)一的圖像采集流程能夠幫助專家研究如何使用 AI 和計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)自動缺陷檢測。

這個項(xiàng)目集中于識別橫擔(dān)的缺陷，對橫擔(dān)缺陷的識別與修復(fù)將提高系統(tǒng)的可靠性。橫擔(dān)最常見的缺陷是開裂，該缺陷可能會影響所安裝的絕緣子的穩(wěn)定性，并導(dǎo)致客戶停電。

團(tuán)隊(duì)最初使用人工標(biāo)記的地面數(shù)據(jù)訓(xùn)練并驗(yàn)證模型是否能夠準(zhǔn)確檢測和計(jì)算無人機(jī)圖像中的橫擔(dān)。接下來的目標(biāo)是使用經(jīng)過標(biāo)記的真實(shí)世界數(shù)據(jù)以及合成數(shù)據(jù)生成進(jìn)行橫擔(dān)缺陷檢測。Exelon 目前正在真實(shí)圖像與合成圖像上訓(xùn)練其缺陷檢測模型并正在與企業(yè)相關(guān)人員驗(yàn)證模型。

資產(chǎn)檢測模型的訓(xùn)練和評估

由于缺陷檢測中會存在識別物體確切像素等需求，團(tuán)隊(duì)選擇在圖像標(biāo)記工作中使用分割掩碼。

理論上，分割會返回 positive identifications 并能夠識別所有圖像像素及區(qū)分物品。因此這在檢測線性裂縫、接縫、填充物和陰影方面能夠有更好的性能。

Exelon 的數(shù)據(jù)科學(xué)家花費(fèi)了大量時間來測試標(biāo)記圖像，并去理解不同的標(biāo)注技術(shù)會如何影響模型的準(zhǔn)確性。

Exelon 已經(jīng)看到了資產(chǎn)檢測的早期成果，他們知道對多種潛在缺陷的大量標(biāo)記數(shù)據(jù)的缺乏，將使得缺陷檢測變得更加困難。NVIDIA Omniverse和Omniverse Replicator能夠大大提高其構(gòu)建 3D 模型和生成反映現(xiàn)場電網(wǎng)資產(chǎn)缺陷的合成數(shù)據(jù)的能力。

在與 NVIDIA 的合作過程中，Exelon 與 NVIDIA 舉行了多次會議，一起為其架構(gòu)出謀劃策。Exelon 通過Omniverse Replicator生成了不同的橫擔(dān)缺陷，這些缺陷將為檢測模型的訓(xùn)練生成標(biāo)記數(shù)據(jù)。他們同時還使用 Omniverse 按照尺寸、形狀和位置創(chuàng)建了不同類型的橫擔(dān)缺陷。

在生成了足夠多的變化和缺陷后，團(tuán)隊(duì)將輸出結(jié)果添加到整個桿件結(jié)構(gòu)中。然后按照不同的場景、橫擔(dān)數(shù)量和缺陷數(shù)量生成合成圖像。

與第三方一起生成合成圖像

在與 NVIDIA 的討論會議中，Exelon 意識到 3D 建模是一項(xiàng)極具挑戰(zhàn)性的工作，并且超出了其數(shù)據(jù)科學(xué)核心重點(diǎn)。對他們來說需要有經(jīng)驗(yàn)的藝術(shù)家和建模師來構(gòu)建 3D 模型、將其整合到逼真的環(huán)境中并操控照明和場景條件。NVIDIA 幫助 Exelon 與數(shù)家供應(yīng)商建立了聯(lián)系，這些供應(yīng)商正在使用 Omniverse 并為其他公用事業(yè)公司以及公用事業(yè)行業(yè)以外的其他用例提供圖像。

在這次試點(diǎn)中，Exelon 選擇了德勤公司幫助開發(fā)用于橫擔(dān)的合成圖像。德勤使用 Autodesk Maya 構(gòu)建資產(chǎn)和缺陷的 3D 模型，然后使用 Epic 虛幻引擎進(jìn)一步開發(fā)出逼真的周邊環(huán)境，并將精準(zhǔn)的照明和場景條件導(dǎo)入到 Omniverse。最后，他們的設(shè)計(jì)師和開發(fā)人員一起輸出用于訓(xùn)練缺陷檢測模型的標(biāo)記圖像。

未來的重點(diǎn)領(lǐng)域和機(jī)遇

Exelon 的最終目標(biāo)是創(chuàng)建一個端到端的可擴(kuò)展生態(tài)圈，可以利用這個生態(tài)圈從一種資產(chǎn)擴(kuò)展到另一種資產(chǎn)。比如從橫擔(dān)開始，一直擴(kuò)展到其輸配電、石油和天然氣資產(chǎn)。

構(gòu)建分析產(chǎn)品需要整個團(tuán)隊(duì)的努力。通過與 NVIDIA 和德勤合作，Exelon 推動了合成圖像的生成并使其能夠在外部專家的幫助下建立 3D 模型、設(shè)計(jì)背景和標(biāo)記圖像。德勤正在圍繞 Omniverse 來集成所有可用于創(chuàng)建 3D 圖像的工具，并提供開發(fā)大型橫擔(dān)數(shù)據(jù)集所需的框架。

在圖像采集中利用智能技術(shù)仍將是 Exelon 和其他公用事業(yè)公司的重點(diǎn)。如果這個項(xiàng)目取得成功，Exelon 將能夠擴(kuò)展到其他輸配電資產(chǎn)，比如電線桿、變壓器、絕緣子插銷、橫擔(dān)支架或輸電塔等。

審核編輯：劉清