作者：鄭文博, 李強(qiáng), 劉文禮, 費(fèi)愛國(guó), 王飛躍

元宇宙深沉浸、虛實(shí)相生的特性為作戰(zhàn)建模的發(fā)展提供了新的技術(shù)，對(duì)此，提出了面向城市作戰(zhàn)的一種新型的數(shù)據(jù)知識(shí)驅(qū)動(dòng)的元宇宙建?？蚣??；诖丝蚣埽\(yùn)用知識(shí)圖譜、生成式對(duì)抗網(wǎng)絡(luò)等相關(guān)理論和方法，探究元宇宙情景下的城市作戰(zhàn)環(huán)境本體建模問(wèn)題，設(shè)計(jì)了元宇宙城市作戰(zhàn)模型的改進(jìn)案例方案，以達(dá)到表現(xiàn)力好、擴(kuò)展性強(qiáng)，并進(jìn)行了相關(guān)定量實(shí)驗(yàn)驗(yàn)證。面向城市作戰(zhàn)的元宇宙建?？蚣苡型蔀閷?shí)現(xiàn)虛實(shí)融合的智能決策的新設(shè)計(jì)范式。

2021年被稱為元宇宙元年，隨著當(dāng)年10月Facebook公司更名為“Meta”，“元宇宙”（Metaverse）這一概念被點(diǎn)燃和引爆，迅速引起世界各國(guó)的廣泛關(guān)注。元宇宙概念最早來(lái)源于1992年美國(guó)科幻小說(shuō)《雪崩》。但在上世紀(jì)90年代，錢學(xué)森先生就在書信中將虛擬現(xiàn)實(shí)（virtual reality）技術(shù)，稱之為符合中國(guó)傳統(tǒng)文化語(yǔ)境的“靈境”，“靈境”能夠擴(kuò)展人腦的感知，從而使人進(jìn)入到前所未有的新空間，這一重要思考被認(rèn)為是我國(guó)對(duì)元宇宙的思想啟蒙雛形。從認(rèn)知概念上講，元宇宙是整合虛擬現(xiàn)實(shí)技術(shù)、人工智能技術(shù)、數(shù)字孿生技術(shù)等多種信息高新技術(shù)而誕生的新型智能運(yùn)用和社會(huì)形態(tài)。

元宇宙時(shí)代的到來(lái)將帶來(lái)一場(chǎng)“技術(shù)革命”，尤其是在實(shí)現(xiàn)身臨其境的態(tài)勢(shì)感知方面。之前的研究表明，繼機(jī)械化、電氣化、信息化、網(wǎng)絡(luò)化之后，面向平行化技術(shù)的指揮與控制體系、理論、方法和技術(shù)，即5.0的平行指揮與控制，是未來(lái)技術(shù)的發(fā)展方向。其核心思路是虛實(shí)交互的ACP方法，通過(guò)物理實(shí)際環(huán)境與虛擬信息系統(tǒng)之間的虛實(shí)交互進(jìn)行計(jì)算與數(shù)字化模擬來(lái)完成給定軍事行動(dòng)及目標(biāo)，并能反饋實(shí)時(shí)效果，提升了作戰(zhàn)能力與作戰(zhàn)效果，這也暗合了孫子的“夫未戰(zhàn)而廟算勝者，得算多也”的道理。沿著先前研究進(jìn)行深入研究，本文聚焦“元宇宙”中的軍事斗爭(zhēng)或?qū)a(chǎn)生的新作戰(zhàn)形態(tài)與新樣式。

隨著現(xiàn)代化戰(zhàn)爭(zhēng)的發(fā)展，大規(guī)模陸?？兆鲬?zhàn)可能將要成為不可及的未來(lái)。目前，世界局勢(shì)以多點(diǎn)爆發(fā)的城市暴亂為主，也就是圍繞城市爭(zhēng)奪和城市巷戰(zhàn)展開，例如俄烏之戰(zhàn)下的基輔。城市化的不斷發(fā)展也使得城市作戰(zhàn)逐步成為現(xiàn)代戰(zhàn)爭(zhēng)的一種重要作戰(zhàn)形式。本文利用人工智能技術(shù)，著眼于城市作戰(zhàn)（urban warfare）這一作戰(zhàn)形式進(jìn)行探索，提出了一套新型的數(shù)據(jù)知識(shí)驅(qū)動(dòng)的研究框架，其目的在于彌補(bǔ)現(xiàn)有建模表現(xiàn)力不足、擴(kuò)展性不強(qiáng)的問(wèn)題。并基于此框架，設(shè)計(jì)了針對(duì)問(wèn)題的案例分析與實(shí)驗(yàn)設(shè)計(jì)，案例和實(shí)驗(yàn)說(shuō)明了本框架的合理性與有效性。

?

1?相關(guān)工作與問(wèn)題提出

元宇宙建模實(shí)際上是作戰(zhàn)環(huán)境建模問(wèn)題，它本質(zhì)上是營(yíng)造一個(gè)面向各類受訓(xùn)人員的、貼近實(shí)戰(zhàn)的訓(xùn)練環(huán)境，能夠?qū)ψ鲬?zhàn)計(jì)劃進(jìn)行科學(xué)的模擬檢驗(yàn)，能夠?qū)ψ鲬?zhàn)行動(dòng)進(jìn)行輔助決策，能夠?qū)ψ鲬?zhàn)環(huán)境建設(shè)、環(huán)境態(tài)勢(shì)認(rèn)知等進(jìn)行預(yù)測(cè)與估計(jì)。美軍充分認(rèn)識(shí)到現(xiàn)代化戰(zhàn)爭(zhēng)對(duì)作戰(zhàn)環(huán)境建模保障的迫切需求。自2004年以來(lái)，美軍在理論上進(jìn)入了以“數(shù)字為中心”的地理空間情報(bào)（geospatial intelligence，GEOINT）時(shí)代，摒棄了傳統(tǒng)的紙質(zhì)地圖。值得注意的是，美軍已經(jīng)使用“元宇宙”的相關(guān)技術(shù)進(jìn)行部隊(duì)的合成訓(xùn)練；在2019年，美軍啟動(dòng)高逼真度、高分辨率虛擬世界建設(shè)項(xiàng)目，為部隊(duì)遂行全球作戰(zhàn)任務(wù)打造更高質(zhì)量的訓(xùn)練環(huán)境合成訓(xùn)練環(huán)境（synthesis environment training，SET），把作戰(zhàn)環(huán)境建模為一個(gè)統(tǒng)一的“元宇宙”空間，使士兵和指揮作戰(zhàn)人員實(shí)現(xiàn)多層級(jí)/多領(lǐng)域戰(zhàn)術(shù)和指揮訓(xùn)練，通過(guò)逼近真實(shí)的作戰(zhàn)環(huán)境中反復(fù)訓(xùn)練提升其作戰(zhàn)能力?？梢?，研究面向“元宇宙”的作戰(zhàn)環(huán)境建模是現(xiàn)代化戰(zhàn)爭(zhēng)的必要手段之一。但是當(dāng)前元宇宙建模，還存在著以下兩個(gè)缺陷：

1）元宇宙建模真實(shí)感不強(qiáng)

當(dāng)前的元宇宙建模環(huán)境雖然擁有海量數(shù)據(jù)的場(chǎng)景建模，嵌入物理模型，模擬實(shí)時(shí)的光照和紋理，支持高精度碰撞檢測(cè)，但真實(shí)感比較低，與真實(shí)物理環(huán)境差異較大，無(wú)法充分表現(xiàn)環(huán)境信息。

2）元宇宙建模擴(kuò)展性不強(qiáng)

真實(shí)的物理環(huán)境是由海、陸、空及復(fù)雜的電磁環(huán)境構(gòu)成的，而且千絲萬(wàn)縷的聯(lián)系存在于各環(huán)境之間。這種復(fù)雜情景和聯(lián)系毫無(wú)疑問(wèn)地影響著作戰(zhàn)人員及裝備的作戰(zhàn)性能。由于目前的環(huán)境本體建模是按照要素劃分的，難以呈現(xiàn)各要內(nèi)部之間的聯(lián)系，也就更加難以建立科學(xué)的、可信的環(huán)境模型；任何區(qū)域的作戰(zhàn)環(huán)境狀態(tài)具有鮮明的時(shí)變性、動(dòng)態(tài)性，這就要求作戰(zhàn)環(huán)境模型不僅要了解作戰(zhàn)環(huán)境的基本特征，還要能夠作戰(zhàn)人員協(xié)同編輯，并且可以科學(xué)預(yù)測(cè)其動(dòng)態(tài)變化趨勢(shì)，掌握其發(fā)展變化規(guī)律。換句話說(shuō)，元宇宙建模需要可拓展和可編輯。

2?新型元宇宙框架的構(gòu)建

如圖1所示，先前的研究[5]提出了平行軍事與ACP方法，其主要觀點(diǎn)是構(gòu)建虛擬系統(tǒng)，與現(xiàn)實(shí)系統(tǒng)一同虛實(shí)交互，進(jìn)行推演計(jì)算與涌現(xiàn)演化。關(guān)鍵是交互的構(gòu)造方式與演化方法。另一方面，知識(shí)在交互應(yīng)用中起到了不可忽視的作用?！爸R(shí)就是力量”，知識(shí)自動(dòng)化的運(yùn)用是傳統(tǒng)空間中信息自動(dòng)化的自然延伸與提高，?也是轉(zhuǎn)向元宇宙空間的智能化的基礎(chǔ)，進(jìn)而實(shí)現(xiàn)能夠動(dòng)態(tài)變化、實(shí)時(shí)反饋的智能化元宇宙建模。據(jù)此，提出引入結(jié)構(gòu)化知識(shí)，并建立為知識(shí)空間的表征，然后與元宇宙空間結(jié)合起來(lái)。深度學(xué)習(xí)、知識(shí)圖譜、大數(shù)據(jù)等新興技術(shù)是其技術(shù)的核心支持。從本質(zhì)上講，這種框架的基本思想是將結(jié)構(gòu)化的人類知識(shí)構(gòu)建為復(fù)雜系統(tǒng)的虛擬代理，并在此基礎(chǔ)上進(jìn)行定量的計(jì)算實(shí)驗(yàn)，以更有效地解決復(fù)雜問(wèn)題。

圖 1?平行智能與元宇宙

Fig. 1??Parallell Intelligence and Metaverse

由此，利用本體技術(shù)對(duì)針對(duì)元宇宙城市作戰(zhàn)環(huán)境的數(shù)字資源中不同層次的概念、實(shí)體、關(guān)系等進(jìn)行知識(shí)抽取，從而構(gòu)建數(shù)字資源語(yǔ)義的作戰(zhàn)環(huán)境模型。資源標(biāo)引和實(shí)體或者事理關(guān)聯(lián)構(gòu)建是元宇宙城市作戰(zhàn)模型的關(guān)鍵，也是利用數(shù)字資源實(shí)現(xiàn)元宇宙敘事的基礎(chǔ)。元宇宙城市作戰(zhàn)模型的構(gòu)建要進(jìn)行知識(shí)獲取，針對(duì)不同結(jié)構(gòu)的、不同來(lái)源的數(shù)據(jù)進(jìn)行知識(shí)獲取要有不同方法，但是無(wú)論哪種都需要從數(shù)據(jù)源中獲取描述實(shí)體關(guān)系信息，構(gòu)建三元組形式，需要對(duì)知識(shí)信息執(zhí)行特定操作以提取出關(guān)鍵的數(shù)據(jù)信息；具體來(lái)說(shuō)，要從數(shù)據(jù)源與第三方數(shù)據(jù)庫(kù)中提取出知識(shí)實(shí)體、關(guān)系和屬性，在此過(guò)程中要結(jié)合自動(dòng)化和半自動(dòng)化技術(shù)把這些提取內(nèi)容以邏輯順序的形式存儲(chǔ)。其次，利用人工智能技術(shù)實(shí)現(xiàn)實(shí)體對(duì)齊、本體構(gòu)建、知識(shí)表示與知識(shí)推理等一系列操作。

如圖2所示，作戰(zhàn)環(huán)境模型的總體部署框架包括基礎(chǔ)數(shù)據(jù)層、知識(shí)建模層、知識(shí)計(jì)算層和智能應(yīng)用層，如下：

1）基礎(chǔ)數(shù)據(jù)層：它是元宇宙城市作戰(zhàn)模型的數(shù)據(jù)基礎(chǔ)，主要包括事件、地理信息、環(huán)境實(shí)體、氣象、海洋、電磁、網(wǎng)絡(luò)等基礎(chǔ)數(shù)據(jù)，知識(shí)存儲(chǔ)模態(tài)包括文本、圖像、視頻、音頻、地圖等。

2）知識(shí)建模層：它是元宇宙城市作戰(zhàn)模型的核心計(jì)算引擎，主要實(shí)現(xiàn)由多源異構(gòu)信息構(gòu)造具有表現(xiàn)力的仿真模型和具有擴(kuò)展性的多模態(tài)知識(shí)圖譜（詳細(xì)見第3節(jié)案例設(shè)計(jì)），能夠?qū)崿F(xiàn)自動(dòng)的知識(shí)抽取、知識(shí)表示、知識(shí)關(guān)聯(lián)和知識(shí)推理等。

3）知識(shí)計(jì)算層：它主要包括元宇宙作戰(zhàn)建模的環(huán)境綜合要素表達(dá)、可視分析和知識(shí)計(jì)算三個(gè)模塊，能夠?qū)崿F(xiàn)環(huán)境影響模擬、知識(shí)推理、知識(shí)搜索、圖計(jì)算等分析計(jì)算功能。

4）智能應(yīng)用層：它主要是面向多種典型城市作戰(zhàn)場(chǎng)景，實(shí)現(xiàn)城市作戰(zhàn)環(huán)境信息的推理與關(guān)聯(lián)分析等智能服務(wù)應(yīng)用。

圖2 數(shù)據(jù)知識(shí)驅(qū)動(dòng)的城市作戰(zhàn)元宇宙建模框架

Fig. 2 Data-knowledge-driven metaverse intelligence framework

3?案例設(shè)計(jì)

本文采用深度學(xué)習(xí)為主要研究手段，運(yùn)用知識(shí)圖譜、生成式對(duì)抗網(wǎng)絡(luò)、“元宇宙”等相關(guān)理論和方法，結(jié)合提出的數(shù)據(jù)知識(shí)驅(qū)動(dòng)的新型框架，針對(duì)以實(shí)現(xiàn)傳統(tǒng)作戰(zhàn)環(huán)境建模的表現(xiàn)力差、擴(kuò)展性弱的現(xiàn)狀進(jìn)行一種改進(jìn)，即案例分析：1）針對(duì)現(xiàn)有作戰(zhàn)環(huán)境建模表現(xiàn)力不足的問(wèn)題，利用生成式對(duì)抗網(wǎng)絡(luò)來(lái)生成與擴(kuò)充具有真實(shí)感的數(shù)據(jù)，以圖像數(shù)據(jù)為例，結(jié)合人類的視覺信息的規(guī)律設(shè)計(jì)結(jié)構(gòu)化知識(shí)模型；2）針對(duì)現(xiàn)有作戰(zhàn)環(huán)境建模擴(kuò)展性不強(qiáng)的問(wèn)題，利用知識(shí)圖譜的優(yōu)良性能完成作戰(zhàn)環(huán)境的本體描述，引入人類元認(rèn)識(shí)的結(jié)構(gòu)化元學(xué)習(xí)，設(shè)計(jì)元宇宙框架的知識(shí)模型協(xié)同編輯技術(shù)。

3.1基于生成式對(duì)抗網(wǎng)絡(luò)的表現(xiàn)力改進(jìn)設(shè)計(jì)

元宇宙城市作戰(zhàn)建模的復(fù)雜性決定了城市元宇宙所在的虛實(shí)空間的數(shù)據(jù)具有高維、極其巨大空間，按現(xiàn)有深度學(xué)習(xí)技術(shù)對(duì)這樣高維巨大空間進(jìn)行表征和描述，所亟需的數(shù)據(jù)量遠(yuǎn)超想象。但有效數(shù)據(jù)樣本不足和海量數(shù)據(jù)標(biāo)注困難一直是元宇宙城市作戰(zhàn)建模研究的瓶頸問(wèn)題。獲取這種數(shù)據(jù)的一種途徑是通過(guò)積累歷史數(shù)據(jù)，但由于歷史數(shù)據(jù)往往難以獲取且成本昂貴，所以很難展開系統(tǒng)的研究。另一種途徑是通過(guò)仿真得到數(shù)據(jù)，但想要得到真實(shí)多樣的樣本，仍然非常困難。

2014年，人工智能領(lǐng)域知名專家古德菲勒提出一種新型生成式模型——生成式對(duì)抗網(wǎng)絡(luò)，這種模型主要采用博弈思想和深度學(xué)習(xí)的技術(shù)來(lái)生成數(shù)據(jù)。生成式對(duì)抗網(wǎng)絡(luò)，一般來(lái)說(shuō)，是由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成，即生成器和判別器。生成器通過(guò)接受給定的輸入，不斷生成某一樣本；判別器主要負(fù)責(zé)生成器的優(yōu)化，隨著時(shí)間的積累越來(lái)越詳細(xì)地告知生成器怎樣更新和迭代。換言之，生成器嘗試不停生成新樣本，判別器聯(lián)動(dòng)地判定樣本是否真實(shí)。兩者在此過(guò)程中都不斷更新自身，直到完成博弈平衡，也就是假樣本與真樣本完全不可區(qū)分。在模擬作戰(zhàn)環(huán)境方面，以圖像信息為例，可將生成圖像生成擴(kuò)充為真實(shí)樣式（內(nèi)容、風(fēng)格）圖像，模擬真實(shí)光線，給定特定天氣和特殊地點(diǎn)，從而生成與擴(kuò)充各種虛擬作戰(zhàn)環(huán)境數(shù)據(jù)。

但是，目前的生成式對(duì)抗網(wǎng)絡(luò)技術(shù)用以生成與擴(kuò)充數(shù)據(jù)并非沒有不足。以圖像信息為例，可以分為兩類主流方法：特征級(jí)的生成式對(duì)抗網(wǎng)絡(luò)方法（例如最大均值差、相關(guān)距離、對(duì)抗識(shí)別器精度），在沒有任何標(biāo)定目標(biāo)樣本的情況下，這些方法將會(huì)導(dǎo)致較高級(jí)別的深度表征的對(duì)齊可能無(wú)法模擬對(duì)于其他視覺任務(wù)至關(guān)重要的較低級(jí)的信息或者特征的改變；像素級(jí)的生成式對(duì)抗網(wǎng)絡(luò)模型，如CycleGAN、DiscoGAN、UNIT、DRIT等，可以進(jìn)行與特征的對(duì)齊相似的分布對(duì)齊。這類方法雖保留了自然場(chǎng)景中的局部?jī)?nèi)容，但沒有考慮到視覺效果逼真設(shè)計(jì)，導(dǎo)致生成的圖像看起來(lái)不真實(shí)。

圖3?基于新型生成式對(duì)抗網(wǎng)絡(luò)的生成與擴(kuò)充技術(shù)

Fig. 3 ?A novel generation and expansion technology based on generative adversarial network

圖4?受人類視覺系統(tǒng)啟發(fā)的生成式對(duì)抗網(wǎng)絡(luò)

Fig. 4?A novel generative adversarial network inspired by the human visual system

3.2基于知識(shí)圖譜的擴(kuò)展性改進(jìn)設(shè)計(jì)

元宇宙環(huán)境面臨環(huán)境要素維度多、裝備類型多、對(duì)象目標(biāo)多、對(duì)象對(duì)手多等問(wèn)題，信息更加復(fù)雜。元宇宙城市建模主要通過(guò)地圖、影像、各類信息平臺(tái)等工具實(shí)現(xiàn)，在統(tǒng)一時(shí)空框架下，難以充分考慮多種環(huán)境要素的影響，例如對(duì)研究的武器裝備對(duì)元宇宙建模性能的影響，需要充分考慮土質(zhì)、地形、氣象、電磁等多種要素，當(dāng)前的地圖、影像等產(chǎn)品多是單一要素（領(lǐng)域）環(huán)境數(shù)據(jù)，難以實(shí)現(xiàn)全域多維環(huán)境要素的綜合影響分析；再如跨領(lǐng)域的元宇宙建模環(huán)境，需要關(guān)聯(lián)地理空間信息、人工信息等多源要素進(jìn)行綜合分析。元宇宙環(huán)境在統(tǒng)一時(shí)空框架下難以實(shí)現(xiàn)非時(shí)空多源多模態(tài)信息的關(guān)聯(lián)挖掘。作為本體描述技術(shù)的知識(shí)圖譜可有效解決這些問(wèn)題。

知識(shí)圖譜是一種用圖模型來(lái)描述知識(shí)和建模世界萬(wàn)物之間的關(guān)聯(lián)關(guān)系的技術(shù)方法。這一概念由谷歌在2012年提出，它通過(guò)一個(gè)多關(guān)系圖來(lái)表示現(xiàn)實(shí)世界中的實(shí)體和關(guān)系，基本單位是“實(shí)體-關(guān)系-實(shí)體”，圖結(jié)構(gòu)中實(shí)體的關(guān)鍵值與屬性相關(guān)，實(shí)體與實(shí)體之間通過(guò)關(guān)系連接。關(guān)鍵技術(shù)包括命名實(shí)體識(shí)別、關(guān)系抽取、知識(shí)表示、知識(shí)推理、知識(shí)融合等。知識(shí)圖譜技術(shù)已經(jīng)逐漸成為智能認(rèn)知的重要手段，其核心是大規(guī)模的網(wǎng)狀知識(shí)庫(kù)，通過(guò)知識(shí)表示、知識(shí)推理等技術(shù)能夠?qū)崿F(xiàn)不同模態(tài)、不同源、不同領(lǐng)域信息知識(shí)的關(guān)聯(lián)鏈接。知識(shí)圖譜可以將元宇宙建模涉及到多傳感、多模態(tài)、多類別的信息，以及不同來(lái)源、分散無(wú)序、相對(duì)獨(dú)立的數(shù)字對(duì)象進(jìn)行聚類、融合和重組，而且顯式地呈現(xiàn)出不同粒度的知識(shí)。

單個(gè)元宇宙城市環(huán)境要素如地形環(huán)境分析、氣象要素影響等已經(jīng)在各自的領(lǐng)域得到了深入的研究，但該環(huán)境對(duì)作戰(zhàn)行動(dòng)、武器裝備的影響需要綜合考慮全域多維環(huán)境要素的影響，例如地面土質(zhì)、地形起伏、當(dāng)前的降雨、能見度、城鎮(zhèn)的人文構(gòu)設(shè)等均會(huì)對(duì)武器裝備的機(jī)動(dòng)速度、射界產(chǎn)生綜合影響。尚缺乏能夠快速檢索、自動(dòng)關(guān)聯(lián)到全域多維要素的數(shù)據(jù)驅(qū)動(dòng)模型。

現(xiàn)在常用的基于知識(shí)圖譜的應(yīng)用，大都采用如YAGO、NELL和Wikidata等大型知識(shí)圖譜，這種圖譜通常以（頭尾）實(shí)體對(duì)（節(jié)點(diǎn)）之間的關(guān)系（邊）形式表示事實(shí)。然而，面臨元宇宙環(huán)境的多變性以及復(fù)雜性，即使是大型知識(shí)圖譜對(duì)于其本體描述也是不完整的。另外，大型知識(shí)圖譜中的每個(gè)關(guān)系都需要大量的實(shí)體對(duì)。然而，真實(shí)環(huán)境中的本體關(guān)系的頻率分布往往有長(zhǎng)尾。很大一部分關(guān)系在知識(shí)圖譜中只有少數(shù)實(shí)體對(duì)。知識(shí)圖譜和處理實(shí)體對(duì)數(shù)量有限的關(guān)系是非常重要和具有挑戰(zhàn)性的。在這種情況下，以前的模型假設(shè)所有的關(guān)系都有足夠多的訓(xùn)練實(shí)例，這就造成了模型的不可行性。另一方面，針對(duì)變化的元宇宙城市環(huán)境，知識(shí)圖譜的本體描述不可能是一成不變的。因此，對(duì)于環(huán)境的反饋，對(duì)于修正環(huán)境的本體描述是一種非常重要的手段，而目前的知識(shí)圖譜顯然對(duì)此不支持。

鑒于上面兩個(gè)挑戰(zhàn)，結(jié)合人類元認(rèn)識(shí)的少樣本學(xué)習(xí)或元學(xué)習(xí)，設(shè)計(jì)知識(shí)圖譜構(gòu)造方案以及協(xié)同編輯技術(shù)。一方面，嘗試建立一個(gè)基于少樣本學(xué)習(xí)和元學(xué)習(xí)的關(guān)系模型，目的是學(xué)習(xí)一個(gè)匹配函數(shù)。即使在給定每個(gè)關(guān)系的少量參考實(shí)體對(duì)集合的情況下，該技術(shù)也能夠有效地推斷出真實(shí)的實(shí)體對(duì)；另一方面，本項(xiàng)目嘗試?yán)妙A(yù)訓(xùn)練多模態(tài)模型在數(shù)據(jù)理解和生成方面的出色能力，用于彌合知識(shí)圖譜編碼和協(xié)同編輯內(nèi)容的語(yǔ)義差距，以學(xué)習(xí)原有知識(shí)圖譜和新信息之間的對(duì)應(yīng)關(guān)系。

綜合上述兩點(diǎn)，整體技術(shù)期待可以解決目前模型擴(kuò)展性不強(qiáng)的問(wèn)題。

具體來(lái)說(shuō)，元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識(shí)圖譜采用“自頂向下”方法構(gòu)建，主要分為模式層和數(shù)據(jù)層構(gòu)建，如圖5所示。模式層主要是作戰(zhàn)環(huán)境各要素本體和概念，數(shù)據(jù)層主要是作戰(zhàn)環(huán)

境各要素實(shí)體和相關(guān)屬性，其思路是根據(jù)本體概念分類體系實(shí)現(xiàn)地理本體和概念的構(gòu)建，然后基于地質(zhì)、地形、氣象、海洋、電磁、網(wǎng)絡(luò)等領(lǐng)域數(shù)據(jù)，實(shí)現(xiàn)實(shí)體和相關(guān)屬性的抽取，利用知識(shí)融合方法實(shí)現(xiàn)跨域、多源異構(gòu)作戰(zhàn)環(huán)境數(shù)據(jù)的關(guān)聯(lián)融合，最終形成元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識(shí)圖譜。但這種城市作戰(zhàn)的知識(shí)圖譜有著擴(kuò)展性不強(qiáng)的弊端，因此，通過(guò)下面的方式來(lái)完善：在知識(shí)圖譜的構(gòu)建中，運(yùn)用新型的基于元學(xué)習(xí)（少樣本學(xué)習(xí)）的關(guān)系學(xué)習(xí)模型，旨在通過(guò)作戰(zhàn)士兵或者前線的少量發(fā)現(xiàn)增補(bǔ)新關(guān)系的事實(shí)。該模型意圖有效地從異質(zhì)圖結(jié)構(gòu)中捕獲知識(shí)，聚合少數(shù)樣本的表示，并為每個(gè)關(guān)系匹配相似實(shí)體對(duì)。具體來(lái)說(shuō)，首先，意圖構(gòu)建一個(gè)關(guān)系感知的異質(zhì)鄰居編碼器，以學(xué)習(xí)基于異質(zhì)圖結(jié)構(gòu)和注意力機(jī)制的實(shí)體嵌入、捕捉到不同的關(guān)系類型和本地鄰居的影響差異。接著，擬設(shè)計(jì)一個(gè)遞歸自動(dòng)編碼器的聚合網(wǎng)絡(luò)，來(lái)模擬幾張照片的參考實(shí)體對(duì)的相互作用，并積累它們對(duì)每個(gè)關(guān)系的表達(dá)能力。在少量樣本的聚合嵌入的情況下，擬采用一個(gè)匹配網(wǎng)絡(luò)來(lái)發(fā)現(xiàn)相似實(shí)體對(duì)?；谠獙W(xué)習(xí)的元訓(xùn)練的梯度下降法被用來(lái)優(yōu)化模型參數(shù)。學(xué)到的模型可以進(jìn)一步應(yīng)用于推斷任何新關(guān)系的真實(shí)實(shí)體對(duì)，而無(wú)需任何微調(diào)步驟。

為了實(shí)現(xiàn)協(xié)同編輯，進(jìn)一步地提出新型的基于預(yù)訓(xùn)練多模態(tài)模型和元學(xué)習(xí)的知識(shí)圖譜協(xié)同編輯技術(shù)，如圖6所示。為了彌補(bǔ)語(yǔ)義上的差距，通過(guò)圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并編碼來(lái)自知識(shí)圖譜的表征和基于預(yù)訓(xùn)練多模態(tài)模型的編輯過(guò)的實(shí)體表征之間的對(duì)應(yīng)關(guān)系來(lái)加強(qiáng)表征的一致性。為了將編輯過(guò)的實(shí)體輸入知識(shí)圖譜，提出了一個(gè)基于關(guān)系的廣度優(yōu)先搜索策略，將知識(shí)圖譜線性化為一個(gè)規(guī)劃良好的實(shí)體序列。從而實(shí)現(xiàn)了編輯小樣本或者少樣本的情況下，知識(shí)圖譜可以動(dòng)態(tài)更新，以至于達(dá)到協(xié)同編輯的目的。

圖5?元宇宙城市作戰(zhàn)知識(shí)圖譜構(gòu)建

Fig. 5 Knowledge graph for urban warfare in the metaverse

圖6?基于知識(shí)圖譜的協(xié)同編輯技術(shù)?

Fig. 6 ?Knowledge graph-based collaborative editing

4?案例實(shí)驗(yàn)與分析

結(jié)合之前的第2章和第3章節(jié)進(jìn)行元宇宙建模的案例實(shí)驗(yàn)，進(jìn)行框架的部署，使用OpenKG的中國(guó)地理信息圖譜進(jìn)行實(shí)驗(yàn)驗(yàn)證；對(duì)于第3章案例設(shè)計(jì)中相關(guān)設(shè)計(jì)進(jìn)行定量對(duì)比實(shí)驗(yàn)。此外，將上述代碼和系統(tǒng)送去具有CMA和CNAS資質(zhì)的第三方實(shí)驗(yàn)室進(jìn)行驗(yàn)證，驗(yàn)證結(jié)果表明該系統(tǒng)與本文論述結(jié)果一致，而且系統(tǒng)具有一定的可靠性和有效性。

4.1基于Neo4j的環(huán)境模型部署

如何用語(yǔ)言進(jìn)行信息描述是本體建模領(lǐng)域經(jīng)久不衰的話題。1998年，美軍的作戰(zhàn)管理語(yǔ)言（battle management language，BML）開始進(jìn)行研究。2004年成立作戰(zhàn)管理語(yǔ)言研究小組，利用仿真互操作標(biāo)準(zhǔn)化組織（simulation interoperability standard organization，SISO），設(shè)計(jì)聯(lián)盟作戰(zhàn)管理語(yǔ)言（coalition BML，C-BML），并試圖將該語(yǔ)言用在聯(lián)盟作戰(zhàn)中LVC建模仿真系統(tǒng)、指揮控制系統(tǒng)、自治無(wú)人系統(tǒng)之間需求、計(jì)劃、命令和報(bào)告的描述和交換，還能夠?yàn)閷?shí)戰(zhàn)化訓(xùn)練、聯(lián)合作戰(zhàn)方案分析（course of action analysis，COAA）和使命演練（mission rehearsal）提供支持，計(jì)劃發(fā)布數(shù)據(jù)模型、形式化結(jié)構(gòu)（語(yǔ)法）、形式化語(yǔ)義（本體）3個(gè)階段產(chǎn)品，當(dāng)前只正式發(fā)布了第一階段的數(shù)據(jù)模型標(biāo)準(zhǔn)，并研究了第二階段及后續(xù)的標(biāo)準(zhǔn)開發(fā)框架。2008年SISO組織制定了軍事想定語(yǔ)言（military scenario definition language，MSDL），用于規(guī)范仿真系統(tǒng)之間及其指揮控制系統(tǒng)之間共享信息的描述。當(dāng)前C-BML語(yǔ)言雖然具備聯(lián)合作戰(zhàn)方案信息描述能力，但其語(yǔ)法和語(yǔ)義規(guī)范尚在制定過(guò)程中，因此急需一種語(yǔ)義級(jí)的作戰(zhàn)環(huán)境方案描述語(yǔ)言。Python 被昵稱為膠水語(yǔ)言，能夠把用其他語(yǔ)言制作的各種模塊很輕松地聯(lián)結(jié)在一起。Python具有強(qiáng)大、豐富的（開源）庫(kù)，它的應(yīng)用領(lǐng)域非常廣泛。而且語(yǔ)言簡(jiǎn)潔易懂，易于開發(fā)，但Python使用時(shí)由編譯器解釋執(zhí)行，效率較低。所以常見的一種應(yīng)用領(lǐng)域是，由Python快速生成原型，然后對(duì)其中有功能需求的部分，改用合適的其他語(yǔ)言，例如，在本體建構(gòu)過(guò)程中，與圖數(shù)據(jù)庫(kù)語(yǔ)言結(jié)合。據(jù)此，使用Neo4j進(jìn)行元宇宙城市作戰(zhàn)的環(huán)境模型部署。

第1步：本體解析。使用類似結(jié)構(gòu)查詢語(yǔ)言（structured query lan-guage，SQL）的知識(shí)圖譜查詢語(yǔ)言，三元組模式是查詢的基本單元，多個(gè)查詢基本單元可構(gòu)成基本圖模式。這種語(yǔ)言還支持多種運(yùn)算符，將基本圖模式擴(kuò)展為復(fù)雜圖模型。常用的Python開源庫(kù)為RDFLIB，它為知識(shí)圖譜提供服務(wù)，包含Microdata、N3、Ntriples、RDFA、RDF/XML、Turtle的序列化和分析化功能，并提供一個(gè)多種存儲(chǔ)方式。可以使用這種在計(jì)算機(jī)內(nèi)存中建立起領(lǐng)域本體的模型，為后續(xù)工作做好準(zhǔn)備。通過(guò)生成類似于SQL的數(shù)據(jù)庫(kù)查詢語(yǔ)句、進(jìn)行查詢，并處理得到的查詢結(jié)果，就能建立起本體的模型。

第2步：數(shù)據(jù)映射。Neo4j由一種圖數(shù)據(jù)庫(kù)，其結(jié)構(gòu)與之前構(gòu)建的知識(shí)本體有所不同。為了存儲(chǔ)由上一步本體解析得到的知識(shí)圖譜三元組數(shù)據(jù)，需要將知識(shí)圖譜數(shù)據(jù)映射為Neo4j專屬模型。進(jìn)行關(guān)系映射時(shí)，Neo4j節(jié)點(diǎn)存儲(chǔ)的是不同知識(shí)點(diǎn)間的聯(lián)系。通過(guò)這種方式，就可以完成本體模型數(shù)據(jù)到數(shù)據(jù)庫(kù)的映射。

第3步：知識(shí)庫(kù)生成。完成作戰(zhàn)環(huán)境本體到Neo4j的存儲(chǔ)，需要將完成解析的本體存儲(chǔ)至Neo4j。Py2neo是Python的另一開源庫(kù)，能夠使用該庫(kù)與Neo4j建立連接。利用Py2neo可以在計(jì)算機(jī)內(nèi)存中建立與存儲(chǔ)Neo4j的模型。通過(guò)生成節(jié)點(diǎn)與關(guān)系、過(guò)濾重復(fù)的數(shù)據(jù)，最終可生成Neo4j知識(shí)數(shù)據(jù)庫(kù)。

4.2案例設(shè)計(jì)的實(shí)驗(yàn)驗(yàn)證

根據(jù)第3章的案例設(shè)計(jì)，分別進(jìn)行實(shí)驗(yàn)驗(yàn)證：

1）基于生成式對(duì)抗網(wǎng)絡(luò)改進(jìn)的實(shí)驗(yàn)驗(yàn)證

使用黑夜→白天圖像轉(zhuǎn)換任務(wù)為例，使用街景數(shù)據(jù)集Alderley與BDD100K進(jìn)行驗(yàn)證，與其他常見的基于生成式對(duì)抗網(wǎng)絡(luò)的仿真環(huán)境生成與擴(kuò)充數(shù)據(jù)算法CycleGAN，Disco-GAN，UNIT和DRIT做對(duì)比，利用學(xué)習(xí)感知圖像補(bǔ)丁相似度（learned perceptual image patch similarity，LPIPS）指標(biāo)來(lái)對(duì)生成圖像的逼真性的定量評(píng)價(jià)。LPIPS 度量值越小，該算法生成的圖像越逼真。

表1 ?轉(zhuǎn)換對(duì)比方法結(jié)果表

Table 1?Comparison results for image generation

如圖7所示，來(lái)自夜晚域的源圖像被放在每一列的最上方，每一行對(duì)應(yīng)于每種方法的轉(zhuǎn)換輸出。左邊兩列代表Alderley的定性結(jié)果，右邊兩列代表BDD100K的結(jié)果。盡管CycleGAN在物體清晰可見的區(qū)域進(jìn)行了適當(dāng)?shù)木庉?，但在黑暗或模糊區(qū)域的轉(zhuǎn)換結(jié)果顯示出較差的視覺質(zhì)量。雖然DiscoGAN和UNIT在Alderley數(shù)據(jù)集的實(shí)驗(yàn)中與CycleGAN相比呈現(xiàn)出更好的編輯能力，但它們?cè)谑褂肂DD100K時(shí)產(chǎn)生了一些假象，而且輸出結(jié)果也沒有正確轉(zhuǎn)換。同樣，利用兩個(gè)域的共同編碼空間的DRIT在BDD100K的實(shí)驗(yàn)中產(chǎn)生了整體模糊的圖像。模型可以成功地用兩個(gè)數(shù)據(jù)集進(jìn)行惡劣天氣轉(zhuǎn)換。與其他方法相比，它在大多數(shù)區(qū)域（包括黑暗和模糊區(qū)域）輸出了視覺上的優(yōu)越結(jié)果。此外，現(xiàn)有的物體在轉(zhuǎn)換后的圖像中得到了很好的保留。由此可以看出，案例設(shè)計(jì)的方法的表現(xiàn)力更強(qiáng)。另外，如表1所示，方法的LPIPS的值是最小的，而且與DRIT相比，生成圖像的逼真性提升5%以上，所以，我們的設(shè)計(jì)方法的表現(xiàn)力更強(qiáng)。

2）基于知識(shí)圖譜的擴(kuò)展性改進(jìn)實(shí)驗(yàn)驗(yàn)證

使用知識(shí)圖譜查詢?nèi)蝿?wù)為例進(jìn)行驗(yàn)證，與其他常用的本體建模方法RESCAL、Trans-E、DistMult、ComplEx和Gmatchi-ng進(jìn)行了對(duì)比。量化指標(biāo)為知識(shí)三元組的查詢排名MRR；它的全稱是Mean Reciprocal Ranking(排名的倒數(shù))，其中Reciprocal是指“倒數(shù)的”的意思。該指標(biāo)越大越好。

如表2所示，本文方法的MRR的值是最大的，而且比Gmatching相比，提升5%以上，所以，本文設(shè)計(jì)方法的擴(kuò)展性更強(qiáng)。

表2??查詢對(duì)比方法結(jié)果表

Table 2?Comparison results for knowledge?retrieval

5?結(jié)論

隨著現(xiàn)代化戰(zhàn)爭(zhēng)的發(fā)展，大規(guī)模陸海空作戰(zhàn)已經(jīng)成為歷史和不可及的未來(lái)。目前，世界局勢(shì)以多點(diǎn)爆發(fā)的城市暴亂為主，也就是圍繞城市爭(zhēng)奪和城市巷戰(zhàn)展開。但是，為了經(jīng)濟(jì)發(fā)展與人民生活安定，幾乎不可能在超大城市或者大型城市里進(jìn)行實(shí)戰(zhàn)演練。因此，建設(shè)面向未來(lái)戰(zhàn)爭(zhēng)的智能作戰(zhàn)環(huán)境模型是輔助作戰(zhàn)籌劃與決策的一種有效方法。而沉浸感強(qiáng)、虛實(shí)融合與協(xié)作性強(qiáng)的元宇宙, 給作戰(zhàn)建模的發(fā)展帶來(lái)更多新可能。據(jù)此，提出了面向城市作戰(zhàn)的數(shù)據(jù)知識(shí)驅(qū)動(dòng)的元宇宙建?？蚣埽徊⒒诖丝蚣?，探索了當(dāng)前環(huán)境建模表現(xiàn)力差、擴(kuò)展性弱的改進(jìn)方案，而且對(duì)改進(jìn)方案進(jìn)行了定量實(shí)驗(yàn)驗(yàn)證。未來(lái)，基于此框架，期望可以積極開展元宇宙城市作戰(zhàn)指揮控制基本理論與應(yīng)用方面的探索，推進(jìn)元宇宙城市作戰(zhàn)空間關(guān)鍵功能模塊的完善與實(shí)戰(zhàn)應(yīng)用。

編輯：黃飛