摘要：

為了改善網絡大數(shù)據(jù)傳輸效率及其精度，降低網絡數(shù)據(jù)傳輸負荷，基于多層概率網絡模型和聯(lián)合決策研究了一種網絡大數(shù)據(jù)協(xié)作融合算法。首先，以復雜異構多層網絡的數(shù)據(jù)采集與緩存為對象，以實時感知數(shù)據(jù)及其準確處理為優(yōu)化目標，設計了一種多層概率聯(lián)合決策模型。接著，通過主層-分層和信號強度進行網絡大數(shù)據(jù)的多維描述，結合3步分解和三性融合，以逆變換去噪為驅動，提出了網絡大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。最后，實驗和仿真結果表明，與實驗統(tǒng)計值相比，所提算法在數(shù)據(jù)融合精度和效率等方面具有明顯優(yōu)勢。

0 引言

復雜網絡控制與大數(shù)據(jù)傳輸已經成為大數(shù)據(jù)質量保障面臨的關鍵研究問題[1]，特別是，復雜網絡時滯擴散性[1]、同步控制[2]、應急通信網絡的大數(shù)據(jù)分析[3]、空地跨域大數(shù)據(jù)通信[4-5]等問題對大數(shù)據(jù)質量的影響嚴重。為有效解決上述問題，數(shù)據(jù)融合[6]被引入，并得到廣泛應用[7]。不過，復雜網絡的大數(shù)據(jù)融合性能依然受到網絡復雜度、數(shù)據(jù)碰撞和外界干擾等因素[8]制約，這些問題亟待解決。

在充分考慮網絡狀況及服務器之間的通信關聯(lián)等基礎上，文獻[9]基于OpenFlow網絡控制器，集中管理網絡狀態(tài)信息，提出了基于OpenFlow網絡的數(shù)據(jù)中心服務器負載均衡策略，從而有效改善虛擬機遷移后網絡擁塞而影響系統(tǒng)性能。文獻[10]研究了具有隨機噪聲和隨機概率分布的隨機鏈路網絡的最優(yōu)控制問題。為了應對大數(shù)據(jù)的影響，文獻[11]將傳統(tǒng)的個人計算、通信和存儲系統(tǒng)結合起來，討論了一種有效的信息系統(tǒng)容量，以便在更有自由度的新范式下挖掘信息系統(tǒng)的潛力。文獻[12]首先提出了一個通用的建模框架，描述了在大數(shù)據(jù)流處理所有的任務關系語義間的代表，在此基礎上解決了通信成本最小化的問題。文獻[13]提出了一種系統(tǒng)和自動化的方法來建立一個混合的入侵檢測系統(tǒng)，學習基于時域的電力系統(tǒng)場景的規(guī)范，包括干擾、正常控制操作和網絡攻擊等。文獻[14]所提出的區(qū)間自適應加權波長選擇算法采用多模型融合方案，通過減少波長數(shù)量來精準預測，自適應優(yōu)化選擇波長。在異構信息空間中，文獻[15]通過查詢時間上下文關鍵字，研究了一種時間感知的查詢時實體識別與數(shù)據(jù)融合方法。

在已有復雜網絡控制、大數(shù)據(jù)傳輸和數(shù)據(jù)融合的一系列研究基礎上，本文從多層概率模型、數(shù)據(jù)傳輸聯(lián)合決策和網絡寫作控制等多維角度出發(fā)，研究了一種具有高傳輸精度、高傳輸效率和低數(shù)據(jù)融合誤差的網絡大數(shù)據(jù)協(xié)作融合機制。

1 多層概率聯(lián)合決策模型

復雜異構多層網絡的數(shù)據(jù)采集與緩存機制以實時感知數(shù)據(jù)和準確處理決策信息為核心，消除外界環(huán)境的冗余信息與各類型干擾對網絡數(shù)據(jù)的質量制約。但對于多層網絡的數(shù)據(jù)采集與傳輸概率控制和維護系統(tǒng)穩(wěn)定性的決策機制，成為網絡大數(shù)據(jù)融合的瓶頸問題。

首先，假設一個多層離散線性隨機網絡系統(tǒng)如式(1)所示：

其中，N表示多層網絡的分層數(shù)。

2 網絡大數(shù)據(jù)協(xié)作融合算法

基于多層概率聯(lián)合決策的網絡收集的大數(shù)據(jù)，從主層-分層角度出發(fā)采用S、L描述，如式（7）所示，還可以從信號強度出發(fā)采用H、M、L描述，如式（9）所示。

綜上所述，網絡大數(shù)據(jù)協(xié)作融合算法實施過程如圖3所示。其中，根據(jù)分解3步進行三性融合，結合聯(lián)合決策，以逆變換去噪為驅動，實現(xiàn)協(xié)作數(shù)據(jù)融合。

3 實驗結果分析

通過在200 m2的室內環(huán)境部署50個傳感器節(jié)點，持續(xù)采集100小時的溫度數(shù)據(jù)為網絡大數(shù)據(jù)源。傳感器節(jié)點采用無源供電方式，會因電池耗盡而消亡，網絡拓撲會發(fā)生動態(tài)變化。每個傳感器節(jié)點間隔10 s發(fā)送一次數(shù)據(jù)。可通過是否供電來激活傳感器節(jié)點。本文所提出的網絡大數(shù)據(jù)協(xié)作融合算法記為CFA-MJD，偽代碼如下：

采用Java與C++相結合的方式實現(xiàn)上述算法，測試不同傳輸精度下的數(shù)據(jù)傳輸速率以及數(shù)據(jù)融合誤差。實驗環(huán)境參數(shù)詳見表1。

圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數(shù)據(jù)傳輸速率與實驗速率統(tǒng)計值的對比結果。對比發(fā)現(xiàn)，當傳輸精度為40%時，CFA-MJD算法的傳輸率與實驗值較為接近；當傳輸精度為90%時，CFA-MJD算法的傳輸率反而高于實驗值。這表明，所提算法可以有效改進網絡大數(shù)據(jù)傳輸率并且保障較高的傳輸精度。這是因為所提算法采用了多層隨機網絡架構。基于分層信號干擾和局部不確定因素集，結合網絡整體信號傳輸優(yōu)化目標需求，通過聯(lián)合決策保持了大數(shù)據(jù)的一致性，并有效降低了數(shù)據(jù)發(fā)生沖突的概率。

圖6給出了服務器響應延遲為5 s、10 s、15 s和20 s時，所提算法的數(shù)據(jù)融合誤差與實際統(tǒng)計誤差的對比結果。分析發(fā)現(xiàn)，所提算法所采用的在分層協(xié)作控制下對聯(lián)合決策下的接收信號yU分解即對yU按層還原，消除冗余信號和逐層更新yU，以及三性融合，確保了網絡大數(shù)據(jù)融合精度，并且可以很好地化解服務器大延遲造成的數(shù)據(jù)誤差。

4 結束語

復雜異構網絡的大數(shù)據(jù)傳輸面臨著效率低下、精度難以得到保障等問題，同時網絡數(shù)據(jù)傳輸負荷較大，導致資源利用率較低。為了有效解決上述問題，本文提出了一種基于多層概率網絡模型和聯(lián)合決策的網絡大數(shù)據(jù)協(xié)作融合算法。一方面，為多層網絡的數(shù)據(jù)源及其存儲控制建立實時感知和分層傳輸處理模型，在此基礎上提出一種具有多層概率協(xié)作的網絡大數(shù)據(jù)傳輸聯(lián)合決策模型；另一方面，從主層-分層和多層接收信號強度出發(fā)，給出了網絡大數(shù)據(jù)的多維描述，通過接收信號的3步分解和網絡的三性融合，提出了網絡大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。實驗統(tǒng)計和仿真表明，所提算法可以有效改善網絡大數(shù)據(jù)融合精度、傳輸精度和網絡效率等性能。