一、概述

目前傳統(tǒng)的工業(yè)視覺產(chǎn)品由于其成像光譜單一的缺點(diǎn)，導(dǎo)致在觀察場(chǎng)景及目標(biāo)的過程中僅僅能夠獲得單一光譜下有限的信息，對(duì)場(chǎng)景中的多維目標(biāo)信息無法實(shí)現(xiàn)廣泛覆蓋。例如，傳統(tǒng)安防過程中受限于可見光成像特性，對(duì)暗光環(huán)境表現(xiàn)較差；傳統(tǒng)運(yùn)維過程中受限于紅外光成像特性，對(duì)異常發(fā)熱目標(biāo)形貌無法快速分辨；傳統(tǒng)高壓電弧檢測(cè)過程中受限于紫外光成像特性，對(duì)發(fā)出電弧的高壓電力設(shè)備的位置無法快速定位。

目前行業(yè)內(nèi)要實(shí)現(xiàn)對(duì)多種場(chǎng)景的不同光譜特征同時(shí)檢測(cè)必須攜帶多種光譜設(shè)備，不僅操作繁瑣，也不便于攜帶，更提高了使用成本，帶來了諸多不便。因此，能夠在一次成像過程中融入多種光譜特征并加以分辨的創(chuàng)新型設(shè)備的問世已經(jīng)成為成像視覺領(lǐng)域的重中之重。本作品首創(chuàng)性的設(shè)計(jì)并實(shí)現(xiàn)了一款多光譜融合智能成像設(shè)備，集合了結(jié)構(gòu)、光學(xué)、系統(tǒng)設(shè)計(jì)三個(gè)方面，通過自研的像素級(jí)融合算法，以及片上操作系統(tǒng)及數(shù)據(jù)調(diào)度架構(gòu)的高度配合，實(shí)現(xiàn)了成像譜段橫跨可見光、紅外光及紫外光共10400nm波段，在一次成像過程中的將多種光譜圖像特征同時(shí)呈現(xiàn)在同一幀圖像中，清晰完全的揭示被觀察場(chǎng)景的可見及非可見信息，并提供同一視場(chǎng)的不同波段的特征點(diǎn)的準(zhǔn)確的相對(duì)位置，從而從根本上克服了傳統(tǒng)多設(shè)備工作方式的效率低下、使用繁雜、準(zhǔn)確度差的缺陷。本作品通過像素級(jí)融合效果測(cè)試、圖像細(xì)節(jié)增強(qiáng)解析度測(cè)試、高精度黑體測(cè)溫效果測(cè)試，證明了本作品在圖像像素級(jí)融合能力，圖像細(xì)節(jié)及特征解析能力以及溫感探測(cè)的高靈敏度與高精度。

本作品使用方便快捷，既減少了現(xiàn)場(chǎng)部署難度和成本，又提高了用戶操作的靈活度，可以廣泛用于安防預(yù)警、邊檢巡查、電力巡維、設(shè)備排障等多個(gè)領(lǐng)域。本產(chǎn)品不僅攻克了如像素級(jí)多光譜圖像融合、圖像細(xì)節(jié)增強(qiáng)、自研片上操作系統(tǒng)及數(shù)據(jù)架構(gòu)等多項(xiàng)技術(shù)難點(diǎn)，更實(shí)現(xiàn)了多項(xiàng)國內(nèi)外領(lǐng)先的自主知識(shí)產(chǎn)權(quán)，具有重要的市場(chǎng)推廣價(jià)值和意義。

二 、主要?jiǎng)?chuàng)新點(diǎn)

本作品采用光、電、算集成化技術(shù)（即實(shí)現(xiàn)了圖像采集、電路設(shè)計(jì)和算法設(shè)計(jì)的高度集成），是行業(yè)內(nèi)的新型產(chǎn)品實(shí)現(xiàn)了如結(jié)構(gòu)、光學(xué)、系統(tǒng)設(shè)計(jì)等多種重大技術(shù)突破。目前已知的多波段圖像融合的類似技術(shù)在國內(nèi)以及國際上有學(xué)者進(jìn)行了相關(guān)的研究，但是這些研究成果還都只停留在實(shí)驗(yàn)室仿真驗(yàn)證階段，尚無實(shí)際能夠直接轉(zhuǎn)化為生產(chǎn)力的技術(shù)出現(xiàn)，這也是限制了多波段融合成像在產(chǎn)業(yè)化進(jìn)程中推進(jìn)的重要掣肘問題。在本作品的研發(fā)過程中，本團(tuán)隊(duì)已經(jīng)解決了包括像素級(jí)多光譜圖像配準(zhǔn)融合技術(shù)、數(shù)字細(xì)節(jié)增強(qiáng)技術(shù)、大數(shù)據(jù)量高速高并發(fā)片上操作系統(tǒng)及數(shù)據(jù)管理架構(gòu)技術(shù)等，從而一舉為該作品產(chǎn)業(yè)化的實(shí)施提供了完整的理論和技術(shù)保障。目前在本作品中已經(jīng)實(shí)現(xiàn)的技術(shù)突破和技術(shù)創(chuàng)新點(diǎn)主要包括以下4個(gè)方面：

（1）像素級(jí)多光譜圖像實(shí)時(shí)融合技術(shù)本作品的核心技術(shù)突破為實(shí)現(xiàn)了一種新的像素級(jí)多光譜圖像實(shí)時(shí)融合技術(shù)。該技術(shù)利用雙邊濾波器實(shí)現(xiàn)了一種金字塔圖像層析結(jié)構(gòu)來進(jìn)行多光譜圖像像素級(jí)融合，通過雙邊濾波器的細(xì)節(jié)及能量分離過程，將系統(tǒng)采集到的實(shí)時(shí)多光譜圖像進(jìn)行金字塔多層分層。將每種光譜的圖像分別進(jìn)行細(xì)節(jié)對(duì)齊融合以及能量加權(quán)融合后再進(jìn)行金字塔逆運(yùn)算得到最終的融合結(jié)果。該技術(shù)突破性的將傳統(tǒng)的雙邊濾波器應(yīng)用到金字塔計(jì)算中來，利用雙邊濾波器優(yōu)異的細(xì)節(jié)提取能力結(jié)合金字塔分層操作，可以最大程度的得到圖像中的完整細(xì)節(jié)領(lǐng)域，使得融合后的圖像具有像素級(jí)對(duì)準(zhǔn)能力以及優(yōu)異的細(xì)節(jié)與能量均衡能力

圖2-1融合圖像效果及像素級(jí)對(duì)準(zhǔn)效果展示（2）

數(shù)字圖像細(xì)節(jié)實(shí)時(shí)增強(qiáng)技術(shù)該技術(shù)開展基于模糊集的多尺度紅外圖像邊緣增強(qiáng)算法研究，根據(jù)紅外圖像特點(diǎn)分別建立弱邊緣、強(qiáng)邊緣和噪聲三種成分的隸屬度函數(shù)。通過模糊特征平面計(jì)算加權(quán)系數(shù)。在處理過程中，減少對(duì)噪聲的增強(qiáng)系數(shù)，對(duì)強(qiáng)邊緣只需進(jìn)行適當(dāng)?shù)脑鰪?qiáng)，所以像素點(diǎn)的增強(qiáng)程度都由模糊特征平面得到。同時(shí)，該技術(shù)開展了基于灰度冗余的動(dòng)態(tài)范圍自適應(yīng)擴(kuò)展算法研究，在統(tǒng)計(jì)紅外圖像直方圖的基礎(chǔ)上，計(jì)算每個(gè)灰度的標(biāo)記函數(shù)（所謂標(biāo)記函數(shù)是指，當(dāng)某個(gè)灰度級(jí)的像素個(gè)數(shù)大于設(shè)定的閾值時(shí)，該灰度級(jí)標(biāo)記函數(shù)值為1，否則為0），利用標(biāo)記函數(shù)求取映射函數(shù)，并等間距排列，該方法解決探測(cè)器輸出信號(hào)溫度動(dòng)態(tài)范圍寬和顯示系統(tǒng)動(dòng)態(tài)范圍不夠這一矛盾，在提高圖像對(duì)比度的同時(shí)極大改善直接均衡帶來的斷層現(xiàn)象，從根本上提高了圖像的可分辨清晰度。

（a）原圖

（b）細(xì)節(jié)增強(qiáng)圖圖2-2數(shù)字細(xì)節(jié)增強(qiáng)算法效果圖（3）

高速并發(fā)數(shù)據(jù)傳輸RTOS及基于該操作系統(tǒng)的實(shí)時(shí)數(shù)據(jù)調(diào)度管理架構(gòu)由于本作品系統(tǒng)中要在小型化FPGA架構(gòu)中實(shí)現(xiàn)多路高速實(shí)時(shí)多分辨率視頻信號(hào)的采集以及像素級(jí)圖像融合算法，同時(shí)需要對(duì)視頻數(shù)據(jù)進(jìn)行大量分析操作，為了確保最終視頻60Hz的顯示實(shí)時(shí)性、傳輸實(shí)時(shí)性等嚴(yán)格要求，本團(tuán)隊(duì)特別為本項(xiàng)目定制研發(fā)了高速高并發(fā)數(shù)據(jù)傳輸?shù)钠喜僮飨到y(tǒng)以及基于該操作系統(tǒng)的實(shí)時(shí)數(shù)據(jù)調(diào)度管理架構(gòu)來保證系統(tǒng)的工作在穩(wěn)定、高效率的狀態(tài)，目前基于該操作系統(tǒng)及管理架構(gòu)下，已經(jīng)穩(wěn)定實(shí)現(xiàn)系統(tǒng)內(nèi)常態(tài)數(shù)據(jù)處理速率為3Gbps，峰值速率高達(dá)20Gbps。

圖2-3片上操作系統(tǒng)及數(shù)據(jù)管理架構(gòu)示意圖 三、系統(tǒng)架構(gòu)

1.1 硬件系統(tǒng)總體設(shè)計(jì)方案

圖3-1系統(tǒng)總體設(shè)計(jì)方案示意圖圖3-1上部分是本系統(tǒng)第一代原理樣機(jī)的總體設(shè)計(jì)方案示意圖。可見光、紅外光、紫外光作為輸入光源經(jīng)可見光模組、非制冷型紅外熱像儀、紫外光相機(jī)模組進(jìn)入ALTERA、ZYNQ系列芯片進(jìn)行數(shù)據(jù)處理及融合（預(yù)處理、圖像緩存、細(xì)節(jié)融合、彩色融合），之后送到顯示器端輸出顯示（數(shù)據(jù)輸出）。（圖3-1下部分本系統(tǒng)的第二代工程樣機(jī)，經(jīng)過先后兩代的研發(fā)，在算法、技術(shù)架構(gòu)不斷優(yōu)化、成熟的同時(shí)，還實(shí)現(xiàn)了體積、功耗的極大優(yōu)化。目前，在保留一代系統(tǒng)所有既定功能和性能的前提下，將第一代系統(tǒng)中的兩塊FPGA芯片縮減至只需要一塊FPGA芯片即可實(shí)現(xiàn)，同時(shí)刪減了第一代系統(tǒng)中的大量外圍芯片，大大降低了基礎(chǔ)成本，同時(shí)使得整機(jī)體積從高復(fù)雜、體積大下降到集成度高、體積精簡(jiǎn)，功耗從12W下降到6W以下，便于本作品以各種形態(tài)出現(xiàn)在行業(yè)中）。硬件系統(tǒng)主要負(fù)責(zé)接收各種不同攝像頭的實(shí)時(shí)圖像數(shù)據(jù)，在片上操作系統(tǒng)中進(jìn)行算法計(jì)算和數(shù)據(jù)調(diào)度、傳輸，并最終向上位機(jī)中進(jìn)行顯示。下面我們對(duì)硬件系統(tǒng)進(jìn)行詳細(xì)敘述。

1.2 圖像采集模塊可見光模組+紅外熱像儀+紫外光模組

表3-1 圖像采集模塊參數(shù)表

三個(gè)獨(dú)立攝像頭分別采集不同波段的圖像送至系統(tǒng)中進(jìn)行后續(xù)的各種算法計(jì)算操作。由于三個(gè)攝像頭在安裝過程中需要進(jìn)行預(yù)先的平行光軸校正工作，使得三個(gè)攝像頭的光軸均互相平行并直視被測(cè)場(chǎng)景。表中的分辨率參數(shù)和焦距參數(shù)選擇是根據(jù)計(jì)算得到，目的是為了使三個(gè)攝像頭在觀察同一目標(biāo)時(shí)，該目標(biāo)的不同光譜圖像在各自的焦平面上均處在相似的大小，即同一目標(biāo)在不同的焦平面上所占的像素?cái)?shù)幾乎一致，這樣的參數(shù)設(shè)計(jì)大大降低了后續(xù)算法的處理壓力。

1.3 硬件核心電路板

圖3-2 壹代

（a）

（b）

（c）

（d） 圖3-3 貳代

圖3-4 硬件數(shù)據(jù)流圖

本作品的研發(fā)經(jīng)過了第一代原理樣機(jī)和第二代工程樣機(jī)的過程，已經(jīng)實(shí)現(xiàn)了小型化的雛形，在第二代工程樣機(jī)的基礎(chǔ)上，可以方便的將本作品部署于各種圖像監(jiān)控設(shè)備上，如手持式儀表，工業(yè)巡檢機(jī)器人，安防攝像頭等。兩代樣機(jī)的硬件組成主要包括如下內(nèi)容：

（1）中央處理單元中央處理單元以FPGA為計(jì)算核心，其上運(yùn)行包括所有算法移植過來的邏輯代碼、自研片上實(shí)時(shí)操作系統(tǒng)、數(shù)據(jù)采集、數(shù)據(jù)傳輸和圖像送顯示等操作。第一代原理樣機(jī)采用兩塊FPGA協(xié)同工作的方式，分別為ALtera和Xilinx ZYNQ各一塊。這樣選擇是考慮到本作品研發(fā)初始階段對(duì)部分關(guān)鍵算法的實(shí)際資源占用率無法預(yù)估的情況，而形成的穩(wěn)妥解決方案。第二代工程樣機(jī)研發(fā)時(shí)已經(jīng)對(duì)所有的實(shí)際資源占用率有了清楚的核算，因此在優(yōu)化了片上操作系統(tǒng)的效率和部分算法的硬件實(shí)現(xiàn)方式后，采用了以單Xilinx ZYNQ為計(jì)算核心的方案，大大縮減了體積、功耗和基礎(chǔ)成本。

（2）計(jì)算資源及數(shù)據(jù)存儲(chǔ)模塊：DDR3內(nèi)存顆粒，512M Flash芯片圖像處理算法、片上操作系統(tǒng)在FPGA中的正確執(zhí)行和工作僅憑借FPGA的內(nèi)部資源是遠(yuǎn)遠(yuǎn)不夠的。因此，在充分考慮系統(tǒng)功耗，成本，體積等因素的情況下，我們采用了雙DDR3內(nèi)存顆粒形成了1Gb的系統(tǒng)運(yùn)行內(nèi)存，以及512Mb的Flash芯片作為系統(tǒng)的數(shù)據(jù)存儲(chǔ)介質(zhì)。

（3）供電模塊：12V直流電源系統(tǒng)如圖3-3所示為系統(tǒng)硬件電路中片上操作系統(tǒng)管理和調(diào)度所有數(shù)據(jù)流的流程示意圖。三種不同波段的圖像通過Cameralink接口與硬件電路連接后，在保證平行光軸的結(jié)構(gòu)設(shè)計(jì)下觀察到的場(chǎng)景大體上相似，但由于結(jié)構(gòu)件的空間位置阻礙和組裝公差，實(shí)際的三路圖像間會(huì)存在場(chǎng)景信息出現(xiàn)差異以及輕微的圖像旋轉(zhuǎn)問題。此時(shí)，片上操作系統(tǒng)首先對(duì)三路圖像進(jìn)行數(shù)據(jù)清洗，將不同分辨率、旋轉(zhuǎn)誤差以及場(chǎng)景差異從三路圖像中完全校正去除，繼而在系統(tǒng)內(nèi)部通過幀緩存的方式消除不同攝像頭從光電轉(zhuǎn)換到輸出圖像之間的顯示遲滯現(xiàn)象。隨后片上操作系統(tǒng)會(huì)根據(jù)本小組設(shè)計(jì)的高速高并發(fā)數(shù)據(jù)架構(gòu)進(jìn)行三路圖像的各種圖像處理算法的片上數(shù)據(jù)流操作，并最終通過USB2.0接口或者千兆網(wǎng)口與后端上位機(jī)軟件進(jìn)行連接，從而將圖像數(shù)據(jù)顯示給用戶進(jìn)行使用。完整的數(shù)據(jù)操作流程如下圖3-5所示：

圖3-5三光融合流程架構(gòu)

1.預(yù)處理：對(duì)三光設(shè)備分別進(jìn)行棋盤格標(biāo)定，將得到的校正矩陣存儲(chǔ)在flash中，屬于離線校正。預(yù)處理過程包括提取三路圖像中相同的場(chǎng)景、幾何校正圖像中的輕微旋轉(zhuǎn)效應(yīng)、實(shí)現(xiàn)不同維度圖像的不同比例縮放以及消除不同攝像頭的顯示幀延遲現(xiàn)象。

2.圖像緩存：由于攝像頭即使標(biāo)稱都以相同幀數(shù)輸出，實(shí)際的像素時(shí)鐘之間還是會(huì)有差異，因此在開始融合過程之前要先進(jìn)行緩存預(yù)處理，保證每次用相同的時(shí)鐘讀取存儲(chǔ)好的三光圖像，并在讀取的同時(shí)為每個(gè)像素點(diǎn)賦予各自的校正系數(shù)。

3.細(xì)節(jié)融合：利用濾波器區(qū)分三光圖像的細(xì)節(jié)和基底，分別對(duì)基底和細(xì)節(jié)做不同的處理。增強(qiáng)細(xì)節(jié)、平滑基底，將三光之間的細(xì)節(jié)和基底對(duì)應(yīng)進(jìn)行融合。

4.彩色融合：彩色融合時(shí)使用偽彩色方式，即將融合后的圖像以偽彩色編碼的形式送到顯示芯片的RGB通道上。

5.圖像輸出：采用VGA接口向顯示器輸出融合圖像，同時(shí)通過USB2.0或者千兆網(wǎng)口將圖像送至上位機(jī)供PC端使用。傳向上位機(jī)的圖像流包括單獨(dú)的可見光、紅外光、紫外光和融合圖像共四路數(shù)據(jù)，均以60Hz的幀頻進(jìn)行傳輸，也就是說，傳輸過程的幀頻達(dá)到共240Hz，其中融合圖像數(shù)據(jù)可根據(jù)串口命令進(jìn)行顯示切換，切換成不同的融合組合供用戶使用。

2.1軟件設(shè)計(jì)

操作軟件是基于Windows操作系統(tǒng)下C語言圖形用戶界面應(yīng)用程序開發(fā)框架Qt。如下圖所示，軟件系統(tǒng)可大致劃分為軟件啟動(dòng)、圖像數(shù)據(jù)連接模塊、圖像顯示模塊、以及圖像分析模塊四大模塊。各模塊之間采用靈活的布局管理，其基本職能已在圖中加以簡(jiǎn)述。

2.2 軟件啟動(dòng)及圖像數(shù)據(jù)連接

（a） （b）圖4-1

軟件啟動(dòng)界面打開軟件時(shí)的界面如圖4-1所示，單擊連接選項(xiàng)卡選擇連接電腦選項(xiàng)即可實(shí)現(xiàn)硬件系統(tǒng)與上位機(jī)的快速連接。

2.3 圖像顯示模塊

用戶可在該選項(xiàng)卡中選擇顯示模式，可一鍵切換顯示模式、彩色成像、彩色融合、DDE（數(shù)字細(xì)節(jié)增強(qiáng)），各模式成像結(jié)果可在圖像顯示區(qū)域同步展現(xiàn)。如圖4-2（a）所示，從左上到右下分別為紅外光顯示區(qū)域、可見光顯示區(qū)域、紫外光顯示區(qū)域和融合圖像顯示區(qū)域，需要解釋的是，觀察普通室內(nèi)場(chǎng)景時(shí)由于地表處在日盲紫外區(qū)，場(chǎng)景中沒有紫外光信息時(shí)該部分圖像顯示為黑色，當(dāng)特殊的紫外光成分出現(xiàn)時(shí)，在該顯示區(qū)域中即能實(shí)時(shí)捕獲該種紫外光特征。

圖4-2

圖像顯示界面單擊圖像選項(xiàng)卡中的“顯示切換”功能，可實(shí)現(xiàn)融合圖像的不同融合方式；單擊“彩色（紅外）”功能，可為紅外圖像數(shù)據(jù)流添加不同的偽彩色著色；單擊“彩色（融合）”功能，可將最終的融合圖像同步上色；單擊“DDE”功能，可實(shí)現(xiàn)為紅外圖像進(jìn)行數(shù)字細(xì)節(jié)增強(qiáng)功能；單擊“保存圖片”功能，可將當(dāng)前觀察的場(chǎng)景圖像捕獲并存至電腦中，一次存儲(chǔ)可記錄可見光、紅外光、紫外光以及融合圖像4張圖片。

2.4 軟件輔助功能及版本介紹

用戶可在軟件頂層工具欄選擇輔助功能，可一鍵切換超聲波測(cè)距、遠(yuǎn)程控制、測(cè)溫（無、單點(diǎn)標(biāo)注、多點(diǎn)標(biāo)注）等功能，各種輔助功能的執(zhí)行效果可在圖像顯示區(qū)域同步展現(xiàn)。如圖4-3所示。

圖4-3

軟件功能顯示例如，單擊圖4-3中的“多點(diǎn)標(biāo)注”功能后，紅外圖像顯示區(qū)和融合圖像顯示區(qū)即開始實(shí)現(xiàn)對(duì)圖像中不同區(qū)域的分立測(cè)溫功能，標(biāo)識(shí)框以實(shí)時(shí)動(dòng)態(tài)刷新的方式捕獲圖像中不同區(qū)域內(nèi)的異常溫度點(diǎn)并將測(cè)溫?cái)?shù)據(jù)顯示在圖像中，使用戶能夠方便快速的對(duì)圖像中的異常發(fā)熱情況直觀的做出判斷，不僅如此，由于本作品實(shí)現(xiàn)了多光譜圖像融合功能，用戶能夠從融合圖像中快速的定位是何種器件或設(shè)備正在出現(xiàn)異常，及早排障。單擊圖4-3中的“關(guān)于”選項(xiàng)卡，可查看當(dāng)前軟件版本信息，并實(shí)現(xiàn)離線軟件更新功能。

3. 算法設(shè)計(jì)

3.1 圖像細(xì)節(jié)增強(qiáng)算法現(xiàn)代高性能紅外熱像儀能夠輸出動(dòng)態(tài)范圍很大的紅外原始圖像，原始的探測(cè)器數(shù)據(jù)范圍一般在12-14位數(shù)據(jù)，這顯然超出了顯示設(shè)備的動(dòng)態(tài)范圍。一般典型的顯示設(shè)備，如監(jiān)視器，其只能夠接收8位圖像信號(hào)。此外一般人眼只能夠分辨128個(gè)灰度級(jí)。因此，當(dāng)獲得高動(dòng)態(tài)范圍的原始圖像后，一個(gè)必須的過程就是將該高動(dòng)態(tài)范圍的原始圖像進(jìn)行重新映射，將其動(dòng)態(tài)范圍壓縮。這個(gè)過程通常需要達(dá)到兩個(gè)目的：第一：使輸出圖像的動(dòng)態(tài)范圍能夠與顯示的動(dòng)態(tài)范圍相匹配。第二：在完成第一點(diǎn)的同時(shí)，盡可能保留原始圖像中存在的細(xì)節(jié)，使觀測(cè)者能夠觀察到較好視覺效果的圖像，且能夠盡早區(qū)分隱藏在背景中的微弱目標(biāo)。因此，本作品的研發(fā)過程中，本小組特別針對(duì)紅外圖像在顯示場(chǎng)景細(xì)節(jié)上的缺陷研究了紅外數(shù)字圖像細(xì)節(jié)增強(qiáng)技術(shù)，通過非線性濾波器的圖像基頻細(xì)節(jié)分離技術(shù)、自適應(yīng)高斯濾波的細(xì)節(jié)優(yōu)化技術(shù)、冗余灰度的逆直方圖投影技術(shù)和自適應(yīng)增益控制技術(shù)將普通紅外圖像的顯示效果極大程度的提升，更加便于人眼觀察。

（a）原始圖片

（b）增強(qiáng)圖片

圖4-4

紅外圖像細(xì)節(jié)增強(qiáng)圖從圖4-4中可以看出，原始的紅外圖像具有灰度壓縮嚴(yán)重，對(duì)比度過大，細(xì)節(jié)無法辨識(shí)等缺陷，經(jīng)過本小組的數(shù)字細(xì)節(jié)增強(qiáng)技術(shù)處理后，圖像整體灰度分布更加適合人眼觀察，圖像明暗對(duì)比適中，細(xì)節(jié)被全部凸顯出來，整體的觀察效果有了質(zhì)的飛躍。

3.2 多光融合算法的實(shí)現(xiàn)多光融合算法是本作品的核心，在進(jìn)行圖像融合顯示的研究過程中我們發(fā)現(xiàn)，融合算法的性能直接決定了最終用戶的體驗(yàn)。現(xiàn)有的圖像融合算法大多是以金字塔結(jié)構(gòu)對(duì)圖像進(jìn)行分層融合，這樣做的好處在于可以通過逐層遞進(jìn)的方式將待融合圖像的能量層和細(xì)節(jié)層均實(shí)現(xiàn)較好的融合效果。但是通過本小組的研究發(fā)現(xiàn)，要想實(shí)現(xiàn)高精度的像素級(jí)融合是一個(gè)系統(tǒng)工程，并不僅僅由算法本身決定，而是在更準(zhǔn)確的算法保證下需要硬件的配合。因此，本小組的多光融合算法共包括：確定攝像頭參數(shù)選型以及新的圖像融合算法兩部分。其中，由于不同光譜攝像頭的器件設(shè)計(jì)制作難度和材料特性不同，導(dǎo)致不同光譜攝像頭的像元間距各有差別，反應(yīng)到圖像上表現(xiàn)為觀察相同距離處的相同場(chǎng)景及目標(biāo)時(shí)，這些場(chǎng)景及目標(biāo)在不同光譜焦平面上的成像尺寸差別明顯，這就給后續(xù)的融合過程帶來了不便性。基于這樣的考慮，本小組首先通過精密的參數(shù)選型，通過不同材料焦平面像元間距、像元陣列大小、鏡頭焦距等關(guān)鍵參數(shù)的特性，確定了攝像頭的選型及平行光軸設(shè)計(jì)方案，繼而開始后續(xù)的融合算法操作。在具體的融合算法研究過程中，本小組確定了以像素級(jí)融合為核心指導(dǎo)思想的研究方案，研究并實(shí)現(xiàn)了基于非線性雙邊濾波器為基礎(chǔ)的金字塔層析方案，首先通過非線性雙邊濾波器將圖像進(jìn)行高達(dá)7層的能量和細(xì)節(jié)分離，將每層得到的能量和細(xì)節(jié)中間變量繼續(xù)進(jìn)行非線性雙邊濾波，經(jīng)研究發(fā)現(xiàn)，這樣的分離方式能夠以時(shí)頻互析的原理在時(shí)間域和頻率域?qū)Υ诤蠄D像進(jìn)行最優(yōu)的能量和細(xì)節(jié)組合，最終通過時(shí)頻反卷積的方式將每種光譜的分離圖像進(jìn)行仲裁投票選擇，確定融合后的像素灰度并逆遞歸計(jì)算得到融合圖像。最終的融合圖像每個(gè)對(duì)應(yīng)像素點(diǎn)均一一對(duì)齊，保證了融合結(jié)果的高精度。融合過程示意圖如圖4-5所示，最終結(jié)果如圖4-6所示。

圖4-5 三光融合算法基本框圖

圖4-6 金字塔融合過程圖像

四、設(shè)計(jì)演示

1.圖像分辨能力測(cè)試：像素測(cè)試

我們首先對(duì)圖像的分辨率進(jìn)行測(cè)試。我們選取正常環(huán)境下的人物場(chǎng)景，檢查圖像的質(zhì)量及色調(diào)范圍。先觀察圖像的直方圖，查看圖像是否有足夠的細(xì)節(jié)產(chǎn)生高品質(zhì)的輸出。直方圖的有效灰度范圍越大，細(xì)節(jié)就越豐富。我們通過相機(jī)拍攝的圖片和實(shí)物進(jìn)行比較計(jì)算，獲得兩者之間的數(shù)學(xué)關(guān)系，并通過此關(guān)系來校正圖片，以此消除圖片拍攝時(shí)形變產(chǎn)生的誤差。由下圖5-1可見，本項(xiàng)目可以最大程度的得到圖像中的完整細(xì)節(jié)領(lǐng)域，使得融合后的圖像具有像素級(jí)對(duì)準(zhǔn)能力以及優(yōu)異的細(xì)節(jié)與能量均衡能力。并且實(shí)際測(cè)試的多光譜圖像融合像素級(jí)誤差≤1個(gè)像素。多光譜視覺幀同步率≥95%。

圖5-1融合圖像效果及像素級(jí)對(duì)準(zhǔn)效果展示

2. 圖像細(xì)節(jié)增強(qiáng)測(cè)試：RMSC和 DV-BV測(cè)試RMSC對(duì)比度均方根，公式如下所示：

，

其中代表整個(gè)紅外圖像的平均像素值，代表紅外圖像像素每一個(gè)點(diǎn)的值，RMSC的值越大，說明整個(gè)紅外圖像的信息越豐富，紅外圖像的像素點(diǎn)的梯度越大，對(duì)比度越大，細(xì)節(jié)越豐富。經(jīng)過計(jì)算可知，紅外圖像的細(xì)節(jié)增強(qiáng)處理結(jié)果。表5-1 RMSC測(cè)試值

DV-BV細(xì)節(jié)背景方差比，是細(xì)節(jié)方差和背景方差的比值；針對(duì)于圖像分層的處理紅外圖像的方法，背景方差即基頻層的像素值求方差，BV是基頻層的像素值求方差的平均值，DV是細(xì)節(jié)層的像素值求方差的平均值，若BV的值較大，說明基頻層的噪聲較大，背景的像素值差距越大，視覺效果越不好，若DV的值較小，則細(xì)節(jié)的信息較少，那么細(xì)節(jié)層和基頻層進(jìn)行融合時(shí)，細(xì)節(jié)層的信息增強(qiáng)后，紅外圖像的整體效果欠缺，細(xì)節(jié)信息缺失。因此細(xì)節(jié)背景方差比值越大，說明紅外圖像的信息越豐富，細(xì)節(jié)增強(qiáng)效果明顯，噪聲越小。表5-2 BV-DV測(cè)試值

3. 黑體溫度測(cè)試

本作品因?yàn)槭褂昧思t外熱像儀，因此具備非接觸式視覺測(cè)溫功能。在測(cè)溫功能中，測(cè)溫的準(zhǔn)確性完全由黑體溫度標(biāo)定技術(shù)決定，若標(biāo)定不準(zhǔn)，則系統(tǒng)無法正確的向使用者反饋被測(cè)目標(biāo)溫度。對(duì)此，本小組在樣機(jī)的研制過程中，研究提出的寬溫度范圍黑體溫度標(biāo)定技術(shù)。通常情況下，使用非制冷焦平面探測(cè)器進(jìn)行溫度標(biāo)定時(shí)，遇到的最大的技術(shù)難點(diǎn)就是探測(cè)器焦平面附近的環(huán)境溫度會(huì)影響測(cè)溫精度。本團(tuán)隊(duì)在標(biāo)定時(shí)，首先將探測(cè)器置于充填了氮?dú)獾暮隗w腔室內(nèi)，利用高精度的黑體面源逐度上升并采集后端送出的數(shù)字信號(hào)，在寬溫度范圍內(nèi)擬合成一條探測(cè)器輻射溫度——響應(yīng)曲線，其次將系統(tǒng)置于抽真空的黑體腔室內(nèi)重復(fù)擬合該曲線，最后將本系統(tǒng)置于普通環(huán)境中擬合該曲線。由于這時(shí)環(huán)境溫度會(huì)對(duì)探測(cè)器響應(yīng)大小造成一定影響，在擬合的過程中首先要保持室內(nèi)恒溫恒濕，然后對(duì)每個(gè)測(cè)試溫度都需要進(jìn)行單點(diǎn)補(bǔ)償校正。最后將三條曲線放在一起進(jìn)行統(tǒng)計(jì)修正，得出在各個(gè)溫度點(diǎn)下的環(huán)境溫度補(bǔ)償量和標(biāo)準(zhǔn)黑體定標(biāo)溫度值，并將其移植到系統(tǒng)中，這樣就可以保證在寬溫度范圍內(nèi)較高的測(cè)溫精確性。本作品最終實(shí)現(xiàn)的測(cè)溫精度為0.1℃@≤100℃，±1％@100℃~400℃。

圖5-2 高精度測(cè)溫功能效果圖

4. 本作品現(xiàn)場(chǎng)使用效果測(cè)試

本作品相較于傳統(tǒng)的視覺成像產(chǎn)品最大的優(yōu)勢(shì)在于將場(chǎng)景及目標(biāo)的寬譜段光譜信息在一次成像過程中全部呈現(xiàn)給用戶，通過多光譜共同呈現(xiàn)圖像特征的方式能夠及其方便快速的定位故障及隱患發(fā)生位置，實(shí)際的使用效果如下圖5-3所示：

（a）

（b）

（c）

圖5-3

室內(nèi)成像效果圖圖5-3（a）為可見光成像效果圖，圖中放置了一塊測(cè)試電路板，該電路板經(jīng)過測(cè)試處理其上有一個(gè)電阻發(fā)熱異常，但是從可見光圖像中無法辨識(shí)異常之處，圖5-3（b）為該場(chǎng)景的紅外圖像，可以看出圖中心處有異常發(fā)熱存在，但是無法辨別是哪個(gè)電阻出現(xiàn)異常，此兩張圖像即為當(dāng)前行業(yè)中的單光譜器件使用現(xiàn)狀，圖5-3（c）為本作品的成像效果，可以看出，用戶非常快速的就可以定位到是哪個(gè)電阻正在異常發(fā)熱，無需在傳統(tǒng)單光譜器件使用中進(jìn)行二次判斷的過程。

（a）

（b） （c）

圖5-4

室外成像效果圖圖5-4為另一個(gè)室外使用效果圖，測(cè)試環(huán)境為晴朗的清晨，從圖5-4（a）可以看出，遠(yuǎn)處的實(shí)驗(yàn)大樓并無任何異常，而從圖5-4（b）中可以看出，大樓中出現(xiàn)了一個(gè)異常熱源，相較大樓的其他房間，該熱源可能是某種隱患，但是從圖5-4（a）和圖5-4（b）中難以判斷是哪個(gè)房間里出現(xiàn)的異常熱源，而通過本作品的成像效果呈現(xiàn)，可以非常方便快捷的發(fā)現(xiàn)是三樓右起第三個(gè)房間中出現(xiàn)了該異常熱源，經(jīng)與大樓物管人員確定，發(fā)現(xiàn)是某個(gè)燒制特種材料的鍋爐徹夜未關(guān)。此兩個(gè)現(xiàn)場(chǎng)測(cè)試使用效果直觀的證明了本作品在對(duì)比傳統(tǒng)單光譜成像設(shè)備使用中的功能和性能優(yōu)越性。同時(shí)，本作品已經(jīng)與行業(yè)內(nèi)的相關(guān)下游廠商開始了聯(lián)合調(diào)試過程，將其分別應(yīng)用在江蘇飛圖智能控制技術(shù)有限公司的無人機(jī)光電吊艙進(jìn)行地面巡檢以及上海潛新電子科技有限公司的安防領(lǐng)域中，并取得了不錯(cuò)的效果，得到了廠商的一致好評(píng)，下圖為廠商出具的試用報(bào)告：