高分辨率和高級語義表示對于密集預測都至關重要。從經(jīng)驗上看，低分辨率特征地圖通常實現(xiàn)更強的語義表示，而高分辨率特征地圖一般可以更好地識別邊緣等局部特征，但包含較弱的語義信息。現(xiàn)有的最先進的框架（如HRNet）保持了低分辨率和高分辨率特征地圖的并行性，并在不同分辨率之間反復交換信息。

然而，我們認為，最低分辨率的特征地圖往往包含最強的語義信息，需要經(jīng)過更多層才能與高分辨率特征地圖合并，而對于高分辨率特征圖，每個卷積層的計算成本非常大，不需要經(jīng)過這么多層。因此，我們設計了一個U形高分辨率網(wǎng)絡（U-HRNet），它在語義表示最強的特征圖之后添加更多的階段，并放松了HRNet中的約束，即新添加的階段需要并行計算所有分辨率。

為低分辨率特征圖分配了更多計算，這大大改善了整體語義表示。U-HRNet是HRNet主干的替代品，可以在完全相同的訓練和推理設置下，在多個語義分割和深度預測數(shù)據(jù)集上實現(xiàn)顯著改進，而計算量幾乎沒有增加。

代碼可從PaddleSeg獲取：https://github.com/PaddlePaddle/PaddleSeg

1、簡介

密集的預測任務，包括語義分割和深度估計等，是視覺理解系統(tǒng)的重要組成部分。密集預測任務需要預測像素級類別標簽或回歸特定值，這比圖像級預測任務更具挑戰(zhàn)性。同時保持高分辨率和強語義信息是有效處理密集預測任務的關鍵。

高分辨率可確保最終預測粒度盡可能接近像素級別，并可獲得更精確的局部判別，例如更精確的邊緣。強大的語義信息確保了整體預測的準確性，特別是對于難以區(qū)分或面積較大的實例。

深度卷積神經(jīng)網(wǎng)絡，如U-Net、DeepLab、HRNet，在FCN的設計之后，在密集預測任務中取得了令人興奮的結果。特別是高分辨率網(wǎng)絡（HRNet）在密集預測任務中取得了最先進的結果，例如語義分割、人體姿勢估計等。HRNet能夠學習高分辨率表示，同時確保低分辨率特征圖和高分辨率特征圖之間的語義信息傳輸。

然而，作者發(fā)現(xiàn)HRNet仍有很大的改進空間。經(jīng)常可以看到大面積的區(qū)域被錯誤地分類。例如，在圖1中，第2行顯示HRNet的結果。在圖1（a）和（b）中，整個實例被錯誤分類，而在（c）中，一個大面積實例中的一些塊被錯誤分類。這表明HRNet實現(xiàn)的語義表示仍然不夠好。作者認為，這可能歸因于HRNet的宏觀結構，可以概括為以下兩個方面：

HRNet最低分辨率分支的最終塊具有最強的語義表示，直接輸出，而不完全傳播到更高分辨率分支。

HRNet的低分辨率分支不夠深入，使得網(wǎng)絡的語義能力受到限制。然而，由于計算成本的顯著增加，在HRNet的最后兩個階段為更深的網(wǎng)絡增加模塊數(shù)顯然是不可取的。

U-Net在一定程度上緩解了上述兩個問題。然而，在U-Net中，每個階段只保留一個分辨率，不同尺度之間沒有融合，只有與殘差分支合并。作者認為，HRNet的最大優(yōu)勢是能夠并行維護多尺度并始終執(zhí)行多尺度融合。

為了在不增加額外計算成本的情況下改進高分辨率網(wǎng)絡的整體語義表示，作者提出了一種簡單有效的網(wǎng)絡，稱為U形高分辨率網(wǎng)絡（U-HRNet）。它繼承了UNet的編解碼器結構，有利于從最強語義特征映射到最高分辨率特征映射的嵌入傳播。同時，它完美地保留了HRNet的優(yōu)點，保持了多尺度并行，并始終執(zhí)行多尺度融合。

此外，它減少了高分辨率分支上的塊數(shù)，并將其計算重新分配給低分辨率分支，以獲得更大的語義容量，而無需添加更多計算。如圖1所示可以看到U-HRNet在困難對象和大面積實例的語義表示方面比HRNet更具優(yōu)勢。幸運的是，U-HRNet也與OCR頭一起工作得很好，因為U-HRNet專注于提高整個網(wǎng)絡的語義能力，這與OCR的優(yōu)勢沒有重疊，OCR旨在借助對象和類別之間的語義關系更好地標記。

因此，本文的貢獻有兩點。

提出了一種簡單有效的網(wǎng)絡U-HRNet，它在密集預測任務上的性能優(yōu)于HRNet而計算量幾乎沒有增加。

U-HRNet與OCR的結合為多個語義分割數(shù)據(jù)集設置了新的技術水平。

2、U型高分辨率網(wǎng)絡

2.1、Review of HRNet

HRNet是一種用于人體姿態(tài)估計的優(yōu)秀神經(jīng)網(wǎng)絡。之后，進一步證明了HRNet可以很好地處理其他許多任務，如目標檢測、語義分割。由此可見，HRNet不僅在高級語義表示方面很強，而且在低級空間細節(jié)方面也很強。如圖2（a）所示，1/4分辨率從網(wǎng)絡的開始到結束都是一致的，隨著網(wǎng)絡深度的增加，語義表示學習增加了更多的低分辨率，從而通過多分辨率融合提高了高分辨率表示。

然而，HRNet對于一些密集的預測任務可能并不完美。例如，語義分割是一個典型的密集分類任務，為了幫助像素預測其語義類別，引入高級全局信息非常重要。從這個角度來看發(fā)現(xiàn)HRNet有以下幾個缺點：

具有最強語義表示的1/32分辨率分支的最后一個塊直接輸出，而沒有得到充分利用。

高分辨率和低分辨率分支之間的計算分配沒有優(yōu)化，應更多關注語義表示強的低分辨率分支。

2.2、Architecture of U-HRNet

1、主體結構

繼HRNet之后，將圖像輸入到一個干塊中，將分辨率降低到1/4，主體輸出與1/4分辨率相同的特征圖。圖2（c）顯示了U-HRNet的主體。與U-Net一樣，其布局如圖2（b）所示，主體在宏觀范圍內似乎是U形網(wǎng)絡，而在微觀范圍內，它由幾個hr模塊組成。然而，每個hr模塊由不超過兩個分辨率分支組成。這種設計方式旨在解決第3.1節(jié)中提到的HRNet的缺點。重組的細節(jié)如下所述。

首先，刪除了HRNet最后兩個階段的高分辨率分支（階段3和階段4的1/4分辨率分支，階段4的1/8分辨率分支），這使得許多計算被釋放。

然后，為了改進高分辨率輸出的語義表示，在最低分辨率階段之后添加了幾個階段。這些階段逐漸對要素圖進行上采樣，并與之前階段特征合并。這使得最低分辨率階段輸出的語義表示最強的特征可以更早地與low-level高分辨率特征合并，從而通過充分分析最強的表示，后續(xù)階段能夠更精確地推斷空間細節(jié)。

最后，在不同階段重新安排表征模塊。在低分辨率階段增加了模塊，而在高分辨率階段減少了模塊，這在很大程度上改善了語義表示。此外，添加了一個具有1/32和1/64分辨率分支的stage，以生成更豐富的語義表示，而無需添加額外的更高分辨率分支。與UNet類似，在網(wǎng)絡的深度方向上設置了幾個Shortcut，分別連接第2階段和第8階段、第3階段和第7階段、第4階段和第6階段。這些Shortcut使網(wǎng)絡可以同時利用High-Level特征和Low-Level特征，同時使?jié)u變可以直接傳播到前面的階段。

2、融合模塊

對應于主體中的Shortcut，在第8階段、第7階段和第6階段之前有三個融合模塊，分別將第2階段、第3階段和第4階段的高分辨率分支輸出的Low-Level特征與第7階段、第6階段和第5階段的高分辨分支的上采樣特征合并。

直覺上，可以簡單地應用高分辨率模塊中使用的融合方法，即添加兩個輸入特征，然后執(zhí)行ReLU函數(shù)進行激活，如圖3中的fusion a所示。然而，假設根據(jù)U-Net的融合方法連接兩個輸入特征可以增強網(wǎng)絡的連通性。因此，首先將核大小為2的通道維度上的兩個輸入特性合并在一起，然后將它們作為輸出特性在通道之間連接起來，如圖3的Fusion B所示。

3、表征Head

對于表征Head，基本遵循HRNetV2。輸出的多分辨率特征來自階段5、階段6、階段7、階段8和階段9的較低分辨率分支。但是，由于增加了1/64分辨率，U-HRNet表征頭中卷積的輸入通道數(shù)是HRNetV2的兩倍。為了保持與HRNetV1表征頭類似的計算成本，通過一個核大小為2的池化操作傳遞多分辨率特性，然后將它們連接到通道維度中，作為表征頭的輸入。

2.3、Instantiation

U-HRNet的主體包含9個階段和5個分辨率流。分辨率為1/4、1/8、1/16、1/32、1/64。第一階段包含1個分支hr模塊，由4個瓶頸殘差塊組成，每個塊的寬度為64，然后是一個3×3卷積，將特征圖的寬度更改為C，表示為1/4分辨率流的寬度。第2至第8階段分別包含1、5、2、2、1、1、1hr模塊。

所有這些模塊都由兩個分支組成，每個分支由4個基本殘差塊組成。與第一階段一樣，最后一階段也包含1個分支hr模塊，而該模塊由4個基本殘差塊組成。最后，五個分辨率流的卷積寬度分別為C、2C、4C、8C和16C。

U-HRNet的布局如圖2（c）所示。此外，與U-HRNet相比，U-HRNet-slim有兩點不同，

第三階段由2hr模塊組成，而其他階段與U-HRNet相同

U-HRNet-small的hr模塊中的所有分支都包含2個瓶頸塊或基本塊。

2.4、分析

在U-HRNet中，除了第一級和最后一級之外，主要采用兩個分支hr模塊作為組成網(wǎng)絡的基本單元，而不是HRNet使用的多分辨率（兩個或多個）并行卷積和U-Net中的一個分支卷積序列。它帶來了一些有助于改進語義表示的好處。

與HRNet相比，這兩個分支hr模塊放寬了在一定階段內所有分辨率都需要并行計算的限制，同時又不失多分辨率推理的優(yōu)勢。這使得U-HRNet可以在低分辨率分支上附加比HRNet更多的計算，并進一步改進最強的語義表示。

與U-Net相比，雙分支hr模塊在多尺度表示學習上明顯優(yōu)于單分支卷積序列。此外，當進入下一個分辨率時，無論是下采樣還是上采樣，U-HRNet都會繼續(xù)保持之前的一個分辨率，并不斷融合兩個分辨率的特性。這使得網(wǎng)絡能夠充分利用之前學習到的信息，同時避免因分辨率變化而導致的空間或語義知識的丟失。

3、實驗

3.1、消融實驗

3.2、SOTA對比

審核編輯：劉清