結構光三維形貌測量方法越來越多地應用于逆向工程、航空航天、生物醫學、文物保護等領域。相位展開作為結構光三維測量中的一個關鍵環節對測量精度、速度和可靠性起著決定性作用。
據麥姆斯咨詢報道,近期,河北工業大學機械工程學院和赫德斯菲爾德大學精密技術中心的科研團隊在《紅外與激光工程》期刊上發表了以“面向結構光三維測量的相位展開技術綜述(特邀)”為主題的文章。該文章第一作者和通訊作者為張宗華教授,主要從事光學檢測、三維數字成像和造型、條紋自動分析等方面的研究工作。
本文綜述了相位展開技術的研究進展:介紹了相位展開技術的基本原理;將現有的相位展開技術進行分類并詳細綜述各類技術的研究現狀以及優缺點和適用性分析;對不同技術的幾種主要特點進行了比較和分析;總結分析了相位展開技術的未來研究趨勢和可能的研究方向。
相位基本原理
相移法以其操作簡單、高效率、高精度等優點廣泛應用于光學測量領域。通常,經典的三維形貌測量步驟包括:條紋投影、相機采集變形條紋、條紋分析、相位展開、系統標定、點云計算、三維形貌重建。其中條紋分析的目的是得到包裹相位,位于區間(?π,π]呈現鋸齒形狀的相位信息。得到包裹相位常用的條紋分析方法是相移法、小波變換法和傅里葉變換法,其中相移法具有計算結果準確、可靠性高和對環境和噪聲不敏感等優點。Zuo等已經對各類相移算法做了較為全面的比較。文中涉及到的包裹相位部分,統一采用相移方法求解。相移方法把投影的條紋圖案在一個周期內均勻移動N步(N≥3),每次移動2π/N,根據這N幅變形條紋圖案來求得折疊相位?(x,y)。相位展開的意義是將由反正切函數計算得到的截斷相位恢復為連續分布的相位,用于后續的三維形貌恢復。
相位展開技術分類
下面對以下4種相位展開技術的進展進行詳細介紹:1)時間相位展開技術;2)空間相位展開技術;3)基于深度學習的相位展開技術;4)其他相位展開技術。
時間相位展開技術
時間相位展開是按照時間順序將一系列不同頻率的條紋投影到被測物體上,相機捕獲被測物體表面的變形條紋。根據捕獲的一系列按照時間順序排列的變形條紋圖案,可以將每個像素點的相位根據時間序列的條紋圖組相對獨立地完成相位展開,得到連續的相位分布。由于時間相位展開與相鄰相位無關,展開相對獨立,因此時間相位展開也可以用于計算非連續表面的相位值。
自Huntley和Saldner提出時間相位展開技術以來,研究者們針對相位展開的效率和準確性這一問題進行了大量研究,使得時間相位展開技術快速發展。1993年,Huntley和Saldner提出時間相位展開技術,有效克服了相位展開過程中的誤差傳播,使條紋圖案的空間頻率隨時間呈線性序列(條紋周期數為:1,2,3,?,N0,N0表示最大投影條紋周期數)。算法實現像素獨立展開,且在時域中進行,可以將相位誤差限制在低信噪比區域內。此外,相位不連續的區域也可以實現正確展開,用于測量非連續物體表面。該技術存在的問題是相位圖建立緩慢,多適用于靜態測量,不適用于較快的動態測量。之后,Huntley和Saldner將時間相位展開技術用于改進的測量系統,簡化了標定過程,使得時間相位展開技術可以更有效的應用于實際測量中。
該技術的主要優點是:可有效測量高度不連續的被測物體,測量誤差與使用的條紋圖數量成反比。陰影對圖像的影響與傳統投影條紋的影響程度相同,但是相位誤差被限制在陰影區域內,不會傳播,影響具有良好信噪比的區域。為了簡化Huntley和Saldner所提出的技術,Zhao等提出一種新方法,主要原理是基于用于相位展開的兩個相位圖像具有不同的精度,且條紋階次由較低精度的相位圖像賦值。該方法每個點的相位展開也都是獨立完成,且計算相位展開的方法可以自動生成相位圖,而無需定位條紋中心或分配條紋階數。被測物體的非連續性以及噪聲問題對該方法影響較小,但是可否用于欠采樣的問題未得到驗證。
Huntley和Saldner比較分析了已有時間相位展開計算方法的性能,同樣為了減少投影圖像數量和簡化計算量,提出了一種指數序列相位展開技術,使條紋圖案的空間頻率隨時間呈指數變化(條紋周期數為:1, 2, 4,?, N0),即所需投影圖案數目與總相位范圍呈對數變化關系,而非線性變化。證明了該技術可以有效的抑制噪聲的影響,對噪聲較為不敏感。由于高度測量誤差與總相位范圍成反比關系,因此誤差隨著展開圖像的數量增加呈指數下降,可有效降低測量誤差。該技術不僅為相位展開實現最大化可靠性和最小化計算量提供了一種選擇,也在一定程度上提升了測量精度。但是對于相位展開的速度和準確度而言,仍存在一定的提升空間。針對時間相位展開的精度提升和速度加快問題,Huntley和Saldner提出了一種反向指數序列的相位展開技術(條紋周期數為:N0, N0-1, N0?2,?, N0/2)。
該技術不僅提高了信噪比,而且通過線性最小二乘法提高了相位展開技術的測量精度(提高s1/2倍,其中s是投影條紋的總數)。在不考慮測量時間的情況,可實現較高的測量精度。對于具有深斜坡或局部不連續的物體表面,通常不能滿足香農抽樣定理,為了恢復局部陡峭曲面片的形狀,針對采樣問題和時間效率問題,Peng等提出一種以遞歸方式實現的增強時間展開方法。采用遞歸方法使得重建曲面的分辨率提高,從而實現多分辨率重建,提高對被測物體細節測量的準確度。
不同的時間相位展開技術具有不同的優缺點,適用于不同的測量場景和物體,Huntley和Saldner所提出的不同時間相位展開技術可以總結為:線性序列相位展開技術、指數序列相位展開技術和反向指數序列相位展開技術。其中線性序列所需圖像的數量最多,因此所需圖像最多,測量速度最慢且計算量最大;后兩種指數序列利用了相位和投影條紋數之間的指數關系,與線性序列相比,所需圖像總數減少,一定程度上提高了測量效率。
為實現精度更高、誤差更小、抗噪性更好和更具有時間效率的相位展開,更好地解決相位展開過程中的誤差傳播效應,更有效地用于非連續表面的測量,逐漸發展出越來越多不同形式的時間相位展開技術。時間相位展開的發展過程中形成的方法可總結分為四類:基于格雷碼的相位展開、多頻相位展開、多波長相位展開和基于數論的相位展開。以下對四種方法的基本原理和發展過程進行詳細的介紹說明。
基于格雷碼的相位展開
格雷碼(Gray code)最早于19世紀40年代被提出。由于格雷碼固有的編碼優勢,Inokuchi等將其應用到結構光三維形貌測量的編碼技術中。格雷碼采用的是二值編碼,但是格雷碼的特殊性在于相鄰數字編碼之間只差一位,最大數與最小數之間也只相差一位,因此出差率低,用于編碼解碼可以使得誤差降低到最小。
格雷碼圖案通過投影儀投射到被測物體表面,相機捕獲經過被測物體表面調制后的格雷碼圖案,結合系統標定結果,解碼即可實現被測表面的三維重建。編碼和解碼過程如圖1所示。
圖1 格雷碼編碼和解碼過程
根據格雷碼的編碼特性,可以實現在解碼過程中唯一定位到每一個條紋,可以根據提取條紋的邊界和提取條紋的中心確定。相對而言,條紋邊界的準確提取是影響解碼準確度的主要問題。隨著對格雷碼方法的深入研究和不斷發展,多種格雷碼相關的相位展開技術被提出,可將基于格雷碼的相位展開(PU-GC)分為:二值格雷碼方法、多灰度格雷碼方法、格雷碼結合相移方法和基于格雷碼編碼原理的其他方法,這四類方法都可以歸類為在結構光三維測量中常用的格雷碼方法。
為了提高時間相位展開的效率,Sansoni等提出了一種將相移與格雷碼相結合的結構光三維測量方法。格雷碼技術被用來測量不連續表面,而相移算法可以測量較為精細的表面細節,使得該系統具有較好的線性度,提高了與分辨率和測量范圍相關的測量性能。在基于格雷碼結合相移技術的三維形貌測量中,可以對復雜或不連續表面的物體進行測量。但是由于被測表面反射率不均勻、背景光強度、噪聲以及散焦的影響,相鄰兩個二值的邊界,尤其是黑白轉換邊界的界限不明顯,不易實現清晰的分割,從而導致解碼相位順序出錯。針對上述問題,2012年Zhang等提出了互補格雷碼的編碼方法。該方法需要一個額外的格雷碼,形成互補格雷碼圖案,使得轉換邊界錯開,保證了相位展開的可靠性和正確性,有效解決了邊緣模糊導致的相位展開錯誤問題。
該方法使圖像二值化和相位展開過程變得簡單有效,但存在的缺點是需要投影和捕獲額外的格雷碼圖案,降低測量效率從而影響測量速度。同樣為了解決格雷碼邊界的邊緣模糊問題,Zheng等提出了一種自校正格雷碼的相位展開方法。該方法無需額外的條紋圖案,解決了Zhang所提方法存在的問題。在校正過程中,相位展開可以充分利用包裹相位中的信息,限制相位跳變的搜索范圍,整個搜索過程只對相位跳變的部分進行校正。因此在搜索過程中省去了不必要的時間浪費。此外,該方法對噪聲影響敏感性較低。
格雷碼方法在實際測量中,捕獲的格雷碼圖案不再是二值圖案,這導致在存在大量像素處易出現相位展開錯誤。為了更有效地消除相位展開誤差,Zheng等提出了一種自適應中值濾波器,用于解決相移輪廓術與格雷碼圖案投影相結合的相位展開誤差問題。該方法首先檢測錯誤的像素;然后逐漸增大過濾器尺寸,直至獲得較好的效果,可以最大程度地防止邊緣問題。與傳統中值濾波器相比,該方法可有效的去除錯誤像素,具有一定的優越性。但存在的問題是錯誤像素的檢測過程較為耗時,影響測量效率。此外,該方法是檢測跳變誤差并補償展開相位,屬于后校正展開相位,適用于靜態、緩慢變化、誤差區域較小的場景,對于運動物體的動態場景等存在較大誤差區域的情況則難以校正。
相移算法與格雷碼結合的測量方法具有高魯棒性和抗噪聲能力,因此得到了廣泛的應用。在實際測量場景中,由于投影儀的散焦、物體的運動以及物體表面反射率的不均勻性,產生的級次邊沿誤碼問題會造成相位展開錯誤,因此該方法較為廣泛的應用于靜態場景的三維形貌測量,而較少用于動態高速測量場景中。如果可以在保證預先避免相位跳變誤差的前提下,實現提升測量速度的同時解決投影儀非線性響應問題,則可以實現快速、可靠的三維形貌測量。逐漸發展起來的二元離焦技術突破了高速條紋投影和投影儀非線性響應的瓶頸,將其有效應用于準確快速的三維形貌測量。Wu等提出了一種循環互補格雷碼方法,結合二元抖動技術和互補格雷碼實現相位展開。在具有相同投影圖案數的前提下,該方法與傳統的灰度編碼方法相比不僅擴展了相位測量范圍,而且也提高了測量精度,可有效用于動態場景的高速三維測量。
但不足之處是測量深度范圍存在一定的限制。為了使格雷碼結合相移的方法可以更有效的用于高速測量,Wu等又提出了一種移動格雷碼方法。該方法可以有效消除由反射率不均勻、環境光變化和投影儀散焦引起的大部分相位解包裹誤差。移動格雷碼編碼方法可以避免相位展開在碼字邊緣的剩余誤差。該方法也無需額外投影和采集條紋圖案。陸麗蓮等提出了一種基于錯位格雷碼的三維形貌測量方法,無需任何附加圖案即可避免級次邊沿誤碼問題,并有效提升了測量精度。
基于格雷碼的方法用于動態高速測量的主要限制因素就是編碼效率低和邊界誤差問題。針對這兩類問題,提出了不同的相位展開方法。一方面針對邊界誤差問題,為了實現更高速高效的三維測量,Wu等提出了一種分區相位展開方法。其中,三相位展開可以避免主要由散焦和運動引起的碼字邊界跳躍誤差。對于高速應用,使用較少數量的條紋圖案可以減少運動誘發的偽影,時間重疊編碼方法則可以提高編碼效率,將每組中的投影圖案數目從7個減少到4個。
結合三相位展開和時間重疊編碼方法的優勢,實現采用4幅投影圖案重建具有強噪聲動態場景條件下的被測物體三維形貌。該方法能夠實現低信噪比高速動態場景的魯棒、高效三維測量,保證了基于格雷碼方法的高抗噪聲能力,同時克服了跳轉錯誤和低編碼效率的缺點。但是該方法的局限性在于僅限于使用三步相移算法的相位提取,并且需要額外的參考折疊相位來分割條紋階數區域。
Wu等將上述提出的方法應用于數字圖像相關輔助的條紋投影輪廓術中,實現對紋理表面的高速三維形貌、位移和變形的測量。上述不同的測量方法雖然具有各自的局限性,但是都可以預先避免相位跳變誤差,實現高速三維形貌測量。為了彌補以上方法的局限性,Wu等提出了一種格雷碼復用的編碼策略方法。該方法在原有的相位展開基礎上建立另外兩個交錯的相位展開,并將條紋階數的每個周期劃分為3個部分,從而避免跳躍誤差。同時,該方法具有一定的有效性和通用性,保證測量結果的情況下簡化了測量過程。
另一方面針對編碼效率提升問題,Zheng等提出了三灰度格雷碼方法,通過增加格雷碼的編碼灰度級數,實現對格雷碼編碼效率的提升。對于條紋頻率為f的正弦條紋,實現了格雷碼編碼圖案數目從log2f減少至log3f。He等在Zheng三灰度編碼方法的基礎上,提出了四灰度編碼方法,將格雷碼編碼圖案數目從log3f減少至log4f,進一步提高了編碼效率,加快了圖像采集速度,擴展了在動態測量應用中的適用性。張昂等提出了一種三灰度編碼相位展開方法,將投影條紋圖案降低至5幅,包括3幅正弦相移條紋圖像和兩幅三灰度編碼圖像,在一定程度實現了測量速度的提升。之后,王浩然等提出了一種基于時間復用編碼的方法,將重建一個三維結果所需的投影序列圖案數目降至3幅,進一步提高了編碼和重建效率。以上方法都是通過提高格雷碼的編碼效率實現減少投影和采集條紋圖像的數量,從而提高測量速度。
基于格雷碼的相位展開,具有很高的魯棒性和抗噪聲能力,受到系統非線性誤差的影響較小。為了提高方法的效率,逐漸減少測量所需的條紋圖案的數目,現有的多種基于格雷碼的相位展開方法已經實現了可有效用于快速測量場景。
多頻相位展開
多頻相位展開(MFPU)主要原理是投射兩組(或兩組以上)不同頻率的條紋圖案,借助一個(或多個)具有不同頻率的條紋圖案的附加包裹相位圖來實現相位展開,確定條紋階數k。多頻相移法最早提出時用于激光干涉測量,該方法也適用于條紋投影測量。
為了提高時間相位展開的精度,Li等提出了雙頻相位展開方法。將雙頻光柵投影到物體上,對高頻和低頻的大小做了一定的限定,其中高頻比低頻大幾倍。該方法可實現高頻相位的準確展開,且低頻對測量高度的不連續性不敏感,使得該方法可更加有效地用于不連續性更大的物體表面測量。
多頻相位展開中,如何合理有效地選擇頻率是決定相位展開準確度的關鍵問題。針對多頻測量中最佳頻率的選擇問題,Towers等為多頻干涉測量中的最佳頻率選擇引入了一個優化標準。該標準使得頻率選擇公式針對實現最大目標動態范圍所需的最小頻率數量進行了優化。所提出的頻率選擇方法會生成幾何系列的波長,從而為干涉儀中使用的每個后續頻率提供最大的動態范圍。Towers根據優化標準提出了一種最佳三條紋選擇方法,實現利用最少數量的投影條紋頻率獲得最大的測量范圍。使用基于相干光纖的條紋投影儀,通過實驗證明了最佳頻率選擇方法。僅使用3個頻率,在整個視野中使用100個條紋,在條紋階計算中實現了大于99.5%的可靠性。Zhang等將提出的最佳三條紋選擇方法用于彩色條紋投影系統中,使用最佳三條紋選擇方法實現每個像素獨立計算絕對相位。該方法在采用3個頻率的前提下可以實現精準的測量,且最佳三條紋選擇方法的精度較普通的多頻方法較高;投影圖案數目相對較少;具有一定的抗噪性和魯棒性。
雙頻相位展開對相位主值要求相對較高,因此易產生相位跳躍誤差。兼顧測量時間效率和測量精度,選擇3個頻率的相位展開技術更為適用。
其中最佳三條紋選擇方法,對于相同的工藝可靠性和相位噪聲,最佳三條紋選擇方法的測量范圍是雙頻干涉測量的平方,比其他頻率系列方法的測量范圍更大。此外,最佳三條紋選擇法所用的條紋圖案數量較小,計算可靠性也較高。根據多頻方法求得的各步結果如圖2所示。
圖2 最佳三條紋選擇原理示意圖。(a) 條紋頻率為9的折疊相位;(b) 條紋頻率為8的折疊相位;(c) 條紋頻率為6的折疊相位;(d) 展開相位
多頻相位展開具有測量精度高和相位展開可靠性高等優點,但是也存在投影條紋圖案數量較多、所需測量時間較長導致的測量效率低等問題。針對以上問題研究者們提出了不同的改進方法,以實現在保證測量精度的同時提升多頻相位展開技術的測量效率。針對已有的包括線性、擬合線性、擬合指數、擬合負指數等時間相位展開算法存在的使用投影條紋圖案數目數量較大這一問題,研究者們相繼提出不同的解決方法。徐珍華等提出了三頻相位展開方法,投影三套條紋圖即可獲得展開相位。該方法有效降低了獲取數據的數量并且一定程度上縮短了數據處理時間,提升了方法的測量效率。同樣針對減少條紋圖案的幅數,Liu等提出了一種新的雙頻方法,該圖案將高頻正弦分量與單位頻率正弦分量相結合,其中高頻分量用于生成穩健的相位信息,而單位頻率分量用于減少相位展開過程的邊界模糊問題。該方法可以使用更少的條紋圖案數且獲得更高質量的相位數據。為了獲得兼具高效、高精度的相位展開方法,從完善三頻展開法和外差法的角度,李璐璐等結合了三頻展開法和外差法的優點提出了三頻外差法。但是較三頻展開法和外差法而言,不僅在精度和可靠性上表現較好,而且計算效率也得到了一定程度的提升。
從減小誤差產生和修正誤差的角度也可以實現減少相位誤差提高測量精度的目的。陳玲等根據多頻外差原理,提出了一種相位修正的方法,能夠非常有效地去除相位誤差。Zhang等針對采用多頻條紋投影相位展開算法時可能會出現條紋階差,進而導致相位展開誤差問題,提出了一種校正由自由電子設備引起的相位誤差方法。所提方法在一定程度上可以減少相位展開誤差。針對誤差問題,Zhang等定義了一個稱為條紋階次誤差的參數,從理論上分析了可能導致條紋階次誤差的主要因素,提出了一種借助于條紋階次誤差優化選擇條紋周期的方法,有助于優化選擇條紋周期,并檢測相位展開誤差。該方法也可有效降低相位展開誤差,提高測量精度。此外,趙文靜等對幾種多頻時間相位展開引入了分塊擬合的方法,先將整個相位場大小進行分塊,然后再對每個子區域進行擬合,使得測量精度更高,相位誤差也遠小于以前采用的全場擬和法。為了消除現有多頻外差原理相位展開結果存在的跳躍誤差,陳松林等提出了相位展開過程中所需滿足的一系列約束條件,對多頻外差原理相位展開方法進行了改進,展開后的相位無需再次進行誤差校正,相比現有方法時間效率提升30%以上。針對求解展開相位過程出現的跳變誤差,韓玉等提出了一種基于多頻外差的相位解包裹方法。該方法利用相鄰像素點包裹相位求得的斜率和疊柵條紋的整數部分,判斷是否存在跳躍性誤差并進行修正,從而消除誤差,得到了較為平滑的相位展開結果。
在提高多頻相位展開的測量速度方面,多位研究者也做了相關的研究工作。Wang等提出一種雙頻二進制相移方法來測量跳動兔心臟的三維絕對形狀。利用最佳脈寬調制技術生成高頻條紋圖和誤差擴散抖動技術生成低頻條紋圖,通過采用雙頻移相,實現了跳動兔心臟的絕對相位恢復,并準確獲得其三維形貌。但是該方法只實現了定性的測量。同樣在提升多頻相位展開測量速度問題上,Zhang等提出一種新的雙頻方法。該方法將高頻正弦分量與單位頻率正弦分量相結合,其中高頻分量用于生成穩健的相位信息,而單位頻率分量用于減少相位模糊。該方法一定程度上通過減少條紋圖數目提升了測量速度,且配合實時處理數據算法,速度提升了約10倍。
對于多頻相位展開而言,準確地選擇最高條紋頻率、相移步長和條紋圖序列是實現準確、高效和可靠測量的關鍵問題。Zhang等提出了一種在多頻時間相位展開同時確定最佳條紋頻率、相移步長和圖案序列的新方法。在保證精度的前提下,使用7個條紋圖案即可實現三維形貌測量,有效實現了在保證精度的前提下提升測量效率問題。
多頻相位展開在圖案效率、精度和相位展開范圍方面優于基于格雷碼的相位展開。多頻相位展開也具有較好的魯棒性,但是在條紋圖案數目上仍然有提升的空間。
多波長相位展開
多波長相位展開(MWPU)的參考相位是從兩個相位函數的包裹差產生。以雙波長為例,將已知的相位范圍擴展到兩個相近頻率的拍頻處合成等效波長。
多波長相位展開中雙波長的抗噪能力較差,因此多使用3個及以上的波長用于相位展開。但是考慮所需條紋圖案數目,因此多采用三波長的方法。多波長相位展開是通過外差技術將兩個高頻包裹相位圖依次組合成低頻相位圖。與多頻相位展開相比,在保持相位展開精度的前提下,多波長相位展開可以使用更少的條紋圖案數目實現更快的相位展開。
基于數論的相位展開
基于數論的相位展開(NTPU)的主要理論支持是相對質數的性質。基于數論的相位展開具有簡單、穩健的特點。但是由于頻率或者波長的選擇需要滿足相對質數的性質,因此對于頻率的選擇具有一定的局限,且該方法的可靠性和抗噪性受低頻影響較大。此外頻率的限制也可能會導致測量范圍存在一定的局限性。
空間相位展開技術
空間相位展開技術主要是以局部或全局優化的方式,通過比較相鄰像素處的相位值,判斷加減2π,以消除跳變得到絕對相位,且得到的兩個相鄰像素點的相位差值位于(?π,π]范圍中。但是該技術應用于實際工程對象時存在一些問題,因為在相位展開過程中通常包含相位中的跳變,后序可能無法跨越這些存在的不連續性,使得相位展開誤差從高噪聲區域向低噪聲區和其他區域累計傳播,相位誤差在圖像中傳播。雖然存在誤差累積和誤差區域擴大的問題,但是空間相位展開技術具有測量速度快的優勢,因此在對于測量速度有較高要求的實際測量工作中也得到了廣泛的應用。
空間相位展開技術根據算法原理大致分為:路徑跟蹤的局部算法和路徑無關的全局算法。其中路徑跟蹤的局部算法包括質量引導相位展開法、枝切法;路徑無關的全局算法包括無權和加權最小二乘法。
質量引導相位展開
質量引導相位展開(QGPU)因為具有高效、快速的優勢,得到了廣泛的研究。質量引導相位展開主要原理是以質量圖為依據衡量包裹相位,按照所有相位點的質量高低排序從高到低完成相位展開。相位展開具體步驟分為兩步:確定質量圖;通過洪水填充算法進行相位展開。該方法可以有效限制低質量區域相位展開誤差的傳播。
1982年,Itoh最早提出空間相位展開條件和方法,但是受噪聲影響較為嚴重。引導圖質量好壞的判斷一方面決定像素展開相位的正確性;另一方面也對相位展開的方向有影響。這些因素都會影響相位展開過程中的準確性、噪聲干擾、誤差擴散的問題,好的引導圖質量對于相位展開的成功有著非常重要的影響,因此質量圖質量高低的判別也是質量引導相位展開技術中的一個重要環節。Su等提出了一種基于可靠性引導參數映射的相位展開方法。該方法是根據參數映射引導相位展開路徑,根據選擇的一個或一組參數來識別相位數據的可靠性或相位展開的方向,如圖3所示。可選擇的參數包括:條紋圖的調制度、條紋圖的空間頻率、相鄰像素間的相位差、信噪比等。參數圖是組合2個或3個參數生成,方法的核心就是先對參數圖中參數值較高的像素進行相位展開。
該方法可以有效的將存在的相位展開誤差限制在局部最小區域,具有很強的魯棒性。Zhang等提出了由相位圖梯度生成質量圖的方法,多級閾值用于逐級展開相位。該方法雖然對原有的線掃描相位展開算法有所改進,但降低相位展開的計算速度。Fang等提出了一種基于可靠性評估的質量導引相位展開算法,以目標圖像的強度作為衡量標準來評估包裹相位圖中每個像素的可靠性,性能良好,且計算效率高。關于質量引導相位展開引導策略中的經典、兩段和堆棧鏈三種策略而言,具有索引交織鏈表數據結構的經典指導策略具有準確度的優勢,而堆棧鏈引導策略則速度更快。鄰接列表在質量引導相位展開過程中起著非常重要的作用,索引交織鏈表是用于實現鄰接列表的數據結構。Zhao等通過對質量引導相位展開方法中的索引交織鏈表提出了三項改進,實現減少計算量,提升相位展開速度。
圖3 基于定向平行映射的相位展開示例
質量引導相位展開,操作簡單,速度較快,但是也不可避免地會存在因相位展開路徑不正確而引起的相位誤差。針對相位展開中如何減小誤差獲得精度更高的展開相位結果這一問題,不同研究者們提出了不同的解決方法。Li等利用小波變換系數在小波脊線位置的幅值映射來識別相位數據可靠性和相位展開路徑的方法。該方法選擇位于具有最高振幅值像素處的包裹相位作為相位展開的起點,較先展開具有較高振幅值的像素,所以相位展開的路徑總是沿著振幅值最高的像素到振幅值最低的像素。該方法可以更好地實現將相位展開誤差限制在局部最小區域。Qian等提出了一種加窗傅里葉濾波和質量引導相位展開方法。該方法將濾波后的振幅作為實際質量圖,使得相位展開算法對包裹相位圖中的低質量區域更具容錯性。此外,該方法考慮了窗口大小的選擇問題,使算法能夠適應不同的相位抖動問題,較大的窗口有助于消除噪聲和識別無效區域,而較小的窗口則有助于保留局部特征。Mostafavi提出了一種基于雙三次插值法降低相位噪聲的新濾波算法,雙三次插值法與傳統展開算法的結合提高了展開相位圖的精度。
質量引導相位展開通常速度很快,并且對相位圖中的噪聲區域反應較為有效,但其魯棒性和處理不連續性問題的能力具有一定限制。相關研究者試圖解決空間相位展開無法用于非連續相位的展開問題,Arevalillo-Herraez等提出了一種基于剩余概念的質量度量方法,在質量引導方法中使用該度量值可以實現快速、穩健和成功的相位展開。但是相關研究仍處于初步試探,如果空間相位展開可穩健有效地用于非連續物體測量的相位恢復,將使得非連續物體的三維測量速度大大提高,可以解決一系列對測量速度有強烈要求的相關工業和工程問題。
枝切相位展開
枝切相位展開(BCPU)是另一種常用的路徑相關類算法,主要步驟包括:1)識別殘差點,識別圖像中的所有殘差點并標注其極性;2)構造枝切線,連接各個殘差點并使枝切線上所有殘差點極性值之和為零;3)相位展開,相位展開過程需繞過枝切線,殘差點上的相位將根據其相鄰己展開像素點的相位信息進行展開。相比于質量引導相位展開法,枝切法具有較好的抗噪性。枝切法通過構造枝切線并在相位展開時將誤差避開,可有效避免誤差傳播。
枝切法(也稱分支集算法、Goldstein算法或殘差補償算法)最早于1988年由Goldstein提出。該方法對展開相位過程中的噪聲有較好的抑制作用,但是也存在一些問題,包括殘差點密集處產生錯誤枝切線問題、枝切線不一定是全局最短問題和構造的枝切線形成閉環產生“孤島效應”造成較大局部誤差等問題。此外,該方法高度依賴于分支切割的位置,如果存在太多的噪聲,則相位展開結果會存在許多錯誤。
針對Goldstein算法存在的上述問題,在后續的研究和發展中被不斷改進和完善。Huntley等改進了Goldstein提出的枝切法,將抗噪性與計算效率相結合,通過放置障礙物或分支切割并給出一條不經過這些障礙物的展開路徑,可以避免噪聲通過損壞的點和區域傳播。獨立的展開路徑可以實現唯一且準確的相位展開結果。針對算法計算速度慢的問題,Zheng等提出了搜索最短枝切線的新算法,基于隨機搜索技術,實現找到最短的枝切線或其近似值的概率較大。與Goldstein算法相比,該算法在速度上實現一定提升。針對Goldstein算法中由于在殘差點密集的區域建立的枝切線容易形成環路,使得一部分區域無法解包裹問題,張妍等改進了Goldstein算法,減小了枝切線的總長度,且有效避免了“孤島效應”的形成。與Goldstein算法相比,該算法可有效減小誤差。此外,Souza等提出了一個基于留數理論的相位展開方法,使用帶移位相位跳躍的包裹相位圖來平衡剩余極性的殘差點,縮短處理時間,最多為Goldstein算法的1/10,提升了枝切法的計算效率,極大地促進了枝切法的發展。常麗等在Goldstein枝切法的基礎上提出了優化改進方案,提出了一種基于禁忌搜索的改進枝切法。與Goldstein算法相比,枝切線長度減少了42%,速度提高了28%,有效地提升了測量速度。除了上述一系列針對Goldstein算法改進的方法以外,其他類方法被提出用于完善枝切法。Gdeisat等提出了一種增加包裹相位圖中剩余數的方法,改善了相位展開結果的準確性。但是該方法非常耗時,涉及傅里葉變換的計算及其光譜成分的選擇和移動。為了解決這一問題,Du等提出了一種簡單的算法來增加包裹相位圖中的剩余數,可以加快50%以上的計算時間,有效加快了測量速度。
基于深度學習的相位展開技術
總而言之,空間相位展開技術的計算效率較高,但是對嚴重噪聲情況不具有魯棒性,對于其中極個別的抗噪能力較強的算法又存在計算量大導致速度慢的問題。時間相位展開技術的精度較高也具有一定的魯棒性和抗噪能力,但是由于是逐像素點在時間方向上實現相位展開,需要在時間順序上投影多幅圖案且無法實現利用單個包裹相位完成相位展開,因此不可避免地存在測量效率低、測量速度慢等問題。為了克服現有傳統相位展開技術的缺點,從而可以實現在實際應用中以較短的時間獲得較為準確的相位展開結果,研究者逐漸趨向于設計一種高效的體系結構用于相位展開過程,試圖找到絕對相位和包裹相位的直接對應關系。最近發展起來的機器學習架構,特別是深度神經網絡,可以有效地用于計算圖像形成。
深度學習的優勢也已經在光學計量得到了廣泛的應用,于是將深度學習應用到相位展開被越來越多的提出。基于深度學習的相位展開技術主要針對提升測量效率和減少投影圖案數目,從而體現了深度學習用于相位展開在速度上的優越性。最近,基于深度學習的方法被提出作為傳統相位展開的替代方法,以提高速度和精度。
2018年,Spoorthi等將卷積神經網絡用于相位展開,提出了一種基于深度卷積神經網絡的相位展開模型,將相位展開問題轉化為一個語義分割問題。該模型實現了利用深度卷積神經網絡(DCNN)對相位進行展開,所提的框架通過自動生成大型標記數據的通用模擬過程避免DCNN標記訓練數據這一復雜過程,有效減少了工作的復雜性,并且增加了結果的可靠性。之后,對上述所提方法進一步完善,Spoorthi等提出了一種基于DCNN的相位展開框架PhaseNet,通過完全卷積的結構來解決相位展開問題。
該框架對噪聲具有魯棒性,且計算速度快,但是由于網絡的分類結果不夠準確,因此需要增加后處理進行優化。此外,該框架目前只成功應用于仿真。為了進一步降低噪聲因素的影響,解決低信噪比條件下相位展開錯誤問題,Spoorthi等提出了一種新的深度學習框架PhaseNet 2.0改進了現有的相位展開方法。該框架將相位展開問題表述為密集分類問題。相比于PhaseNet,該框架無需后處理,提升了數據處理速度且增強了對噪聲的魯棒性。
為了解決嚴重噪聲影響和欠采樣導致的相位展開錯誤問題,Wang等提出了一種相位類型對象的數據庫生成方法和一步深度學習相位展開方法。該方法網絡運行迅速,且可以自動運行,無需額外的預處理或后處理,具有較強的魯棒性。針對噪聲問題的解決,Zhang等將相位展開問題轉化為多類分類問題,引入有效的分割網絡來識別噪聲。該方法可有效用于噪聲問題,保證相位展開結果的可靠性。同樣針對高噪聲問題,Jiang等提出了一種基于深度卷積神經網絡的相位展開方法,采用了具有噪聲抑制和強大特征表示能力的DCNN架構DeepLabV3+。
該方法引入了深度神經網絡,提供了一定的抗噪聲能力。此外,針對嚴重高斯噪聲的情況,Liang等提出了一種具有相同網絡配置的兩步訓練過程,可以正確地展開具有嚴重高斯噪聲的相位。對于非常高的噪聲情況,Sumanth等提出了一種基于多任務學習的相位展開方法TriNet,用于在條紋投影中同時去噪和預測條紋階數。該方法可以實現從高噪聲邊緣估計相位輪廓,對于存在非常高噪聲和低信噪比情況,也可得到較好的相位展開結果。
由于空間相位展開原理是通過分析相鄰像素的相位信息來展開相位,因此,上述基于空間相位展開采用的深度學習方法雖然可以實現快速可靠的相位展開,但是不能用于非連續物體表面的測量。時間相位展開技術原理則可用于測量具有非連續性表面的物體,將深度學習結合時間相位展開則可有效用于非連續物體表面的測量。Yin等為了提升時間相位展開的測量效率,提出了基于深度學習的時間相位展開,使用深度學習技術通過監督學習自動實現時間相位展開,原理如圖4所示。
選用三步相移,則共需要6個投影圖案,網絡的輸入數據是單周期和高頻的兩個包裹相位,輸出為展開相位。與多頻時間相位展開相比,該方法在不同類型的誤差源(例如強度噪聲、低條紋調制、投影儀非線性和運動偽影)影響的情況下,相位展開可靠性有所提高。
圖4 Yin等所提方法的原理示意圖
傳統相位展開技術存在的一個較難克服的問題就是無法同時滿足測量精度和所需圖案數目最少的問題。時間相位展開技術的相位恢復精度較高,但是測量所需的投影圖案數目較多,因此使得測量效率受到限制,無法用于高速高動態場景的測量??臻g相位展開技術所需的投影圖案數目較少,但是測量精度不高,因此無法用于一些對精度要求較高的測量場景。隨著深度學習技術的發展,針對保證測量精度的前提實現減少投影圖案數量的問題,研究者們提出不同的基于深度學習的相位展開技術。
為了使投影圖案的數量最少并保持高精度,Yao等將深度學習應用于編碼的條紋圖案中,提出了一種多用途神經網絡與基于編碼的圖案相結合恢復絕對相位的方法。該神經網絡框架求解絕對相位僅采用3個條紋圖案,即一個條紋圖案和兩個編碼圖案。該方法在保證測量具有較高的精度前提下實現了減少投影圖案的數量。為了進一步減少所需的圖案數目,Yao等提出了一種智能多編碼深度學習方法(MCDL),實現從兩個圖案中求解高斜率絕對相位。該方法不僅減少了投影條紋圖案的數量,且具有較高的精度和魯棒性。對相位展開精度而言,條紋分析也至關重要,Feng等證明了可以訓練深度神經網絡來完成條紋分析,流程如圖5(a)所示,其中圖5(b)和(c)分別為CNN1和CNN2的示意圖。較現有的方法對比,該方法可以提供條紋分析的框架,且無需人為干預。Feng等證明了貝葉斯卷積神經網絡(BNN)可以訓練,不僅可以從單個條紋圖案中檢索相位,還可以生成描述估計相位像素置信度的不確定性圖,增加深度學習用于相位展開的可靠性和有效性。
圖5 (a) 文獻提出方法的流程圖;(b) CNN1的示意圖;(c) CNN2的示意圖
基于幾何約束的立體相位展開可以消除相位模糊,而無需增加額外的投影圖案,實現最大限度地提高相位展開的效率。Qian等提出了一種基于深度學習的幾何約束相位展開方法,用于單次絕對三維形狀測量,提出的框架集成了相位獲取、幾何約束和相位展開。該方法為高速場景下復雜物體的高精度、無運動偽影絕對三維形狀測量提供了指導。但是,當圖像本身存在模糊時,深度學習也不是總可以得到可靠的結果。此外,直接對投影圖案進行處理,也可以實現減少總的投影圖案數目,Yu等設計了一種用于深度學習的條紋圖變換網絡(FPTNet)。該網絡可以使用更少的條紋圖案(即一個或兩個),得到準確的包裹相位并獲得正確的絕對相位。但是,對于超快運動的物體可能會產生運動引起的誤差。針對從單幅圖像中獲得相位展開結果進而恢復物體三維表面的問題,Qian等提出了一種基于深度學習的彩色FPP,經過適當訓練的神經網絡可以直接從一幅單色條紋圖像預測高分辨率、無運動偽影、無串擾的絕對相位。相比傳統方法,可以實現更穩健的相位展開。Li等提出了一種新的復合條紋投影深度學習輪廓術,使用提出的基于空間頻率復用的條紋編碼方案和網絡框架,可實現單幅圖案魯棒且準確的相位展開。之后,Li等提出了一種基于深度學習的復合條紋投影輪廓術(DCFPP),可以通過訓練深度神經網絡實現單個復合條紋圖案恢復絕對相位。Li等構建了一種獨特的DNN架構,稱為多尺度特征融合網絡(MFFN),提出了一種從單個條紋圖快速獲得高精度絕對相位的方法。該方法由于只需要單個條紋圖案,因此測量速度快;此外對于復雜紋理和不連續表面也具有測量精度高、魯棒性強的優勢。
上述可以有效證明深度學習是合成時間和空間信息的有效工具,突破傳統單幀三維成像算法中各種影響因素的限制,有效提升測量效率和準確性。但是所需數據量較大這一問題限制了方法的可應用范圍。針對這一問題,Liu等提出了一種基于深度學習的輕量級逐像素時間相位展開方法(LPTPU-DL)。由于輕量級網絡的使用,訓練時間可以減少到傳統CNN的二十分之一,因此該方法在在訓練和預測速度方面具有較強的優勢,使得深度學習方法有望應用于小型快速3D系統或移動設備。Bai等提出了一種基于學習的方法來解決單頻相位圖的展開問題,可展開具有運動模糊、相位不連續和孤立區域的相位信息。以往基于深度學習的方法都是有監督的方法,更加適用于與訓練數據類似的場景,對于與訓練不同的場景則不具有普適性。Yu等提出了一種新的基于幾何約束的相位展開(GCPU)方法,實現了未經訓練的基于深度學習的條紋投影輪廓術,稱為基于未經訓練的深度學習GCPU算法。該方法比傳統的GCPU具有更高的魯棒性,且無需增加額外的條紋圖案。由于測量速度較快,可以有效用于動態和高速三維測量,不足之處是該方法所需的優化過程較為復雜。
已有的研究對于深度學習的根本原因依然無法給出合理的解釋,因此許多研究人員對該方法仍持懷疑態度。但是隨著計算機硬件性能的不斷提高,深度學習在光學計量方面實現了一定的技術突破,深度學習逐漸被越來越多的使用,成為了一種解決問題的手段和有效方法,也在光學領域發揮著越來越重要的作用。總結已有的方法和成果,深度學習用于相位展開中具有以下優點:1)條紋圖案數量少;2)對復雜紋理和不連續表面的敏感性較低;3)測量速度快。但是對于深度學習而言,大量可靠的數據集仍然是一個亟待解決的問題。目前隨著深度學習技術的發展和研究者們的不斷深入研究,解決數據集的問題也可以轉換為使用可靠的非監督學習方法或者使用輕量級網絡,現已存在的類似研究也都處于探索階段。
其他相位展開技術
除了保證測量精度,平衡物體三維表面測量的精度和速度是一個關鍵問題。利用基于數字投影儀高速圖像切換率的二進制編碼模式可以實現快速甚至高速三維測量,但目前大多數方案不能保證測量精度。因此針對一些特殊問題,提出一些特殊的相位展開方法,此處統稱為其他相位展開技術。避免投影儀非線性對相位展開的影響可以實現提高測量精度的目的,Zhu等提出了一種時空二進制編碼方法(T-SBE)。標準正弦條紋圖采用基于強度的時空二進制編碼規則,分為兩個以上的二進制條紋圖。由于投影的二值條紋圖由0和1組成,因此可以有效地排除投影儀非線性對測量結果的影響,同時實現高質量的正弦波。在相同條件下所提出的時空二進制編碼方法的精度與正弦條紋圖投影的精度相當,并且優于大多數空間二進制編碼方案。但是該方法的缺點是需要增加圖像數量來完成實際的三維測量,因此使得測量需要時間較長。為了解決投影儀的非線性對測量精度的影響,Zhou等提出了一種時空二進制編碼方法,對計算機生成的標準正弦條紋圖進行編碼。所提出的二進制編碼策略具有與正弦條紋圖投影相當的性能,并優于空間二進制編碼方法。同樣為了更好地解決現有數字投影儀的非線性問題,平衡測量精度和速度,Zhu等提出了一種時空二進制編碼方法對計算機生成的標準正弦條紋圖進行編碼,不包含耗時的優化,具有速度優勢。此外,相移算法和時間相位展開算法的結合可以實現快速、準確的三維測量。
為了克服傳統相位展開存在的問題,各類基于幾何約束的相位展開方法被相繼提出。Zhong等提出了一種立體相位展開的方法,基于相移和三角張量,僅基于雙攝像機、單投影儀結構光系統的幾何約束,直接在兩個包裹相位圖之間建立一對一的對應關系。但是該方法對高頻相位誤差較敏感。由于雙頻(或雙波長)方法存在的主要問題之一是對噪聲的敏感性。因此,在噪聲嚴重的應用中,通常使用3個或更多頻率的相移算法代替雙頻相移算法。Hyun等為了實現在不增加圖案數量的情況下更好完成相位展開,提出了一種幾何約束的方法,通過使用一個以上周期的等效相位圖進行時間相位展開,有效減少了噪聲的影響。An等提出了一種利用結構光系統的幾何約束生成的人工最小相位圖逐像素展開相位的方法。與傳統的時間相位展開不同,所提出的絕對相位展開技術不需要額外的圖像采集,也不需要任何附加攝像頭,因此該方法具有測量速度快的優勢,且不會增加系統復雜性或成本。但是該方法存在的問題是測量深度范圍有限。傳統的數論方法作為時間相位展開的經典算法,因為要求兩個條紋頻率在投影坐標的全局范圍內互質,所以在展開高頻相位時穩定性較差;使用低頻條紋圖案會使得相位展開可靠性增加,但是相應的精度會有所降低。Yei等提出了一種基于幾何約束的數論相位展開的動態場景高速三維形狀測量方法。與傳統的數論時間相位展開相比,即使在使用高頻條紋圖的情況下,相位展開的可靠性也可以顯著提高。
此外,一些采用其他基準用于相位展開的方法也逐漸被提出。Dai等提出了一種不需要常規時間相位展開的絕對三維形貌測量方法,使用已知對象來為絕對相位展開提供信息,僅需要3個相移條紋圖案即可測量沿深度方向移動物體的絕對形狀。但是該方法對于參考對象與測量場景之間的關系具有一定限制。Qi等提出了一種新的光度約束用于相位展開方法(PCPU),使用了單頻條紋圖案,無需額外的相機,可以實現可靠的相位展開。與基于空間約束的方法相比,取得了顯著的改進。新約束條件的引入可以克服傳統空間約束條件的限制,使得相位展開技術可以擴展到適用于實現不同測量材料的更復雜場景中。
典型技術比較與分析
時間相位展開技術的相位展開結果具有良好的魯棒性和準確性,也可用于測量非連續表面,因此應用范圍較廣。雖然空間相位展開技術測量精度相對時間相位展開技術較差一些,但是具有測量速度快的優勢,可以有效用于動態物體測量。為了避免傳統時間和空間相位展開技術中存在的問題,達到優勢互補,結合時間和空間方法在測量時間和測量精度上取折衷,提出了時空相位展開技術。該方法測量結果達到比時間相位展開速度快,比空間相位展開精度高,但是測量精度不及時間相位展開,測量速度不及空間相位展開。為了克服傳統的時間和空間相位展開技術的一些限制,基于幾何約束的相位展開技術被相繼提出。利用測量儀器與相位的空間約束特性實現相位展開,測量速率得到了有效的提升。但是該方法的測量深度范圍具有一定的局限性,此外也會增加測量成本。引入其他新的約束條件用于相位展開的方法也在不斷的探索過程中。計算機技術的發展使得深度學習越來越廣泛地應用到光學計量中,深度學習可以克服傳統時間相位展開技術和空間相位展開技術的不足,實現快速測量的同時保證一定的精度。但是對于不同的基于深度學習的相位展開技術也存在著一定的不足之處,比如:需要合適的數據集、訓練合適的網絡模型、可靠性不穩定、硬件設施要求高、需額外增加預處理和后處理步驟等。相關學者們也對部分相位展開技術做了一定的分類和對比。為了更好地對前述的相位展開技術進行說明,文中對幾種典型的相位展開技術的性能進行了總結,如表1所示。
表1 典型相位展開技術對比
從所需的投影條紋圖案數目、測量速度、抗噪性能和計算精度方面進行了比較。對表1中的相位展開技術進行以下討論:
1)相位展開過程中所需的投影條紋圖案數目。由于條紋圖案上攜帶著空間和相位信息,對于時間相位展開而言,數目越多則測量精度越高;而空間相位展開技術則所需的圖案數目較少?;谏疃葘W習的相位展開技術和其他相位展開技術以及用于高速測量需求的相位展開技術都在趨向于減少條紋圖案數目。
2)測量速度的影響因素。所需條紋圖案的數目(包括是否需要增加額外的條紋投案)、測量所需的時間、計算復雜度、相位展開過程是否需要預處理和后處理步驟等,不同的方法會從一個或多個因素來加快測量速度。針對靜態物體對測量速度沒有明確的限制,而對于高動態物體則需要對測量速度提出更高的要求,尤其是對測量過程所需要投影條紋的數目提出了更高的要求。
3)抗噪性能是決定測量精確度和可靠性的關鍵因素。實際測量環境中的噪聲因素不可避免,為了盡可能地減少噪聲對測量結果的影響,從方法原理的抗干擾性和誤差擴散、采用的條紋投影圖案對噪聲的抑制作用和對方法的改進中通過預處理、后處理或者濾波等方法實現增強相位展開的抗噪性能。在各類相位展開技術中,空間相位展開技術的抗噪性相對較差,從原理上空間相位展開依賴于相鄰像素實現相位展開,因此對噪聲較為敏感。
4)相位展開精度是決定三維測量結果精度的關鍵因素。針對測量精度要求高的場景,可以選擇時間相位展開技術中的多頻相位展開實現高精度測量,基于深度學習的相位展開技術也在一定程度上達到高精度要求。
總結與展望
時間相位展開技術多用于對測量精度要求較高,且對測量時間要求較低的測量場景中,其中相移與格雷碼相結合的結構光三維測量方法也逐漸被證明可有效用于高速高動態測量??臻g相位展開技術由于具有測量速度快的優勢則多用于對測量速度要求較高且對測量精度要求較低的測量場景中?;谏疃葘W習的相位展開技術則可以在一定程度上解決時間相位展開和空間相位展開技術中的不足,已有的研究逐漸證明了兼具測量效率和測量精度的相位展開技術的可靠性,但是將其廣泛應用到實際測量中還存在一定的局限性。此外,針對特定的測量場景和測量需求而被提出的其他相位展開技術,比如時空相位展開、幾何約束和光度約束等,這些技術也在測量精度和復雜場景測量中具有一定的突破。針對相位展開技術在條紋投影三維形貌測量技術過程中的重要性和影響精度的因素,總結未來發展方向包括以下5點:
1)減少投影圖案數量
條紋圖案包含著重要的相位信息,是決定相位展開成功與否的關鍵因素之一,較多的投影圖案數量可以保證相位展開的可靠性,但是同時使得測量速度減慢,降低了測量效率。已有的減少投影圖案數量的方法中,時間相位展開技術所需的投影圖案數目仍然是最多的,雖然它能保證測量的精度;空間相位展開技術雖然所需投影圖案數量較少,但是測量精度相對較低;基于深度學習的相位展開技術也在減少投影數目方面有一定的進展,但是仍然存在不確定性。因此減少投影圖案數量的相位展開技術仍然是一個有待繼續探索的挑戰。
2)增強抗噪性和魯棒性
針對復雜的測量環境和來被測物體本身的復雜程度,需要在一定程度上提升相位展開算法的抗噪性,從而提升測量的可靠性和準確性;針對低信噪比環境下的實時三維重建技術,需要提升相位展開算法的魯棒性,從而保證測量的有效性和可靠性。
3)減小計算的復雜度
隨著計算機技術的發展,計算成本問題得到了有效解決。但是計算復雜度較低的算法不僅可以節省不必要的計算成本,而且可實現在增加測量快速性的同時保證算法的可靠性,簡化算法過程相比復雜的算法具有更高的可靠性和普適性。
4)提高相位展開精度
相位展開的精度對最終物體三維形貌測量結果有著重要的影響。精準測量對于精密制造等應用具有重要的意義,因此在對測量精度有較高要求的場景,保證相位展開的精度可以有效保證測量精度。在滿足精度以外的其他測量要求(投影圖案數目、測量速度、測量范圍等)前提下,更具有普適性的高精度相位展開技術 需要進一步得到研究和發展。
5)實現高速實時測量
隨著三維測量技術的廣泛應用,各行各業的測量需求也在日益增加,僅可以實現靜態物體測量的方法已經不能滿足更高的測量需求,高速高動態物體的測量需求日益增加。為了在高速場景中實現三維測量,主要涉及可改進的方面包括:通過減少每次重建所需的圖像數量來提高測量效率;通過提升硬件設備,加快投影和拍攝速度;簡化計算過程,實現快速測量。
相位展開作為結構光三維測量中的一種關鍵技術,隨著其廣泛應用也被越來越多地研究和討論。時間相位展開技術由于具有較高的測量精度而被廣泛應用于測量精度較高要求的靜態物體。隨著快速測量需求的不斷增加,將時間相位展開技術用于快速測量逐漸被研究和提出。但是由于時間相位展開測量效率的限制,將時間相位展開技術更好更有效地用于快速測量仍是一個具有挑戰性的問題。空間相位展開本身具有測量速度快的優勢,因此多用于一些對測量速度有要求且對測量精度要求不高的測量場景中。由于空間相位展開技術是以周圍像素實現相位展開,因此更好的抗噪性和防止誤差傳播問題成為了完善該方法的重要研究方向。基于深度學習的相位展開技術兼具測量精度和測量速度,主要問題轉移到了學習框架的選擇、數據集問題和硬件設備上。在實現更有效三維測量方法的發展中,逐步將深度學習用于各類傳統的相位展開技術中,并且得到較好的測量結果。更有效地完善基于深度學習的相位展開技術就要從選用更合適的模型框架、在實現準確測量的前提下可以降低使用數據集的數量等問題上提出更具有突破的方法。其他相位展開技術則是為了克服傳統相位展開技術的問題,針對特殊問題提出的一類解決辦法。此類技術只適用于特殊的測量場景,一般不具有普適性。相位展開的高速和高精度實現仍然是未來重點研究的領域和發展方向。
這項研究獲得國家自然科學基金項目(52075147)和英國EPSRC項目(EP/P006930/1、EP/T024844/1)的資助和支持。
編輯:黃飛
?
評論
查看更多