-01-

總體介紹

多媒體技術的發展歷程中，從最初的有線無線通訊容量，到2G、3G、4G，再到現在的5G，變化是顯而易見的。在這個過程中，人們會發現3G時代經歷時間短，而4G則持續時間長。這是因為4G能夠更充分地容納對于生活體驗或生活方式的需求。其中最重要的一點是可以更便捷地接入音視頻數據和信息，包括現在的短視頻。正是因為有了更大更寬的數據通路，能夠將我們想呈現的內容傳輸到用戶側。

在3G和4G出現之前，包括在G出現之前，Codec技術一直存在，壓縮能力也并不是到4G之后才有突飛猛進的。恰恰是因為現在隨著做管道的能力變寬后，可容納更多的數據，這是從“不能”到“能”的過程。 現在有了AI技術，更希望它能夠發揮出更好的作用，加速從“不能”到“能”的變化過程。以前需要1萬人干一年的工作，現在有了10萬人，只需要半年就可以完成。

這種技術的沖擊加速了中國市場的發展。在5G時代，有些人可能會感到疑惑“為什么沒有感受到5G帶來的翻天覆地的變化?”。其實，需要的是找到或者說轉變用戶的需求，從以前的“不能”或者受限到現在的“能”。以前大家認為WiFi是很重要的東西，但現在已經不再關心飯店是否有WiFi，因為手機已經可以通過室內小基站實現對應的訴求。

下一步，需要確保用戶看到的內容是否符合他們的需求，比如在延遲和畫質量方面如何滿足用戶的訴求？除了娛樂生活中的短視頻，在工作中是否也和視頻息息相關？早些年，出現了多媒體技術，但卻沒有相對應的產品，因為多媒體技術已經融入到了云或端的用戶體驗當中，不需要專門的技術。如果想要將“能”變得“更好”，需要逐步實現音視頻技術的智能化。



智能化的方向不僅僅是生活和娛樂，還包括交通、政務服務、出行、健康等領域。這些數據往往需要通過視頻作為媒介進行傳輸，而不是單純的文字，例如企業的數字服務等。“我們是看到的每一本書其實都是對人思想的一個裁剪”，所以視頻記錄的意義在于記錄人與信息所有者面對面交流的過程，因此視頻業務不僅僅是娛樂活動，還包括很多其他領域，之后也有很多機會去拓展這些領域。



這里有兩個案例。第一個案例是關于終端計算能力，比如手機和手表等邊緣設備，它們本身具有很強的計算能力，這對于完成業務非常有幫助。第二個案例是關于ADAS的，它的算力需求呈倍數增長，這意味著需要擁有更大的計算平臺來支持業務，這是之前很少考慮到的。因為在之前，更多地關注于在CPU、GPU或DSP上進行計算。但是需要更深入地了解其計算邏輯，以便將編碼、解碼和增強等技術合理地交付到這些IP上。實際上，這些IP的能力非常強大，如果僅關注CPU的計算能力，會發現自己受到限制。

在最近的討論中發現，人們更多地在關注應用，那么，應用如何去下沉到實際的計算平臺？就需要充分考慮的計算平臺有什么，首先運行的平臺是CPU，但從計算能力的角度來看，CPU并不是最強的。對于視頻、圖像或音頻處理，DSP和GPU更有潛力，需要挖掘這些潛力。此外，NPU在峰值計算能力在各方面都比CPU強得多。



上圖主要內容是關于ChatGPT的發展。隨著算法不斷推進，計算能力和計算平臺也在提升。不必擔心計算平臺的浪費，或是不能自主對自身部署平臺進行升級。因為隨著算法的演進帶來更高性能的同時，會關注其參數，參數可能和神經網絡的突觸是相關聯的。實際上，這也是提升計算能力和計算平臺的注解。

人們不應該先框定應用平臺，而是應該從計算趨勢或算法性能出發，考慮如何推動計算平臺的變化。這樣的思路會帶來很多選擇，也會有合理的理由要求計算平臺不斷演進，因為算法或性能的提升是隨著計算能力的變化而帶來的。

關于計算平臺的演進，前面提到了數字化的方式。這些數字化方式對個體帶來了哪些影響呢？這些方式包括與家人、商業伙伴、同事以及虛擬人進行交流和溝通。這樣的連接方式為此帶來了更多的溝通選擇，不再局限于聲音，而是可以通過視頻等方式進行互動。

近些年已經看到了技術的發展，從4K的普及到慢慢進入視野的8K，這對音視頻編解碼帶來了很大的挑戰。雖然2K已經相對容易實現，但4K仍然具有一定挑戰性，那么對于8K又該如何解決呢？這是一個當前面臨的問題，雖然可能并不緊迫，但已經清晰可見。

面對這個問題，該如何解決？在虛擬現實（VR）和增強現實（AR）設備中，對延遲要求很低，數據從SOC加載到DDR內，然后再傳輸到CPU，然后反復在多層緩存中傳遞，能否保持低延遲？還是必須采用直接點對點的邏輯，避免經過任何中間環節？ 因此，在處理設計方案時，需要考慮到這些新的連接方式和連接數目帶來的影響。

例如，低延遲顯示、更大的數據量和吞吐量需求，這些方案將對處理平臺帶來變化。過去，人們幾乎不考慮語音的問題，但現在語音已成為一個不可忽視的關鍵詞。那么，如何合理分配云端和端側的工作任務？如何在保證延遲的同時降低有效負載？這些都是需要優化和考慮的因素。

-02-

AI和Codec的趨勢

在面對這些新的變化趨勢和挑戰的情況下，人工智能（AI）和編解碼器（Codec）也在發生變化，這種變化包括兩個方面： 第一方面，隨著大模型的引入，不斷為其提供越來越多的數據。然而，這樣的數據本身存在兩個問題。第一點，是數據的有效性。

在高級任務中，數據中可能存在臟點，影響模型本身的準確性，即使使用超出量級的模型，也很難達到百分之百準確率，因此需要確保數據質量，提高模型準確性。第二點，是在一些淺層任務中，可能存在天然的數據集構建問題。例如，在進行SR時，很難獲取點對點完全真實的Ground Truth。

因此，數據集可能存在缺陷或不足，但正在不斷努力彌補這些缺陷或不足，這樣的彌補其實是意味著“我們如何去把我們之前看到的，單純地通過模型數量的增加去解決問題”，變成需要綜合考慮模型、數據集、計算方式和訓練方式等因素，而不是僅僅通過增加模型數量來解決問題。特別是在使用大模型時，需要考慮如何采用分布式訓練來提高訓練效率，這是現在需要解決的問題。



第二方面，如何有效提升數據計算的有效性，同樣存在三點問題。第一是對于NPU和AI來說，這是一個致命的問題。對于AI的幻滅，其中一個重要原因是雖然提升了計算容量，但是實際交付給用戶時，用戶發現容量很大，比如有10TOPS，但實際上每秒只能用到5TOPS，甚至只有2TOPS，這個問題在第一代NPU中非常普遍，那么如何充分調整計算維度呢？

第二是數據類型。在進行AI算法時，很多計算類型是通過漸次的數據傳輸或數據近似來完成的，這本來就是一個近似過程，那么是否可以考慮引入一些與AI加速相關的計算維度，而不是僅僅做LP32或LP64這樣的計算維度。這樣的計算維度可以提高整個計算性能，特別是在進行數據復用時。例如，可以將一個64bit乘法器簡單地折成兩個32bit乘法器，這樣的技術增加可以帶來可觀的算力膨脹。



第三點問題，是關于數據中心的能力激進。圖片展示的是2023年ISSCC公布的“未來十年計算效率的改革”，可以看到數據量在不斷上升。這樣的上升意味著什么呢？如果回顧前面的內容會發現，首先，隨著單位算力成本的下降，計算中心或者所謂的算力焦慮會比預期的來得更早。再次，隨著計算中心的算力增加和計算效率提高，可以獲得更顯著的效益。

過去，訓練大網絡模型可能最昂貴的不是采購GPU卡的問題，而是長時間的耗電費用。如果能使計算變得更高效，即使節省1％或10％的能源消耗，對于進行大模型訓練或數據中心來說都將帶來質的收益。此外，這種效益對于模型部署后的運維非常重要，因為它帶來的是長期的收益。 開發一個模型可能是階段性的，訓練模型時更注重精度，而在模型運營階段時，更注重運營成本。因此在運營模型時，可以調整計算需求，以降低運營成本。



這一部分，就是需要考慮拓展業務的多個維度。首先，隨著通道擴展和參數增加，可以為用戶提供更多的數據維度，這些用戶不僅可以是人，還可以是機器或傳感器等級聯設備，把任務點打開。盡管最終的目標是為人服務，比如在港口或礦山等地方，面積極大，如果一直依賴人力，那么在布設視頻流等方面將面臨巨大的挑戰。因此，如何實現智能控制和交互成為關鍵，視頻信息中可能有效信息只有1％左右，對于最終進行判斷來說并不都是有用的。這也是為什么VCM可以超過VVC50％以上收益的核心原因之一。

其次，在進行控制算法時，數據控制并不需要人的主觀體驗。這種主觀體驗的需求往往是人的先入為主，但在設計系統方案時可以合理優化。 第三，需要考慮特征傳遞的方案。對于人來說，可能對特征有精度的需求。但是對于機器來說，在數據變化或損失時，例如在后端恢復或機器判斷方面，可以接受一定程度的數據變化。因此，在進行VCM和人類視覺方面會有顯著的差異。隨著智能水平的提高，更多的視頻數據或類似的數據表達應該是為機器判斷而設計的，而人更關注結果。



對于用戶體驗的提升，無論是與機器相關的技術還是人類的感知，都在發生變化。以下是對于人類感知方面一些直觀的例子： 首先是8K大屏。在去年的世界杯中，進行了一項調查，發現那些已經體驗過8K的人很難再回到4K的觀賽體驗，因為8K帶來的沉浸感和與之匹配的聲音設計給用戶帶來了不可逆轉的體驗。因此，應該嘗試拓寬用戶的需求，而不是被迫做出調整，要主動去關注這些變化。 第二個例子是元宇宙。這是一個大家都在討論的概念。在元宇宙中，需要考慮的是交互體驗是什么，以及如何將這種交互體驗傳遞給與之交互的人。

我認為這是未來對于Codec和AI生成技術的一個重要挑戰和關注點。 第三個例子是"enjoy work"。作為技術開發人員，特別是音視頻開發人員，應該提供一些產品，使工作變得更輕松。這不僅包括遠程工作方式，還包括與客戶和同事溝通等方面。特別是在過去幾年的遠程工作經歷中，是否感覺到工作方式的流暢性？記得去年在疫情比較嚴重時，正好趕上業務高峰期，發現在連續與同事遠程溝通的時候，效率實際上是下降的。這需要自己去調整和優化。現在很多跨國公司已經開始簽署永久的“home office”協議，這種工作方式對于如何設計數據通路、用戶界面甚至是專用的硬件設備都有一定的關聯。

-03-

NPU與VPU的形態

需要考慮用戶的需求和變化，并希望這些變化能夠進一步下沉到所提供的更高效的硬件方案中。



第一代NPU具有出色的“并行空間”和“堆疊計算”的能力。然而，隨著時間的推移，就需要思考如何將這些計算能力有效地應用于所需的業務部署。因此，我們將進一步對計算進行抽象，包括一維、二維和三維計算的優化。這為下一代NPU的架構設計提供了契機，以更好地滿足業務需求，并對現有的AI算法計算層進行適當的支持和抽象。致力于與業務緊密結合，并積極探索如何支持和優化現有的AI算法計算層。 在這個方面，需要思考一個問題，即之前提到的計算抽象是否合理。對于每種計算類型，在不同的情況下，其優化效率可能不同。

因此，需要如何充分利用當前的資源，來實現最佳的優化效果呢？舉個例子，假設有兩類任務，它們可以映射為三維計算，可以將“低維”映射為“高維”，但這種映射可能導致計算資源的浪費。然而，為了將所有計算任務都推送到專用硬件上，必然需要在一定程度上犧牲一些計算資源和代價。



在從單核任務向多核任務的轉變中，面臨一個問題：如何將高計算需求的任務推送到兩個適合的計算類型上？然而，這樣的計算類型可能存在一些不匹配，從而導致計算資源的浪費。在這種情況下，可以考慮將計算核拆分或實例化多個case，針對不同的case部署不同的任務，以充分利用整體的計算能力。 此外，還存在一些與同步相關的問題。在整個AI加速過程中，除了利用率之外，還會遇到一個瓶頸，即不是計算邏輯本身，例如卷積操作，現在已經有一些較好的加速方法或近似手段。

相反，瓶頸主要出現在"前處理"和"后處理"階段，因為必須將這些計算邏輯遷移到GPU、DSP甚至是CPU上，這可能成為一個短板。 因此，需要考慮如何對當前的計算任務進行分割，將“前處理”和“后處理”分別抽象出來，先給到部分“前處理”邏輯，將“后處理”任務分為幾類，因為目前計算邏輯主要偏向于一些Mac陣列，而“前處理”和“后處理”更多涉及數據重排和邏輯運算。從這個角度來看，可以對其進行功能性的劃分，從之前的“計算邏輯抽象”轉變為現在的“功能邏輯抽象”。



另外一個重要的方面是關于當前VPU架構的一些特點。可以將其劃分為預測單元、濾波單元，以及語義解碼和pixel解碼等。在VSE中，進行語法元素的反向解析，而在后續階段，對pixel進行處理，形成了VPE和VSE的結構。同時，還將一些后處理集成在其中。

例如，當設計VPU時，如果只能按照原始分辨率進行輸出，這與實際用戶需求很可能不符。一個最直接的例子就是家里的電視，近年來，國內普遍采用的分辨率可能平均已達到了4K，然而海外用戶的情況卻千差萬別，許多用戶甚至仍然使用低分辨率的顯示設備。在這種情況下，如果VPU可以在這一階段支持不同顯示終端或顯示類型的需求，那么數據將會獲得很大的優勢。如果沒有這樣一個單元，那么在數據輸出后，需要將其存儲到DDR中，然后在經過額外的處理單元，無論是DSP、GPU還是NPU。

在經過這一段之后，數據可能需要再次寫入DDR，然后發送到輸出接口上，整個延遲會比目前使用的方案要大得多。 另外一個需要考慮的因素是功耗的矩陣問題。對于用戶來說，頻繁的讀寫操作會導致功耗的不斷增加，因為讀寫本身對功耗是不友好的。特別是在邊緣側的部署中，很多時候問題并不在于計算能力不足或算法映射能力不足，而是在于雖然可以將其部署并運行，但它只能運行5分鐘。這是因為在5分鐘后，設備已經過熱，我們不可能給一個成本為10美元的設備再加上5美元的散熱器，這不符合產品設計的原則。

因此，對于邊緣側來說，在設計初期如何考慮到產品各個方面的應用需求非常重要。例如，在最初的設計階段，可以采用流式處理的方式來降低數據交互的需求。同時，還可以使用VME進行內存控制和重寫，以優化內存的讀寫操作。

從邏輯上來看，需要將硬件架構與現有的軟件編解碼架構相結合，可以看到它們之間有很多對應的關系。從這個維度來看，這種方案在支持4K方面，大約在2017年左右已經存在了成熟的解決方案。圖片展示的是2019年，一位同事撰寫的高效視頻處理報告。可以觀察到，在VPU上出現了很多新的case，這些新case在計算方面有兩個主要方面。

在第一個主要方面，追求更精細化的管理。例如，將之前對于Y通道用的東西，現在作用在UV通道，以前認為UV通道的影響不太重要，可以將其降低一個級別。這樣做可以減小整個計算邏輯的規模，使芯片對于邊緣側或用戶來說更加友好。然而，后來發現，如果想提高質量，這一部分是必不可少的。

因此，第一個方面是更全面、更充分地利用整個計算邏輯。 第二個重要的方面，是對參數進行更精細的估計。我們也在嘗試使用AI的方法來優化這些參數的估計過程。如果有足夠的數據量和適當的數據類型，AI方法在這方面的效果是相當不錯的。

這樣的精細參數估計可以提高視頻編碼的質量和效率。 但存在一個問題，在剛才提到的兩個趨勢中，第一個是對于運動參數的精細估計，第二個是對以前認為較邊緣的內容質量的提升。此外，如何支持并行計算也是一個重要的問題。在并行計算中，可以考慮在初代架構中使用的關鍵邏輯，如VSE、VPE和VME，用于語法元素分析和像素級恢復。

然而，隨著輸入數據的急劇增大，尤其是在戶外大屏幕和未來家用終端的核心體驗中，這些數據成為極其重要的數據來源，與解碼4K甚至2K相比，這些數據來源的數據通路要大得多，可能是2倍甚至8倍以上。因此，在軟件和硬件層面上，僅僅進行橫向的加強或規模的擴大已經不夠了。

下一個維度就是需要支持并行解碼，但并行解碼對編碼過程也提出了一些要求。當進行第三行或第四行的解碼時，如果該行的語法元素與之前的行有很強的關聯性，那么解碼過程可能會受到限制，即使前面的解碼已經進行到較前面的位置，但如果前一級的解碼受阻，那么問題就會產生。



在之前的討論中，NPU從最初只能滿足基本功能，到之后通過NPU更好地支持相應的任務。未來希望NPU能夠具備適應各種任務的充分能力。包括VPU，它與之前的解碼流程相對應，但現在開始讓解碼反過來約束編碼過程，這是目前所看到的變革。那么對于這些變化，如何進行融合或分解呢？

在之前做過的一次分享中，我將整個NPU部分放在了里面，將其視為整個流程的一部分。然而，后來仔細思考并與其他人討論后，發現這種邏輯可能會給人一種誤解，即認為NPU只是處理pipe的一個環節。實際上，一個更合理的邏輯是，NPU應該支持整個處理的全流程。這包括之前提到的使用NPU來增強對Codec參數估計的能力。此外，我認為在下一代的VCM中，如果要實現一些硬件邏輯，從當前的結構來看，有可能將其置于NPU框架的下方，并進行相應的方案設計。

-04-

NPU與VPU的融合探討

為了提供用戶更好的視覺和聽覺體驗，NPU應該與如ISP和DPC這樣的邏輯進行關聯。這種關聯可以帶來哪些收益呢？以手機為例進行說明，在傳統的pipeline處理中，當直接使用手機攝像頭獲取數據時，它通常能處理的亮度大約在1Lux以上。然而，當結合了NPU的能力后，會發現可以相對容易地實現0.1Lux以上的處理。現在，很多夜景拍攝都是通過這種邏輯實現的，這也解釋了為什么高端旗艦手機在拍照方面表現更好，而入門級手機的拍照效果較差。這其中存在一些邏輯，即有意地拉開了差距。但在另一方面，這也是因為在資源方面存在差異，受限于可用資源，很難提供一致性的解決方案。



此外，之前認為的IaaS/AaaS，現在，在辦公維度上，可以拿PC作為一個基本的服務單元。從這個邏輯來看，未來的辦公可以變得更加便捷。因為將個人PC打造成可移動的資源對于云辦公、家庭溝通、教育和遠程醫療等領域具有重要意義。這樣做的好處在于，能夠通過在不同環境中接入特定的溝通環境來滿足各種需求，增加了在不同環境下接入特定溝通環境的便利性。此外，由于更多的數據存儲在云端且數據源位于云端，當在邊緣設備上進行接入時，它提供了更大的靈活性。 這個變化可能會對編碼方式產生影響。

以前認為在辦公場景下進行編碼時，使用420或者422已經足夠。然而實際上，當處理這類流時，會發現與傳統思維不同，如果按照傳統思維進行編碼，視頻數據的質量會變得非常差。這種情況很好模擬，只要拿現在的生成場景做一些數據生成，然后再反過來按照現在的編碼方式，去做編碼，再解出來會發現效果會變得很差。



對于Codec來說，這是一個需要思考的問題。如果僅使用4x4進行編碼，會發現碼流的增加非常快。但是，如果將其與NPU結合起來，使用NPU來進行恢復和增強，實際上復雜度是非常可控的。另外在去解決前面提到的問題時，特別是在帶寬有限的情況下，由于當前的網絡接入環境千差萬別，需要注意。之前為什么在3G時代一定要向國外學習？因為國外的部署進度更快，他們能夠看到更多的場景。但是在4G和5G時代，反倒是其他國家開始向我們學習，為什么？中國接入5G的場景數量在全球遙遙領先。

在如此復雜的情況下，我們面臨著許多問題。舉個例子，我們應該傳輸高分辨率低質量的數據，還是低分辨率高質量的數據？此外，還可以利用邊緣計算和NPU進行超分辨率處理，或者結合低分辨率低質量的數據和all in one增強邏輯。這是一個非常值得思考的方向。 在第二個方面，我們也進行了一些嘗試，主要是基于在端側進行NPU增強的實踐，而它所帶來的收益也是顯而易見的。對于用戶體驗和帶寬控制而言，與其將所有精力都集中在編解碼上會更好。以前可能認為系統就像一個木桶，性能取決于最薄弱的一環，即短板。但實際上，可以反過來思考，這個木桶效應意味著什么？它意味著不僅有短板，還一定有長板，即整個系統中一定存在幾個相對優勢的部分。為什么不利用這些長板來解決漏水問題呢？



這些是一些現有的VPU的替代方案，其中包括使用之前提到的VCM以及基于AI的方案。這些AI方案可以應用于NPU，并引發一些新的思考。可以嘗試調研當前存在的幾種AI編解碼方案，它們可以分為不同類型。 第一種類型是端到端的方案，不再使用傳統的量化、殘差估計和MV估計等技術。相反，整個處理過程由端到端完成。 第二種類型是替代特定部分的方案，例如前面提到的MV估計。從邏輯上來說，如果可以替代掉，但整個輸出的碼流,仍按照H.264或H.265等編碼標準進行編碼，甚至可以使用AV1去編碼方案。之后在云端解碼時，直接使用正常的解碼器進行硬解或軟解。這是兩種不同的解決思路，選擇哪種思路實際上與具體的場景有關。如果場景相對封閉，例如只需端到端的方案，那么可以完全摒棄整個編碼器，并全部使用自己的解碼器方案。然而，如果要考慮更多的用戶場景，特別是在國內外網絡環境不一致的情況下，后一種思路可能更為合適。

-05-

總結

對于音視頻領域，需要關注的是如何將自身的方案與計算能力結合起來，而不僅僅專注于云端，應該適當地關注端側，因為在端側需要解決一些限制計算能力、功耗和計算平臺的問題，以便有效交付解決方案，這是一個非常重要的考慮因素。 另外，還需要考慮如何處理更多連接的問題。大會的其他演講也討論了解決萬人接入的問題，這是一個非常有意義的探討。此外，更好的性能反過來會給用戶提供更多機會和需求。 一個有趣的觀點是，我一直認為所謂的云辦公實際上更多地是來源于對娛樂需求的遷移。因為個人可如果以很好地接入同一個視頻流，所以為什么還需要一定在現場進行辦公呢？這是一個思考的角度。



最后，和大家分享一些我認為的未來趨勢。這些趨勢涵蓋了如何將計算能力與現有標準融合，因為現有標準主要定義了不同的profile。需要思考如何將這些profile與計算能力相匹配。另外，包括之前提到了幾種策略。 首先，直接使用AI網絡生成更多的數據。這種計算加速方式實質上是對之前提到的流式編解碼架構或混合編碼策略的一種完全顛覆。 第二種策略，涉及與AI Codec相關的一些策略。 第三種策略，是如何考慮相關成本，包括性能代價和有效利用率的問題。 第四個趨勢，是目前所見的一些硬件架構的演進。在支持8K的情況下，單路方案已經不太合理，因為在進一步降低成本和功耗時，會遇到許多新的挑戰。 最后一點，是關于軟件方面的問題，特別是在NPU的工具鏈中。需要思考如何映射不同的算子到現有的NPU計算單元上，同時又會反過來形成一個循環問題，即如何將相應的功能整合到系統中，這是一個很好的嘗試思路。




審核編輯：劉清