人工智能與物聯網技術和應用在過去幾年飛速發展，誕生了大量的創新，為人們的生活和工作帶來了前所未有的體驗和可能性。當前我們正在歷經一個以人工智能和物聯網為核心的全新科技浪潮，它將在不久的未來見證數以萬億計的智能設備的互聯。 ARM 作為全球內唯一一個能夠覆蓋從端到云的計算架構，無疑將在萬億智能物聯時代扮演賦能者角色。

10 月24 日，2018 ARM 技術研討會在北京成功召開。今年大會主題為“ ARM 助力 創新科技”，作為 ARM 重要的生態合作伙伴，云知聲副總裁李霄寒博士受邀出席大會并發表《面向物聯網的 AI 芯片的設計與思考》主題演講。

云知聲和 ARM 有諸多合作的地方，今年五月,云知聲正式推出基于 ARM 通用核的全球首款面向物聯網的 AI芯片——UniOne。本次研討會現場，李霄寒博士結合云知聲公司實際情況向在場行業人士詳細解讀了 UniOne 芯片的設計思路以及芯片系統方案特點，同時探討了物聯網 AI 芯片的未來應用及發展趨勢。

云知聲的物聯網 AI 落地歷程

作為國內頂級的語音方案供應商，云知聲從 2012 年創始至今，一直致力于將人與機器的語音交互能力從晦澀的機器算法，逐步封裝成可以調用的產品，并且落地到大眾消費的場景中。

云知聲創造過不少行業先例，包括推出國內首家免費的語音云平臺、首個實現 IVM （智能硬件模組）在白電領域大規模出貨的 AI 公司、國內首家提出醫療語音系統解方案并擁有最多合作醫院的公司，以及發布首款面向物聯網的 AI 系列芯片 UniOne 。

李霄寒博士用“從算法到芯片”概括了云知聲公司的發展歷程：

2012 年-2013年，云知聲創立之初，移動互聯網方興未艾之際，云知聲主要通過純軟件方案(如語音助手 APP 、公有云平臺)向行業提供服務；

2014 年-2015 年，伴隨物聯網的興起及發展，對于 AI 的需求逐漸顯現，云知聲開始探索基于通用芯片面向物聯網和行業的軟硬件一體化方案，在此期間公司正式確立了“云端芯”的產品及商業戰略；

2016 年，云知聲 AI 芯片1.0版本——IVM 模組在格力空調產品上量產出貨，醫療產品正式登陸北京協和醫院。隨后，搭載云知聲技術方案的產品陸續在車載、教育、機器人等多領域落地。

李霄寒透露，面向不同行業提供服務，一方面打磨了云知聲的技術能力，同時也讓團隊更加深入地了解場景。更為重要的是，在服務不同客戶的過程中，建設了云知聲的芯片設計能力，讓云知聲堅定了自主設計 AI 芯片，基于專有芯片面向物聯網行業提供服務的決心。

從 IVM 到基于 ARM 核的 AI 芯

人機交互系統的更迭引發新一輪產業變革，語音已成為設備交互的最有效和最自然的方式。李霄寒指出，物聯網終端設備對于語音、圖像等本體交互具有天然需求，這是云知聲選擇從語音切入物聯網的根本原因。

他認為，要實現物聯網的智能化改造，意味著設備必須具備“感知、表達、思考”三個關鍵能力。

以智能音箱為例，首先它需要通過聲源定位、遠場降噪、喚醒/識別、本地識別、云端識別，聽懂人聲蘊藏的信息。在感知的基礎上，進而通過語音、圖像或其他形象化的方式將內容或信息傳達給用戶。不僅于此，設備仍需通過“云”深入理解用戶意圖，并結合多終端信息融合和決策、知識圖譜以及云端能力，將用戶需要的內容和信息通過恰當的渠道反饋給用戶。

而要讓物聯網終端設備具備“感知、表達、思考”三方面基礎能力，則必須有硬件載體。李霄寒介紹道，在 UniOne 芯片推出之前，云知聲主要是基于通用芯片以模組（ IVM ）的方式來為家居、機器人等行業客戶服務。 IVM 是一個多芯片方案，上面必須運行專用的 DSP 以解決降噪的問題，另需配備專門芯片來實現語音識別、喚醒等功能，方案臃腫且成本高企。

他指出，雖然 IVM 量產后的實際反饋相當不錯，但對于業務的長足發展卻并非最佳選擇，挑戰主要體現在以下幾個方面：

邊緣算力需求

物聯網終端設備的語音交互過程中，當所有的計算被放到云端時，聲學計算的部分將對云端計算造成較大壓力，容易造成云平臺成本的增加和計算延遲。與此同時，在如家電、車載、NB-IoT 等諸多特殊場景下，人機交互完全可在無網狀態完成。同樣以智能音箱為例，在真正的物聯網場景下，它需要精準判斷用戶下達的是如“問天氣、聽音樂”等需要聯網支持的指令，還是像“打開空調、增加溫度”等可在本地完成的需求。不論從客戶體驗還是成本控制等方面考量，都要求在設備端實現“邊緣計算”能力，而 IVM 顯然無法勝任。

成本的挑戰

在硬件尤其是家電行業，有一個約定俗成的說法，“成本每增加 1 塊錢，用戶需要多花 5 塊錢買單”。對于以冰箱、空調等產品而言，如搭載云知聲 IVM 方案，要消化掉因智能化升級的方案成本，則產品售價有可能需要增加 500 元以上，對于大眾消費價格段的產品而言根本無法接受，因此 IVM 只能覆蓋小部分高端產品。如果想從金字塔尖下沉到更多的產品上，必須解決成本問題。

功耗的挑戰

不同的硬件設備尤其是白電產品有著嚴格的國家及企業級功耗標準，低功耗不僅是芯片制造的事，更涉及場景、應用、算法。 IVM 模組的方式冗雜的架構，無法在功耗方面做到最優，顯然不是最佳選擇。

“基于從業務層面所看到的挑戰，以及對勢于未來趨的預判，2015 年云知聲正式踏上造芯之路。”李霄寒表示。

云知聲 UniOne 芯片采用了ARM 核心，同時自行設計了 DeepNet 和 uDSP 等專為深度神經網絡和適量計算加速的硬件單元。相較于通用芯片，在 DSP 任務加速、miniNLP 任務加速、TTS 任務加速、內存帶寬利用效率、NN 任務提升等核心指標，都能帶來成倍數的提升。

李霄寒指出，之所以選擇 AMR ，是因為后者擁有非常全面、成熟的 IP ，可以滿足云知聲這類初創公司對于性能、功耗、成本的極致平衡；其次,云知聲在 AI 芯片設計之初便確定了開源的模式，即排除核心引擎之外其他應用層均可供產品商、方案商靈活設計， ARM 提供了非常好的開發生態。

新局面下物聯網 AI 芯片的挑戰與機遇

當前，物聯網 AI 芯片邊緣側相關軟硬件基礎架構正在走向標準化，具體表現為網絡模型標準化、 IR 標準化、IP 同質化。具體表現為：

物聯網AI 芯片主流應用場景所需要的網絡模型已經階段性穩定，IP 的演化路徑將逐漸走向固化；

NNVM，ONNX 等不同模型在編譯鏈的支持下可以運行在同樣的架構上，IR 的標準化意味著行業分工的完成；

MAC（計算單元）的堆疊成為計算密度提升的主流手段，當前計算密度的提升對芯片產品尤其是系統的差異化影響日漸式微，標志著精細化耕作勢在必行。

李霄寒認為，上述的挑戰將會給AI 芯片公司帶來一定程度的困擾，但挑戰的同時也意味著更多的機遇。他預測， AI 芯片創業公司未來的競爭將主要集中在系統層面，即基于對不同場景的理解，從提供單一的 AI 芯片到提供完整的 AI 解決方案。