邊緣計算的快速發展使得計算能力快速向邊緣遷移，AI也逐步從中心節點向更貼近數據源和業務現場的邊緣側拓展，邊緣與云的關系已經呈現出既有分工又彼此合作的局面。在邊緣側，邊緣智能與邊緣計算和人工智能相結合，能有效地執行實時、小數據的處理，開展AI模型的推理，并將結果回傳至云端，這種云—邊—端協同的邊緣智能架構，解決了目前AI應用中存在的海量數據處理、實時響應以及數據安全等問題，為AI在更多行業的應用奠定了基礎。

1、邊緣智能：拓展AI新邊界

IDC預測，到2025年，將有414億臺物聯網設備，期間將產生73147EB數據，其中約四分之一是實時生成的。要想完全在云端對這些數據進行處理和AI分析，很可能超過系統和通信鏈路的處理極限，再加上網絡帶寬、數據安全等限制，要實現AI向多行業的滲透，還存在著諸多挑戰。
隨著人工智能向邊緣側的轉移，AI行業應用得到了極大擴展。根據德勤的分析，現在的AI計算已經在制造業、政府、零售、電信、醫療等不同應用場景下獲得應用。很顯然，邊緣智能在拓展AI邊界過程中發揮了重要作用，它能顯著提升AI針對現場多樣化業務場景的適應性，從而更好地支撐業務運營，為客戶創造更多的價值。

制造業是國民經濟的基礎性產業，同時也是推動智能化發展最迫切的行業之一。根據IDC的預測，未來幾年，邊緣智能支出在生產過程智能化、智能供應鏈與物流、數據安全與合規等應用場景將保持20%以上的年均復合增長率。以產品質檢為例，它是工業制造中不可或缺的環節。傳統的產品質檢主要依靠人工目視檢測，或者采用傳統的基于模式匹配技術的機器視覺，這些做法很難滿足復雜場景、復雜外觀缺陷的檢測需求，漏檢、誤檢率高。采用智能邊緣AI技術后，不僅顯著提升了機器視覺檢測能力和適用性，產品質量也能得到了有效控制。

在智慧城市建設中，AI應用已經滲透到城市管理、交通、民生等諸多方面。隨著智慧城市向精細化和社區化下沉，邊緣智能在智慧交通、應急響應、城市安全等場景下的應用日漸增多。IDC的預測是，在未來幾年，邊緣智能支出在城市運維管理場景這一市場將保持25%的增速。

5G支持的人工智能和創新應用對網絡延遲有很高的要求，邊緣智能在此過程中將發揮重要作用。比如電信運營商通過建設具備GPU的MEC邊緣數據中心，就可以為行業用戶提供邊緣計算服務，降低企業自建邊緣計算中心的成本。

對許多應用而言，邊緣端顯然是進行機器學習處理的理想位置，在醫療健康與生命科學行業更是展示出良好的應用效果。在過去的一年中，新冠肺炎疫情在全球蔓延，對現有的醫療保健系統造成巨大沖擊。如果將邊緣智能應用到醫學影像輔助診斷中，可大幅提高輔助診斷的技術水平和工作效率。最新發布的阿里達摩院2021十大科技趨勢預測中指出，新型AI算法的迭代及算力突破將解決藥物分子靶點確證、藥物可成藥性等難題，例如在疫苗的研發過程中，借助AI，可快速找到疫苗的優質候選化合物。

根據IDC的預測，到2024年，制造業、政府、零售、電信、醫療五大行業在邊緣智能應用上的支出將達到159億美金，占整體邊緣智能市場支出的49%。在上述這些重點領域，敏捷聯接、實時業務、數據優化、應用智能、安全與隱私保護已經成為核心需求，邊緣智能將是實現行業數字化轉型的關鍵。隨著邊緣智能技術和解決方案的不斷完善，在汽車、消費電子、服裝、鋼鐵、化工等信息化基礎良好的行業，AI場景化應用也將逐步落地。

2、邊緣AI平臺：芯片廠商的競爭焦點

市場分析數據顯示，2020年將有超過500億的終端和設備聯網，其中超過50%的數據需要在網絡邊緣側分析、處理和存儲。IDC預計，到2024年，全球企業在邊緣應用上的支出有望達到2500億美元，其中與AI技術相關的支出將達到326億美元，占整體邊緣市場支出的13%。

作為邊緣智能的靈魂，邊緣AI芯片有著重要地位，邊緣設備只有通過AI芯片獲得了自主計算的能力，才能稱之為真正的邊緣智能。

現在的AI芯片主要有兩種，即云端AI芯片和邊緣AI芯片。如果按照功能劃分，又可分為訓練芯片和推斷芯片。市場上的邊緣AI芯片很多是邊緣推斷芯片。雖然邊緣AI芯片市場興起時間不長，但參與者眾多，其中包括NVIDIA、Intel、NXP、Xilinx、STMicroelectronics、Maxim Integrated等跨國企業，也有以寒武紀為代表的國內企業。

在推出芯片這一硬件產品的基礎上，各廠商也在努力將軟件開發工具、合作生態資源與其整合在一起，著力打造完整的邊緣AI平臺，加速相關應用的開發落地，這也成為了置身其中的各個芯片廠商的競爭焦點。我們不妨來看一下目前市場上比較有代表性的一些邊緣AI平臺。

01）NVIDIA EGX邊緣AI平臺

NVIDIA（英偉達）是全球GPU的龍頭，在AI訓練市場擁有強大的領先優勢。面向邊緣計算市場，英偉達有兩款性能出眾的EGX邊緣AI平臺產品：一款是用于較大型商業通用服務器的EGX A100聚合加速器，另一款是用于微型邊緣服務器的微型EGX Jetson Xavier NX。這兩款產品均擁有安全、高性能的AI處理能力。搭載了EGX A100的服務器可以管理機場中的數百臺攝像頭，而EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。

EGX A100是首個基于NVIDIA Ampere架構的邊緣AI產品。它結合了NVIDIA Ampere架構所具有的突破性計算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具備的網絡加速和關鍵性安全功能，能將標準型和專用型的邊緣服務器轉變為極具安全性的云原生AI超級計算機。其中，NVIDIA Ampere架構是NVIDIA的第8代GPU架構，為在邊緣運行AI推理和5G應用等各類計算密集型工作負載提供了卓越的性能。

在開發環境上，借助NVIDIA提供的經過完整優化的跨EGX邊緣AI平臺云原生軟件，EGX邊緣AI平臺的云原生架構使其可以運行容器化的軟件，以支持一系列GPU加速的工作負載。其應用框架包括用于醫療領域的Clara、電信領域的Aerial、對話式AI領域的Jarvis、機器人技術領域的Isaac，以及用于零售、智慧城市、交通等領域的Metropolis。這些應用既能組合使用也可以單獨使用。

在生態系統建設上，NVIDIA為EXG建立了龐大的合作伙伴生態系統，他們中有的是邊緣服務器制造商，有的是混合云平臺企業，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、聯想、Cisco等都是NVIDA生態系統上的重要一員。

02）NXP EdgeVerse平臺

于NXP（恩智浦）而言，他們的邊緣處理應用主要分三類：第一類是主要支持5G本地網絡及數據集成的網絡邊緣應用；第二類是工業邊緣應用，包括工廠自動化、基礎設施、交通運輸、醫療等；第三類是物聯網邊緣應用，包括智能家居、消費和可穿戴等。
NXP的EdgeVerse平臺是一個功能全面的邊緣計算和安全平臺，它通過廣泛的可擴展嵌入式處理產品組合，將實現高性能和高能效計算的構建模塊聚合在一起，為工業、物聯網和汽車等眾多邊緣應用提供強勁動力。

EdgeVerse平臺包含NXP出色的可擴展嵌入式處理、安全、軟件、行業解決方案等，非常適合物聯網、工業和汽車市場等邊緣應用。具體涉及的產品包括NXP i.MX嵌入式處理產品組合和Layerscape應用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車用微控制器和處理器等。

為了支持IIoT的機器學習能力，NXP在不久前推出了集成專用NPU的i.MX系列產品——i.MX 8M Plus應用處理器。該處理器擁有2.3TOPS算力，內置最高2GHz的四核Arm Cortex-A53內核、800MHz Cortex-M7實時處理器，另有800MHz音頻DSP用于語音和自然語言處理，還有雙攝像頭圖像信號處理器（ISP）和3D GPU。i.MX 8M Plus還是一款集成了專用神經處理單元（NPU）的i.MX系列產品，通過Cortex-A53內核和NPU的結合，顯著增強了邊緣設備的學習和推斷能力，可在工業和IoT邊緣進行高級機器學習推理。

EdgeVerse平臺還擁有一套嚴格的加密系統。EdgeLock安全產品組合就是EdgeVerse平臺的組成部分，它能為安全標準非常高的器件提供高水平的安全認證和服務。

在開發環境上，NXP推出的EdgeVerse平臺，通過提供工具和引擎，推動機器學習和推理，輕松實現云連接，激發和簡化邊緣人工智能。EdgeVerse平臺包含NXP的eIQ機器學習軟件開發環境、Immersiv3D音頻體驗套件和EdgeScale設備管理平臺，開發者可配合現有模型使用，或者快速設計、培訓學習和優化新模型。

在生態系統建設上，NXP已經與知名的云軟件和服務提供商、原始設備制造商以及ODM建立了密切的合作，比如Microsoft Azure、Accton、AWS、Scalys、Delta等均為NXP的生態合作伙伴，支持其推出的一系列工業、零售和運營商應用的邊緣計算解決方案。

03）Xilinx ACAP平臺

ACAP平臺是Xilinx（賽靈思）在2018年推出的新一代計算平臺。根據Xilinx的介紹，ACAP并不是FPGA，而是整合了硬件可編程邏輯單元、軟件可編程處理器以及軟件可編程加速引擎的計算平臺產品。基于ACAP架構的首款產品名為Versal，主要面向人工智能推理市場。

Versal基于TSMC（臺積電）7nm工藝，結合了軟件可編程性和針對特定領域的硬件加速，具有高度的適應性。Velsal包括六款器件，采用獨特的架構，它繼承了CPU、GPU和可用于數據中心加速的FPGA，實現了可滿足包括云、網絡、邊緣計算、無線通信和終端節點等各種應用市場需求的AI推理性能。Xilinx甚至將Versal稱為SoC界的瑞士軍刀。

與此前在市場上叱詫風云的Xilinx Zynq Ultrascale ＋ MPSoC相比，Versal縮減了中央FPGA模塊的尺寸，為額外的DSP、ARM內核、推理組件和I/O模塊騰出了足夠的空間。按照Xilinx自己的說法，Versal芯片的能效可以達到英偉達GPU的4倍，推理性能是英偉達的2－8倍。

在開發環境上，Vitis是Xilinx歷時5年、投入總計1000個人工年打造的一款統一軟件平臺，可實現在Xilinx異構平臺，包括FPGA、SoC和Versal ACAP上開發嵌入式軟件和加速應用，為邊緣、云和混合計算應用加速提供統一編程模型。正是基于上述的這些性能優勢，Xilinx自信地將Vitis稱作是具有里程碑式意義的產品。

Vitis是一款從云到端、從軟件到AI都提供了綜合全面的庫和模型的統一軟件平臺。其中，AI科學家可以利用Vitis AI高層次框架訓練自己的模型。Vitis AI支持自適應實時AI推斷加速，其底層是業界主流的框架，包括TensorFlow、Caffe、PyTorch，此外還包括37個開源的模型，這些模型主要針對諸如智慧城市、智能駕駛、實施目標分析跟蹤等市場主流應用，開發者可以直接取用模型進行開發，無需了解FPGA等底層硬件。Vitis AI的開發套件包括：AI優化器（AI Optimizer）、AI量化器（AI Quantizer）、AI編譯器（AI Compiler）、AI分析器（AI Profiler

在生態系統建設上，通過合作伙伴計劃，Xilinx建立了完善而龐大的生態系統。所有合作伙伴可在Xilinx.com上推廣企業以及經過驗證的解決方案，Xilinx則為合作伙伴提供開發工具，以提升生產力和解決方案開發能力。而這些生態系統合作伙伴提供的解決方案，可幫助系統設計者快速整合Xilinx FPGA、SoC、3DIC、IP和軟件定義解決方案。

從以上這些芯片廠商的系列舉措中我們不難看出，提供一個軟硬兼修、方案生態齊全的邊緣AI平臺，已經是行業實力玩家的一致選擇。不夸張地講，未來的邊緣AI領域將是一個“平臺為王”的時代。隨著這些平臺資源的不斷完善，邊緣AI的開發之旅也會變得更加順暢和愉悅。現在是時候，考慮在下一個Design-In中，引入邊緣AI了！