AI技術正在賦能千行百業實現新質發展,AI巡檢、智能客服、智能運維都在各行業發揮著高效服務力。而與用戶聯結最緊密的手機產品,也正在因AI、大模型引發終端交互革命,跨越功能機、智能機進入AI手機時代。

在這場關乎行業、用戶的變革中,OPPO作為AI手機的貢獻與普及者之一,于10月17日的OPPO開發者大會(簡稱ODC)AI智能體生態分論壇上,以「探索AI技術實踐 共建新生態」為主題,邀約了眾多產業專家、技術專家、行業開發者等一起就智能體生態的建設、成功實踐展開了積極分享與討論。

以AI為主引擎,手機進入以場景為驅動的變革時代

手機作為覆蓋用戶最廣泛、與用戶交互最為緊密、使用時長占比較長的產品,早已從最初的通信工具轉變為聯結更多場景的用戶身邊的貼身助手。與此同時,在AI、大模型穩步發展的當下,除了各行業在業務端融合AI能力實現提質增效外,立足生活所需輻射多場景的手機,無疑也成了AI與用戶溝通的最短路徑。

從生活場景可知,現今,個人時間正在伴隨繁雜的瑣事、工作細節處理等等逐漸碎片化,生活越來越匆忙,個人時間被侵占已成為用戶共識。通過AI技術解放精力與創造力,是AI與手機結合后,最迎合用戶所需的能力。具備算力高效利用能力、真實世界感知能力、自學習能力、創作能力的AI手機,正契合了當下用戶從碎片、繁雜中解放,回歸自我價值的剛需。

支持生成式AI的智能終端硬件平臺,具備多模態融合的全新交互和內嵌的專屬智能體的隨心、專屬智慧OS,用戶定義的開放服務生態,都是AI手機重塑產品效能的主要特征。對用戶而言,AI手機要扮演的是自在交互、智能隨心、專屬陪伴、安全可信的個人化助理的角色。在這一具體要求下,只有AI手機具備不斷理解用戶習慣、不斷自學習、構建直覺化交互的能力,才能為用戶真正提供更聰明、個性化、貼心的服務。

結合AI手機的價值點和用戶所需,各終端智能廠商協同一致,共建行業標準,構建零門檻開發平臺,將用戶需求與技術相互轉化,為繁榮服務生態牽引好AI主引擎。

持續探索技術天花板,為AI時代手機智能化提質增效

經歷多年發展和技術迭代,OPPO率先入局AI手機,梳理出了一套從硬件到交互再到業務的系統性實踐能力。在今年的分論壇中,基于OPPO大語言模型、視覺大模型端側部署能力,OPPO主要發力端側輕量化部署,將端側大模型朝著更快,功耗更低,占用資源更少,適用場景更多的方向演進。

在大語言模型迭代方面,OPPO提出了高效推理、內存管理、異構計算、加速等多種新方案。OPPO產品總監那柏林現場分享了通過多IP聯合推理范式,OPPO大語言模型推理過程所需參數可按照活躍度分為活躍參數和不活躍參數兩部分分批處理。高效的推理范式則專注模型初始化,為模型encoding進行加速處理,保證用戶獲得數據準確的同時,提高“首字上屏”時間。

OPPO 產品總監 那柏林

在語言大模型內存管理上,OPPO也通過功耗降低,保障用戶使用不卡頓。在模型響應速度上,OPPO則針對于不同場景基于并行譯碼技術提出了多種并行加速方案。而基于異構計算方案,大模型推理速度進一步提升,計算資源更節約。在大模型多適性上,OPPO則通過share方式,節省不必要的計算量和內容占用。

在視覺大模型層面,OPPO通過自定義算子可有效提升算子推理時間,達到出圖速度提升和計算功耗降低。在端側部署過程中,OPPO通過block quantization的方式讓量化的顆粒度更細,讓推理精度更靠近云端也更快,最大程度的保證效果且不失速度。而基于LoRA的使用和不同的組合,也能讓視覺大模型節省80%以上內存占用,擁有更快的反應速度,促使用戶使用體驗更迅捷。

會上,OPPO AI 基座模型負責人蘇鈿煌還詳細解讀了安第斯大模型Agent技術在planning、端云模型部署以及function call的能力。

OPPO AI 基座模型負責人 蘇鈿煌

具體而言,安第斯大模型Agent技術可通過規則路由+大小模型逐級處理,并且結合大模型的反思來修正小模型的不確定拆解;在端云協同上,該技術可通過端側1+N Lora的架構來支持簡單的任務拆解,而云端多種參數規模模型則用以支持復雜的任務編排;同時,該技術支持一方、三方應用,支持API等多種工具,通過多層級來拓展工具和 API 的層級關系,提升了模型對工具的理解,而基于手機系統上一方和三方的工具API完善多樣性后,也能提升工具的泛化性和模型對工具的理解力。基于安第斯大模型Agent技術,大語言模型可更高效理解用戶意圖,更快檢索并反饋用戶需求,在語義理解,上下文連貫,專業性回復上更具效率。

在OPPO手機上的AI應用中,視覺文字信息提取技術作為一項基礎能力被廣泛應用于手機相冊、小布識屏、小布掃一掃、自由翻譯、便簽等入口,賦能相關圖片轉文檔、拍照翻譯、圖片文字提取等業務場景。

為解決視覺文字提取數據標注成本高、領域模型多、鏈路復雜、推理時間長、易出現丟字、幻覺、Box定位差等問題,OPPO從算法鏈路層、模型優化層、數據引擎層、文本RAG對應優化和改進策略,為用戶帶來了識別精準、高效提取的視覺文字信息提取新體驗。OPPO AI 視覺模型優化負責人馮天鵬在分享中表示“隨著VLM不斷演進,視覺文字信息提取技術后續可在高精度手寫體識別、手寫體公式提取、復雜圖表解析、以及圖文自動關聯等業務中發揮重要作用。”

OPPO AI視覺模型優化負責人 馮天鵬

回歸產品、回歸用戶,讓技術迭代有跡可循

豐富全面的技術終究要回到產品上,產品落地后是否能滿足用戶體驗提升是衡量技術是否成熟的關鍵標準。作為OPPO覆蓋手機、手表、平板等多種品類和系列設備的全局智能助理,小布助手在AI技術實踐層面取得亮眼成績——自2019年發布至今,小布助手已擁有3.5億用戶覆蓋,月活用戶達1.5億。

在大模型時代下,小布已憑借OPPO的技術支撐獲得了更強大的語言理解和圖像生成能力。這其中既包含了OPPO大語言模型的能力,也結合了OPPO視覺大模型的優勢。

在系統操控層面,小布可對復雜Query理解,并完成高效指令生成和編排。在通用問答上,流暢上下文對話知識增強的大模型技術使流暢的上下文對話和知識問答效果得到大幅度提升。在相對封閉的品牌問答領域,小布依托大模型強大的理解和遵循能力,獲得了更專注的能力。同時,大模型序列生成天然擅長做內容創作,新小布也因此具備了文本、圖像等多模態的生成能力。為保障創作內容無害,OPPO也秉承對社會和用戶負責的態度,在內容安全方面做了大量對齊和過濾。

為進一步提升小布的服務能力,OPPO在規劃、工具、知識、記憶、多智能體交互基礎上,針對大量級API工具指令生產任務、實時性和時效性的幻覺問題、多模態下的復雜鏈路調優三大挑戰,搭建了最適應小布架構演進的對話系統架構。

在高效支持千級別API的接入層面,小布可依靠單指令、多指令、嵌套指令支持用戶的復雜說法。

在解決實時性和時效性的幻覺問題方面,小布采取高時效高精度的RAG和混合大模型調度的方式,分別對應垂域實現知識覆蓋和通用場景解決長尾事實性和時效性。依托小布在流量調度上的精細化控制,在解決問題的同時也能兼顧成本ROI。

近期,小布發布的多模態能力下,技術團隊采用多信源融合理解和決策,建立全面的感知表征信息,對多模態多信源做深度理解,并進行混合建模交叉驗證的規劃,最終優化多模態能力響應速度更快。而通過理解和交互的并行化、圖像多級壓縮、多步指令緩存等手段,小布也實現了復雜鏈路全鏈路耗時優化,為用戶帶來了更為順暢高效的交互體驗。

無論是詢問、執行還是長尾溝通甚至是為用戶畫圖、修片,一系列高效、精準的服務和體驗,已讓小布真正成為了用戶身邊隨叫隨到的AI助手。OPPO小布助手服務平臺負責人莫驍分享到,“未來,基于記憶和個性化,復雜任務規劃,端云協同優勢,小布也將錨定為用戶個人設備帶來更懂我、更智能、更快捷的體驗技術方向持續迭代。”

OPPO 小布助手服務平臺負責人 莫驍

持續深挖AI價值,以智能體生態帶動行業繁榮

誠然,AI正在基于大模型等技術能力不斷更迭,但AI的價值并未被完全挖掘,同時更存在著數據偏差、幻覺、多模態的局限性等問題,也缺少使其高效運轉、高效交互、完成復雜任務的運行框架。基于此,OPPO提出了基于LLM,能夠自主感知環境、做出決策并執行行動的系統智能體框架。

智能體將圍繞交互性、反應性、自主性、適應性,實現接收外界信息并給出及時合理的反應,且具備代理和有約束性的自主決策能力,可根據過程和結果不斷優化策略提升效果的能力。手機,作為可承載各種物理感知能力和多模態能力并擁有一定算力的產品,也成為了智能體發展的沃土。

為推動智能體生態快速發展,OPPO在本次ODC上發布了OPPO智能體平臺,OPPO智能體平臺研發負責人張磊在分論壇上對該平臺做了詳細介紹。通過提供大模型應用開發能力以及豐富的工具庫、插件庫,為開發者適配多種業務場景,而可視化拖拽開發,也降低了應用開發門檻,讓更多用戶和開發者都能參與到智能體匯聚眾智的過程中來。

OPPO 智能體平臺研發負責人 張磊

針對智能體在手機上的分發能力,OPPO給出了應用場景的能力增強和問題解決方案,可在例如桌面、負一屏等OS系統級入口進行智能體推薦。通過小布亦可進行智能體專區、上下文精準推薦、啟動時推薦等高效分發;在軟件商店、瀏覽器等互聯網全場景入口也能高效觸達用戶。最終實現優質的智能體和有需求的用戶彼此發現,讓服務和需求雙向對接。

目前,OPPO智能體平臺已完成整體建設,智能體已涵蓋生活、娛樂、醫療、健康以及生產制造多個領域,通過開放接口與各領域業務實現了深度融合。開發平臺基于OPPO云的彈性算力,實現了智能體模型開發調試、服務、數據的彈性支撐。基于資源層、開發層、應用層以及智能體運營層,平臺對開發者開放了簡潔的智能體全鏈路托管。通過對開發者提供創建智能體所需的快速構建、快速集成、插件工具和個性化定制能力,為開發者從開發到運營再到分發的全程護航。

【結語】

在圓桌論壇上,OPPO技術戰略規劃總監陳曉春組織來自阿里云智能、百度、火山引擎以及網易有道的專家們,就AI手機發展以及智能體生態建設展開了積極討論。在深挖AI能力的過程中,無論是為用戶構建更合理、可信、可靠的服務,還是基于千行百業塑造更加專注的智能體生態,其本身依舊是圍繞“人”的需求進行的。在以人為本的服務理念中,更懂用戶、更自然的交互,更順暢絲滑的體驗,是倒逼技術發展的剛需,而對于OPPO以及更多廠商而言,持續深挖AI能力,以AI為核心拓展更智能的生態體系,不僅是為AI與手機融合塑造了更具象化的目標,也是手機廠商依托自身用戶基數優勢放大在AI時代長久競爭力的良策。