科技媒體 VentureBeat?報道稱，蘋果公司在 2023 年 10 月低調發布了一款名為 Ferret 的開源多模態大語言模型，這是蘋果與哥倫比亞大學研究人員的合作成果。當時發布的內容包括了代碼和權重（僅限研究用途，不包含商業許可），但并未引起太多關注。

隨著近期?Mistral 的開源 MoE 模型成為焦點，以及谷歌的 Gemini 模型即將在 Pixel Pro 上亮相，未來還將進入 Android 系統，越來越多人開始關注本地 LLMs 為小型設備提供支持的潛力。

近日，專注于醫療領域開源 AI 的歐洲非營利組織負責人 Bart de Witte 在 X 平臺上分享了他的驚訝：“我之前竟然沒發現這個。” 他表示，“蘋果在 10 月份加入了開源 AI 圈子。Ferret 的推出展現了蘋果對影響深遠的 AI 研究的承諾，鞏固了它在多模態 AI 領域的領先地位…… 另外，我很期待有一天 Local Large Language Models (LLLMs) 能作為重新設計的 iOS 的一部分，在我的 iPhone 上運行。”

蘋果公司 AI/ML 研究科學家 Zhe Gan 在 10 月份發布的一條推文中解釋了 Ferret 的用途 —— 一個可以在圖像中 "以任何粒度對任何地方的任何東西進行參照和定位" 的系統。它還可以通過使用圖像中任何形狀的區域來做到這一點。

簡單地說，該模型可以分析圖像上繪制的區域，確定其中對用戶查詢有用的元素，并將其識別出來，在檢測到的元素周圍繪制一個邊界框。然后，它就可以將識別出的元素用作查詢的一部分，并以典型的方式作出響應。

例如，高亮顯示圖像中的動物圖片并詢問 LLM 這是什么動物，LLM 可以確定該動物的種類，并確定用戶所指的是動物群中的某只動物。然后，它還可以利用圖像中檢測到的其他項目的上下文，提供進一步的回復。

GitHub：https://github.com/apple/ml-ferret
論文：https://arxiv.org/abs/2310.07704

Ferret 擁有 (7B, 13B) 兩個版本，為了增強 Ferret 模型的能力蘋果特別收集了一個 GRIT 數據集。它包含了 1.1M 個樣本，這些樣本包含了豐富的層次空間知識。

盡管蘋果以往以其產品和技術的封閉性著稱，但現在它通過發布開源 LLM 模型，正逐漸改變這一形象，展現出其在 AI 領域的活躍參與和創新精神。這不僅對蘋果自身，也對整個 AI 領域來說，都是一個值得關注的重要發展方向。

VentureBeat 撰稿人 Ben Dickson 寫道：“2023 年最讓你意外的人工智能進展是什么？對我來說，是蘋果發布了開源 LLMs（雖然是非商業許可）。” 他指出，蘋果一貫以來是封閉系統、圍墻花園開發、保密、嚴格的保密協議、發布極少細節、并為其產品申請每一項小的專利的代表。

審核編輯：黃飛

?