文 | 藍媒匯 陶然

編輯 | 魏曉

歲末年初，蘋果加快了在大模型領域的步伐。

上個月，蘋果先是推出了名為Ferret的多模態(tài)大語言模型，圖像處理技術堪稱驚艷；而后又發(fā)布了一篇題為《閃存中的大型語言模型：在有限內存下高效的大型語言模型推理》的論文，直指大模型落地iPhone等“內存有限”設備的方法。

進入新年，Siri助手將搭載生成式模型Ajax的消息，再次不脛而走。

去年六月和九月的兩次重要發(fā)布會，蘋果分別掏出了早有傳聞的XR項目和iPhone系列的慣例年更，前者市場反響平平，后者擠牙膏被批像是被“卡脖子”了，硅谷All in大模型之時，蘋果官方對人工智能這一年度熱詞始終閉口不談。

公司CEO庫克曾解釋道，蘋果有計劃在更多產品中加入AI，但要“深思熟慮”。

現如今，也許是想好了，也許是技術突破了，留了一手的蘋果，終于不藏了。

iPhone的AI時刻，來了？

Siri助手AI化其實早有預兆：去年七月份，彭博社發(fā)文稱蘋果內部正在暗中測試一款對標OpenAI和谷歌的生成式AI工具，暫定名“Apple GPT”。

因使用Google JAX框架進行構建，Apple GPT的開發(fā)框架被命名為Ajax。

當時的消息稱，蘋果LLM技術的最大用武之地，便是整合在Siri內部，讓語音助手以更為智能的方式協(xié)助用戶。

現在，更多細節(jié)被透露——蘋果發(fā)布的論文稱，這項將大語言模型放在閃存中優(yōu)化運行的技術，較傳統(tǒng)運行方法提高了4-5倍（CPU）和20-25倍（GPU）的推理速度。

把大象（大模型）裝進冰箱（手機）里的方法，來了：先減少閃存?zhèn)鬏數臄祿浚偬岣呙看蝹鬏數耐掏铝俊?/p>

先看框架：以手機為例，平時購機時的【12+256G】、【16+512G】，12/16為運行內存，256/512為儲存空間。

以此類推絕大部分移動設備存儲結構，運存空間小，但讀取速率高（DRAM 10GB/s）；儲存空間大，但讀取速率相對較低（Flash Memory 1GB/s）

一般來說，大模型的推理階段，模型加載、分析數據需要直接占用運存，而目前主流手機市場最大的16GB運存，也并不能完全滿足大模型所需的空間：模型大?。臼謾C內存。

蘋果給出的解決方案是“先減少閃存?zhèn)鬏數臄祿俊薄汛竽Ｐ屯耆w放在空間更大的儲存中，運行時只調用必要數據進入運存。

這并非一個簡單的搬箱子過程，如何正確篩選出所有必要數據，以及如何把數據快速由閃存?zhèn)鬏數竭\存，是兩個需要解決的問題。

方法之一被命名為sliding window（滑窗）：

假設大模型正在處理Once upon a time there was a kid who had a dream這句話，在處理“Once upon a time there”這段字符的時候，圖中上半部分的青色格子（神經元）處于激活狀態(tài)；而當處理字段變到“upon a time there was”（往后推進了一個字符），圖中下半部新啟用了藍色格子，并刪除了了此前青色部分的幾個格子（以粉色標注），其余青色保持不變。

這就是sliding Window的核心思想：查缺補漏，多退少補。在大模型運行過程中，只保留一開始就激活的神經元，后續(xù)的每次運算，都基于前一次參數進行刪除和添加，省去了一部分重復工作。

當然，這種預設也并非沒有問題，知乎博主@Civ發(fā)文稱，sliding window可用的核心假設是大模型在處理相鄰數據時前后具有相似性，但這個相似性蘋果沒有展開論證。

再者是傳輸：將多次傳輸的數據拼接后一次性讀取，保持連續(xù)完整的“數據”，避免多次復制拖慢時間；另外，提前預留出一個較大的空間（較大，但仍遠遠小于模型整體占用），避免在數據傳輸過程中，因多次增加空間而加大設備的計算量。

 

此前，藍媒匯在《AI PC發(fā)布，聯想真的想通AI了嗎？》中提及，限制大模型進入移動端的瓶頸就是模型占地太大，影響設備本身正常運轉，或者塞不進去導致無法運行。

蘋果這項新研究的諸多技術細節(jié)，都在指向空間的壓縮，包括數據體量，也包括運算所占用的算力。

發(fā)力多模態(tài)

之前有個段子（也可能是真事兒），說是大模型搞不定人機驗證，是因為AI被設定不能說謊，所以無法選擇“我不是機器人”。

去年十月份，蘋果還是以論文的形式公布了一項研究成果：Ferret大模型，自己搞定谷歌人機驗證了。

遙遙領先于GPT4。

不久之前，蘋果公布了更多Ferret模型的細節(jié)、功能。

圖/蘋果 Github Ferret模型介紹

和GPT4相比，Ferret的領先之處在于，它不僅能準確識別并處理圖像內容，還能用算法區(qū)分圖片中各種元素（人、物體等等），并根據用戶指令找出對應元素。

這種多模態(tài)理解能力，使得Ferret能夠同時處理用戶輸入的圖像和自然語言，并且由于其算法能夠將圖像中的元素準確拆分、定位，Ferret可以準確理解如“圖片右上角”、“靠近沙發(fā)”這類指令。

相比于卷瘋了的自然語言處理，這種基于圖像的交互使得信息更加直觀。

最近一次更新，蘋果提供了Ferret的7B和13B兩個版本，并創(chuàng)建了包含了1.1M個樣本的GRIT的數據集以豐富空間知識，進一步增強功能。

考慮到蘋果相當成熟的產品生態(tài)以及巨量用戶規(guī)模，AI落地帶來的換機潮等收益，或將極為可觀。

2023年被稱為是AI的iPhone時刻，現在，蘋果的AI時刻大約也快到了。