蘋果 Transformer 的“秘密”，讓發燒友給扒出來了。

大模型浪潮下，即使保守如蘋果，也每逢發布會必提“Transformer”。

比如，在今年的 WWDC 上，蘋果就已宣布，船新版本的 iOS 和 macOS 將內置 Transformer 語言模型，以提供帶文本預測功能的輸入法。

蘋果官方沒有透露更多信息，但技術愛好者們可坐不住了。

一位名叫 Jack Cook 的小哥，就把 macOS Sonoma beta 翻了個底朝天，結果，還真挖出不少新鮮信息：

• 模型架構上，Cook 小哥認為蘋果的語言模型更像是基于 GPT-2 打造的。

• 在分詞器（tokenizer）方面，表情符號在其中十分突出。

更多細節，一起來看。

基于 GPT-2 架構

先來回顧一下蘋果基于 Transformer 的語言模型能在 iPhone、MacBook 等設備上實現怎樣的功能。

主要體現在輸入法方面。語言模型加持下的蘋果自帶輸入法，可以實現單詞預測和糾錯的功能。

Jack Cook 小哥具體測試了一下，發現這個功能主要實現的是針對單個單詞的預測。

模型有時也會預測即將出現的多個單詞，但這僅限于句子語義十分明顯的情況，比較類似于 Gmail 里的自動完成功能。

那么這個模型具體被裝在了哪里？一通深入挖掘之后，Cook 小哥確定：

我在 /System/ Library / LinguisticData / RequiredAssets_en.bundle/ AssetData / en.lm/ unilm.bundle 中找到了預測文本模型。

原因是：

1、unilm.bundle 中的許多文件在 macOS Ventura（13.5）里并不存在，僅出現在了新版本 macOS Sonoma beta（14.0）里。

2、unilm.bundle 中存在一個 sp.dat 文件，這在 Ventura 和 Sonoma beta 里都能找到，但 Sonoma beta 的版本中更新了明顯像是分詞器的一組 token。

3、sp.dat 中 token 的數量跟 unilm.bundle 中的兩個文件 ——unilm_joint_cpu.espresso.shape 和 unilm_joint_ane.espresso.shape 能匹配得上。這兩個文件描述了 Espresso / CoreML 模型中各層的形狀。

進而，小哥根據 unilm_joint_cpu 中描述的網絡結構，推測蘋果模型是基于 GPT-2 架構打造的：

主要包含 token embeddings、位置編碼、解碼器塊和輸出層，每個解碼器塊中都有類似 gpt2_transformer_layer_3d 這樣的字眼。

根據每層大小，小哥還推測，蘋果模型約有 3400 萬參數，隱藏層大小是 512。也就是說，它比 GPT-2 最小的版本還要小。

小哥認為，這主要是因為蘋果想要一種不太耗電，但同時能夠快速、頻繁運行的模型。

而蘋果官方在 WWDC 上的說法是，“每點擊一個鍵，iPhone 就會運行模型一次”。

不過，這也就意味著，這個文本預測模型并不能很好地完整續寫句子或段落。

模型架構之外，Cook 小哥還挖出了分詞器（tokenizer）的相關信息。

他在 unilm.bundle/ sp.dat 里發現了一組數量為 15000 的 token，值得關注的是，其中包含 100 個 emoji。

Cook 揭秘庫克

盡管此 Cook 非彼庫克，小哥的博客文章一發出，還是吸引了不少關注。

基于他的發現，網友們熱烈地討論起蘋果在用戶體驗和前沿技術應用之間的平衡大法。

回到 Jack Cook 本人，他本科和碩士畢業于 MIT 的計算機專業，目前還在攻讀牛津大學的互聯網社會科學碩士學位。

此前，他曾在英偉達實習，專注于 BERT 等語言模型的研究。他還是《紐約時報》的自然語言處理高級研發工程師。

那么，他的這一番揭秘是否也引發了你的一些思考？歡迎在評論區分享觀點~

原文鏈接：

https://jackcook.com/2023/09/08/predictive-text.html

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的揭秘 iPhone 里的 Transformer：基于 GPT-2 架构，分词器含 emoji，MIT 校友出品的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。