Thinking Machines開源模型本地AI生成式AI

Thinking Machines 推 Inkling 2 Mini:20GB 開源模型能在筆電離線寫程式,本地代理時代來臨

11 月 20 日,OpenAI 前技術長 Mira Murati 創立的 Thinking Machines Lab 發布 Inkling 2 Mini——一個總參數 26.4B、記憶體佔用約 20GB 的開源權重模型,小到能跑在消費級筆電與 AI 個人電腦上。它的主打場景是本地代理式編程(local agentic coding):研究人員甚至在飛行途中於一台 MacBook Pro 上離線執行它,幾分鐘內就建出一個可玩的飛行模擬器。對香港開發者與企業,這不是「又一顆小模型」,而是把「能自己拆解任務、逐步入手寫程式」的代理能力,從雲端搬進你桌上的電腦、且資料完全不出機的具體一步。

什麼是「循環式」模型:把難句多讀幾遍

多數語言模型讓每個 token 通過層結構一次;Inkling 2 Mini 則是循環式 Transformer(looped transformer)——它讓中層運算對每個 token 重複三次。感性理解就像「遇到難的句子先重讀一遍再作答」:讓模型靠多算幾次換取更多推理,同時用較少的 token 到達正確答案,特別適合需要多步驟自主作業的代理式編程任務。

它同時是混合專家(MoE)模型:每個 token 只切換啟動網路的一部分。總參數 26.4B 中,每 token 實際啟動 3.4B,計入循環後每 token 約 5.4B 權重啟動;多數訓練與推論權重以 NVFP4(4 位元)格式儲存,這正是把記憶體壓到 20GB 的關鍵。

表現與誠實的界線

官方宣稱 Inkling 2 Mini 在 DeepSWE v1.1(48.2%)與 Vals Index v2.2(46.5%)等100B 以下開源模型基準上位居第一。但發布也坦白了一條界線:循環能強化推理,但不會讓模型記住更多事實——它的事實知識分數與同尺寸模型相當,靠搜尋與工具來補足知識缺口。換句話說,它把資源集中押在「怎麼思考」上,而非「記得多少」。模型已以開放權重在 Hugging Face 與自家 Tinker 平台提供。

趨勢:本地 AI 從「塞得下」走向「真能做事」

過去「在本地跑模型」多半代表妥協——塞得下,但太弱、做不了專業活。Inkling 2 Mini 這類產品的意義,是把「本地執行」從容量議題變成能力議題:當一個能上筆電的開源模型能在多步驟編程、代理自主作業上追上同尺寸最佳成績,「資料不出機、離線可用、零 API 費用」就不再只是隱私安慰劑。這與 OpenAI、Anthropic、Google 把代理送上雲端的路徑形成對照——代理也能是「在你機器上跑的私有人工」,對重視機密、有獵網疑慮或算力成本敏感的組織,吸引力正在上升。

對香港企業與在職人士的啟示

  • 開發者的個人代理工作台:香港的軟體工程師可用一台 MacBook Pro 或 AI PC 離線跑 Inkling 2 Mini,在無網路的差旅、對外隔離的開發環境中讓 AI 協助寫程式、拆解重構任務,不必把程式碼片段送到外部 API——對處理客戶專屬程式碼的接案者尤其受用;
  • 受監管行業的「代理不出門」方案:金融、法律等對代碼與客戶資料嚴禁外洩的香港企業,可在自有終端或供應器上運行本地代理,讓 AI 協助診斷、測試、產生程式碼,訓練與推論資料全程留在企業內,這是閉源雲端 API 難以計算的合規價值;
  • 對中小企的實用門檻:約 20GB 記憶體、支援常見硬體加上開放權重,讓本地代理不再是大型資料科學團隊的專利。香港中小企可先評估是否已有合格的筆電/AI PC,用一個小規模的使用案例(例如本地單元測試生成、內部工具自動化)跑 PoC,成本只需設備與電力;
  • 提醒:事實知識有界線:Inkling 2 Mini 明言事實知識與同尺寸模型相當,需靠搜尋與工具補足。企業導入時,若要處理需要最新知識或權威事實的任務,應外接檢索與工具(RAG、搜尋 API),而非期望模型「記得一切」——把「會推理的模型+可靠的知識來源」當成一套組合,而不是單一無所不知的黑盒。

Thinking Machines 把一個能寫代理程式的 26.4B 開源模型塞進 20GB、放上筆電,等於把「本地代理式編程」從示範推向可日常使用。對香港開發者,它是離線、隱私、零成本的程式助理;對企業,它是**「代理能力留在公司內」的合規藍圖**。務實的第一步,是拿一台手上已有的電腦跑一遍它在 DeepSWE 上的經典代理任務,親手驗證「本地代理」到底能替你多做多少。

想學會善用最新 AI 工具?

瀏覽 AI學院實戰課程,由入門到企業轉型顧問。

瀏覽課程