OpenAI 揭露自研 Jalapeño 推理晶片基準測試：效能超越 NVIDIA Blackwell，每瓦特處理更多 AI 工作

OpenAI 正在兌現其硬體自主的承諾。在 8 月 25 日的 Hot Chips 2026 大會上，OpenAI 首次公開了其自研推理晶片 Jalapeño 的詳細架構與基準測試結果——結果顯示這款晶片在關鍵指標上已超越當今最先進的市售系統。

根據 TechCrunch 的報導，在 SemiAnalysis 的 InferenceX 基準測試中，Jalapeño 在「每使用者 token 產出」和「每千瓦功耗吞吐量」兩個核心指標上，均超越當前由 NVIDIA Blackwell 驅動的系統。OpenAI 硬體主管 Richard Ho 在記者會上表示：「結果顯示了一個非常、非常顯著的性能進步。」

Jalapeño 的設計哲學：全棧協同優化

Jalapeño 首次在 2025 年 10 月對外公布，由 OpenAI 與 Broadcom 密切合作開發，並由 OpenAI 自身的 AI 模型參與晶片設計過程。Ho 強調，OpenAI 計劃將 Jalapeño 打造成一個多代系平台，使 AI 產品、模型、晶片與記憶體得以協同發展。

這款晶片的關鍵創新在於全棧協同設計（full-stack co-design）。傳統上，AI 模型與晶片由不同團隊獨立開發，然後再進行後續整合。OpenAI 的做法則是讓模型團隊與硬體團隊從頭到尾持續協作，針對推理過程中的特定瓶頸進行優化。

「我們設計 Jalapeño 的目的在於最小化資料移動與通訊延遲，」OpenAI 在部落格中表示。「這意味著模型狀態（包括生成回覆時使用的 KV 快取）可以被明確地放置並保持在本地，同時系統為每個推理階段啟動適當的計算、記憶體與網路組合。」

Hot Chips 亮點：針對 Prefill 與通訊瓶頸的優化

Jalapeño 最突出的設計特點在於針對推理過程中的兩個關鍵瓶頸進行專項優化：

Prefill 階段（預填階段）：當模型首次處理使用者輸入提示時，需要大量計算資源來產生第一個 token。Jalapeño 通過特殊的硬體設計加速這一階段，顯著降低首次回應延遲。
通訊階段：在分佈式推理中，不同晶片之間需要頻繁交換數據。Jalapeño 的通訊架構被重新設計，以最大程度減少跨晶片數據傳輸的延遲與能耗。

值得注意的是，OpenAI 的基準測試是與當前的 NVIDIA Blackwell 系統進行的比較——但到 Jalapeño 完成全面部署時，競爭可能已大幅進步。Ho 估計 Jalapeño 將在 2026 年底「以非常小的量」 開始部署，更顯著的規模化部署則要等到 2027 年。

為什麼 OpenAI 要自研晶片？

自研晶片的戰略邏輯可以從三個層面理解：

第一，成本控制。 當前的 AI 推理成本中，硬體佔據相當大的比例。擁有自研晶片使 OpenAI 能夠擺脫對 NVIDIA 的單一供應商依賴，並在長期顯著降低每 token 的推理成本——這對於支援免費層級使用者和企業大規模部署都至關重要。

第二，全棧優化的天花板更高。 當模型、晶片與系統架構都由同一團隊設計時，能夠實現第三方硬體無法比擬的優化深度。OpenAI 可以針對其最常用的模型架構（如 Transformer 的特定層級）進行硬體級別的自訂優化。

第三，供應鏈韌性。 在 AI 晶片需求爆炸性增長、NVIDIA 晶片供不應求的背景下，擁有自研晶片意味著 OpenAI 可以更好地控制自身的產能規劃與部署時程，不受第三方供應鏈波動的影響。

對企業與在職人士的啟示

第一，AI 推理成本將持續下降。 Jalapeño 的出現——連同 Google 的 TPU、Amazon 的 Trainium/Inferentia，以及各類新創 AI 晶片初創公司的產品——標誌著 AI 推理硬體市場正從 NVIDIA 的單極格局轉向多極競爭。對香港企業而言，這意味著 AI 部署的硬體成本將在未來 1-2 年內顯著下降。

第二，全棧 AI 策略時代來臨。 OpenAI 的「模型-晶片-系統」全棧策略宣示了一個新趨勢：領先的 AI 公司不再僅僅是軟體公司——它們同時是硬體公司。對香港企業的啟示是，在評估 AI 供應商時，需要考慮的不僅是模型性能，還包括其硬體策略與長期成本結構。

第三，邊緣推理與本地部署的前景更加光明。 更高效的推理晶片不僅服務資料中心，也將推動邊緣 AI 和本地部署的可行性。對於香港金融、醫療和製造業等對數據私隱有嚴格要求的行業，高效能本地推理晶片的出現將顯著擴大 AI 部署的選擇空間。

第四，關注 AI 晶片生態的多元化。 NVIDIA 仍然主導市場，但 OpenAI 的 Jalapeño、Groq 的 LPU、Cerebras 的 Wafer-Scale Engine，以及各類邊緣 AI 晶片正逐步形成一個多元化的生態。對於企業架構師和 AI 從業者，理解不同晶片架構的優劣將成為一項實用的技術判斷力。

第五，準備迎接 2027 年的推理成本曲線轉折。 如果 OpenAI 如期在 2027 年規模化部署 Jalapeño，我們很可能看到 AI 推理成本曲線出現顯著轉折。對於計劃大規模採用 AI 的香港企業，現在開始建立 AI 能力、並在成本下降時迅速擴展規模，將是競爭優勢的來源。

Jalapeño 的基準測試結果不僅是 OpenAI 的技術里程碑——它標誌著 AI 行業從軟體創新進入了「軟硬體協同創新」的新階段，而這個轉變的最終受益者，將是所有使用 AI 的企業與個人。