DeepSeek mHC架構：拯救價值一億美元AI訓練的穩定性革命

當一億美元的訓練突然崩潰

想像一下這樣的場景：你的團隊花了數週時間、燃燒了價值數千萬美元的GPU算力，正在訓練一個數百億參數的大語言模型。一切看起來很順利——損失函數穩步下降，各項指標持續改善。然後，毫無預兆地，訓練損失突然飆升，梯度變得不穩定，整個訓練過程瞬間崩潰。數週的進度和大量的計算資源付之東流。

這並非假想情境。在當今動輒耗資上億美元的大模型訓練中，這類「損失突刺」（loss spike）事件是各大AI實驗室面臨的最令人頭疼的問題之一。而問題的根源，可以追溯到一個已經十年未曾改變的基礎架構組件。

2026年1月，中國AI實驗室DeepSeek發表了一篇論文，提出了名為mHC（Manifold-Constrained Hyper-Connections，流形約束超連接）的新技術，直指這一根本性問題。更引人注目的是，DeepSeek的CEO梁文峰親自將論文上傳至arXiv——這一罕見舉動暗示著該技術在公司戰略中的核心地位。

從ResNet到Transformer：殘差連接的十年不變

要理解mHC為何重要，我們需要先回顧一段歷史。2016年，微軟研究院的何愷明等人提出了殘差網絡（ResNet），其核心創新是殘差連接（residual connection）——一種允許信號「跳過」中間層直接向前傳遞的捷徑路徑。

你可以把神經網絡想像成一條長長的流水線。每一層都會對數據進行某種加工處理。殘差連接的作用就像一條繞過加工站的旁路管道：即使某一層的加工出了問題，原始信號也能透過旁路繼續傳遞。這個看似簡單的設計解決了深度網絡的訓練難題，使得構建數百層乃至上千層的網絡成為可能。

十年來，殘差連接幾乎被原封不動地沿用到所有主流架構中，包括驅動ChatGPT、Claude和Gemini的Transformer架構。它有一個關鍵的數學保證——恆等映射（identity mapping）：在最壞情況下，信號穿過網絡後不會被扭曲，因為旁路管道保證信號原樣傳遞。

超連接的誘惑與陷阱

2024年，字節跳動的研究人員提出了超連接（Hyper-Connections, HC）技術。如果殘差連接是一條旁路管道，超連接則是將單一管道擴展為多條並行車道——每一層不再只有一個輸入和一個輸出，而是可以同時維護多個平行的信息流。

實驗證明，超連接確實帶來了顯著的性能提升。但這裡有一個隱藏的代價：超連接使用了不受約束的混合矩陣（mixing matrix）來控制各車道之間的信息交換。這些矩陣在訓練過程中自由學習，沒有任何數學限制。

具體而言，在標準超連接（vanilla HC）中，研究者觀察到信號在通過網絡時會被放大高達3000倍。這意味著微小的擾動經過數百層的累積，會被放大到足以讓整個訓練過程崩潰的程度。這就是那些令人沮喪的「損失突刺」的根源。

mHC：用數學「護欄」馴服混亂

DeepSeek的mHC提出了一個優雅的解決方案：不是放棄超連接帶來的性能提升，而是給混合矩陣加上嚴格的數學約束。

mHC的核心思想是將混合矩陣約束為雙隨機矩陣（doubly stochastic matrix）——即矩陣的每一行和每一列的元素之和都必須等於1。這聽起來像是一個簡單的數學條件，但它帶來了深遠的穩定性保證。

用一個日常類比來理解：想像你在管理一個水利系統，有多條水渠在不同的交匯點混合水流。雙隨機約束就像要求在每個交匯點，流入的水量必須等於流出的水量——沒有水會「憑空產生」或「無故消失」。這種守恆性質從數學上保證了信號在整個網絡中不會發生失控的放大或衰減。

更精妙的是，雙隨機矩陣具有組合封閉性：兩個雙隨機矩陣相乘的結果仍然是雙隨機矩陣。這意味著無論網絡有多少層，穩定性保證都能從第一層傳遞到最後一層，不會隨著深度增加而退化。

三個數量級的穩定性飛躍

mHC帶來的改進不是漸進式的，而是質的飛躍。DeepSeek在30億、90億和270億參數的模型上進行了系統性測試，結果令人印象深刻。

在穩定性方面，標準超連接中高達3000倍的信號放大，在mHC中被壓縮到最高僅1.6倍——這是三個數量級的改善。從實際角度看，這意味著那些災難性的損失突刺和梯度爆炸問題幾乎被完全消除。

在性能方面，mHC不僅沒有因為增加約束而損失表現，反而取得了更好的結果。

基準測試的全面勝出

DeepSeek在多個權威基準測試上對三種方案進行了對比——標準Transformer（基線）、無約束超連接（HC）以及流形約束超連接（mHC）：

• BBH（BIG-Bench Hard）：基線 43.8 → HC 48.9 → mHC 51.0
• DROP：mHC同樣取得了顯著的性能提升
• GSM8K（數學推理）：mHC在數學推理任務上表現優異
• MMLU（多任務語言理解）：mHC持續領先

值得注意的是，mHC不僅在每一項測試中都優於基線，而且始終超越無約束的HC。這證明了一個重要觀點：正確的約束不會限制性能，反而能釋放更大的潛力。因為穩定的訓練過程允許模型更有效地學習，而不是在對抗數值不穩定上浪費容量。

而這一切的代價極為低廉：mHC僅增加了6-7%的訓練開銷。考慮到一次大規模訓練崩潰可能浪費數百萬美元的算力，這點額外成本幾乎可以忽略不計。

業界反響：「可能革新模型預訓練」

「這項研究可能革新模型預訓練的方式。」

IBM Research的Kaoutar El Maghraoui對mHC給予了極高評價，認為這項技術有潛力從根本上改變大模型的預訓練流程。這一評價的分量在於，它來自一家在企業級AI部署方面有豐富經驗的公司——IBM深知訓練穩定性對大規模商業應用的重要性。

mHC的影響之所以可能如此深遠，在於它解決的不是一個邊緣問題，而是一個基礎性瓶頸。目前，所有訓練超大規模語言模型的實驗室——無論是OpenAI、Google DeepMind、Anthropic還是Meta——都必須面對訓練穩定性問題。任何能夠系統性解決這一問題的技術，都將改變整個行業的遊戲規則。

梁文峰親自上傳論文的信號

DeepSeek CEO梁文峰親自將mHC論文上傳至arXiv，這一細節意味深長。作為一家估值快速攀升的AI實驗室的掌門人，梁文峰將自己的名字與這篇技術論文直接綁定，釋放了明確的信號：mHC不僅是一項學術貢獻，更是DeepSeek未來產品戰略的核心技術。

業界分析人士普遍預計，mHC將被整合進DeepSeek的下一代旗艦模型中——最有可能的是DeepSeek R2或DeepSeek V4。如果mHC能夠在更大規模上兌現論文中展示的性能，DeepSeek將獲得顯著的競爭優勢：更穩定的訓練意味著更快的迭代速度、更低的失敗成本，以及可能更好的最終模型性能。

尚未公開的代碼與開放問題

截至目前，DeepSeek尚未公開發布mHC的實現代碼。這意味著其他研究團隊暫時無法獨立驗證和復現這些結果。對於學術社群而言，這是一個值得關注的空白——只有當技術可以被獨立復現時，其可靠性才能得到充分確認。

同時，仍有一些開放性問題有待回答：

• 規模化極限：mHC在270億參數上表現出色，但能否平穩擴展到千億甚至萬億參數？
• 架構通用性：mHC是否同樣適用於混合專家（MoE）架構？DeepSeek此前以MoE聞名，兩者的結合效果尚待驗證。
• 與其他技術的兼容性：mHC能否與其他訓練穩定性技術（如QK-Norm、Z-Loss等）協同工作？
• 推理階段影響：雙隨機約束在推理時是否會帶來額外的延遲？

更廣泛的意義：重新審視AI的基礎設施

mHC的出現反映了當前AI研究的一個重要趨勢：在追求模型規模擴展的同時，研究者開始重新審視那些被視為理所當然的基礎架構組件。殘差連接自2016年以來幾乎未曾被質疑，但DeepSeek的工作表明，即使是最基本的「管道」設計也蘊含著巨大的改進空間。

這對整個AI行業有深刻的啟示。過去兩年，AI領域的競爭主要圍繞「誰有更多GPU」和「誰的訓練數據更好」展開。mHC提醒我們，架構層面的創新仍然是最具槓桿效應的突破方向——一個巧妙的數學約束，就可能比增加數千張GPU更能推動模型能力的提升。

結語：小約束，大革命

DeepSeek的mHC或許不像新的千億參數模型那樣引人注目，但它解決的問題可能更加根本。在一個每次大規模訓練都要燒掉數千萬到上億美元的時代，一項能夠從根本上消除訓練不穩定性的技術，其價值難以估量。

從3000倍的混亂到1.6倍的穩定，mHC用一個優雅的數學約束——雙隨機矩陣——完成了看似不可能的任務：在保持超連接性能優勢的同時，恢復了殘差連接的穩定性保證。這是一個「魚與熊掌兼得」的罕見案例。

隨著mHC預計被整合進DeepSeek的下一代模型，我們很快就會看到這項技術在更大規模上的表現。如果論文中的結果能夠在實際生產環境中得到驗證，那麼mHC將不僅是一篇優秀的學術論文，更將成為整個AI行業下一個階段的基礎設施標準。