PerplexityNVIDIAAI代理生成式AI

Perplexity 與 NVIDIA 聯手推出 Portable Computer:完全本地執行的 AI 代理,零 Token 成本的新時代

Perplexity 在 8 月 25 日正式發表了 Portable Computer——一款完全在使用者自有硬體上運行的 AI 代理平台。這項與 NVIDIA 深度合作的產品,可能是目前為止將 AI 代理工作負載從雲端推向本地設備最積極的嘗試。

根據 VentureBeat 的獨家報導,Portable Computer 讓模型、使用者檔案和工作本身全部保留在機器上。本地完成的工作不消耗任何雲端帳單信用額度,系統預設每個任務在本地啟動——只有在需要時,才會請求使用者許可,將個別步驟發送至更強大的雲端前沿模型處理。

從雲端到本地:AI 代理經濟學的轉折點

Perplexity 副總裁 Nate 在新聞簡報會上表示:「我們基本上將完全相同的使用者介面帶到了完全本地的應用程式中。這涵蓋了完整的代理框架、推理引擎,以及本地完成工作所需的一切。」

對於過去兩年不斷向世界推銷價值數兆美元 AI 資料中心的 NVIDIA 而言,這項宣布傳遞了一個微妙但具有戰略意義的信號:這家晶片龍頭相信,本地 AI 已經從業餘愛好者的好奇心,跨越到了實用工具的門檻——而 NVIDIA 希望成為驅動這一切的硬體供應商。

NVIDIA 開發者技術總監 Nader 表示:「本地 AI 達到了一個轉折點。在很長一段時間裡,只有業餘愛好者和發燒友在運行這些被量化到極小的模型……雖然很酷,但不太實用。但這一切隨著許多實用的新開源模型的出現而改變了。」

Portable Computer 今天對 Pro、Max、Enterprise Pro 和 Enterprise Max 訂閱者在 Linux 平台上推出,Windows 支援將在 9 月跟進。任何配備至少 24GB VRAM 的 RTX GPU(約 GeForce RTX 3090 或更新型號)都可滿足基本要求。

本地代理框架的技術突破

Portable Computer 的核心創新在於模型與代理框架的協同設計。Perplexity 同時發表了一篇研究論文,論證有效的本地代理需要模型與代理框架——即圍繞模型的提示、工具和編排邏輯的框架——共同設計。

關鍵洞察在於:通用框架假設了一個可以吸收巨大上下文、駕馭龐大工具表面、並在長時程中規劃的前沿模型。小型本地模型在這些要求下會不堪負荷。

Perplexity 的實證發現,儘管像 Qwen 3.8 27B 這樣的模型號稱擁有 260,000 token 的上下文窗口,但它們在超過 100,000 token 時就開始出現困難。因此,該公司建立了一個刻意精簡的框架:簡潔的系統提示、一組小型核心工具,以及按需加載和卸載的「技能」系統,而非讓所有功能永久佔據上下文。

該公司將 Gmail 和 GitHub 等熱門連接器從耗費 token 的 MCP 伺服器轉換為緊湊的命令列工具,加入了自我驗證鉤子來監控任務健康狀況,並實施了始終開啟的作業系統級沙箱。如果沙箱不可用,框架會自行禁用——這是與預設以使用者完整權限運行命令的開源框架的關鍵區別。

混合架構:本地優先,雲端輔助

Portable Computer 最引人注目的商業洞察來自於混合模式的測試結果。在 Terminal Bench 2.1(一個具有挑戰性的程式碼基準測試)上:

  • 完全本地的 Qwen 模型得分 59.6%,邊際成本為零
  • 讓它升級到雲端 Claude Opus 5「顧問」後,得分提升至 73.0%,每任務約 $0.415
  • 單獨運行前沿模型得分 82.4%,每任務 $0.65

換句話說,升級模式以約三分之二的成本,收回了前沿模型與本地模型之間約五分之三的差距——而完全由使用者決定何時值得進行這項權衡。

在每次調用雲端顧問之前,框架會對外發送的上下文執行 PII 分類器,向使用者展示離開設備的具體內容。遠端模型僅返回文字指導,絕不接觸本地檔案或工具。

對企業與在職人士的啟示

第一,AI 代理的「Token 經濟學」正在被顛覆。 聊天是突發性的——一個問題、一個答案,結束。但代理不同。NVIDIA 的 Nader 指出:「使用代理時,你希望它們盡可能保持始終在線。你希望它們盡可能消耗更多 Token。」在本地硬體上,這些 Token 的邊際成本趨近於零。對於正在考慮部署 AI 代理的香港企業,這可能從根本上改變成本計算模型。

第二,數據私隱的顧慮被技術化解決。 金融文件、醫療記錄、企業策略——這些敏感數據正是許多香港企業至今不願上傳到雲端 AI 服務的原因。Portable Computer 的「本地優先、連線可選」模式,使企業可以在享受 AI 代理效率的同時,將敏感數據完全保留在設備邊界內。

第三,香港企業應評估「混合 AI」架構。 完全本地與完全雲端之間的「混合模式」,可能在成本與效能之間提供最佳平衡點。對於每日處理大量文件分析、數據處理和報告生成的企業,本地執行常規任務、雲端處理複雜推理的混合策略,值得認真評估。

第四,了解「代理框架」的設計理念。 Perplexity 的論文揭示了一個重要原則:使用小型模型時,框架的設計必須與模型能力匹配。對香港的開發者和技術決策者而言,這意味著部署本地 AI 代理時,精簡的框架設計比功能豐富的框架更有效——這與許多開源框架追求大而全的設計思路恰好相反。

第五,成本可見性的時代來臨。 本地執行意味著清除「雲端信用額度計數器」這個心理障礙。Perplexity 在示範中刻意展示了停在零元的費用計數器——這對企業財務和技術團隊來說,是一個極具說服力的價值主張。

Perplexity Portable Computer 的發布不僅是一個產品發布——它標誌著 AI 代理經濟學的一個潛在轉折點。隨著本地運算能力持續增強、開源模型持續進步,我們可能正在見證從「雲端為中心的 AI」到「本地優先、雲端輔助的 AI」的範式轉移。對於正在制定 AI 策略的香港企業與專業人士而言,現在正是關注這一趨勢的最佳時機。

想學會善用最新 AI 工具?

瀏覽 AI學院實戰課程,由入門到企業轉型顧問。

瀏覽課程