企業(yè) AI 正開始遭遇一個難題：支撐模型訓練的基礎(chǔ)設(shè)施，未必適合推理規(guī)模化；隨著企業(yè)從實驗走向生產(chǎn)部署，這一差異開始變得至關(guān)重要。

從實驗到生產(chǎn)，變化的不只是規(guī)模，還有工作負載行為。訓練以并行計算為主（GPU 的強項），而推理 —— 尤其在詞元生成階段 —— 行為截然不同。推理是對延遲敏感、受內(nèi)存帶寬限制的工作負載，通用 GPU 架構(gòu)并非為此而生。

這種不匹配在過去尚可容忍，因為推理負載相對較小，且在過去幾年的訓練熱潮中處于次要地位。如今情況已變。隨著企業(yè)部署智能體工作流、多模態(tài)應(yīng)用與高并發(fā)交互系統(tǒng)，推理變成持續(xù)且核心的應(yīng)用環(huán)節(jié)。此時，詞元生成的低效不再是理論問題，而是直接影響響應(yīng)速度、成本與可用性。

正是在這一背景下，英偉達在 GTC 2026 推出Groq 3 LPX。LPX 與 Vera Rubin NVL72 系統(tǒng)并列，是基于 Groq 語言處理單元（LPU）打造的機架級推理加速器。人們很容易將其視為英偉達不斷擴充產(chǎn)品線的又一款新品，但更重要的信號在于：企業(yè) AI 基礎(chǔ)設(shè)施并非單一架構(gòu)問題，僅靠 GPU 不足以滿足全場景推理需求。

理解 LPU 的架構(gòu)定位

要理解 LPX 的存在，需看清 LPU 與 GPU 在架構(gòu)層面的差異。GPU 為并行吞吐量設(shè)計，可在大規(guī)模數(shù)據(jù)集上同時執(zhí)行海量運算；而 LPU 的優(yōu)化目標截然不同 ——最小化生成單個詞元所需時間。

這一設(shè)計目標帶來了不同的架構(gòu)選擇，尤其在內(nèi)存方面。英偉達 Rubin GPU 依賴大容量 HBM4，提供數(shù)百 GB 內(nèi)存與可觀帶寬；Groq LPU 則使用更小的片上 SRAM，但每字節(jié)內(nèi)存帶寬顯著更高。

這種取舍并非偶然。推理過程（尤其解碼階段）需逐次從內(nèi)存讀取數(shù)據(jù)，此時內(nèi)存帶寬往往比純算力更易成為瓶頸。容量決定模型與工作狀態(tài)能否裝入內(nèi)存，而帶寬決定裝入后每個詞元的生成速度。

LPX 將這一思路擴展至機架級，把數(shù)百顆 LPU 集成到液冷系統(tǒng)，并直連 Vera Rubin 平臺。英偉達展示出每秒詞元數(shù)、每瓦性能與詞元經(jīng)濟性的顯著提升。盡管具體數(shù)值隨負載與部署場景而異，但這一架構(gòu)方向與行業(yè)推理思路的整體轉(zhuǎn)變一致。

解耦推理為何現(xiàn)在興起

LPX 的推出，只有放在推理負載演進的背景下才合理。模型處理請求實際分為兩個階段：

1. 接收提示詞與上下文并一次性預(yù)處理 —— 高度并行，正是 GPU 擅長；

2. 逐詞生成回復(fù)，每一步都依賴上一步結(jié)果。

兩個階段特性迥異：前者由算力驅(qū)動，后者由內(nèi)存數(shù)據(jù)搬運速度驅(qū)動。用同一架構(gòu)跑兩者雖可行，但屬于妥協(xié)方案；隨著負載規(guī)模擴大，這種妥協(xié)愈發(fā)明顯。

解耦推理正是為解決這一問題而來：不把推理視為單一流程，而是拆分階段，讓最合適的硬件各司其職。GPU 處理并行、算力密集的前端，LPU 處理對延遲敏感、逐詞生成的階段。英偉達稱之為注意力 - 前饋網(wǎng)絡(luò)解耦（Attention?FFN Disaggregation），核心思想很簡單：讓架構(gòu)匹配工作負載。

對企業(yè)而言，當推理不再是孤立事件，而是持續(xù)系統(tǒng)的一部分時，影響尤為顯著。在多步鏈式智能體工作流中，延遲會快速累積。單次響應(yīng)尚可接受，多步串聯(lián)就會明顯卡頓。這不僅是性能問題，更是成本問題 —— 低效會推高基礎(chǔ)設(shè)施與運維開支。

對企業(yè) IT 的啟示

從企業(yè)視角看，必須明確：LPX 并非英偉達的 “必選項”。對很多場景（尤其是批處理或?qū)ρ舆t不敏感場景），Vera Rubin NVL72 本身已足夠。LPX 真正面向的是響應(yīng)速度、并發(fā)度與用戶體驗至關(guān)重要的環(huán)境。

這一差異印證了：企業(yè) AI 基礎(chǔ)設(shè)施不會同質(zhì)化。不同負載需要不同配置，并非所有機構(gòu)都需要或能承擔解耦推理帶來的額外復(fù)雜度。

這種復(fù)雜度不容忽視。拆分預(yù)填充（Prefill）與解碼（Decode）會增加運維復(fù)雜度：需要管理請求在系統(tǒng)間的路由，以及 KV 緩存等狀態(tài)在不同硬件間的協(xié)同。這些細節(jié)不會出現(xiàn)在基準測試中，卻會真實影響生產(chǎn)環(huán)境的性能與成本。因此，盡管解耦的架構(gòu)邏輯成立，最終能否實現(xiàn)凈效率提升，取決于系統(tǒng)大規(guī)模部署與管理的效果。

邁向異構(gòu)化的大趨勢

拋開 LPX 細節(jié)，我看到的更重要信號是：英偉達愿意跳出單一架構(gòu)路線。過去很長時間，英偉達在 AI 基礎(chǔ)設(shè)施的主導地位與 GPU 及 CUDA 生態(tài)深度綁定。如今集成 LPU 系統(tǒng)，反映出一個共識：沒有任何單一架構(gòu)能高效覆蓋推理全場景。

這一轉(zhuǎn)變并非孤立發(fā)生。英偉達發(fā)布時機，疊加 AWS 與 Cerebras 的類似動作，表明行業(yè)已形成共識：推理已成為主要瓶頸，需要專用方案解決。

同時，這并不意味著會收斂到單一新標準。相反，它指向進一步多元化。推理負載覆蓋超大規(guī)模數(shù)據(jù)中心到邊緣部署、終端設(shè)備等各類環(huán)境，各有約束與需求。最終將形成異構(gòu)共存格局，根據(jù)負載特性選擇不同加速器。

即將浮現(xiàn)的控制平面挑戰(zhàn)

所有這些觀察都指向一個少有人討論的未來趨勢：硬件架構(gòu)多元化后，挑戰(zhàn)會上移到軟件棧。要在多類加速器、分布式環(huán)境與多樣負載 profile 下高效運行推理，需要一套仍在演進中的編排能力。

如今各類組件已存在，但相當分散。編排框架負責分布式執(zhí)行，服務(wù)層處理批處理與詞流傳流，數(shù)據(jù)管道為模型提供所需上下文。缺失的是將這一切整合的統(tǒng)一控制層—— 能跨不同系統(tǒng)與架構(gòu)順暢運行的層。

英偉達 Dynamo 是朝此方向的一步，尤其在以 GPU 為中心的環(huán)境。它整合了部分協(xié)同能力，幫助管理推理在系統(tǒng)間的運行與狀態(tài)處理。但其設(shè)計仍緊密綁定英偉達生態(tài)，尚未解決跨廠商、跨部署位置、跨硬件類型的推理管理難題。

對天然多云、多廠商的企業(yè)環(huán)境而言，這一缺口至關(guān)重要。抽象硬件差異、保持性能與運維可視性，或?qū)⒊蔀槠髽I(yè) AI 基礎(chǔ)設(shè)施的核心挑戰(zhàn)之一。

仍處早期，但方向明確

LPX 與 Vera Rubin 平臺的推出，是推理基礎(chǔ)設(shè)施的重要進步。其架構(gòu)邏輯與行業(yè)方向一致，多家廠商的協(xié)同動作也表明這并非孤立事件。

同時，行業(yè)仍處早期。當前企業(yè) AI 部署規(guī)模，在未來十年仍有巨大增長空間。隨著普及度提升，新約束會不斷浮現(xiàn) —— 不僅在算力，還在內(nèi)存、網(wǎng)絡(luò)、存儲及整合所有環(huán)節(jié)的軟件層。

英偉達在 GTC 展示的，與其說是一款特定產(chǎn)品，不如說是問題定義方式的轉(zhuǎn)變。走向解耦、專用化與異構(gòu)化，反映出對企業(yè) AI 需求更務(wù)實的理解?；A(chǔ)設(shè)施棧正隨之演進，但尚未完善。

企業(yè) AI 的下一階段，更少由模型架構(gòu)進步驅(qū)動，更多由基礎(chǔ)設(shè)施與控制平面的適配能力決定。而英偉達，正引領(lǐng)這一變革。