格羅克(Groq)技術(shù)為Rubin平臺邁向多智能體系統(tǒng)新領(lǐng)域做好準(zhǔn)備

Rubin圖形處理器與格羅克推理加速器

英偉達的Vera?Rubin計算平臺將為下一代人工智能數(shù)據(jù)中心（英偉達首席執(zhí)行官黃仁勛將其稱作 “人工智能工廠”）提供強勁算力支持，這些系統(tǒng)將于今年晚些時候正式面世。在本屆 GTC 大會的主題演講中，黃仁勛公布了英偉達將去年收購的格羅克知識產(chǎn)權(quán)技術(shù)融入Rubin平臺、實現(xiàn)功能升級的具體方案。Rubin平臺現(xiàn)已新增一款核心芯片 —— 英偉達 Groq 3 LPU 推理加速器，該芯片能大幅提升系統(tǒng)的令牌生成量與低延遲表現(xiàn)，為前沿 AI 模型的高交互性運行提供支撐。

此前，Rubin平臺已搭載六款核心芯片，英偉達依托這些芯片搭建機柜級算力系統(tǒng)，并進一步拓展為規(guī)?；斯ぶ悄芄S，這六款芯片分別為：Rubin圖形處理器、Vera中央處理器、新一代 NVLink 6 橫向擴展交換機、ConnectX 9 智能網(wǎng)絡(luò)接口卡、Bluefield 4 數(shù)據(jù)處理單元，以及集成共封裝光模塊的 Spectrum-X 縱向擴展交換機。如今，Groq 3 LPU 成為Rubin平臺實現(xiàn)規(guī)?；瘮U展的又一核心硬件單元。

與多數(shù)依賴高帶寬存儲器作為工作內(nèi)存的人工智能加速器不同，每顆 Groq 3 LPU 芯片均集成了 500 兆字節(jié)的靜態(tài)隨機存取存儲器，這類存儲器也被用于中央處理器和圖形處理器的超高速緩存。相較于Rubin圖形處理器搭載的 288 吉字節(jié)超大容量第四代高帶寬存儲器，500 兆字節(jié)的容量看似微不足道，但該靜態(tài)隨機存取存儲器能提供 150 太字節(jié) / 秒的超高帶寬，遠超第四代高帶寬存儲器 22 太字節(jié) / 秒的帶寬表現(xiàn)。對于對帶寬高度敏感的人工智能解碼運算，Groq 3 芯片帶來的海量帶寬提升，能為推理應(yīng)用賦予極具吸引力的性能優(yōu)勢。

英偉達將基于 Groq 3 LPU 芯片搭建 Groq 3 LPX 機柜，每個機柜集成 256 顆 Groq 3 LPU 芯片。該款機柜可提供 128 吉字節(jié)的靜態(tài)隨機存取存儲器，推理加速帶寬達 40 拍字節(jié) / 秒，機柜內(nèi)還配備專用橫向擴展接口，單臺機柜的擴展帶寬可達 640 太字節(jié) / 秒。

英偉達 Groq 3 LPX 機柜核心參數(shù)

2026 年下半年正式上市

（配圖標(biāo)注：推理加速器芯片間點對點骨干連接器、8 顆推理加速器芯片、現(xiàn)場可編程門陣列、搭載 Bluefield 4 的數(shù)據(jù)處理單元的主中央處理器、推理加速器芯片間點對點連接）

英偉達超大規(guī)模計算業(yè)務(wù)副總裁伊恩?巴克表示，英偉達將 Groq LPX 機柜定位為Rubin平臺的協(xié)處理器，能夠?qū)崿F(xiàn) “AI 模型每個令牌的每一層解碼性能全方位提升”，同時這一組合也讓Rubin平臺具備了支撐人工智能下一發(fā)展前沿的能力 —— 滿足多智能體系統(tǒng)的運行需求。這類系統(tǒng)需在對萬億級參數(shù)模型進行推理運算、處理百萬級令牌上下文窗口的同時，保障高交互性能。

在多智能體系統(tǒng)中，人工智能智能體的交互對象正從面對聊天窗口的人類，逐漸轉(zhuǎn)變?yōu)槠渌斯ぶ悄苤悄荏w，這也讓系統(tǒng)的響應(yīng)速度要求發(fā)生了新的變化。對于人類而言，每秒生成 100 個令牌的速度已屬可觀，但對于人工智能智能體來說，這一速度卻十分緩慢。伊恩?巴克描繪的多智能體系統(tǒng)未來圖景中，Rubin圖形處理器與格羅克推理加速器的組合，將把人工智能智能體間的交互吞吐量從目前每秒 100 個令牌的水平，提升至每秒 1500 個及以上令牌。

Groq 3 LPU 芯片的加入，將進一步強化Rubin平臺在低延遲推理領(lǐng)域的競爭力，助力其應(yīng)對行業(yè)挑戰(zhàn)者。賽睿博拉斯公司憑借晶圓級引擎技術(shù)，集成了海量靜態(tài)隨機存取存儲器與算力單元，能為先進模型提供低延遲推理運算，該公司還多次指出英偉達圖形處理器在低延遲推理場景下的短板。包括開放人工智能公司在內(nèi)的頭部客戶，均已采購賽睿博拉斯的算力服務(wù)，借助其平臺的低延遲優(yōu)勢運行前沿人工智能模型。

伊恩?巴克還透露，Groq 3 LPU 的推出或會降低Rubin CPX 推理加速器的應(yīng)用比重，英偉達目前正重點推進 Groq 3 LPX 機柜與Rubin平臺的集成工作。盡管他并未透露更多細節(jié)，但在當(dāng)前內(nèi)存資源緊張的行業(yè)背景下，這一研發(fā)重心的調(diào)整實則合乎情理 ——Groq 3 LPU 與Rubin CPX 推理加速器的定位相近，均為提升推理性能的專用芯片，而 Groq 3 LPU 無需像Rubin CPX 加速模塊那樣，搭配大容量第七代圖形雙倍數(shù)據(jù)率存儲器。