正如我們所預(yù)料的那樣，德克薩斯先進(jìn)計(jì)算中心去年安裝的“Vista”超級計(jì)算機(jī)，作為當(dāng)前“Stampede-3”和“Frontera”生產(chǎn)系統(tǒng)與明年即將推出的未來“Horizon”系統(tǒng)之間的橋梁，確實(shí)是TACC為Horizon機(jī)器選擇架構(gòu)的先驅(qū)。

TACC所做的事情和不做的事情很重要，因?yàn)樽鳛槊绹鴩铱茖W(xué)基金會學(xué)術(shù)超級計(jì)算的旗艦數(shù)據(jù)中心，公司為那些需要擁抱人工智能、不僅擁有需要整個系統(tǒng)運(yùn)行的大型作業(yè)（所謂的能力類機(jī)器）的高性能計(jì)算組織樹立了領(lǐng)先地位，這些組織不僅擁有需要整個系統(tǒng)運(yùn)行的大型作業(yè)（即所謂的能力類機(jī)器），還需要堆疊和推送各種較小的工作（使得它也成為容量等級系統(tǒng)）。正如TACC前六臺主要超級計(jì)算機(jī)所恰好展示的那樣，你可以兩全其美，盡管為了實(shí)現(xiàn)這套可以說更為艱難的目標(biāo)，你必須根據(jù)技術(shù)和經(jīng)濟(jì)做出不同的架構(gòu)選擇。

上周SC25超級計(jì)算大會上公布了一些關(guān)于Horizon機(jī)器的細(xì)節(jié)，我們一直在思考，但仍有許多未知。預(yù)計(jì)2026年春季啟動的Horizon與預(yù)期有所不同，最大變化是FP64浮點(diǎn)峰值性能從預(yù)期的400千萬億次浮點(diǎn)運(yùn)算降至300千萬億次運(yùn)算。TACC尚未解釋這種差異，但這可能與GPU加速系統(tǒng)成本的上升有關(guān)。據(jù)我們所知，地平線系統(tǒng)的預(yù)算（于2024年7月確定，包含從Sabey數(shù)據(jù)中心租賃設(shè)施及其他運(yùn)營成本）仍為4.57億美元。（我們寫作時(shí)正試圖確認(rèn)這一點(diǎn)，但鑒于SC25事件之后和感恩節(jié)假期臨近，聯(lián)系上的人變得困難。）

事實(shí)證明，Horizon看起來非常像Vista的現(xiàn)代化和更厚重版本，如下表所示：

Vista機(jī)器具有CPU分區(qū)和CPU-GPU分區(qū)，如上所示，總計(jì)其CPU和GPU的理論峰值FP64性能為44.9。該系統(tǒng)還擁有來自VAST Data的全閃存數(shù)據(jù)平臺30 PB容量。兩年前，TACC通過“Stampede-3”升級測試了13PB的VAST數(shù)據(jù)存儲，而NFS文件系統(tǒng)存儲（也原生支持對象和表格格式）主要應(yīng)用于Vista，同時(shí)也將成為Horizon的主存儲，容量準(zhǔn)確為400 PB。而且得益于VAST-Data平臺的工作方式，所有這些閃存看起來都是原生且本地化的，適用于Horizon集群中的CPU和GPU節(jié)點(diǎn)。這400 PB的存儲擁有超過10 TB/秒的讀寫帶寬，以及多租戶安全和服務(wù)質(zhì)量的層級。

我們對Horizon計(jì)算的了解相當(dāng)有限。我們知道它將由戴爾PowerEdge服務(wù)器組成，并集成到戴爾的集成機(jī)架可擴(kuò)展系統(tǒng)中，計(jì)算元件將采用液冷。我們還知道合并后平臺將配備“Grace” CG100 Arm服務(wù)器CPU和“Blackwell”GPU的系統(tǒng)，推測還有性能相當(dāng)于FP64的B200變體。（B200張量核的FP64計(jì)算量為40拍浮點(diǎn)，而B300僅有1拍浮點(diǎn)。后者對高性能計(jì)算中心來說非常糟糕，除非它只打算在這部分機(jī)器上運(yùn)行GPU推理。）TACC還表示，該機(jī)器將擁有超過100萬個核心，配備4000個GPU。

有很多不同的方法可以達(dá)到這些數(shù)字。如上表所示，我們?yōu)榈仄骄€機(jī)器做了兩個不同的場景。

在情景1中，我們假設(shè)Grace-Blackwell平臺實(shí)際上是GB200 NVL72，計(jì)算Grace和Blackwell CPU的flops，從FP64總計(jì)算量的300拍浮點(diǎn)中減去，然后計(jì)算剩余計(jì)算部分需要多少“Vera”CPU核心。我們知道Vera擁有88個核心，而Grace是72個核心，我們也假設(shè)Nvidia會將Vera CPU的矢量性能提升一倍。如果你計(jì)算核心數(shù)，最終需要4,856個Vera-Vera超級芯片計(jì)算引擎（兩個Vera通過NVLink內(nèi)存端口在NUMA配置中連接），總共854,656個Vera核心，運(yùn)行頻率為3.56 GHz，F(xiàn)P64時(shí)輸出131.8千萬億次浮點(diǎn)?？紤]到臺積電將N3工藝縮減到3納米工藝，而英偉達(dá)讓臺積電為Grace CPU和Hopper、Blackwell GPU設(shè)計(jì)的4納米定制工藝相比，這一切看起來非常合理。

出于好玩，我們設(shè)計(jì)了第二個情景，將Grace-Blackwell的CPU-GPU組合成一對配置，就像英偉達(dá)為Grace-Hopper超級芯片所做的那樣。據(jù)我們所知，這不是商業(yè)選項(xiàng)，但對TACC來說是個不錯的選擇，TACC是一個以CPU為核心的高性能計(jì)算中心活動，之前多年為系統(tǒng)部分區(qū)域增加了GPU加速。

在情景二中，你會有4000個Grace-Blackwell超級芯片，采用1：1配置，而不是像GB200 NVL72機(jī)架級系統(tǒng)那樣采用1：2配置。該分區(qū)將擁有352,000個Grace核心，提供17.2千萬億次FP64計(jì)算，以及4,000個B200 GPU，提供160千萬億次FP64計(jì)算。如果從那100萬個CPU核心中退回，你需要3,686個Vera-Vera節(jié)點(diǎn)，總共648,736個核心，而且還得把它們超頻到5 GHz，才能達(dá)到122.8千萬億次浮點(diǎn)，才能實(shí)現(xiàn)Horizon系統(tǒng)在FP64時(shí)的總性能300千萬億次。這可能需要臺積電將N2X工藝規(guī)模縮減到2納米，而這些工藝預(yù)計(jì)要到2026年底或2027年初才會上市——而且服務(wù)器零件也不會上市。

重要的是，在我們Horizon思維實(shí)驗(yàn)中的情景1中，有機(jī)架級節(jié)點(diǎn)非常適合專家（MoE）生成式AI模型推斷的混合，這對將AI集成到高性能計(jì)算（HPC）模擬和模型中可能很重要。

無論Horizon節(jié)點(diǎn)如何構(gòu)建，我們都知道TACC選擇了英偉達(dá)400 Gb/秒的Quantum-2交換機(jī)（也稱為Quantum X400）來將CPU和GPU計(jì)算引擎連接起來。服務(wù)器節(jié)點(diǎn)很可能使用了ConnectX-7網(wǎng)絡(luò)接口卡，但TACC、戴爾和英偉達(dá)的公告并未說明具體情況。今年三月在GTC 2025發(fā)布的800 Gb/sec Quantum X800交換機(jī)與ConnectX-8網(wǎng)卡搭配使用，這些未來交換機(jī)還將為交換機(jī)ASIC與前面板提供聯(lián)裝光學(xué)元件。令人費(fèi)解的是，為什么Horizon沒有將切換擴(kuò)展到800 Gb/sec端口，尤其是如果TACC可以作為該技術(shù)的測試平臺，就像高性能計(jì)算中心應(yīng)有的功能一樣。不過，也許TACC只是想讓Horizon運(yùn)行起來，拆解Frontera，然后轉(zhuǎn)向下一個問題......

我們與TACC執(zhí)行董事Dan Stanzione有時(shí)間聊聊機(jī)器架構(gòu)及其如何映射到NSF工作負(fù)載。敬請期待。

預(yù)計(jì)Horizon將在明年夏天全面量產(chǎn)，看起來它將成為全球首批大規(guī)模搭載Vera Arm服務(wù)器CPU的系統(tǒng)之一。

最后一個問題：為什么作為NSF旗艦高性能計(jì)算數(shù)據(jù)中心的TACC沒有配備百億億級超級計(jì)算機(jī)？這樣的機(jī)器至少能完成三倍于地平線的工作量。