人工智能芯片消耗的能源中，有多少真正用在了有效計算上？這一問題影響著從軟件、系統(tǒng)架構(gòu)到芯片設(shè)計的各個層面。

核心要點

1. 加快芯片散熱只是治標(biāo)之策，無法解決其背后的深層問題。

2. 行業(yè)長期面臨的挑戰(zhàn)，是如何降低人工智能芯片的每查詢能耗。

3. 數(shù)據(jù)移動、設(shè)計裕量預(yù)留、軟件效率低下，將成為未來能耗優(yōu)化的核心突破點。

熱量問題正嚴(yán)重困擾人工智能芯片，制約著芯片的算力發(fā)揮。解決這一問題的思路有兩種：要么加快散熱速度，要么減少熱量產(chǎn)生。兩種方法實施起來均非易事，但長期解決方案的核心必然是后者。

芯片內(nèi)部的每一次運算都會消耗能源、產(chǎn)生熱量，而這些熱量必須被及時排出。芯片的運算能力，受制于其散熱能力和散熱速度。目前行業(yè)已推出諸多降低能耗的技術(shù)方案，雖有成效，但成本高昂，且部分方案本身還會產(chǎn)生額外的能源消耗。

但這只是問題的冰山一角。能源的總供給量并非完全彈性，能源產(chǎn)能的增長速度，早已跟不上人工智能芯片與日俱增的能耗需求。這也引出了一個關(guān)鍵問題：芯片的所有運算都是有效運算嗎？這些運算是否以最低能耗完成？ 人類大腦的功耗僅約 20 瓦，這足以說明芯片能耗仍有巨大的優(yōu)化空間，只是所有技術(shù)升級都必須兼顧經(jīng)濟(jì)可行性。

人們常說，順著資金流向就能看清問題本質(zhì)，這一點在芯片功耗問題上尤為適用 —— 如今，功耗早已不再只是技術(shù)上的不便，更是影響企業(yè)成本的核心因素。新思科技產(chǎn)品營銷總監(jiān)馬克?斯溫寧表示：“盡管功耗的重要性日益凸顯，但在芯片設(shè)計領(lǐng)域，它始終處于次要地位?？晒闹苯雨P(guān)系到企業(yè)的最終利潤，而且芯片的冷卻成本高得驚人：運行電路時，你要為消耗的電力付費；為芯片散熱時，又要為制冷設(shè)備的電力消耗再次付費。如今，功耗已成為系統(tǒng)成本的重要組成部分?！?/p>

這也是迄今為止，行業(yè)更傾向于通過小幅提升散熱能力來解決問題的原因。弗勞恩霍夫應(yīng)用集成信息學(xué)研究所自適應(yīng)系統(tǒng)工程部門設(shè)計方法學(xué)主管羅蘭?揚克表示：“功耗固然重要，了解算法的能耗水平也很有必要，但它并非芯片設(shè)計的首要考量標(biāo)準(zhǔn)。在系統(tǒng)層面，功耗的權(quán)重會更高，可設(shè)計師往往無法掌握算法或元器件的完整功耗信息。能耗優(yōu)化的可能性有很多，其中大部分甚至從未被納入研究范圍，開展架構(gòu)層面的研究更是難上加難?！?/p>

目前，各大系統(tǒng)廠商已著手解決這一問題，但出于競爭考量，相關(guān)研發(fā)工作均處于保密狀態(tài)。是德科技電子設(shè)計自動化部門產(chǎn)品管理與解決方案工程總監(jiān)蘇海爾?賽義夫表示：“這類研發(fā)工作尚處于前沿階段，率先布局的廠商認(rèn)為自己掌握了技術(shù)優(yōu)勢。所有研發(fā)都在企業(yè)內(nèi)部秘密進(jìn)行，各家設(shè)計公司都不清楚競爭對手的進(jìn)展。他們將這份技術(shù)優(yōu)勢視為‘護(hù)城河’，現(xiàn)階段不愿對外公開。只有當(dāng)行業(yè)發(fā)展成熟，所有人的技術(shù)方案趨于同質(zhì)化、研發(fā)投入無法獲得回報時，他們才會認(rèn)為繼續(xù)保密已無意義，轉(zhuǎn)而將相關(guān)工作交由電子設(shè)計自動化企業(yè)承接。屆時，全行業(yè)都能從中受益，企業(yè)也能省去不少研發(fā)精力和麻煩。但目前來看，行業(yè)還未發(fā)展到這一階段。”

通信環(huán)節(jié)的能耗考量

過去幾十年，半導(dǎo)體行業(yè)一直通過集成化實現(xiàn)技術(shù)升級：將越來越多的功能集成到單一單片裸片中，而這也基本決定了標(biāo)準(zhǔn)應(yīng)用場景下的計算問題規(guī)模。但人工智能的出現(xiàn)打破了這一格局，由大量處理器組成的計算陣列，開始跨機架、甚至跨數(shù)據(jù)中心部署，成為行業(yè)主流。

斯溫寧表示：“芯片間的通信環(huán)節(jié)消耗了大量電力。異構(gòu)拆解的一大弊端，就是系統(tǒng)各模塊間的通信成本會大幅增加。而單片芯片的一大優(yōu)勢，就是能實現(xiàn)低功耗、高帶寬的內(nèi)部通信。數(shù)據(jù)中心本身就是異構(gòu)拆解的一種形式，多個處理器分布在不同機架中，彼此相距數(shù)米，其通信功耗已引起行業(yè)關(guān)注。目前行業(yè)正通過光通信降低這部分功耗，數(shù)據(jù)中心的背板通信正逐步向光通信轉(zhuǎn)型。”

行業(yè)正對通信環(huán)節(jié)的各個維度展開研究。楷登電子院士巴達(dá)里納特?科曼杜爾表示：“看看行業(yè)近期在高性能通信協(xié)議上的研發(fā)投入就會發(fā)現(xiàn)，皮焦 / 比特這類能耗指標(biāo)已成為研發(fā)核心。未來，行業(yè)還希望將能耗降至飛焦 / 比特級別。在人工智能驅(qū)動的應(yīng)用場景中，這一目標(biāo)更是成為了研發(fā)的重中之重?！?/p>

計算架構(gòu)的性能需求正變得越來越高，傳統(tǒng)通信技術(shù)已難以跟上其發(fā)展步伐。點二科技產(chǎn)品營銷與業(yè)務(wù)發(fā)展副總裁戴維?郭表示：“長期以來，銅纜都是通信傳輸?shù)暮诵妮d體，但從速率擴展的角度來看，我們?nèi)缃裾媾R集膚效應(yīng)的困擾，這一效應(yīng)會影響電子在傳輸介質(zhì)中的流動效率。銅纜的性能存在上限，已無法滿足未來數(shù)據(jù)中心的工作負(fù)載需求。而光通信雖能解決速率問題，卻面臨成本、功耗和可靠性的挑戰(zhàn)。數(shù)據(jù)中心行業(yè)有一句老話：能用銅纜，就不用光通信；非用不可時，才考慮光通信?！?/p>

行業(yè)對從銅纜向光通信的轉(zhuǎn)型始終持謹(jǐn)慎態(tài)度。斯溫寧表示：“光通信的技術(shù)復(fù)雜度呈階躍式提升，不僅涉及全新的物理原理，還要求工程師掌握一套截然不同的工具使用技巧，光電器件與半導(dǎo)體的集成也存在諸多難題。盡管相關(guān)技術(shù)已取得長足進(jìn)步，且光通信的每比特傳輸能耗遠(yuǎn)低于銅纜，常被行業(yè)津津樂道，但這一低能耗數(shù)值的背后，是光通信的高帶寬特性，而非其本身的低功耗優(yōu)勢。”

點二科技正探索一種折中的解決方案。戴維?郭介紹道：“我們研發(fā)了 eTube 技術(shù)，該技術(shù)通過射頻信號在塑料波導(dǎo)中傳輸數(shù)據(jù)。我們用塑料材料替代傳統(tǒng)銅纜作為傳輸介質(zhì)，并自主設(shè)計波導(dǎo)結(jié)構(gòu)，再通過射頻發(fā)射器和接收器，實現(xiàn)信號在波導(dǎo)中的傳輸，所使用的天線與貼片天線十分相似?！?/p>

片上通信的能耗同樣不容忽視。阿爾泰里斯戰(zhàn)略營銷副總裁紀(jì)堯姆?布瓦耶表示：“對于現(xiàn)代多核、多裸片的片上系統(tǒng)而言，移動數(shù)據(jù)（權(quán)重、激活值、元數(shù)據(jù)）所消耗的能源，遠(yuǎn)高于處理這些數(shù)據(jù)的計算環(huán)節(jié)。這一現(xiàn)狀讓片上網(wǎng)絡(luò)從單純的集成架構(gòu)，轉(zhuǎn)變?yōu)楣膬?yōu)化的核心抓手。如果設(shè)計團(tuán)隊能根據(jù)工作負(fù)載的流量模式設(shè)計片上網(wǎng)絡(luò)，就能大幅減少數(shù)據(jù)移動、實現(xiàn)通信本地化、緩解網(wǎng)絡(luò)擁塞，進(jìn)而降低芯片的動態(tài)功耗。在功耗日益成為制約因素的當(dāng)下，控制數(shù)據(jù)的流向和傳輸效率，已與優(yōu)化計算環(huán)節(jié)同等重要。”

設(shè)計環(huán)節(jié)的能耗優(yōu)化

盡管許多人工智能工作負(fù)載具備一定的通用性，但推理場景的設(shè)計往往可以針對性優(yōu)化，直接滿足實際需求。埃克斯佩德拉首席科學(xué)家沙拉德?喬萊表示：“我們必須設(shè)計出能充分利用網(wǎng)絡(luò)架構(gòu)本身特性的硬件架構(gòu)。邊緣設(shè)備的性能基本受限于帶寬：訓(xùn)練場景可采用多高帶寬存儲器，而邊緣設(shè)備往往只有一顆低功耗雙倍數(shù)據(jù)率存儲器，部分低成本邊緣設(shè)備甚至連 64 通道的存儲器都沒有，僅配備通道數(shù)更少的版本。這意味著，帶寬管理已成為邊緣推理場景算力調(diào)度的核心環(huán)節(jié)?！?/p>

如今，芯片的大部分功耗浪費并非來自算術(shù)運算本身，而是源于運算周邊的各類環(huán)節(jié)。布瓦耶表示：“不必要的數(shù)據(jù)移動、匹配度低下的存儲層級、無用的推測執(zhí)行、毛刺功耗，以及為應(yīng)對極少出現(xiàn)的最壞情況而預(yù)留的設(shè)計裕量，這些都是功耗浪費的典型例子。因此，真正有效的能耗優(yōu)化，必須從提升電子生產(chǎn)力入手 —— 即在整個技術(shù)棧中，實現(xiàn)每焦耳能耗的有效運算量最大化，這涵蓋了從系統(tǒng)調(diào)度、工作負(fù)載規(guī)劃，到架構(gòu)和微架構(gòu)效率優(yōu)化的各個層面。在功耗日益受限的時代，控制數(shù)據(jù)流向和傳輸效率，與優(yōu)化計算環(huán)節(jié)同等重要。”

實現(xiàn)環(huán)節(jié)的能耗損耗

盡管芯片架構(gòu)層面存在巨大的能耗優(yōu)化空間，但在實際實現(xiàn)環(huán)節(jié)，仍存在大量難以避免的功耗浪費。普羅蒂安泰克解決方案工程副總裁諾姆?布魯薩爾表示：“固定電壓裕量的初衷是保障芯片工作的安全性，但久而久之，它已成為每顆芯片都必須承擔(dān)的‘能耗稅’。電壓裕量的設(shè)計假設(shè)所有最壞情況會同時發(fā)生，但實際情況是，這種極端場景幾乎從未出現(xiàn)?？尚酒瑓s因此被迫始終在偏高的電壓下運行，結(jié)果顯而易見 —— 芯片消耗了大量不必要的能源。這些未被利用的設(shè)計裕量，最終造成了數(shù)以十億瓦計的能源浪費，且隨著工藝節(jié)點的迭代，這一隱性成本還在不斷增加?！?/p>

設(shè)計裕量的預(yù)留，也源于行業(yè)對工藝的不確定性。戴維?郭表示：“工藝設(shè)計套件由代工廠的工藝決定，但它能精準(zhǔn)描述晶體管級的性能嗎？我們發(fā)現(xiàn)答案是否定的，流片后往往會出現(xiàn)諸多意外。模擬和射頻設(shè)計的難度之所以極高，就是因為設(shè)計師一直在突破代工廠工藝的定義邊界?！?/p>

人工智能芯片的設(shè)計，無疑在不斷挑戰(zhàn)工藝的極限?？坡艩柋硎荆骸皩τ诟冗M(jìn)的工藝設(shè)計套件，頭部代工廠會根據(jù)流片經(jīng)驗，針對高量產(chǎn)的設(shè)計需求進(jìn)行優(yōu)化。如果設(shè)計師首次采用 0.5 版本的工藝設(shè)計套件進(jìn)行設(shè)計，那么最終量產(chǎn)時所使用的工藝設(shè)計套件，很可能會有很大差異。對于這些先進(jìn)工藝節(jié)點，設(shè)計師必須適應(yīng)工藝設(shè)計套件的持續(xù)迭代。而對于成熟工藝節(jié)點，流片結(jié)果與工藝設(shè)計套件的契合度極高，設(shè)計師可根據(jù)預(yù)期的流片結(jié)果進(jìn)行設(shè)計優(yōu)化，當(dāng)然，代工廠在制定工藝設(shè)計套件時，也會加入一定的保守考量?！?/p>

部分技術(shù)方案可應(yīng)對這種工藝的不確定性。布魯薩爾表示：“動態(tài)電壓頻率調(diào)節(jié)、自適應(yīng)電壓調(diào)節(jié)這類傳統(tǒng)方案，無法從根本上解決問題。它們依賴有限的監(jiān)測數(shù)據(jù)和間接估算，因此仍需預(yù)留較大的設(shè)計裕量。這些方案雖能較好地反映特定工作負(fù)載帶來的芯片壓力，但屬于間接指標(biāo)。如果無法直接掌握芯片實際路徑的延遲數(shù)據(jù)，就無法在保證安全的前提下縮減設(shè)計裕量，畢竟，無法監(jiān)測的指標(biāo)就無從優(yōu)化?！?/p>

布魯薩爾認(rèn)為，要徹底摒棄設(shè)計裕量，必須依靠實時硅片反饋系統(tǒng)。他解釋道：“我們通過在芯片中集成多款小體積知識產(chǎn)權(quán)核，實現(xiàn)了這一目標(biāo)。這些知識產(chǎn)權(quán)核能在芯片的工作模式下，持續(xù)監(jiān)測數(shù)百萬條實際邏輯路徑的時序失效裕量。時序裕量本身就是芯片性能健康度的終極指標(biāo)，對其進(jìn)行直接監(jiān)測，能讓系統(tǒng)不受具體性能衰減因素的影響 —— 無論衰減是由工作負(fù)載、溫度、芯片老化還是電壓跌落引起。我們能針對每個功耗狀態(tài)、每個功耗狀態(tài)下運行的各類功能負(fù)載，甚至每個負(fù)載的運行全程，進(jìn)行實時監(jiān)測?！?/p>

毛刺功耗是另一類無實際效用的功耗浪費。斯溫寧表示：“這一問題長期被行業(yè)忽視，卻占據(jù)了芯片總功耗的不小比例。毛刺功耗的分析難度極大，因為它與信號的精準(zhǔn)時序密切相關(guān)，直到最近，行業(yè)才推出能對其進(jìn)行分析和優(yōu)化的工具。”

人工智能在制造部分能耗問題的同時，也為解決這些問題提供了新的思路。芯智體首席執(zhí)行官威廉?王表示：“利用人工智能優(yōu)化芯片的功耗、性能、面積指標(biāo)，是一項極具挑戰(zhàn)性的工作。這不僅需要平衡功耗與面積的取舍，還要避免出現(xiàn)‘獎勵黑客’問題，但這項技術(shù)的應(yīng)用前景也十分廣闊。在功耗敏感型設(shè)計中，人類工程師只能同時考量有限的幾個因素，而人工智能能在更廣闊的設(shè)計語境中進(jìn)行推理，在技術(shù)棧的早期階段就提出設(shè)計建議，為芯片帶來實實在在的效率提升?！?/p>

軟件環(huán)節(jié)的能耗短板

即便設(shè)計師在硬件層面竭盡所能優(yōu)化功耗，若軟件層面向硬件下達(dá)了大量無效運算指令，所有硬件優(yōu)化都會付諸東流。賽義夫表示：“半導(dǎo)體行業(yè)肩負(fù)著控制功耗、設(shè)定功耗上限、達(dá)成功耗目標(biāo)的責(zé)任，但軟件行業(yè)也必須重視這一問題。在系統(tǒng)設(shè)計中，軟件是‘指揮者’，而硬件只是執(zhí)行軟件指令的‘引擎’。目前，軟件行業(yè)對功耗這一痛點的重視程度，還遠(yuǎn)遠(yuǎn)不夠。”

軟硬件協(xié)同設(shè)計已是大勢所趨。蘭布斯院士、杰出發(fā)明家史蒂文?吳表示：“提升功耗效率是一項復(fù)雜的系統(tǒng)工程，需要軟硬件協(xié)同發(fā)力。要實現(xiàn)應(yīng)用性能和功耗效率的最大化，硬件必須提供合適的加速功能，而軟件也必須被設(shè)計為能充分利用這些功能。這意味著，行業(yè)需要重新設(shè)計算法、重構(gòu)軟件，還需要應(yīng)用開發(fā)者更深入地了解系統(tǒng)硬件的架構(gòu)特性，比如緩存大小、動態(tài)隨機存取存儲器和存儲層級等。數(shù)據(jù)移動仍是功耗消耗的主要環(huán)節(jié)，應(yīng)用開發(fā)者需要權(quán)衡：存儲和讀取中間結(jié)果，與直接重新計算這些結(jié)果，哪種方式更節(jié)省功耗?！?/p>

多年來，芯片廠商一直呼吁提升軟件的開發(fā)效率。弗勞恩霍夫應(yīng)用集成信息學(xué)研究所自適應(yīng)系統(tǒng)工程部門高效電子學(xué)主管安迪?海尼希表示：“20 年前，大部分軟件都是通過底層編程語言編寫的，雖耗時費力，但軟件的功耗效率極高。而隨著編程抽象層級的不斷提升，軟件的功耗效率也在不斷下降。如今的軟件設(shè)計方式，效率并不高，造成了大量的功耗浪費。盡管抽象化讓編程變得更簡單，但也讓軟件的能耗效率大打折扣?！?/p>

硬件層面的優(yōu)化，很難彌補軟件的短板。賽義夫表示：“硬件廠商一直在優(yōu)化軟件指令的執(zhí)行方式，但軟件開發(fā)者也需要更謹(jǐn)慎地向硬件下達(dá)指令，充分考慮后續(xù)的功耗上限管控、能耗預(yù)算平衡等問題。我與許多硬件工程師交流過，能深切體會到他們對現(xiàn)有軟件研發(fā)流程的失望。”

結(jié)語

目前，行業(yè)已形成普遍共識：數(shù)據(jù)移動無論對性能還是功耗，都會產(chǎn)生巨大的成本損耗。從長遠(yuǎn)來看，唯一可行的解決方案，是從根本上減少數(shù)據(jù)移動的需求。但現(xiàn)階段，行業(yè)推出的所有方案，都只是在優(yōu)化數(shù)據(jù)移動的功耗。對半導(dǎo)體行業(yè)而言，這是一種順理成章的策略，但也意味著，未來一旦有人解決了數(shù)據(jù)移動的核心問題 —— 而這必然涉及軟件層面的突破，行業(yè)將迎來一場重大變革。