芯片架構(gòu)師在設(shè)計高效 AI 處理器時，必須應(yīng)對多重因素，其中最突出的就是快速迭代的 AI 模型?！栋雽?dǎo)體工程》邀請多位專家展開討論，以下為訪談精華。

邊緣端目前有哪些類型的智能體？

Steven Woo（Rambus）：當(dāng)前邊緣智能體主要分為感知、推理，機器人還會包含規(guī)劃與執(zhí)行。這些任務(wù)通常在同一設(shè)備上并發(fā)運行，關(guān)鍵不只是推理，而是系統(tǒng)觀察、決策、響應(yīng)的速度。這迫使設(shè)計師重新思考內(nèi)存層級、互聯(lián)與安全邊界。智能體是整個系統(tǒng)協(xié)同工作，而不只是框圖里的一個神經(jīng)網(wǎng)絡(luò)。

Sharad Chole（Expedera）：必須區(qū)分智能體 AI 與生成式 AI。最核心的差異是自主性。生成式 AI 是輸入提示、給出回復(fù)；智能體 AI 在高層任務(wù)上具備更高自主性，接收高層指令后，自行負(fù)責(zé)編排、規(guī)劃、執(zhí)行。

它們還具備記憶能力與工具調(diào)用能力，不是被動響應(yīng)提示，而是主動獲取信息、調(diào)用 API / 工具，能查時間、天氣、用戶行為，甚至完成編譯、測試等操作。

它們是 “會思考的機器”，會規(guī)劃、閉環(huán)執(zhí)行、迭代優(yōu)化，通過工具獲得反饋并調(diào)整計劃。這是多輪交互，但不靠人工介入，而是通過工具完成。

這導(dǎo)致處理流程高度復(fù)雜，輸入輸出 Token 不固定，任務(wù)復(fù)雜度直接決定算力消耗。

Ronan Naughton（Arm）：私有智能體越來越普遍，本地部署的大模型可訪問私人相冊、日歷，實現(xiàn)自動化任務(wù)，充當(dāng)私人助理。

邊緣設(shè)備上的編碼智能體也在興起，可并行執(zhí)行多項任務(wù)，自主運行并反饋結(jié)果。

移動端還出現(xiàn)快速應(yīng)用導(dǎo)航工具，一條指令即可自動打開多個 APP 完成操作。

模型必然持續(xù)迭代，架構(gòu)師該如何啟動項目并做決策？

Steven Woo（Rambus）：性能與功耗效率越來越由內(nèi)存系統(tǒng)設(shè)計與數(shù)據(jù)搬運決定。架構(gòu)師必須明確目標(biāo)場景，果斷砍掉非核心功能，每增加一個功能都會影響 PPA 并提升復(fù)雜度。

芯片設(shè)計要優(yōu)先為數(shù)據(jù)流動而設(shè)計，這是決定成敗的關(guān)鍵。同時還要融入合適的 RAS 方案，確保高可靠性、高可用性與可預(yù)測運行。

Steve Roddy（Quadric）：架構(gòu)師必須盡可能提升通用性與靈活性，因為未來嵌入式智能體的形態(tài)、算力與通信需求都無法預(yù)知。

例如未來車載健康智能體，可預(yù)測保養(yǎng)、了解駕駛習(xí)慣、結(jié)合季節(jié)天氣給出建議，并適配不同車主的使用場景。計算基礎(chǔ)設(shè)施需要足夠通用，才能支撐這類需求。

Jason Lawley（Cadence）：智能體最終指向多模態(tài) AI。車載智能體不僅能監(jiān)測狀態(tài)，還能語音通話、預(yù)約維修、降噪、語音識別、調(diào)用語言模型，徹底改變?nèi)藱C交互方式。

架構(gòu)師必須保證模型靈活性，支持不同浮點表示與多種模型類型。

Gordon Cooper（Synopsys）：多模態(tài)需求是核心挑戰(zhàn)。NPU 需要靈活適配不斷涌現(xiàn)的多模態(tài)模型（視覺 - 語言 - 動作 VLA、視覺 - 語言模型 VLM 等），這是邊緣 NPU 設(shè)計的最大難點。

Sharad Chole（Expedera）：從部署角度看，智能體工作負(fù)載是長效后臺運行，必須極致優(yōu)化。

• 必須支持混合專家 MoE：邊緣無批處理，MoE 至關(guān)重要。

• 支持KV 緩存量化：節(jié)省 2~3 倍帶寬。

• 運行時需支持前綴緩存、工具調(diào)用。

  本質(zhì)是把數(shù)據(jù)中心級推理能力下沉到邊緣，用最小資源實現(xiàn)最強智能體能力。

  除隱私需求外，聯(lián)網(wǎng)設(shè)備是否適合在邊緣運行智能體，目前尚無定論。

目前邊緣 AI / 邊緣智能體 AI 最有趣的應(yīng)用有哪些？

Steven Woo（Rambus）：最具價值的應(yīng)用在實時性要求高的系統(tǒng)：工業(yè)自動化、機器人、汽車感知。

這些系統(tǒng)用智能體行為實時適配動態(tài)輸入，而非簡單分類。硬件挑戰(zhàn)是在持續(xù)數(shù)據(jù)流下保持低延遲，這推動了內(nèi)存帶寬、功耗效率與系統(tǒng)級集成的創(chuàng)新。

Jason Lawley（Cadence）：應(yīng)用無處不在，覆蓋所有邊緣場景，新場景還在不斷涌現(xiàn)。

Steve Roddy（Quadric）：大模型 / 小模型正在徹底改變?nèi)藱C界面：汽車交互、工廠設(shè)備運維、廚房家電。

去掉微波爐物理按鍵，改用語音交互，可降低成本、減少故障點；工廠設(shè)備用麥克風(fēng) + 揚聲器 + 顯示屏，替代 600 頁手冊；汽車不再需要紙質(zhì)故障手冊，直接語音對話。

這些改變降低硬件成本、提升用戶體驗，邊緣部署大模型使之成為可能。

Sathishkumar Balasubramanian（Siemens EDA）：個人健康助手快速興起，不只感知，還能執(zhí)行操作。

西門子與 Meta 合作 Ray-Ban 智能眼鏡，用于工廠車間：工人走近設(shè)備，實時顯示儀表盤狀態(tài)（正常 / 異常 / 需維護(hù)）。

這是典型的邊緣 AI + 人類協(xié)作。

筆記類設(shè)備的主要瓶頸則是供電，功能越多，功耗效率越關(guān)鍵。

Gordon Cooper（Synopsys）：感知式 AI 開始落地真實用例。汽車座艙內(nèi)，用戶指向窗外建筑即可詢問名稱，多模態(tài)能力可結(jié)合視覺、地理位置、指令理解。

物理 AI 與機器人（汽車、無人機、人形機器人）也是熱點，英偉達(dá)積極布局，盡管家庭機器人尚未普及，但發(fā)展前景值得關(guān)注。

我們是否經(jīng)歷過像 AI 這樣快的技術(shù)迭代速度？

Sathishkumar Balasubramanian（Siemens EDA）：從業(yè) 25 年，從未見過如此快的迭代。每周都有新客戶、新項目、新應(yīng)用，行業(yè)一直在追趕。

Jason Lawley（Cadence）：歷史上 x86 興起、仙童競爭的時代創(chuàng)新活躍，但 AI 的普及廣度遠(yuǎn)超當(dāng)年，全民都在關(guān)注。

Sharad Chole（Expedera）：機器人與自主系統(tǒng)將進(jìn)一步突破極限，會出現(xiàn)PetaOPS 級算力引擎。世界模型需要在自主平臺運行，對視覺與 Token 處理要求極高，這將是一年后的核心話題。

Steven Woo（Rambus）：AI 迭代速度是現(xiàn)代芯片設(shè)計史前所未有的。AI 壓縮了全棧開發(fā)周期，硬件直接承受壓力。新能力不斷推出，需求持續(xù)改寫，一年前的假設(shè)很快失效。

這迫使采用系統(tǒng)級整體設(shè)計：計算、內(nèi)存、安全、I/O 從一開始就與軟件需求協(xié)同規(guī)劃，這是未來芯片設(shè)計思路的根本性轉(zhuǎn)變。

Ronan Naughton（Arm）：迭代呈指數(shù)級。AI 不再是概念炒作，已帶來真實的生產(chǎn)力、生活品質(zhì)提升與創(chuàng)新發(fā)現(xiàn)，但伴隨風(fēng)險，必須平衡收益與潛在隱患。