sambanova 文章最新資訊

拆解大模型推理：SambaNova × 英特爾異構(gòu)計算架構(gòu)詳解

SambaNova 與英特爾聯(lián)合推出了一套大模型異構(gòu)推理架構(gòu)藍(lán)圖，標(biāo)志著現(xiàn)代大語言模型（LLM）部署方式的重大轉(zhuǎn)變。該架構(gòu)不再依賴單一加速芯片，而是將推理的不同階段分配給專用硬件：GPU 負(fù)責(zé)預(yù)填充（Prefill）SambaNova 可重構(gòu)數(shù)據(jù)流處理器（RDU）負(fù)責(zé)解碼（Decode）英特爾至強(qiáng) 6 CPU 負(fù)責(zé)智能體工具調(diào)用與整體編排這一設(shè)計專門應(yīng)對智能體 AI 系統(tǒng)日益復(fù)雜的需求 —— 推理循環(huán)、工具調(diào)用、迭代執(zhí)行帶來的異構(gòu)算力壓力，無法靠單一加速集群高效滿足。該方案的核心觀點(diǎn)是：推理并非單一負(fù)載，
關(guān)鍵字：大模型推理 SambaNova 英特爾異構(gòu)計算架構(gòu)

Agentic AI開始從實驗探索走向生產(chǎn)應(yīng)用，讓業(yè)界遭遇了純GPU推理架構(gòu)所帶來的局限性挑戰(zhàn)。繼啟動了為期多年的合作計劃之后，英特爾與SambaNova宣布了一個為新興工作負(fù)載而設(shè)計的新藍(lán)圖。該設(shè)計將結(jié)合用于預(yù)填充的GPU、用于高吞吐量解碼的SambaNova RDU，以及作為主機(jī)和執(zhí)行CPU的英特爾? 至強(qiáng)? 6處理器，幫助企業(yè)和云服務(wù)提供商應(yīng)對在性能、能效和軟件兼容性方面所面臨的挑戰(zhàn)。這一異構(gòu)設(shè)計反應(yīng)出了行業(yè)的普遍轉(zhuǎn)向：在保持對現(xiàn)代數(shù)據(jù)中心賴以運(yùn)行的x86軟件生態(tài)兼容的基礎(chǔ)上，為AI推理各環(huán)節(jié)匹配極
關(guān)鍵字：至強(qiáng)6 英特爾 SambaNova Agentic AI

智能體 AI 正快速從實驗室走向?qū)嶋H部署，這迫使數(shù)據(jù)中心架構(gòu)師重新思考如何處理推理工作負(fù)載。對此，英特爾與 SambaNova 系統(tǒng)公司推出了一款全新的異構(gòu)架構(gòu)，旨在支撐下一代人工智能應(yīng)用。兩家公司表示，該架構(gòu)將 GPU、SambaNova RDU 與英特爾至強(qiáng) 6 處理器相結(jié)合，實現(xiàn)了性能、能效與兼容性的平衡。對于從事人工智能基礎(chǔ)設(shè)施工作的工程師與系統(tǒng)架構(gòu)師而言，這一公告凸顯出未來推理系統(tǒng)有望擺脫僅依賴 GPU 的模式。面向智能體 AI 的異構(gòu)計算方案全新架構(gòu)針對新興的 “智能體 AI” 工作負(fù)載設(shè)計，
關(guān)鍵字：英特爾 SambaNova 智能體 AI 處理器

當(dāng)前，AI工作負(fù)載日趨多樣與復(fù)雜，越來越多的企業(yè)與機(jī)構(gòu)正根據(jù)自身需求靈活選擇解決方案。由此，也帶動了對異構(gòu)基礎(chǔ)設(shè)施的需求，而這需要多元算力、內(nèi)存、網(wǎng)絡(luò)以及軟件基礎(chǔ)上的一致性，以支撐數(shù)據(jù)中心層面的大規(guī)模推理部署。近日，SambaNova 宣布與英特爾啟動一項為期多年的合作計劃，即基于英特爾? 至強(qiáng)?（Intel? Xeon?）平臺的基礎(chǔ)設(shè)施，為全球AI原生企業(yè)、模型提供方、企業(yè)客戶及機(jī)構(gòu)提供高性能、具備成本效益的AI推理解決方案。與此同時，英特爾資本也將參與SambaNova的E輪融資。對于那些在AI工作負(fù)
關(guān)鍵字：英特爾 SambaNova 至強(qiáng)處理器 AI推理

據(jù)知情人士透露，英特爾正就收購人工智能芯片初創(chuàng)公司SambaNova進(jìn)行初步洽談，談判尚處于早期階段，雙方能否達(dá)成協(xié)議尚無定論。值得注意的是，英特爾CEO陳立武曾擔(dān)任SambaNova的執(zhí)行董事長，并在加入英特爾后擔(dān)任董事長。他的風(fēng)險投資公司W(wǎng)alden International是該公司的創(chuàng)始投資者之一，曾領(lǐng)投2018年的5600萬美元A輪融資。2021年，軟銀集團(tuán)領(lǐng)投了6.76億美元的融資，使這家初創(chuàng)公司的估值達(dá)到50億美元，一度成為全球融資額最高的AI初創(chuàng)公司。SambaNova的一位發(fā)言人表示，公
關(guān)鍵字：英特爾 AI SambaNova

中國，北京—2024年1月11日 — 全球領(lǐng)先的半導(dǎo)體公司Analog Devices, Inc. (Nasdaq: ADI)與專用全棧AI平臺提供商SambaNova Systems聯(lián)合宣布，ADI將部署SambaNova套件，率先開啟公司在全球范圍的AI轉(zhuǎn)型進(jìn)程，從而在整個企業(yè)內(nèi)部普及AI。 ADI首席技術(shù)官Alan Lee表示：“ADI是創(chuàng)新的代名詞，通過在連接現(xiàn)實世界與數(shù)字世界中發(fā)揮技術(shù)優(yōu)勢，我們能夠更好地造福人類與地球。為實現(xiàn)這一目標(biāo)，我們與客戶緊密合作，提供所需
關(guān)鍵字： ADI SambaNova 生成式AI

共6條 1/1 1

您好，目前還沒有人創(chuàng)建詞條sambanova!
歡迎您創(chuàng)建該詞條，闡述對sambanova的理解，并與今后在此搜索sambanova的朋友們分享。創(chuàng)建詞條