訂閱
糾錯
加入自媒體

趨勢丨AI推理的未來方向是全系統(tǒng)運算解決方案

2026-04-13 10:43
Ai芯天下
關注

前言:

4月初,AI基礎設施領域出現了一筆引人注目的收購。生成式AI推理計算先驅d-Matrix宣布收購加州卡爾斯巴德GigaIO公司的數據中心業(yè)務。雙方合作始于2025年,彼時d-Matrix將Corsair推理平臺集成至GigaIO的SuperNODE架構,打造了單節(jié)點支持數十個Corsair加速器的超大規(guī)模方案。

如今,這筆交易將GigaIO的FabreX PCIe內存結構與SuperNODE平臺完整納入d-Matrix的產品版圖。創(chuàng)始人兼CEO Sid Sheth對此的定位極為清晰——“推理大于任何單一芯片,它現在是一個系統(tǒng)問題。”

作者 | 方文三

圖片來源 |  網 絡 

從單一芯片到機架級基礎設施

什么是“全系統(tǒng)運算解決方案”?它意味著AI推理的競爭不再圍繞單一芯片的算力參數展開,而是轉向覆蓋加速器、網絡、內存互聯(lián)、軟件棧乃至整個機架的端到端能力。這起收購建立在雙方始于2025年的合作基礎上,旨在增強d-Matrix提供系統(tǒng)級AI基礎設施而非離散硅片的能力。

GigaIO開發(fā)的可組合基礎設施FabreX,基于PCIe標準的可組合內存結構,支持跨節(jié)點構建解耦的計算與內存池,能在機架或集群級別進行動態(tài)配置。這項技術與d-Matrix原有的Corsair推理加速器、JetStream網絡和Aviator軟件,以及同博通、Arista聯(lián)合開發(fā)的SquadRack機架級參考架構形成完整閉環(huán)。從更宏觀的產業(yè)視角看,全系統(tǒng)方向已成為頭部企業(yè)的共識。2026年GTC大會上,英偉達產品形態(tài)已從單一GPU升級為“芯片—機架—數據中心”一體化系統(tǒng),標志著算力競爭重心躍遷至數據中心級平臺。d-Matrix的收購戰(zhàn)略與這一趨勢完全同頻。

d-Matrix的前瞻判斷:內存帶寬才是真正的瓶頸

d-Matrix選擇了一條與GPU陣營截然不同的技術路徑。當英偉達2019年在AI訓練領域確立統(tǒng)治地位后,創(chuàng)始人Sheth沒有押注訓練芯片,而是聚焦推理。“除非你有實質性的差異化,否則嘗試在那里做些什么將是愚蠢的差事。”

d-Matrix的核心判斷是:對于基于Transformer的推理,瓶頸從來不是計算,而是移動權重。數據在計算核心與內存之間的搬運構成了核心延遲來源。為此,他們研發(fā)了數字內存計算技術——矩陣乘法直接在內存單元內發(fā)生,內存塊本身充當計算塊,通過嵌入式加法器樹完成求和運算,為AI推理提供更高效的硬件解決方案。該平臺基于SRAM而非HBM,專為Transformer工作負載定制,Corsair在芯片內部配置了大容量SRAM與LPDDR5X,讓矩陣運算盡可能靠近存儲發(fā)生,從而降低數據搬運的能耗與延遲。此外,d-Matrix還規(guī)劃了3D DRAM內存堆疊創(chuàng)新,將內存容量擴展至3D維度,承諾相比當前行業(yè)標準HBM4,能夠將AI模型運行速度提升10倍,并將能耗降低高達90%。

這種從底層架構層面的重構,體現的是對推理場景本質需求的深刻洞察。正如d-Matrix所表達的,他們將考慮“三個主要的障礙”來實現快速、高效、高性能的AI推理,而內存帶寬正是其中最核心的一道壁壘。Sheth的表述清晰地闡明了全系統(tǒng)方向的演進邏輯:“我們知道需要一些特殊的東西,一些更高效的東西,不僅僅解決計算問題,還要解決計算、內存、內存帶寬、內存容量以及所有這些問題。”

市場信號:融資節(jié)奏與客戶卡位

d-Matrix的全系統(tǒng)路線獲得了資本的強烈認可。2025年11月,公司完成2.75億美元C輪融資,估值達20億美元,累計融資4.5億美元,參與方包括歐洲科技投資公司Bullhound Capital、新加坡主權財富基金淡馬錫等,微軟旗下風險投資基金M12、卡塔爾投資局和EDBI也參與了本輪投資。這些頂級投資機構的入局,是對d-Matrix技術路線和商業(yè)前景的有力背書。

產品層面,Corsair平臺性能參數已相當亮眼。在Llama 70B模型上可實現3萬Token/秒的吞吐量、每Token僅2毫秒延遲;在Llama 8B模型上,單臺服務器即可實現6萬Token/秒、每Token 1毫秒的極致性能。此外,據稱其方案相比使用HBM的替代方案,在性能模式下可將交互式延遲降低高達10倍。Sheth聲稱其解決方案在成本、能效和速度上分別優(yōu)于GPU 2-3倍、5-10倍和近10倍。

目標客戶覆蓋超大規(guī)模云廠商、前沿AI實驗室和企業(yè)級部署。超級計算機等合作伙伴正在將d-Matrix方案推向市場。Sheth預計收購將加速收入節(jié)奏,并在異構系統(tǒng)的機架配置中支撐新的定價模式。

AI推理的拐點時刻與全系統(tǒng)路徑的戰(zhàn)略意義

這筆收購之所以值得關注,根本上是因為AI產業(yè)的需求結構正在發(fā)生根本性轉變。德勤預計,全球推理負載占AI算力的比例將從2023年的約三分之一提升至2026年的約三分之二。英偉達更是指出,過去兩年全球算力需求因推理任務快速增長達100萬倍。

正是在這一結構性拐點面前,全系統(tǒng)運算解決方案展現出獨特優(yōu)勢。當推理工作負載日益分布式化、異構化地跨CPU、GPU和推理加速器運行時,數據必須在芯片、節(jié)點、機架和整個數據中心之間實時高效移動。擁有完整系統(tǒng)棧的企業(yè)能夠提供更低延遲、更高能效和更具成本競爭力的方案。銀河證券明確指出,算力競爭已從芯片層躍遷至數據中心級平臺。d-Matrix CEO Sheth的表達最為精準:“推理大于任何單一芯片。它現在是一個系統(tǒng)問題。”

結語:

從GigaIO數據中心業(yè)務的收購,到數字內存計算技術的底層突破,再到推理算力需求的結構性爆發(fā),一切趨勢表明,AI推理的未來在于系統(tǒng)級的整體優(yōu)化,而2026年的這場收購,不過是這場系統(tǒng)性競賽剛剛拉開的序幕。

網絡援引:

阿里云:《定義2026智算元年:解構企業(yè)級人工智能應用從“實驗態(tài)”向“生產態(tài)”轉型的底層協(xié)議》

智通財經:《廣發(fā)證券:AI推理效率革新與Agent共振 打開萬億市場空間》

新浪財經:《數字經濟周報:GTC2026亮點 AI從芯片競爭邁向系統(tǒng)競爭》

中國科技網:《Token爆發(fā)元年!2026中關村論壇年會分論壇共話AI大規(guī)模推理服務新圖景》

       原文標題 : 趨勢丨AI推理的未來方向是全系統(tǒng)運算解決方案

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    人工智能 獵頭職位 更多
    掃碼關注公眾號
    OFweek人工智能網
    獲取更多精彩內容
    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號