【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】_快訊

【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】

來源：依諾時間：2025-11-04 19:13:05

字号

【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】智通财經APP獲悉，微軟(MSFT.US)宣布，其Azure ND GB300v6虛拟機在Meta的Llama270B模型上實現了每秒推理速度達110萬token的行業新紀錄。據悉，Azure ND GB300虛拟機采用英偉達(NVDA.US)的Blackwell Ultra GPU，具體為NVIDIA GB300NVL72系統，配置72個NVIDIA Blackwell Ultra GPU和36個NVIDIA Grace CPU，采用單機架構設計。這款虛拟機專為推理工作負載優化，具有50%的GPU内存提升和16%的熱設計功率(TDP)提高。

簡 繁

【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】

簡

繁