【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】

【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】智通财經APP獲悉，微軟(MSFT.US)宣布，其Azure ND GB300v6虛拟機在Meta的Llama270B模型上實現了每秒推理速度達110萬token的行業新紀錄。據悉，Azure ND GB300虛拟機采用英偉達(NVDA.US)的Blackwell Ultra GPU，具體為NVIDIA GB300NVL72系統，配置72個NVIDIA Blackwell Ultra GPU和36個NVIDIA Grace CPU，采用單機架構設計。這款虛拟機專為推理工作負載優化，具有50%的GPU内存提升和16%的熱設計功率(TDP)提高。