【趨境科技發布AI Token生産服務平台ATaaS】

【趨境科技發布AI Token生産服務平台ATaaS】3月27日消息，趨境科技正式發布全新一代AI推理平台 ——趨境 ATaaS高效能AI Token生産服務平台。針對大模型應用爆發導緻算力投入與Token産出錯配、硬件空耗，該平台依托全球首創的異構推理重構、超體量KV Cache等技術，實現CPU與GPU、國産與非國産算力的深度融合及精細調度。據其測算，ATaaS可将萬卡級智算集群運營成本壓降20%以上，緩存命中率最高達90%，大幅削減GPU算力開銷。