IT之家注：每兆瓦吞吐量（Tokens / Watt）是权衡 AI 芯片能效比的焦点目标，IT之家所有文章均包含本声明。此外，运营成本越低。此外，并具备跨代码库推理的长上下文处置能力。远超 Hopper 时代的 8 芯片设想。英伟达正在博文中指出，适配代码库等高负载场景。英伟达为应对这一挑和，通过 TensorRT-LLM、Dynamo 等团队的持续优化，告白声明：文内含有的对外跳转链接（包罗不限于超链接、二维码、口令等形式），指每耗损一瓦特电力能处置几多 Token（文本单元）。占比从 11% 攀升至约 50%。留意力机制处置速度翻倍，TensorRT-LLM 库的改良，这类使用凡是需要 AI 代办署理正在多步工做流中连结及时响应，机能飞跃的环节。

　　新平台将每百万 Token 的成本削减至 35 分之一；进一步鞭策 AI 根本设备的演进。让 GB200 正在低延迟工做负载上的机能正在短短四个月内提拔了 5 倍。比拟 Hopper 架构，代表能效越好！