Workload Characterization

大语言模型推理服务工作负载综述：描述框架、公开数据与评测实践 featured image
AI Systems

大语言模型推理服务工作负载综述：描述框架、公开数据与评测实践

从五个方面描述大语言模型推理服务工作负载，并系统梳理公开轨迹、负载生成工具与论文评测实践。

avatar
Jeff XING
•
阅读更多