# MindSpore大模型在线推理速度慢及解决方案

**1. 系统环境**

硬件环境\(Ascend/GPU/CPU\): Ascend

软件环境: MindSpore 版本: 2.2

执行模式： Graph

**2. 报错信息**

模型在线推理速度很慢，只有0.x tokens/s，可能有哪些原因？

**3. 解决方案**

仓上的模型在线推理都经过了性能验证，增量推理的性能基本都有10+ tokens/s的性能；出现推理异常慢的现象，通常是因为使用上的配置问题，没有正确获得推理性能；

1.推理需使用图模式，mindspore.set\_context\(mode=0\)；MS2.x的版本，默认执行模式是pynative模式，性能较差，需手动设置图模式运行。

2.确认模型开启了增量推理，模型配置项中，将use\_past配置项设为True以开启增量推理，获得更好的性能；自回归推理存在大量冗余计算，在长seq的场景下推理性能较差。

3.多次运行推理，排除首次推理的性能数据；在线推理需要对模型进行编图，加载模型后首次进行推理时性能会受图编译影响，后续重复调用推理，可复用首次编译的图，得到正确的推理性能。

