# MindSpore大模型并行需要在对应的yaml里面做哪些配置

**1. 系统环境**

硬件环境\(Ascend/GPU/CPU\): Ascend

软件环境: MindSpore 版本: 2.2

执行模式： 不限

**2. 报错信息**

2.1 问题描述

MindSpore大模型并行需要在对应的yaml里面做哪些配置

**3. 解决方案**

1. auto\_trans\_ckpt: True；

2. load\_checkpoint: "" 路径到文件夹，模型并行需要把模型放在rank\_0下面；

3. 需要把mindformer/core/parallel\_config.py下面的vocab\_emb\_dp那一行注释掉；

4. 使用pipeline并行的时候，要求micro\_batch\_num\>=pipeline\_stage；

5. 模型并行mp一般设置小一点，建议为2，如果设置过大可能存在通信问题。

```
#load_checkpoint: "/home/wizardcoder/1_wizardcoder-mindformers/outpu t/checkpoint/"  # 权重需要放在这个文件的rank_0下面: :

auto_trans_ckpt: True  # If true, auto transform load_checkpoint to load in distributed model

parallel_config:
  data_parallel: 1  # 4
  model_parallel: 1  # 8
  pipeline_stage: 8
  optimizer_shard: True
  micro_batch_num: 8
  vocab_emb_dp: True
  gradient_aggregation_group: 4
```

