1. 数据并行 训练步骤: master 设备加载模型，并将模型参数复制到每个 worker 设备 master 设备按照 batch 维度划分训练数据，将每个 batch 传递给每个 worker 设备 每个 worker 设备进行训练 master 设备汇总每个 worker 设备的梯度，更新模型参数 master 设备广播模型参数到每个 worker 设备，准备下一个 batch 训练 核心思想: 将训练

1. 镜像 Tag 标识的含义 base/cuda: 包括 CUDA 运行时 runtime: 在 base 的基础上，新增了 CUDA math 库和 NCCL、cuDNN 运行时 devel: 在 runtime 的基础上，新增了头文件和用于构建 CUDA 镜像的开发工具，对于多阶段构建特别有用 cuddn: 在上面基础上，新增了 cuDNN 神经网络加速库 py3: Python 3 环境 2. CUDA 镜像 镜像 AMD64 镜像大小 ARM64 镜

1. 安装 miniconda macOS 1 brew install miniconda Linux 1 2 3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh rm -rf Miniconda3-latest-Linux-x86_64.sh 2. 修改默认配置 2.1 初始化 Shell 如果不进行初始化，激活环境时会报错 CondaError: Run 'conda init' before 'conda activate' 。 1 2 3 4 5 6 7 8 9 conda init --help usage: conda init [-h] [--all] [--user] [--no-user] [--system] [--reverse] [--json] [-v] [-q] [-d] [SHELLS ...] Initialize conda for shell interaction. positional arguments: SHELLS One or more shells to be initialized. If not given, the default value is 'bash' on unix and 'cmd.exe' & 'powershell' on Windows. Use the '--all' flag to

1. Volcano 简介 Volcano 是华为开源的一个基于 Kubernetes 的资源调度系统，相较于原生的调度器，具有的显著特点有： 支持 gang scheduling 对于批量作业的调度，容易碰到死锁的问题，比如两个作业都需要同时运行 10 个 Pod 才能启动，当两个作业同时提交时，可能都只有部分 Pod 被调度，两个作业都无法正常

1. 什么是 npu-smi npu-smi 是华为提供的一个命令行工具，专门用于管理和监控华为昇腾（Ascend）系列神经网络处理器（NPU）的状态和性能，似于 NVIDIA 的 nvidia-smi。 2. npu-smi 字段含义 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 npu-smi info +------------------------------------------------------------------------------------------------+ | npu-smi 23.0.2.1 Version: 23.0.2.1 | +---------------------------+---------------+----------------------------------------------------+ | NPU Name |