1. 数据并行 训练步骤: master 设备加载模型，并将模型参数复制到每个 worker 设备 master 设备按照 batch 维度划分训练数据，将每个 batch 传递给每个 worker 设备 每个 worker 设备进行训练 master 设备汇总每个 worker 设备的梯度，更新模型参数 master 设备广播模型参数到每个 worker 设备，准备下一个 batch 训练 核心思想: 将训练

1. TensorRT-LLM 编译模型 1.1 TensorRT-LLM 简介 使用 TensorRT 时，通常需要将模型转换为 ONNX 格式，再将 ONNX 转换为 TensorRT 格式，然后在 TensorRT、Triton Server 中进行推理。 但这个转换过程并不简单，经常会遇到各种报错，需要对模型结构、平台算子有一定的掌握，具备转换和调试能力。而 TensorRT-LLM 的目标

提供有偿接入服务，200 RMB/年；另外，提供技术支持 200 RMB/次，不超过 1 hour；关注公众号，可获得联系方式。 1. 需要提供的信息 进入 https://mp.weixin.qq.com/ 在左侧菜单栏 【设置与开发】-> 【基本设置】，就能找到下面的信息 AppID 开发者 ID，可以明文直接查看到。 AppSecret

1. 直接使用大模型面临的问题 输出不稳定性 生成式 AI 的特点之一，输出结果的多样性。同样一个问题，问大模型多次，可能会得到不同的答案。 这种输出的不确定性，在对话、创作场景下，会给用户带来惊喜。但在确定性要求比较高的场景下，大模型进入不了采纳阶段。 数

两个月前，我在业务团队有过一次关于混沌工程实践的分享，这里主要整理下讲稿的内容。 点击查看演示文稿 1. 混沌产生 1.1 混沌学科的产生 在讲混沌之前，我们可以先思考一下混沌、混沌工程和我们线上服务之间的关联。 我们经常听到的故事是，一只在亚马逊河流中的蝴蝶