模型
模型研发周期中的数据存储
· ☕ 3 分钟
1. 基于对象存储的数据交付 如上图,在模型研发过程中,主要涉及三个子平台,分别是: 数据平台 数据平台主要负责数据相关的管理,比如: 数据接入、数据处理,最终生成训练所需的数据。 数据平台将原始数据存储到对象存储中,在处理时,从对象存储中获取数据,进行

模型并行训练技术
· ☕ 3 分钟
1. 数据并行 训练步骤: master 设备加载模型,并将模型参数复制到每个 worker 设备 master 设备按照 batch 维度划分训练数据,将每个 batch 传递给每个 worker 设备 每个 worker 设备进行训练 master 设备汇总每个 worker 设备的梯度,更新模型参数 master 设备广播模型参数到每个 worker 设备,准备下一个 batch 训练 核心思想: 将训练

HuggingFace 的模型和数据操作
· ☕ 3 分钟
HuggingFace 通过提供共享模型 model、数据集 dataset、在线托管 space 等服务,为 AI 研究人员和开发者提供了一个完整的生态。本篇文章将介绍如何使用 HuggingFace 的模型和数据集。 1. 模型操作与使用 1.1 自定义存储目录 1 export HF_HOME=/Volumes/Data/HuggingFace 否则默认在 ~/.cache/huggingface 目录下。 1.2 模型的下载 第一种方法,页面上

《DevOps 能力成熟度模型》下载
· ☕ 1 分钟
揭秘《DevOps 能力成熟度模型》 研发运营(DevOps)解决方案能力分级要求 - PDF 下载 第1部分:总体架构 - PDF 下载 第2部分:敏捷开发管理过程 - PDF 下载 第3部分:持续交付过程 - PDF 下载 第4部分:技术运营 - PDF 下载 第5部分:应用设计 - PDF 下载 第6部分:安