1. 制作 nccl-test 镜像 查看 CUDA 版本 1 2 3 nvidia-smi | grep "CUDA Version" | awk '{print $9}' 12.2 编写 Dockerfile 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 cat > Dockerfile << EOF FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04 ENV DEBIAN_FRONTEND=noninteractive ARG CONDA_VERSION WORKDIR /workspace ENV DEBIAN_FRONTEND=noninteractive RUN apt-get update && apt install -y openmpi-bin libopenmpi-dev ssh openssh-server net-tools vim git iputils-ping nfs-common RUN git clone https://github.com/NVIDIA/nccl-tests.git && \ cd nccl-tests && \ make MPI=1 MPI_HOME=/usr/lib/x86_64-linux-gnu/openmpi EOF 编译 nccl-test 镜像 1 docker build -t shaowenchen/nccl-test:12.1.0-ubuntu22.04 -f Dockerfile . 推送 nccl-test 镜像 1 docker push shaowenchen/nccl-test:12.1.0-ubuntu22.04 2. 运行 Volcano Job 给测试节点打

本文内容整理自我在一次内部分享的部分内容。 1. 存储系统的核心要素 1.1 安全 对象存储桶的凭证、使用存储 PVC 时的授权、对访问来源的控制，这些都是安全需要关注的问题。 但这些又非常容易被忽视，出了问题就是大问题。 1.2 生命周期管理 存储系统是为业务使用数据服务的

1. 使用内存作为存储介质 如上图是存储金字塔，展示了存储介质价格与速度的关系。 目前，企业之所以广泛采用磁带和磁盘作为存储介质，主要是因为它们的价格优势。市场价格受市场供需影响，即便是价格较高的存储介质，如果生产成本低廉，具有足够大的市场，生产过

1. Jindo 直接加速 OSS 配置环境变量 1 2 3 4 5 6 7 export ENDPOINT=oss-cn-beijing-internal.aliyuncs.com export BUCKET= export AK= export SK= export NAMESPACE=default export PVC=myoss-jindo export URI=datacenter 创建凭证 1 2 3 4 5 6 7 8 9 10 11 kubectl apply -f - <<EOF apiVersion: v1 kind: Secret metadata: name: ${PVC} namespace: ${NAMESPACE} type: Opaque stringData: fs.oss.accessKeyId: ${AK} fs.oss.accessKeySecret: ${SK} EOF 创建 Dataset 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 kubectl apply -f - <<EOF apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: ${PVC} namespace: ${NAMESPACE} spec: mounts: - mountPoint: oss://${BUCKET}/${URI}/

1. 关于 JuiceFS 的缓存 在主机上，预热的缓存是直接放在主机上的。 在集群中，分为两级缓存: Worker，提供集群级别共享的缓存 Fuse，提供仅当前节点级别的缓存 2. 使用 JuiceFS 客户端预热数据 需要注意的是在 Fuse 层预热，仅对当前节点有效，如果需要预热整个集群，需要在