1. RoCE 1.1 连接要求 RDMA 要求端到端同一类网络，比如同一个 B 段网。 单交换机。 RoCE: 主机 NIC ── 以太交换机(PFC) ── 对端 NIC 多台交换机。 RoCE: 主机 NIC ── Leaf ── Spine ── Leaf ── 对端 NIC 多跳时注意： 说明 路径 L2/L3 可达即可（同网段或可路由） 无损 路径上每台交换机建议开 PFC；多

1. 硬件 1.1 CPU 支持 AVX/AVX-512，用于纠删码计算、SIMD 操作 支持 AES-NI，用于加密对象 单机存储总量 推荐的 vCPU 数 最多 1 TB 8 最多 10 TB 16 最多 100 TB 32 最多 1 PB 64 大于 1 PB 128 1.2 内存 尽可能大一点能提高并发，增加 Page Cache 命中率。 磁盘数量 32 GiB 64 GiB 内存 128 GiB 内

1. smokeping-prober 是什么 smokeping-prober 是一个用于探测网络质量的工具，它通过向目标节点发送 ICMP 请求来探测网络质量。 2. 部署 smokeping-prober 2.1 生成 smokeping-prober.yaml 配置文件 1 2 3 4 5 6 7 8 9 10 11 cat > smokeping_prober.yaml <<EOF --- targets: - hosts: - 1.2.3.4 interval: 1s # Duration, Default 1s. network: ip # One of ip, ip4, ip6. Default: ip (automatic IPv4/IPv6) protocol: icmp # One of icmp, udp. Default: icmp (Requires privileged operation) size: 56 # Packet data size in bytes. Default 56 (Range: 24 - 65535) tos:

1. 前置条件 存储与使用存储的节点组成 RDMA 网络 RDMA 设备配置了 IP 地址 如果使用的是 Mellanox 网卡，在安装驱动时需要加上参数 -with-nfsrdma 1 ./mlnxofedinstall --with-nfsrdma 2. 服务端启动 安装依赖 1 apt install nfs-kernel-server rdma-core -y 加载内核模块 1 modprobe svcrdma 将端口加入 portlist 1 echo 'rdma 20049' | tee /proc/fs/nfsd/portlist 挂载目录 1 mkdir /data1/nfs 1 2 3 vim /etc/exports /data1/nfs *(rw,sync,no_root_squash,no_all_squash) 启动 NFS 服务 1 systemctl start nfs-server.service 检测挂载

由于机房服务器绑定的带宽较小，本篇主要是借助 Dante 提供 SOCKS5 转发，借助一些大带宽的服务器进行流量转发，用以加快依赖包的下载速度。 1. 找一台大带宽的服务器 安装 speedtest-cli 1 pip3 install speedtest-cli 列出对端测试服务器 1 2 3 4 5 6 7 8 9 10 11 12 13 speedtest-cli --secure --list Retrieving speedtest.net configuration... 5396) China Telecom JiangSu 5G (Suzhou, China) [747.08 km] 16204) JSQY - Suzhou (Suzhou,