1. 基本概念 物理卷 PV (Physical Volume) 由一个或者多个物理硬盘组成，也可以是一个 RAID 设备。 卷组 VG (Volume Group) 由一个或者多个 PV 组成。 逻辑卷 LV (Logical Volume) 从 VG 中划分出来的空间，格式化之后，挂载目录使用。 数据安全 LVM 自带 RAID 功能，也可以提前组建 RAID 设备，交给 LVM 管理。 2. 管理物理卷 查看存储设

1. 硬件 1.1 CPU 支持 AVX/AVX-512，用于纠删码计算、SIMD 操作 支持 AES-NI，用于加密对象 单机存储总量 推荐的 vCPU 数 最多 1 TB 8 最多 10 TB 16 最多 100 TB 32 最多 1 PB 64 大于 1 PB 128 1.2 内存 尽可能大一点能提高并发，增加 Page Cache 命中率。 磁盘数量 32 GiB 64 GiB 内存 128 GiB 内

1. 生成集群ID 1 cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 16 | head -n 1 下面以 CLUSTER_ID=fKbIga9RHP79OIx1 为例 2. 第一个节点上 清理旧数据 1 2 3 $CONTAINER_CLI rm -f $FDB_INSTANCE_NAME mv $FDB_DIR $FDB_DIR.$(date +%Y%m%d%H%M%S).bak mkdir -p $FDB_DIR 配置环境变量 1 2 3 4 5 6 7 8 9 export CONTAINER_CLI=nerdctl export IMAGE=foundationdb/foundationdb:7.1.26 export CLUSTER_ID=fKbIga9RHP79OIx1 export FDB_INSTANCE_NAME=fdb_server export FDB_CLUSTER_FIRST_IP=$(hostname -I | awk '{print $1}') export FDB_PORT=4500 export FDB_DIR=/data/ops/fdb/$FDB_INSTANCE_NAME 创建 cluster 文件 1 2 echo "${FDB_INSTANCE_NAME}:${CLUSTER_ID}@${FDB_CLUSTER_FIRST_IP}:4500" > $FDB_DIR/fdb.cluster cat $FDB_DIR/fdb.cluster 启动服务器节点 1 2 3 4 5 6 7 8 9 10 11 12

前面测试的发现瓶颈在网卡，本篇在 IPoIB 下进行补充测试。 1. minio 集群环境 1.1 创建 minio 集群 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 export CONTAINER_CLI=nerdctl export IMAGE=minio/minio:RELEASE.2025-04-22T22-12-26Z export ROOT_USER=minioadmin export ROOT_PASSWORD=minioadmin export MINIO_ERASURE_SET_DRIVE_COUNT=16 export MINIO_STORAGE_CLASS_STANDARD=EC:4 export POOL_0="http://minioib{1...4}/mnt/data{0...3}" $CONTAINER_CLI run -d \ --net host \ --ulimit memlock=-1 \ --ulimit stack=67108864 \ --ulimit nofile=1048576:1048576 \ --memory-swappiness=0 \ --name minio \ -v /mnt/data0:/mnt/data0 \ -v /mnt/data1:/mnt/data1 \ -v /mnt/data2:/mnt/data2 \ -v /mnt/data3:/mnt/data3 \ -e "MINIO_ROOT_USER=$ROOT_USER" \ -e "MINIO_ROOT_PASSWORD=$ROOT_PASSWORD" \ -e "MINIO_ERASURE_SET_DRIVE_COUNT=$MINIO_ERASURE_SET_DRIVE_COUNT" \

1. 纠删码配置 默认的纠删位配置如下: Erasure Set Size Default Parity (EC:M) 1 EC:0 2-3 EC:1 4-5 EC:2 6 - 7 EC:3 8 - 16 EC:4 Parity 最大值是 ERASURE_SET_SIZE/2，也就是校验位不能超过数据位。 参考 https://docs.min.io/enterprise/aistor-object-store/reference/aistor-server/settings/storage-class/ 2. minio 集群环境 2.1 创建 minio 集群 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30