1. 基本概念 物理卷 PV (Physical Volume) 由一个或者多个物理硬盘组成，也可以是一个 RAID 设备。 卷组 VG (Volume Group) 由一个或者多个 PV 组成。 逻辑卷 LV (Logical Volume) 从 VG 中划分出来的空间，格式化之后，挂载目录使用。 数据安全 LVM 自带 RAID 功能，也可以提前组建 RAID 设备，交给 LVM 管理。 2. 管理物理卷 查看存储设

1. ClickHouse 单节点 1.1 配置环境变量 1 2 3 4 5 6 7 8 export CONTAINER_CLI=nerdctl export IMAGE=clickhouse/clickhouse-server:24 export CLICKHOUSE_INSTANCE_NAME=clickhouse export CH_DATA=/data/ops/clickhouse/$CLICKHOUSE_INSTANCE_NAME export CLICKHOUSE_PORT=9000 export CLICKHOUSE_PROMETHEUS_PORT=9363 export CLICKHOUSE_USER=default export CLICKHOUSE_PASSWORD=xxxxxx 1.2 生成配置文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 mkdir -p $CH_DATA/data $CH_DATA/log $CH_DATA/config.d cat > $CH_DATA/config.d/port.xml <<EOF <clickhouse> <tcp_port>$CLICKHOUSE_PORT</tcp_port> </clickhouse> EOF cat > $CH_DATA/config.d/prometheus.xml <<EOF <clickhouse> <listen_host>0.0.0.0</listen_host> <prometheus> <endpoint>/metrics</endpoint> <port>$CLICKHOUSE_PROMETHEUS_PORT</port> <metrics>true</metrics> <events>true</events> <asynchronous_metrics>true</asynchronous_metrics> </prometheus> </clickhouse> EOF cat > $CH_DATA/config.d/logger.xml <<EOF <clickhouse> <logger> <level>information</level> <console>true</console> <log remove="remove"/> <errorlog remove="remove"/> </logger> </clickhouse> EOF 1.3 启动

1. Redis 主从模式 配置环境变量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 export CONTAINER_CLI=nerdctl export IMAGE=redis:7 export REDIS_INSTANCE_NAME=redis-instance export REDIS_MASTER_INSTANCE_NAME="${REDIS_INSTANCE_NAME}-master" export REDIS_REPLICA_INSTANCE_NAME="${REDIS_INSTANCE_NAME}-replica" export REDIS_PASSWORD=xxxxxx export REDIS_MASTER_PORT=6379 export REDIS_MASTER_IP=10.0.0.1 export REDIS_REPLICA_PORT=6380 export REDIS_DATA=/data/ops/redis/$REDIS_INSTANCE_NAME mkdir -p $REDIS_DATA/data $REDIS_DATA/log 启动主节点 1 2 3 4 5 6 7 8 9 10 11 12 13 $CONTAINER_CLI run -d \ --name $REDIS_MASTER_INSTANCE_NAME \ --restart always \ --security-opt apparmor=unconfined \ --security-opt seccomp=unconfined \ --network host \ --ulimit memlock=-1 \ --ulimit stack=67108864 \ --ulimit nofile=1048576:1048576 \ --memory-swappiness=0 \ -v $REDIS_DATA/data:/data \ -v $REDIS_DATA/log:/var/log/redis \ $IMAGE redis-server --port $REDIS_MASTER_PORT --requirepass $REDIS_PASSWORD 应该可以这样的日志:

1. 生成集群ID 1 cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 16 | head -n 1 下面以 CLUSTER_ID=fKbIga9RHP79OIx1 为例 2. 第一个节点上 清理旧数据 1 2 3 $CONTAINER_CLI rm -f $FDB_INSTANCE_NAME mv $FDB_DIR $FDB_DIR.$(date +%Y%m%d%H%M%S).bak mkdir -p $FDB_DIR 配置环境变量 1 2 3 4 5 6 7 8 9 export CONTAINER_CLI=nerdctl export IMAGE=foundationdb/foundationdb:7.1.26 export CLUSTER_ID=fKbIga9RHP79OIx1 export FDB_INSTANCE_NAME=fdb_server export FDB_CLUSTER_FIRST_IP=$(hostname -I | awk '{print $1}') export FDB_PORT=4500 export FDB_DIR=/data/ops/fdb/$FDB_INSTANCE_NAME 创建 cluster 文件 1 2 3 mkdir -p $FDB_DIR echo "${FDB_INSTANCE_NAME}:${CLUSTER_ID}@${FDB_CLUSTER_FIRST_IP}:4500" > $FDB_DIR/fdb.cluster cat $FDB_DIR/fdb.cluster 启动服务器节点 1 2 3 4 5 6 7 8

1. 纠删码配置 默认的纠删位配置如下: Erasure Set Size Default Parity (EC:M) 1 EC:0 2-3 EC:1 4-5 EC:2 6 - 7 EC:3 8 - 16 EC:4 Parity 最大值是 ERASURE_SET_SIZE/2，也就是校验位不能超过数据位。 参考 https://docs.min.io/enterprise/aistor-object-store/reference/aistor-server/settings/storage-class/ 2. minio 集群环境 2.1 创建 minio 集群 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30