xfs 在各种 RAID 下的性能测试
· ☕ 25 分钟
1. 磁盘基准测试 1.1 4k 随机写 1 2 3 4 5 6 7 8 9 10 11 12 13 14 fio \ --name=4k_randwrite \ --rw=randwrite \ --bs=4k \ --ioengine=libaio \ --direct=1 \ --numjobs=8 \ --iodepth=32 \ --size=20G \ --time_based \ --runtime=120 \ --group_reporting \ --allow_mounted_write=1 \ --filename=/data1/fio-4k-randwrite.dat 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 Starting 8 processes 4k_randwrite: Laying out IO file (1 file / 20480MiB) Jobs: 8 (f=8): [w(8)][100.0%][r=0KiB/s,w=252MiB/s][r=0,w=64.5k IOPS][eta 00m:00s] 4k_randwrite: (groupid=0, jobs=8): err= 0: pid=31269 write: IOPS=65.1k, BW=254MiB/s (267MB/s)(29.8GiB/120004msec) slat (usec): min=2, max=300387, avg=98.81, stdev=642.76

RAID 存储技术
· ☕ 2 分钟
1. 什么是 RAID RAID 技术将多个物理硬盘组合成一个逻辑硬盘,因此操作系统只会将其视为一个单一的存储设备。 实现 RAID 的方式有两种:硬件实现和软件实现。 硬件实现是指 RAID 控制器,它是一个独立的硬件设备,负责 RAID 的控制和管理。 软件实现是指 RAID 软件,它是一个软件,负责 RAID

使用 LLaMA-Factory 微调 Qwen3 模型
· ☕ 6 分钟
1. 原始模型测试 启动环境 1 2 3 4 5 6 7 8 9 10 11 12 nerdctl run -it \ --security-opt apparmor=unconfined \ --security-opt seccomp=unconfined \ --gpus all \ --ipc=host \ -p 8000:8000 \ --ulimit memlock=-1 \ --ulimit stack=67108864 \ --name vllm \ --volume /data/models:/data/models \ --entrypoint /bin/bash \ vllm/vllm-openai:v0.10.1.1 后面 vllm 相关的测试,都基于这个环境。 启动服务 1 2 3 4 5 6 export CUDA_VISIBLE_DEVICES=0 python3 -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen3-0.6B \ --served-model-name /data/models/Qwen3-0.6B \ --host 0.0.0.0 \ --port 8000 测试 1 2 3 4 5 6 7 8 curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \ -H "Content-Type: application/json" \

vLLM 部署 PD 分离应用
· ☕ 5 分钟
1.为什么要 PD 分离部署大模型应用 在大模型推理的过程中,有两个串行阶段: 处理全量的输入上下文,生成 KV Cache(Prefill 阶段) 增量生成新的 token(Decode 阶段) 这两个阶段对资源的需求不一样。Prefill 阶段要计算大量的 KV Cac

使用 lmcache 能显著改善模型推理的 TTFT
· ☕ 5 分钟
1. LMCache 简介 TTFT 是指从请求发出到模型生成第一个 token 的时间。由于 Prefill 阶段需要把输入的上下文编码成 KV Cache,才能开始生成,在生成第一个 token 时需要大量的计算从而导致 TTFT 很高。 为了降低 TTFT,有一个思路就是将 Prefill 阶段计算出来的 KV Cache 缓存起来,下次遇到相同的上下