运维
RAID 下 Btrfs 运维操作
· ☕ 7 分钟
Btrfs 支持在线扩容、缩容、换盘与 RAID 模式转换;本篇主要介绍在 RAID 0/RAID 1/RAID 10/RAID 6 拓扑下创建文件系统、加盘、换盘、缩容及常用运维操作。 1. Btrfs 配置 single:单副本,无冗余,单盘或可多盘聚合。 raid0:条带,无冗余,等价 RAID 0。 raid1:镜像,至少 2 块盘,等

RAID 存储技术
· ☕ 2 分钟
1. 什么是 RAID RAID 技术将多个物理硬盘组合成一个逻辑硬盘,因此操作系统只会将其视为一个单一的存储设备。 实现 RAID 的方式有两种:硬件实现和软件实现。 硬件实现是指 RAID 控制器,它是一个独立的硬件设备,负责 RAID 的控制和管理。 软件实现是指 RAID 软件,它是一个软件,负责 RAID

使用 lmcache 能显著改善模型推理的 TTFT
· ☕ 5 分钟
1. LMCache 简介 TTFT 是指从请求发出到模型生成第一个 token 的时间。由于 Prefill 阶段需要把输入的上下文编码成 KV Cache,才能开始生成,在生成第一个 token 时需要大量的计算从而导致 TTFT 很高。 为了降低 TTFT,有一个思路就是将 Prefill 阶段计算出来的 KV Cache 缓存起来,下次遇到相同的上下

什么是 Prefix Cache
· ☕ 2 分钟
1. 什么是 Prefix Cache 在模型推理场景下,经常会使用缓存机制来提升吞吐和性能。常见的有两种缓存机制: Key-Value Cache (KV Cache),面向的是单次请求的内部,将 Transformer 模型中间计算结果(Key 和 Value)缓存起来,避免重复计算 Prefix Cache,面向的是多次请求时,利用 Prompt 的公

NVIDIA RTX 5090 推理测试
· ☕ 3 分钟
1. 安装驱动 下载驱动 访问 https://www.nvidia.com/en-us/drivers/ 选择对应的驱动版本下载 1 wget https://us.download.nvidia.com/XFree86/Linux-x86_64/580.76.05/NVIDIA-Linux-x86_64-580.76.05.run 安装驱动 1 bash NVIDIA-Linux-x86_64-580.76.05.run 查看显卡 1 nvidia-smi 1 2 3 GPU 0: NVIDIA GeForce RTX 5090 (UUID: GPU-92fcdc58-4754-73c7-af6c-56740936817d) GPU 1: NVIDIA GeForce RTX 5090 (UUID: GPU-e05cb455-7dd3-0db5-ac39-70794aa19d4e) ... 开启持久模式 1 nvidia-smi -pm 1 查看拓扑结构 1 nvidia-smi topo -m 1 2 3 4 5 6 7 8 9 GPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 CPU Affinity NUMA Affinity GPU NUMA ID GPU0 X PIX NODE NODE SYS SYS SYS SYS 0-47,96-143 0 N/A GPU1 PIX X NODE NODE