1. AGFS 简介 简介 AGFS 是一个通过 RESTful API 对外提供存储服务的项目。它支持多种存储后端，包括内存、文件、数据库、消息队列等。 由于不需要 POSIX 接口的支持，可以通过远程调用的方式存储数据，这在 AI Agent 中非常有用。 AI Agent 在执行一些工作流时，经常会产生一些中间结果。这些结果

1. 环境准备 1.1 数据盘准备 查看数据盘 1 lsblk -d -o NAME,SIZE,TYPE | grep nvme 1 2 3 4 nvme0n1 745.2G disk nvme1n1 745.2G disk nvme2n1 745.2G disk nvme3n1 745.2G disk 准备存储目录 1 2 3 for i in {0..3}; do mkdir -p /mnt/data${i} done 格式化数据盘 1 2 3 for i in {0..3}; do mkfs.xfs -f /dev/nvme${i}n1 done 挂载数据盘 1 2 3 for i in {0..3}; do mount /dev/nvme${i}n1 /mnt/data${i} done 清空数据盘 1 2 3 4 for i in {0..3}; do rm -rf /mnt/data${i}/* rm -rf /mnt/data${i}/.minio.sys done 查看挂载情况

1.为什么要 PD 分离部署大模型应用 在大模型推理的过程中，有两个串行阶段： 处理全量的输入上下文，生成 KV Cache（Prefill 阶段） 增量生成新的 token（Decode 阶段） 这两个阶段对资源的需求不一样。Prefill 阶段要计算大量的 KV Cac

1. 部署 Jumpserver 需要提前准备好 StorageClass，用于存储 Jumpserver 的数据。除了下面提到的数据库，各个组件 jms-core、jms-web、jms-koko、jms-lion、jms-chen 都需要一个 PV 存储。 1.1 部署 MySQL 参考 https://github.com/shaowenchen/ops-hub/blob/main/database/mysql8.yaml ，部署 MySQL。 需要调整

1. 大模型部署工具 llama.cpp 大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。 llama.cpp 主要解决的是推理过程