Cache
什么是 Prefix Cache
· ☕ 2 分钟
1. 什么是 Prefix Cache 在模型推理场景下,经常会使用缓存机制来提升吞吐和性能。常见的有两种缓存机制: Key-Value Cache (KV Cache),面向的是单次请求的内部,将 Transformer 模型中间计算结果(Key 和 Value)缓存起来,避免重复计算 Prefix Cache,面向的是多次请求时,利用 Prompt 的公

Jenkins 中的构建产物与缓存
· ☕ 3 分钟
在 CICD 的流程中,需要保存的产物主要有两类,构建产物和缓存。构建产物是最终的执行结果,缓存是为了优化下一次的构建速度。本篇主要描述的是在 Jenkins 中如何对构建产物和缓存进行归档,并结合对象存储进行实践。有部分示例使用的是 在 Kubernetes 上动态创建 Jenkins Slave 进行构建,配置