1. 定义 LLM 推理过程中存在着两个截然不同的阶段，PD 分离就 计算密集型的 Prefill 阶段， LLM 处理所有用户的 input，计算出对应的 KV Cache 显存密集型的 Decode 阶段， 顺序的产生一个个的 token，每次访存只计算一个 token 2. 指标 2.1 prefill 性能评估指标 TTFT（Time To First Toke

1. 什么是 MLOps MLOps 是 Machine Learning Operations 的缩写，描述的是围绕模型研发整个生命周期过程的标准化和工程化。 MLOps 包括以下几个关键步骤: 数据管理，数据的存储、访问、清洗、转换 模型开发，算法开发、模型构建 模型训练与调优，使用数据训练模型，调整超参数优化模型，微调模型 模型评

1. 曾经的尝试 在博文没有标签的你，让人无法想起中，我强调在趋同的群体中，个体成为了背景噪声，而标签成为了有效的信息。 在下面这张图中，我们很难记住某一个人，但是却很容易通过 A、B、C、D、E 标签找到某一个人。 标记之后，人与人之间会形成网络，而所

1. 什么是编程范式 编程范式是一类典型的编程规范。一方面提供了工程师对实体的建模方法，将物理世界与代码关联起来；另一方面也提供了工程师对代码程序的理解思路。 编程范式与编程语言属于多对多的关系。一种编程语言中，可能包含多种编程范式，例如，C++ 包