LLM
LiteLLM - 提供统一的模型接口格式
· ☕ 4 分钟
1. LiteLLM 是什么 LiteLLM 是开源 LLM 适配器:用 OpenAI 标准格式调用 100+ 种 API(OpenAI、Anthropic、Gemini、Bedrock、Azure、Ollama、vLLM、通义千问等)。 两种用法: Python SDK — 代码内直接调用 AI Gateway — 团队级代理,带鉴权、计费、负载均衡

常见的几种 LLM Agent 架构
· ☕ 1 分钟
1. 链式提示系统(Prompt chaining) 提示链将任务分解为一系列步骤,其中每个 LLM 调用都会处理前一个步骤的输出。 2. 路由系统(Routing) 路由会对输入进行分类,并将其定向到专门的后续任务。 3. 并行化系统(Parallelization)