分类目录归档:大模型基础技巧

大模型输出配置

输出长度 output length

  • 指定输出文本中的 token 最大长度,一般达到最大 token 时会自动截断
  • 输出长度的设置,并不会导致 LLMs 的输出简洁(可以通过提示工程来实现)
  • 限制最大输出长度,有助于减少能耗,降低响应时间,规避 LLMs 的无效输出

温度 temperature

  • 控制结果的随机性,较高的温度设定会导致输出结果的多样化和不确定性增加
  • 温度较低可以增强 LLMs 对提示词的服从性,偏创意输出的试验可考虑高温度

注意:

  • 当温度设

Read more

多 Agent 设计

多 Agent 设计技巧:

  • 分工合作:大模型负责任务拆分与深度思考,小模型负责子任务执行与广度探索;二者配合,不但能实现并行推理,提高推理的速度和效率,还可以改善最终的任务完成效果
  • 理解 Agent:观察并代入 Agent 的思考模式,并通过精准而有效的提示词来引导 Agent
  • 任务分配:每个子 Agent 都需要有详细的任务目标、输出约束、工具和资源列表、任务边界;在合理的情况下,考虑通过子 Agent 的任务并行来加快效率(比如独立工具的并行调用)
  • 根据查询复杂度调整工作规模:简单的信息收集仅需 1 个智能体,调用 3-10 次工具;直接比较可能需要 2-4 个子智能体,每个调用 1

Read more

Agent 通信协议

MCP 模型上下文协议

MCP 协议基本架构(图源

  • 由 Anthropic 提出,用于标准化 LLMs 与外部系统交互的接口
  • 开发者能以统一的方式将大模型对接到各种数据源和工具
  • MCP 采用了经典的 C/S 架构,包含主机、服务端和客户端三部分

目前 MCP 协议已得到了广泛的生态支持,兼具通用性和灵活性

MCP 的两种模式:

  1. Stdio:主要用在本地服务上,操作本地的软件或者本地的文件
  2. SSE:主要用在远程服务上,比如基于 API 访问谷

Read more