分类目录归档:大模型基础设计

Agent Harness

Agent Harness 描述了用于管控 LLM 的完整软件基础设施

图源 - 《Scaffolded LLMs as Natural Language Computers》 by Beren Millidge

Harness 的 12 个核心组件

  1. 编排层(Orchestration Loop):实现思考-行动-观察(TAO)循环,作为心脏维护最低限度的编排工作(dumb loop,笨循环),避免影响模型的决策推理
  2. 工具层(Tools):管理工具的注册、验证、沙盒执行与结果格式化;常用的六类工具:文件操作、搜索、执行、网络访问、代码辅助和子智能体管理;常见的工具类型:函数/托管服务/

Read more

Agent 通信协议

MCP 模型上下文协议

MCP 协议基本架构(图源

  • 由 Anthropic 提出,用于标准化 LLMs 与外部系统交互的接口
  • 开发者能以统一的方式将大模型对接到各种数据源和工具
  • MCP 采用了经典的 C/S 架构,包含主机、服务端和客户端三部分

目前 MCP 协议已得到了广泛的生态支持,兼具通用性和灵活性

MCP 底层通信

MCP 的会话管理

  • 通过一个健壮

Read more