跳转到内容

生产化最佳实践

控制作用
日志理解 prompts、tools、errors 和成本。
超时停止卡住的调用。
重试处理瞬时失败。
预算限制花费和延迟。
回滚回到上一个安全行为。

先测量瓶颈,再扩展:模型、工具、数据访问、队列和 synthesis 的限制完全不同。

框架负责部分编排,不负责全部运维。信任自治工作前,要补上日志、超时、重试、预算、评估和回滚。

控制目的
日志理解 prompts、routes、tool calls、errors 和成本。
超时停止卡住的调用和工具。
重试处理 provider 或网络瞬时失败。
预算限制花费和延迟。
回滚回到上一个安全行为。

模型调用、工具调用、数据访问、队列和 synthesis 的瓶颈完全不同。先测量,再决定并行、缓存、队列或简化。