智能体的可观测性与评测

这篇适合已经能跑通一个智能体、准备让它面对真实用户的开发者。读完你能说清可观测性（observability）和评测（evaluation）的区别，知道要盯哪些指标，并会设计离线与在线两类评测的组合方式。

什么是可观测性

可观测性指通过日志、指标和追踪（trace）等外部信号，了解 AI 智能体内部正在发生什么。对智能体来说，就是记录它的动作、工具调用、模型调用和返回结果，以便调试和改进表现^[1]。

没有可观测性，智能体就是一个“黑箱”。可观测性工具让智能体变得透明，帮助你了解成本与准确率之间的取舍、测量延迟、检测有害语言和提示词注入，还能监控用户反馈。换句话说，它让一个演示用的智能体具备了上线的条件^[1]。

常用工具与 Trace、Span

Langfuse 和 Arize 是常见的可观测性工具。它们收集详细的追踪数据，并提供仪表盘，实时监控各项指标^[1]。这类工具差别很大：有的是开源的，背后有大社区推动路线图；有的专门做可观测性、评测或提示词管理；有的则覆盖整个 LLMOps 流程。选工具时应当多看各家的文档^[1]。

很多智能体框架（例如 smolagents）使用 OpenTelemetry 标准向工具暴露元数据。工具本身还会做自定义埋点，以适应发展很快的大模型领域。具体支持哪些内容，要以所用工具的文档为准^[1]。

工具通常用 trace 和 span 来表示一次智能体运行。Trace 是一次完整的智能体任务，从开始到结束，比如处理一条用户查询；span 是 trace 里的单个步骤，比如调用语言模型或检索数据^[1]。

要盯住的指标

延迟：智能体多快给出回答。延迟过长会损害用户体验。应当通过追踪运行过程，分别测量整个任务和每个步骤的耗时。比如一个智能体在所有模型调用上花了 20 秒，就可以换更快的模型，或者让模型调用并行执行^[1]。

成本：每次运行花了多少钱。大模型按 token 计费，外部 API 也要收费。频繁调用工具或多次提示会迅速推高成本；实时监控还能发现异常峰值，比如某个 bug 导致 API 被反复循环调用^[1]。

请求错误：有多少请求失败，包括 API 错误和工具调用失败。为了让智能体在生产环境中更稳健，可以设置回退（fallback）或重试。例如服务商 A 宕机时，切换到服务商 B 作为备用^[1]。

用户反馈：显式反馈包括点赞或点踩、一到五星评分，以及文字评论；持续的负面反馈说明智能体没有达到预期^[1]。隐式反馈来自用户的行为，比如改写问题、反复提问或点击重试按钮。如果同一个问题被反复问，同样说明智能体有问题^[1]。

准确率：智能体输出正确或符合预期结果的频率。第一步是定义“成功”是什么样子，然后通过自动检查、评测分数或任务完成标签来跟踪，比如把 trace 标记为“成功”或“失败”^[1]。

自动评测指标：可以用大语言模型给智能体的输出打分，判断它是否有帮助、是否准确^[1]。另有一些开源库负责不同方面的打分，例如 RAGAS 面向 RAG 智能体，LLM Guard 用来检测有害语言和提示词注入^[1]。

实际中，把这些指标组合起来，才能最全面地反映智能体的健康状况^[1]。

为什么需要评测

可观测性给出的是指标，而评测是分析这些数据、做测试，判断智能体表现如何、该怎样改进。智能体常常是非确定性的，还会随着更新或模型行为漂移而变化。如果没有定期评测，你无法判断它是不是变差了^[1]。

评测分两类：离线评测（offline）和在线评测（online）。两者互为补充。通常先做离线评测，它是任何智能体上线前的最低要求^[1]。

离线评测

离线评测在可控的环境里进行，使用整理好的测试数据集，数据集里有已知的预期输出，而不是真实用户的查询。它的好处是可以重复，而且因为有标准答案，能得到清晰的准确率指标。开发阶段经常做离线评测，也可以放进 CI/CD 流水线，用来确认改进有效或防止退化^[1]。

举例来说，如果做的是数学应用题智能体，可以准备一个包含 100 道题、且答案已知的测试集^[1]。

离线评测的难点在于测试集要全面，并且始终与实际情况相关。智能体可能在固定测试集上表现很好，却遇到生产中完全不同的查询。因此要不断补充新的边界案例。实践中常见的做法是两种规模并用：少量的“冒烟测试”用于快速检查，较大的评测集用于衡量整体表现^[1]。

在线评测

在线评测是在真实使用、也就是生产环境中评估智能体，持续监控它处理真实用户交互时的表现。它能发现离线时没想到的情况，包括模型漂移，也能捕捉测试数据里没有的意外查询^[1]。

在线评测可以结合隐式和显式的用户反馈，也可以做影子测试或 A/B 测试，让新版本与旧版本并行运行，再进行比较^[1]。

两者结合

成熟的做法是离线与在线相结合：定期跑离线基准，定量衡量智能体在既定任务上的表现；同时持续监控线上流量，发现基准没有覆盖的问题。比如，离线测试能显示代码生成智能体在已知题目上的成功率是否在提高，而线上监控可能提示用户开始问一类它答不好的问题^[1]。

许多团队会采用这样一个循环：离线评测，部署新版本，监控线上指标并收集新的失败案例，把这些案例加入离线测试集，然后再迭代。这样评测就成了持续进行、不断改进的过程^[1]。

下一步

下一节会用例子演示，怎样用可观测性工具去监控和评测一个智能体^[1]。

本文改编自 Hugging Face 开源课程《Agents Course》附加单元 2 关于智能体可观测性与评测的内容^[1]，原文以 Apache-2.0 许可证发布。