意图识别评估

意图识别评估衡量智能体是否选择了正确工作流、提取了正确参数，并安全处理不支持或含糊的请求。只看整体准确率，会掩盖低频关键意图、错误拒绝和槽位缺失。

指标体系

指标	关注问题
Top-1 准确率	首选意图是否正确
Top-K 召回率	候选召回阶段是否包含正确意图
分意图准确率、混淆矩阵	哪些低频类别或边界被掩盖
拒识准确率、错误拒识率	不支持请求是否正确拒绝，正常请求是否被误伤
澄清收敛率	澄清后是否减少不确定性并进入正确流程
槽位准确率和召回率	参数值是否正确、用户信息是否完整捕获
必填槽位完整率	工具执行前是否具备关键参数
延迟和成本	识别链路是否适合真实产品路径

错误分类与改进

• 候选意图过多：使用分层分类或候选检索。
• 标签重叠：重写定义、增加反例、让边界正交。
• 术语和罕见表达：词汇表、动态 few-shot 和困难样本检索。
• 参数缺失：显式输出 missing_slots 并进入澄清。
• 多轮状态漂移：记录当前意图、槽位版本和更新证据。
• 不支持请求误路由：改进拒识规则与兜底路径。

微调不应是第一反应。更稳妥的顺序是先收集真实输入，按错误类型标注，选择最小修复，再重新测量准确率、拒识、澄清、槽位、延迟和成本。

用户后续说“不是这个意思”也是重要线上信号。把这些修正记录纳入智能体反馈循环，才能让识别系统从生产错误中持续改善。