JivoChat AI Agent 性能评估详解
我们准备了一个全新的统计板块，让你可以追踪 AI Agent 的表现，并帮助你更有效地调整它的行为。
你可以监控回复质量和自动化结果，确保你的客户获得出色的服务。为此，请前往 “统计” > “AI Agent”。
你可以选择要分析的时段来评估 AI Agent 的表现：今天、昨天、最近 7 天、最近 30 天或自定义时间段。
每个指标旁边都会显示一个百分比，表示与上一个相同长度时段相比该指标的变化情况。
下面我们介绍每个统计板块：
无人工客服参与的对话占比
该指标表示由 AI Agent 自主解决、无需人工客服介入的对话比例。该指标越高，说明解决客户问题时需要员工协助的频率越低。
该板块的目标值为 75%。根据我们的研究，这被认为是成熟的自动化水平。
我们建议将该指标与**“解决质量”和“服务质量评分”**一起评估。这有助于你判断 AI Agent 在自行结束对话时是否提供了恰当的咨询服务。
节省的时间
显示在没有员工参与的情况下关闭的对话总时长，即为客服节省了多少小时的工作量。
等效员工人数的计算方式如下：
节省的小时数 /（8 × 所选时段的天数）
该指标越高，说明 AI Agent 为团队分担的潜在工作量越大。但请注意，对话时长并不总是与员工的实际工作时间相符。我们建议将该数值与对话量一起分析。
平均对话时长
计算方式为从客户发送第一条消息到对话结束的时长。该板块将由 AI Agent 独立处理的对话平均时长与有人工客服参与的对话进行比较。
请注意，时长中也包含客户等待回复的时间。
我们建议将该参数与**“解决质量”**一起评估，因为非常短的对话可能表明客户的问题并未得到解决。
首次响应时间
显示客户消息与首次回复之间的平均时间。与上一个板块一样，该指标会比较由 AI Agent 独立处理的对话与有人工客服参与的对话。
该数值越低，客户的请求得到回复的速度就越快。要评估这些回复的有效性，我们建议将该指标与**“服务质量评分”**一起分析。
服务质量评分
AI 会分析与客户的对话并给出 0 到 5 分的评分。仅统计涉及 AI Agent 的对话。分析时会考虑：
- 对话上下文。
- 客户的语气。
- 负面情绪或感谢。
- 隐含的不满。
- 讽刺和被动攻击行为。
- 对话涉及多个主题时的最终结果。
- 沟通中的语言和文化因素。
如果无法识别客户的情绪、对话缺乏有效信息或与交互目的无关，或者 AI Agent 对评估的准确性没有把握，对话可能会获得 “0” 分。
该指标的变化趋势可以帮助你评估知识库或 AI Agent 设置的变更效果。
请注意：这是由 AI 做出的评估，而不是客户的评价。
对话情绪
AI 会分析在没有人工客服参与的情况下完成的对话中客户的情绪。分为三种状态：积极、中立和消极。
如果无法确定情绪，则归类为**“中立”**。
情绪并不总是与解决质量相符，但它可以作为参考信号，帮助发现回复质量问题或客户对产品的负面看法。
解决质量
该板块评估与 AI Agent 交互的结果：客户的问题是否得到了解决，以及对后续步骤是否清楚。共有三种评级：“完全解决”、“部分解决”和“未解决”。
完全解决： 客户的主要问题得到了回答。回答正确且足以解决其问题。
部分解决： 客户得到了一定的帮助，但未能完全解决问题。例如：
- 只解决了问题的一部分。
- 回答过于笼统。
- 回答中遗漏了重要细节。
- 客户没有获得足够的信息。
未解决： 客户没有得到解决方案。例如：
- 没有回答，或回答与问题无关。
- AI Agent 使用了未经核实的事实或执行了未经核实的操作。
- 客户在收到回答之前就离开了。
- 问题需要转接给人工客服，但客户仍未获得解决方案。
请注意：该参数评估的是从客户角度看的结果，而不是沟通的礼貌程度或语气。客户的感谢并不总是意味着其请求已完全得到解决。
该指标让你能够评估自动化的质量，并识别 AI Agent 是真正在帮助用户，还是仅仅结束了对话。
转接原因 Top 5
AI Agent 在对话中请求人工客服介入的主要原因。该板块显示所选时段内出现频率最高的 5 个原因。
可能的原因包括：
- 客户要求人工客服。
- 主题超出知识库范围： AI Agent 无法在可用知识库中找到所需信息。
- 复杂请求： 客户的问题过于复杂，AI Agent 无法自主解决。
- 客户投诉： 访客明确投诉或要求将情况升级处理。
- 客户不满： 用户感到恼怒或不满，即使没有直接表达出来。
- 需要专业评估： 需要人工客服提供专业评估。
- 付款和退款： 问题与付款、扣费、订阅、退款、优惠码或余额相关。
- 需要客服操作： 必须执行只能由人工客服完成的操作，例如修改订单、提交申请或更新数据。
- 不支持的请求： AI Agent 不支持此类问题，或该问题超出其专业范围，例如关于其他产品或服务的问题。
- 内部数据核实： 信息需要由人工客服核实，例如订单状态、物流、预订等。
- 请求不明确： AI Agent 无法准确判断客户的需求。
- 政策和限制： 客户的请求涉及 AI 不应自主解释或决定的事项。
- 对回答没有把握： AI Agent 理解了请求，但不确定能否给出正确的回答。
- 其他。
这些原因可以帮助你了解如何改进 AI Agent 的回复。例如，如果列表中出现了**“主题超出知识库范围”**，这可能表明需要完善 AI Agent 可用的文档和信息。
自动化动态
图表显示了在没有人工客服参与的情况下关闭的对话比例相对于转接给客服的对话比例的变化情况。
在分析 AI Agent 的表现时，我们建议综合评估所有指标，而不是仅依赖单一标准。
良好的自动化结果既包括 AI Agent 自主完成对话，也包括较高的解决质量和积极的客户情绪。
尝试不同的设置并持续优化 AI Agent 的效率，让它为你和你的客户创造最大价值！