编者按：“如果你不能衡量它，你就无法增长它”，无论对于智能对话机器人开发者还是使用者，要想优化智能对话机器人的智能化性能并充分利用智能对话机器人，建立有效的评估指标并对指标数据进行跟踪和分析都是必要的。那么如何衡量智能对话机器人的智能化效果、有哪些具体的评估指标呢？

1.有效用户数

无论是传统的网站、app还是任何一款产品，有效用户数都是最为基础的指标。有效用户数的重要性是显而易见的，因为如果没有足够的有效用户数作为分析样本，您基于此做的任何进一步分析或推测都必然伴随很大的随机性，结果的可信度也会很低。因此您首先需要引导尽量多的用户使用您的智能对话机器人，当然在推广力度足够的情况下，有效用户数还是难以得到增长，则可能标明您的机器人存在较多的问题，难以吸引并积累有效用户，这种情况下您需要对产品进行深度的优化。

2.参与用户数

有效用户数是指打开并使用了智能对话机器人的用户，即便用户仅仅是阅读了机器人的主动推送对话也属于有效用户；参与用户是指用户对机器人作出响应，即发起主动对话请求，希望通过对话机器人得到问题解决方案等。参与用户数越多，可供分析的用户行为数据样本量越大，因此提高参与用户数也是促进智能对话机器人优化的一个重点指标。智能对话机器人的智能化体现为其自主学习能力，参与用户为机器学习提供了必要的素材，能够反向服务于用户，为其提供更加个性化的服务方案。

3.整体的用户互动时长

在保证用户数的前提下，用户互动时长也是需要监控的一项指标。不过用户时长更长或更短因对话机器人的应用场景而异。简单来说以娱乐为目的的聊天机器人，用户时长当然是越长越好；但以解决客服问题为目的情况下需要按照用户问题是否得到解决分别考虑，在用户问题得到解决的前提下用户互动时长一般越短越好，说明机器人能够快速准确识别用户意图并给出答案；对于互动时长短，但用户问题无法得到解决的情况则说明用户对机器人的满意度差，您需要对对话机器人进行进一步的优化。

4.会话响应时间

智能对话机器人相较于人工服务的最大优势就在于快速且随时响应，因此响应时长无疑是评估机器人性能的一个关键性基础指标。

5.每个用户的会话情况

在整体用户互动时长的基础上，您仍需要对典型的个体进行关注，包括只会参与一次会话就退出的用户、多次会话仍未解决问题的用户以及会话效果显著优于平均水平的用户。对于这类用户的具体分析，能够帮助您了解您的智能对话机器人在于用户沟通时的局限性以及其做得好的地方，进而为您提供进一步的优化方案。

6.混乱触发器

对于智能对话机器人性能指标的评测，除了需要关注用户端的数据外，仍需要关注机器人端的行为数据。混乱触发器是指对话机器人无法识别用户意图甚至误解用户意思而做出类似于“我不明白”、“听不懂”等的回应的情况。对于机器人出发混乱状态的案例的分析能够有针对性的进行优化，提高机器人的智能化水平。对于辅助人工干预的情况，混乱触发数据的监测有助于人工服务任务分流安排，及时将智能对话机器人无法处理的用户问题转交给人工客服能够避免糟糕的用户体验、减少用户流失。

7.留存率

留存率或者新老用户占比数据能够一定程度上反映用户对产品的认可度，但就智能对话机器人而言，留存率也会因应用场景的不同而有较大的差异，您需要根据您对智能对话机器人的应用场景具体分析该项指标。对于娱乐目的智能对话机器人，当然是留存率越高越好，但对于工具属性的智能对话机器人而言， 其留存率可能仅限交易周期内。

 

➤  小结

本文关于智能对话机器人评估指标在论述主要是从开发和优化的角度展开分析的，但对于采购智能聊天机器人的用户而言，这套指标体系也是适用的。您可以通过试用或对其过往案例进行评估来判断其产品的智能化水平，进而选择一套靠谱的智能对话机器人。