常见问题

智能质检中的召回率和准确率,哪个更重要?

DuDuTalk| 2022-12-11 16:26:24
许多企业都有大中型的电气销售和呼叫中心,每天交流成千上万次。 沟通的质量决定了企业的收入和顾客满意度。 企业监督业务员工沟通质量和执行力的过程,称为质量检查。
 
前两篇文章介绍了“关键词正则”质检方式与全新“非正则”质检方式的区别,也介绍了两台机器质检方式各自适应的场景。
 
双模质检,各司其职。 “非正则”质检方式引入深度学习算法模型,可以更好地利用上下文语义判断一个句子是否命中质检项目,明显提高全检索率(术语“召回率”)和准检索率。 另外,由于深度学习算法模型要求训练数据量,“非正则”方式适合目标通话量大的质检项目,而目标通话量过少的质检项目无法训练出好的算法模型,需要继续使用“关键词正则”方式。
 
今天,我们进一步分析了如何对不同的质检项目采取不同的优化策略,更好地平衡机器质检和人工复检,提高整体质检工作效率。
 
召回率与准确率的关系
我们希望每个质检项目命中的目标通话都是准确的。 这也是循环智能质检产品引入“非正则”模式的原因。
 
但是,在优化质量检测项目的命中效果时,召回率和准确率达到一定高度时,如果要持续提高,就不可避免地会遇到“二选一”的问题。 召回率和准确率相互影响,这种权衡,一个指标增加,另一个指标下降。
 
在实际应用中,大多数企业的业务流程都是“机器质量检测的人工复检”。 把机器质量检查的结果交给人手进行复检。 因此,机械质量检测召回率和准确率的变化,将影响人工复检的成本:
 
提高召回率(适当牺牲准确率)意味着降低“漏检”的风险,但可能会增加“误检”导致的人工复检成本
 
提高精度(适当牺牲召回率)意味着降低“误检测”的人工复检成本,但可能会增加“漏检”的风险。
 
如果质检项目遇到“二选一”的问题,该如何选择呢?
负质检项目:“召回率”多为首选
 
质量检查为负,就是找出不合格、不合格。 通俗地说,就是在销售、顾客服务的质量检查中,业务负责人会找出“不能说什么”。 负质量检验是企业常见的需求,尤其是监管比较严格的领域。
 
在贷款后理财(催收)领域,质检项目以恐吓、涉嫌私收等负面方向为主。 负质检项目一般有两个特点,一是违规量一般不大(大多数通话不违规),二是漏检后风险相对较大。 因此,对于负质检项目,一般应通过调整算法模型的参数和规则代码,使“召回率”优先,找出更多涉嫌违规的呼叫,增加劳动力成本进行复检。 “倒不如说一片错了不能错过”。
 
正向质检项目:“准确率”优先
正向质检是指业务员在符合规范的地方进行积分激励。 这几年,正向质检越来越受到企业的重视。 逆向质检判断的只是业务员是否犯错,是“惩恶”的理念,正向质检可以用来鼓励业务员更专业、更规范,“扬善”的理念,有利于形成正向循环
 
例如,客户服务领域的规范术语:“标准前缀”、“标准结束语”、“服务扩展用户(有什么可以帮助您的)”和“确认客户预订信息”。 这样的前向质检项目通常目标通话量比较大,错误率高的话复检成本会变高。 在二者择一的情况下,我们通常应该通过调整模型参数和规则代码,优先提高准确率,降低人工复检成本。 “倒不如说是漏掉了几个,错杀了一个”。
 
实际场景更复杂
重申一下,优化质检项目的命中效果时,最好是找到同时提高召回率和准确率的方法,或者找到大幅提高一个指标,而不显著降低另一个指标的方法。 如果哪一条路都不能通过,为了继续提高效果,有必要将漏检的风险性和人工复检的成本结合起来进行“二选一”。
 
通常,负方向质量检查项目的漏检风险高,因此通过"召回率优先"来降低漏检风险; 由于质检项目的目标通话量较大,通过“准确度优先”降低复检成本。
 
但是,也有一点例外。 例如,根据负方向的质量检查项目,在目标通话量不多且风险也低的情况下,考虑"正确率优先"根据质量检查项目,在目标通话率非常低且重要性高的情况下,应该考虑"召回率优先"
 
另外,在实际应用中,必须综合考虑其他因素。 例如,根据质量检查项目的不同,召回率和准确率的提高难度也不同。 例如,不同企业的复验人员数量不同……我们可以更好地制定每个质检项目的优化战略。
上一篇:如何利用流程质检提升客服或销售的执行力?   下一篇:如何更快、更全面地提升服务质量?
查看全部问题 >>
关于我们
公司介绍 渠道加盟
关注我们
嘟嘟talk微信公众号
电话:4001800719
商务邮箱:business@saisiyun.com
售后邮箱:service@saisiyun.com
地址:武汉市东湖新技术开发区武大航域二区A3栋
武汉赛思云科技有限公司©COPYRIGHT2019-2020鄂ICP备16013894号-5
4001800719
嘟嘟talk微信公众号