1. 研究背景

近年来，智能对话机器人在智能客服领域的应用越来越广泛。流畅的人机对话对解决客户的问题和维护客户的情绪十分重要，这要求机器人必须能够识别何时应当保持倾听，何时应当作出回复。然而现有的对话机器人几乎都遵循一问一答（turn-by-turn）的交互模式，这种模式经常导致机器人对客户不完整或重复的表达作出不合适的回复，甚至让对话朝着错误的方向发展下去。下图是滴滴客服场景中，一个用户和客服的对话，以及将客户的问题输入机器人后得到的对比结果，可以看到，客服机器人经常对这类不完整或重复的表达给出错误的回答。在客服领域中，用户在移动端更加倾向连续发送短的、片段的或重复的问题，因此机器人错误回复的问题更为突出。

尽管如此，学术界关于何时才是恰当的回复时机的研究却非常少。Google在Smart reply系统中提出了Triggering model，通过对邮件数据进行标注并训练一个二分类模型来判断某一封邮件是否应当被回复。然而在智能客服领域，对话具有半开放、多轮交互的特点，会话级别的标注成本十分高昂并且难以覆盖长尾意图。另一方面，由于在线客服经常同时服务多个客户，在回答客户的同时还要查询知识库、查询工具系统来解决用户的问题，针对某个客户的问题，客服往往不能及时的回复。这就削弱了客户和客服的对话日志中本应携带的有关应答时机的监督信息，并导致以监督学习的方式训练应答模型变得不可行。

在本文中，我们提出了MRTM模型，它基于自监督学习机制来学习一个给定的上下文是否应当被应答。具体来说，MRTM引入了多轮对话答案选择（Multi-turn Response Selection）作为辅助任务。它通过给定上下文和候选回复，选择正确回复来建模给定上下文和候选回复的语义匹配关系。在建模多轮语义匹配模型中，我们提出通过一种非对称注意力机制来获取给定上下文中共现句子的重要度关系。这是基于这样的观察，即那些具有更高注意力得分的句子往往需要被回复，而那些较低分数的句子则可以被忽略。本文在滴滴客服对话数据集、京东客服对话数据集上进行了实验，结果表明MRTM大幅优于基于规则和基于监督学习的基线模型，同时超参数实验表明，增加训练数据可以有效的提升自监督学习任务的效果。MRTM模型被集成至滴滴智能客服系统中，为司机、乘客和客服提供更加智能的服务。

2. 问题挑战

在智能客服场景中，应答时机判断问题较为复杂和困难，主要体现在以下三个方面：

1. 应用于智能客服的应答时机判断模型需要具备多轮建模的能力，在不同的上下文语境下，用户发送相同query的情况下需要模型表现出不同的应答行为。例如用户发送“你好”，如果此时会话处于刚开始时，则欢迎语是较好的回复，如果是在等待查询结果时，欢迎语则很容易引起客户情绪上的不满。
2. 应用于智能客服的应答时机判断模型对于预测的准确率和召回率要求都较高，“频繁”回复和“哑”回复均会导致不好的对话体验。在客服场景下，对话通常是半开放的，客户和客服的话题可能从业务和闲聊中频繁切换，这使得标注需要覆盖大量的会话日志，成本十分高昂。相比之下，其他与回复触发时机有关的任务，例如token级别上触发预测的任务(back-channels)则对召回率并不敏感。
3. 客服坐席通常同时服务多个客户，由于查询知识库、查询系统判责处置结果、输入延时或网络延时等原因，客服往往不能十分及时的回复客户的问题。这导致以客服回复时机作为监督信号来训练应答响应模型变得不可行。

针对以上挑战我们提出了基于自监督学习的MRTM模型。