比喻性语言混淆了聊天机器人

研究小组还开发了一种局部疗法。他们写了一个简单的脚本来识别比喻性的短语，并用它们的字面意思替换它们。结果，对话系统的性能提高了15%。

这项工作的应用不仅包括个人助理，还包括用于总结信息的系统，比如谷歌页面顶部的总结搜索结果的框。需要回答问题的自动化系统(例如，当需要支付账单或预约时)也会从这项工作中受益。

该论文的第一作者Harsh Jhamtani说:“我们想让人们和对话系统之间有更多的自然对话。”

Jhamtani是卡内基梅隆大学(Carnegie Mellon University)的博士生，目前与加州大学圣地亚哥分校(UC San Diego)计算机科学与工程系(Department of Computer Science and Engineering)的资深作者Taylor Berg-Kirkpatrick一起担任访问研究员。

这项研究的灵感来自Jhamtani自己在比喻性语言方面的挣扎。他的母语是印地语，也会说英语，这是印度的另一种官方语言。但他必须学习他的同事们使用的许多美国习语和隐喻。

例如，当一位同事说他们正在挨饿时，他惊慌失措，因为在印度语中，这可能意味着医疗紧急情况。他的同事解释说，这只是表示他饿了。那时Jhamtani想知道人工对话系统是否也会有同样的问题。

在这项研究中，研究人员测试了五种不同的与人类对话的系统，其中包括GPT-2。GPT-2经过训练，可以预测40GB互联网文本中的下一个单词，由研究公司OpenAI开发。

研究人员首先通过13.1万个关于旅游、健康等口语话题的对话数据集运行对话系统。然后，他们从数据集中提取包含比喻性语言的对话，并只通过这些对话运行系统。他们观察到表现下降了10%到20%。

然后，他们编写了一个脚本，使系统能够快速检查将比喻性语音翻译成文字语音的词典。这比重新培训系统更快更有效地学习这些词典的完整内容。研究人员观察到性能提高了15%。

在文本被转换之前，研究人员仍然必须部分依靠人类观察者来识别数据集中的比喻语言。这方面还需要进一步的研究。

在研究人员开发的算法准备好实施之前，需要进行多次迭代。例如，他们发现在一些罕见的情况下，用文字语言代替比喻语言会扭曲句子的语法，使对话系统无法理解。