23、复杂问题的机器阅读与医疗投诉的隐含信息解读

复杂问题的机器阅读与医疗投诉的隐含信息解读

1. 复杂问题机器阅读的现状与进展

在处理较长的多句子问题时，集成系统相较于基线有近 11% 的提升。这表明问题越长、越复杂，语言信息尤其是语篇层面特征的影响就越大。

有研究通过向 BERT 添加语义信息，提升了其在 SQuAD 2.0 数据集上的机器阅读理解（MRC）性能。Zhang 等人（2019）利用预训练语义角色标注的显式上下文语义，引入了改进的语言表示模型 SemBERT，能在 BERT 基础上明确吸收上下文语义，使 F1 分数从 83.6% 提升到了 87.9%。

对于 MRC 而言，有效建模冗长详细文本中的语言知识并排除噪音对提升性能至关重要。传统的注意力模型在无明确约束的情况下关注所有单词，导致对一些无关紧要的单词过度关注。Zhang 等人（2019）提出将显式句法约束融入注意力机制，以句法指导文本建模，这种 SG - Net 应用于 BERT 后，实现了显著的性能提升。

在处理句子级问答时，BERT 网络结构存在一个明显缺点，即不计算独立的句子嵌入，这使得从网络中获取句子嵌入较为困难。为解决这一问题，可以将单个句子输入 BERT 并对输出取平均得到固定大小的向量，但通过混合语义 + 句法相似度的直接方法计算效率更高。Reimers 和 Gurevych（2019）的 SBERT 在文本相似度任务中，使 GloVe 嵌入性能提升了 15%，BERT 嵌入性能提升了 22%。

He 等人（2018）提出了一种新颖的先阅读后验证系统，借助答案验证器判断预测答案是否由输入片段推导得出。他们引入了两个辅助损失，帮助阅读器更好地处理答案提取和无答案检测，并研究了答案验证器的三种不同架构。其在