基于深度学习的智能问答模型研究文献综述

 2022-08-19 14:02:31

一、文献综述

  1. 国内外研究现状与研究成果

当下的社会环境科技发展迅猛,机器学习与自然语言处理技术越发成熟,大规模知识库和海量网络信息涌现,智能问答系统的实际应用需求愈发明显。问答系统是一种高级的信息检索模式,它针对用户用自然语言提出的问题通过自然语言给用户准确、简洁的答案。问答系统的处理框架包括问句理解、信息检索和答案生成。问答系统的研究离不开自然语言处理技术,问答系统是为了实现人与计算机之间的沟通,而自然语言处理技术是研究人与计算机交互的语言问题。在我国的计算机应用技术中,中文信息处理是我国的专长,在国际上享有着得天独厚的优势,国务院制定的国家中长期科技发展纲领中明确指出:“中文信息处理技术是高新技术发展的重点”[7]。随着汉语言处理技术的发展,汉字识别、语音识别、语音合成、信息检索等方面在计算机技术中的发展逐步成熟,在这一阶段的发展中汉语言语句实现了自动分析,但是在识别语句歧义方面不够深入和完善,因此其应用范围有一定的限制。

国内外都有许多研究人员从事着智能问答系统相关的研究工作。

TextRank算法是一种用于文本的基于图的排序算法,它的基本思想来源于谷歌的PageRank算法,将文本分割成若干组成单元并建立图模型,利用投票机制对文本中的重要组成部分进行排序,利用单篇文本本身的信息便可实现关键词的获取。TextRank不需要实现对多篇文档进行训练。

在国内对TextRank算法的研究中,张莉婧等人在提高关键词的的抽取质量,解决TextRank算法的初始权值问题上做了研究。他们在TextRank的基础上引入G1赋权法,通过对TF-IDF算法的词语位置、长度和词性这三个属性赋予不同的权重,设计并实现了一种基于改进TextRank的关键词抽取算法——TextRank-CM算法[5]。李志强等人通过使用TF-IDF方法与平均信息熵方法计算文本中词语的重要性,研究了一种改进的TextRank关键词提取算法。根据计算结果得到词语的综合权重,然后利用词语的综合权重去改进TextRank算法的节点初始值以及节点概率转移矩阵,以迭代的方式计算各节点的权重,直到收敛,从而得到词语的权重信息。以topN个词语作为关键词输出,实现关键词的提取功能[6]。卢佳伟等人利用词向量嵌入技术构建文本向量空间,使构建的向量空间模型具有语义相关性,采用改进的TextRank算法提取文本关键字,从而增强文本特征的表达、消除大量冗余信息、减低文本特矩阵的稀疏性、提高文本相似度的计算效率[10]。不局限于算法的研究,也有人研究它的实用性。互联网的发展带动了电商行业的发展,通常人们会对自己在网上购买的商品做出评价,此时商家们便可以通过用户的评论来获取用户的真正需求,或者说了解用户的潜在需求。尤苡名对一种融合TF-IDF与TextRank的算法(简称TFTR)抽取评论中的关键词的方法做了研究,此方法通过引入用户浏览评论给出评论有用性反馈来提高有效评论中的重要词语的权重,从而改进TF-IDF算法。将改进后的词频逆文档频率作为词节点特征权重应用到TextRank算法中,从而改进词汇节点的重要性得分分配过程[9]

在国外对TextRank算法的研究中,Rahman M M等人研究了基于TextRank的软件变更任务搜索词识别,通过一种新的基于文本的技术,分析任务描述以自动识别和建议软件变更任务的搜索项,来降低开发人员处理软件更改请求的复杂度[12]。Petasis G等人对TextRank标识参数组件做了研究,主要研究TextRank在不同任务中的应用,探索抽取式总结和论点挖掘之间是否存在潜在的重叠,研究总结中使用的方法是否会对论点挖掘任务产生积极影响[13]

Seq2seq模型是当输出的长度不确定时采用的模型。它有两个循环神经网络,一个用来处理输入序列,另一个则处理输出序列。它主要应用于机器翻译领域。

在国内对Seq2seq模型的研究中,肖新凤等人提出了一种基于改进Seq2seq模型的英汉翻译模型,通过使用不同的文本预处理和嵌入层参数初始化方法,并对seq2seq模型的结构进行改进,在编码器和解码器之间增加一层用于语法变换的转换层,缩减了翻译模型的参数规模和训练时间,提高翻译性能[1]。赵庆东等人,通过在seq2seq的网络结构上以LSTM作为编码和解码器,将中文字典与英文生成互相应映射的字典,并将文本数形式的据映射为数字形式的数据,探究了Seq2seq模型在机器翻译中应用能力的验证[2]

在国外对Seq2seq模型的研究中,Euisok Chung等人研究了一种序列数据增强方法——基于句子链的Seq2seq模型语料库扩展,以解决数据稀疏性问题。将句子链用作三元组来训练seq2seq模型,三元组的前两句为seq2seq模型的编码器,最后一句为解码器的目标序列[4]。Yu K等人对用神经机器翻译训练产生跨语言联合固定维句子嵌入的方法进行了研究——跨语言文档分类的多语种seq2seq相似损失训练。通过在学习目标中加入损失来惩罚双语对齐的句子表示之间的距离。相似性损失显著提高了在对齐语料库上进行跨语言相似性搜索(Europarl)和基准Reuters语料库上进行跨语言文档分类的性能[3]

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。