基于BERT的学术文献关键词抽取研究文献综述

 2021-10-25 21:30:10

毕业论文课题相关文献综述

文 献 综 述一、 选题背景及意义自然语言处理[1](英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。

此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑懂人类的语言。

自然语言生成系统把计算机数据转化为自然语言。

自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

Google在2018年发布了BERT模型资料库。

BERT是一种对语言表征进行预训练的方法,即是经过大型文本语料库(如维基百科)训练后获得的通用语言理解模型,该模型可用于自然语言处理下游任务(如自动问答),并且任务处理结果较以往的训练模型(如word2vec)表现优秀。

BERT之所以表现得比过往的方法要好,是因为它是首个用于自然语言处理预训练的:无监督、深度双向系统。

BERT的使用可以分为两个阶段:(1)预训练阶段,花费较高(在4-16个TPU上训练需要花上4天),好在每个语种的训练都能一次做好(目前模型只支持英语,多语言模型会在不久的将来发布)。

(2)微调阶段,花费较小。

只要一开始使用同样的预训练模型,论文中所有成果只需在单个TPU中训练1个小时就能复现(在单个GPU上也只需几个小时就能复现)。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。