900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 【资源】用深度学习解决自然语言处理中的7大问题 文本分类 语言建模 机器翻译等

【资源】用深度学习解决自然语言处理中的7大问题 文本分类 语言建模 机器翻译等

时间:2022-01-04 08:48:27

相关推荐

【资源】用深度学习解决自然语言处理中的7大问题 文本分类 语言建模 机器翻译等

问题回答

每个任务都提供了对问题的描述,一个例子,以及有关演示方法和结果的论文的引用。大多数参考资料来自Goldberg的A Primer on Neural Network Models for Natural Language Processing(/abs/1510.00726)。

1. 文本分类

给定一个文本的例子,预测一个预定义的类标签。

文本分类的目的是对文档的话题或主题进行分类。

文本分类的目的是对文档的话题或主题进行分类。

——统计自然语言处理基础(Foundations of Statistical Natural Language Processing,1999)

流行的分类示例是情绪分析,其中类标签表示源文本的情绪基调,例如“积极”或“消极”。

以下是另外3个例子:

垃圾邮件过滤,将电子邮件文本分类为垃圾邮件。

语言识别,对源文本的语言进行分类。

流派分类,对虚构故事的流派进行分类。

垃圾邮件过滤,将电子邮件文本分类为垃圾邮件。

语言识别,对源文本的语言进行分类。

流派分类,对虚构故事的流派进行分类。

此外,这个问题也可能是一个文本被分为多个类的方式,即所谓的多标签分类。例如,预测源推文的多个标签。

更多阅读:

文本分类-学术百科 /article/Text_categorization

文档分类-维基百科 /wiki/Document_classification

文本分类-学术百科 /article/Text_categorization

文档分类-维基百科 /wiki/Document_classification

下面是有关文本分类的一些深度学习论文:

对烂番茄影评的情感分析

对烂番茄影评的情感分析

Deep Unordered Composition Rivals Syntactic Methods for Text Classification, . https://cs.umd.edu/~miyyer/pubs/_acl_dan.pdf

对amazon产品评论、IMDB电影评论和分类主题新闻文章情绪分析

对amazon产品评论、IMDB电影评论和分类主题新闻文章情绪分析

Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, . /abs/1412.1058

对电影评论的情绪分析,将句子归类为主观或客观,对问题类型进行分类,对产品评论的情感进行分类,等等。

对电影评论的情绪分析,将句子归类为主观或客观,对问题类型进行分类,对产品评论的情感进行分类,等等。

Convolutional Neural Networks for Sentence Classification, . /abs/1408.5882

2. 语言建模

语言建模实际上是一个更有趣的自然语言问题的子任务,特别是那些在其他输入条件下调节语言模型的问题。

这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR)的基础,也用于拼写校正、手写识别和统计机器翻译。

这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR)的基础,也用于拼写校正、手写识别和统计机器翻译。

——Foundations of Statistical Natural Language Processing (page 191), by Christopher D. Manning Hinrich Schütze

除了语言建模的学术兴趣,它是许多深度学习自然语言处理架构的关键组成部分。语言模型学习词汇之间的概率关系,生成在统计上与源文本一致的新的词汇序列。

单独来说,语言模型可以用于文本或语音生成;例如:

生成新的文章标题

生成新的句子、段落或文档

生成一个句子的后续句子

生成新的文章标题

生成新的句子、段落或文档

生成一个句子的后续句子

有关语言建模的更多内容,参阅:

语言建模-维基百科 /wiki/Language_model

循环神经网络的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks)

基于生成模型的文本到语音合成 /oxford-cs-deepnlp-/lectures/blob/master/Lecture 10 - Text to Speech.pdf

语言建模-维基百科 /wiki/Language_model

循环神经网络的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks)

基于生成模型的文本到语音合成 /oxford-cs-deepnlp-/lectures/blob/master/Lecture 10 - Text to Speech.pdf

下面是一个关于语言建模深度学习例子:

英语文本、书籍和新闻文章的语言模型

一种神经概率语言模型(A Neural Probabilistic Language Model)/papers/v3/bengio03a.html

英语文本、书籍和新闻文章的语言模型

一种神经概率语言模型(A Neural Probabilistic Language Model)/papers/v3/bengio03a.html

3.语音识别

语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应序列。

语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应序列。

——深度学习(page 458)

给定话语的音频数据,语音识别模型需要生成人类可读的文本。考虑到这个过程的自动性质,这个问题也可以被称为自动语音识别(ASR)。使用语言模型来创建文本输出,该输出基于音频数据。

一些例子包括:

转录讲话

为电影或电视节目制作文字说明

开车时用语音发出指令

转录讲话

为电影或电视节目制作文字说明

开车时用语音发出指令

有关语音识别的更多信息,请参阅:

语音识别-维基百科 /wiki/Speech_recognition

语音识别-维基百科 /wiki/Speech_recognition

下面是三个用于语音识别的深度学习方法的例子:

英语语音转文本

Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks,

Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks,

www.cs.toronto.edu/~graves/icml_.pdf

Speech Recognition with Deep Recurrent Neural Networks, .

Speech Recognition with Deep Recurrent Neural Networks, .

/abs/1303.5778

Exploring convolutional neural network structures and optimization techniques for speech recognition, .

Exploring convolutional neural network structures and optimization techniques for speech recognition, .

/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/

4. 字幕生成

字幕生成是有关描述图像内容的问题。给定例如照片等数字图像,生成图像内容的文本描述。语言模型用于创建以图像为条件的描述。

一些例子包括:

描述场景内容

创建照片标题

描述视频

描述场景内容

创建照片标题

描述视频

这不仅仅是为听力障碍者的应用,而且还可以生成可用于搜索图像和视频的具有可读性的文本,例如在网络上。

以下是3个字幕生成深入学习方法的例子:

生成照片标题

生成照片标题

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, .

/abs/1502.03044

Show and tell: A neural image caption generator, .

Show and tell: A neural image caption generator, .

/abs/1411.4555

生成视频字幕

生成视频字幕

Sequence to Sequence – Video to Text, .

/abs/1505.00487

5. 机器翻译

机器翻译是将一种语言的源文本转换为另一种语言的问题。

机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。

机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。

——统计自然语言处理基础,463页,1999。

考虑到神经网络的使用,这一领域也被称为神经机器翻译。

在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。

在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。

——深度学习,98页,

语言模型用于以另一种语言输出目标文本,以源文本为条件。

一些例子包括:

将文本文件从法语翻译成英语

将西班牙语音频转换为德语文本

将英语文本翻译成意大利语音频

将文本文件从法语翻译成英语

将西班牙语音频转换为德语文本

将英语文本翻译成意大利语音频

有关神经机器翻译的更多信息,参阅:

神经机器翻译-维基百科 /wiki/Neural_machine_translation

神经机器翻译-维基百科 /wiki/Neural_machine_translation

以下是机器翻译深度学习方法的3个例子:

将英语翻译成法语

Sequence to Sequence Learning with Neural Networks, .

Sequence to Sequence Learning with Neural Networks, .

/abs/1409.3215

Neural Machine Translation by Jointly Learning to Align and Translate, .

Neural Machine Translation by Jointly Learning to Align and Translate, .

/abs/1409.0473

Joint Language and Translation Modeling with Recurrent Neural Networks, .

Joint Language and Translation Modeling with Recurrent Neural Networks, .

/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/

6. 文档摘要

文档摘要是创建文本文档的简短描述的任务。即,使用语言模型来输出基于完整文档的总结性摘要。

文件摘要的一些例子包括:

创建文档的标题

创建文档的概要

创建文档的标题

创建文档的概要

有关该主题的更多信息,请参阅:

Automatic summarization-维基百科 /wiki/

深度学习是否(成功地)被应用于自动文本摘要?/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully

Automatic summarization-维基百科 /wiki/

深度学习是否(成功地)被应用于自动文本摘要?/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully

以下是关于文档摘要深度学习方法的3个例子:

新闻文章中的句子概要:

A Neural Attention Model for Abstractive Summarization, .

A Neural Attention Model for Abstractive Summarization, .

/abs/1509.00685

Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, .

Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, .

/abs/1602.06023

Neural Summarization by Extracting Sentences and Word, .

Neural Summarization by Extracting Sentences and Word, .

/abs/1603.07252

7. 问题回答

问题回答是给出一个主题(例如文本文档)回答有关该主题的具体问题的任务。

一些例子:

回答有关维基百科页面的问题

回答有关新闻文章的问题

回答有关病例的问题

回答有关维基百科页面的问题

回答有关新闻文章的问题

回答有关病例的问题

参阅:

Question answering - 维基百科

Question answering - 维基百科

/wiki/Question_answering

回答有关新闻文章的问题

回答有关新闻文章的问题

Teaching Machines to Read and Comprehend, .

/paper/5945-teaching-machines-to-read-and-comprehend

回答一般知识问题

回答一般知识问题

Question Answering over Freebase with Multi-Column Convolutional Neural Networks, .

/anthology/P15-1026

回答基于特定文件的实质性问题

回答基于特定文件的实质性问题

Deep Learning for Answer Sentence Selection, .

/abs/1412.1632

更多阅读

A Primer on Neural Network Models for Natural Language Processing, .

A Primer on Neural Network Models for Natural Language Processing, .

/abs/1510.00726

Natural Language Processing (almost) from Scratch, .

Natural Language Processing (almost) from Scratch, .

/abs/1103.0398

Deep Learning for Natural Language Processing, Practicals Overview, Oxford,

Deep Learning for Natural Language Processing, Practicals Overview, Oxford,

/oxford-cs-deepnlp-/lectures/blob/master/Lecture 2b - Overview of the Practicals.pdf

What NLP problems has deep learning or neural networks been applied to successfully?

What NLP problems has deep learning or neural networks been applied to successfully?

/What-NLP-problems-has-deep-learning-or-neural-networks-been-applied-to-successfully

Can deep learning make similar breakthroughs in natural language processing as it did in vision speech?

Can deep learning make similar breakthroughs in natural language processing as it did in vision speech?

/Can-deep-learning-make-similar-breakthroughs-in-natural-language-processing-as-it-did-in-vision-speech

原文:/applications-of-deep-learning-for-natural-language-processing/

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。