贪心NLP6期 |完结无秘

50

银行业务中，有一个很重要的任务是挖掘更多潜在的客户，并让他们去开设定期存款账户。那这里的核心问题是：如何找到这些人？什么样的人更会有这方面的意愿？在这个案例中，我们会基于用户的相关信息（如年龄，教育程度、婚姻状况等）来预测这个用户是否有这个需求。我们将使用逻辑回归模型来解决这个问题。

知识要点

·逻辑回归

·数据理解

·独热编码处理

·特征选择

AI在教育中的应用也掀起了一股人潮，对于大多数K12或者大学教育来讲，提前预测一个学生是否能通过考试是一项很重要的话题。如果我们预测出某个学生有可能通过不了，那作为老师还有助教，需要采取一定的补救措施来帮助这些落后的学生。在这个案例中，我们将使用学生的各项基本信息、学习数据、出勤率、社交数据来预测是否及格与否，并分析其中的关键指标。

知识要点

·逻辑回归

·特征编码

·特征选择

·相关性分析

你是否曾经收到过保险公司的电话，让你去买保险呢？ 这种情况在生活中非常常见，很多时候你可能会觉得很反感，因为根本没有这方面的需求。在AI时代一种做法是，找对人，我们需要找到那个很可能需要买保险的人，并做精准地推广。在这个案例中，我们根据用户的基本信息并结合决策树来预测哪些人有可能有这方面需求。

知识要点

·决策树

·过拟合

·数据探索

现在市面上很多编辑工具都集成了自动纠错的功能，比如国外比较流行的Grammarly，还有Word本身也集成了拼写纠错的功能。那这种拼写纠错功能是如何开发出来的呢？在这里案例中，我们主要来解决这个问题。

知识要点

·语言模型

·贝叶斯定理

·编辑距离

SkipGram作为训练词向量技术，不仅应用在词的表示上，也可以用在推荐等应用中。在这个案例中，我们会试着使用SkipGram模型解决推荐系统中的问题。这里的核心问题是：如何表示产品才能套用在SkipGram框架中。

知识要点

·SkipGram

·推荐系统

词向量已成为NLP领域最核心的技术之一，这也要求我们必须要对词向量有很深入的理解。这个案例中，你将会有机会从零实现一个Word2Vec模型来训练词向量。之后，你甚至将有能力去灵活修改词向量模型来迎合业务需求。

知识要点

·Word2Vec

·SkipGram

·哈希算法

HMM作为经典的序列模型在语音识别、自然语言处理领域有着非常重要的地位。实际上，RNN, LSTM也都是借助了HMM的思想而提出来的技术。通过这个案例，我们可以非常深入理解EM算法、维特比算法、最大似然估计和序列模型相关的细节。HMM的实现对AI领域的理解有非常大的帮助。

知识要点

·HMM

·维特比算法

·EM算法

·序列模型

词性标注是NLP中很重要的基础任务，可用于很多的应用如机器翻译、文本分类、文本生成等等。词性标注（POS）属于序列标注任务之一，需要借助于序列模型来解决。在这个案例中，我们将使用HMM模型来解决词性标注的问题。

知识要点

·序列标注

·词性标注

·HMM

·特征工程

词性标注是NLP中很重要的基础任务，可用于很多的应用如机器翻译、文本分类、文本生成等等。词性标注（POS）属于序列标注任务之一，需要借助于序列模型来解决。在这个案例中，我们将使用Linear-CRF模型来解决词性标注的问题。

知识要点

·序列标注

·词性标注

·Linear-CRF

·特征工程

在这个案例中，我们将采用稍微复杂一点的人脸识别数据，并通过搭建多层神经网络来识别人脸。在搭建过程中，会涉及到神经元个数的原则、过拟合问题的考虑、图像处理等一系列细节。

知识要点

·人脸识别

·多层神经网络

·PCA

·图像处理

情感分析是一个经典的NLP任务，有着非常广泛的应用。在这个案例中，我们将使用LSTM模型来做情感分析。

知识要点

·LSTM

·情感分析

·词向量

LSTM是一个生成模型，可用来生成时序类的数据。在这个案例中，我们将使用LSTM来生成代码，也就是让机器帮我们写代码。

知识要点

·LSTM

·生成模型

跟代码的生成的类似，训练好的LSTM也可以用来生成文本如新闻稿件、维基百科文章、唐诗等。具体能生成的文本完全取决于我们训练时所用到的文本类别。

知识要点

·LSTM

·文本生成

Seq2Seq作为经典的端到端模型可以用来解决机器翻译的问题，也是目前工业界最流行的一种方法论。在这个案例中，我们将搭建一个小型的中英翻译系统。

知识要点

·Seq2Seq

·机器翻译

·解码

ELMo可以算是在预训练模型发展中的重要里程碑，它巧妙地借助了卷积神经网络中的层次表示思想，并应用在了文本领域。在这个案例中，我们从零搭建一个ELMo模型，并用它来训练动态词向量。

知识要点

·ELMo

·预训练技术

·深度BI-LSTM

除了Seq2Seq模型，Transformer也可以用于搭建机器翻译系统。Transformer有效地克服了Seq2Seq模型中所存在的长依赖问题，更好地处理比较长的文本。在这个案例中，我们将使用Transformer来搭建一个小型的翻译系统。

知识要点

·Transformer

·机器翻译

·自注意力机制

除了词性标注，命名实体识别也是非常重要的基础任务。它的效果直接决定应用层面上的表现。在这个案例中，我们将使用BERT-BILSTM-CRF模型来搭建一个命名实体识别器。

知识要点

·BERT

·BI-LSTM

·CRF

·命名实体识别

知识图谱的学习近年来收到了几大的关注，学者们也先后提出了像TransE等多款经典的模型。在这个案例中，我们将使用BERT技术并用来学习知识图谱中的嵌入。

知识要点

·BERT

·知识图谱

·嵌入技术

很多时候同样的单词在不同上下文中表达不一样的意思如苹果手机和苹果水果。在这个案例中，我们将使用相似度算法来解决实体消歧问题。

知识要点

·实体消歧

·余弦相似度

·文本表示

信息抽取中一项很重要的任务是关系的抽取。在关系抽取中，我们经常需要分析不同实体之间的关系，这部分其实可以用依存文法分析来解决。在这个案例中，我们将讲解依存文法分析技术的具体应用点。

知识要点

·依存文法分析

·关系抽取

·信息抽取

知识图谱一个很重要的工业界场景是风控。在这个案例中，我们将详细介绍从风控知识图谱构建到、存储以及算法应用的细节。

知识要点

·知识图谱

·大数据风控

·知识图谱的设计

知识图谱在个性化教学中也起到非常重要的作用，主要用来维护知识点之间的关系，为后续个性化推荐以及能力评估提供了重要的基础。在这个案例中，我们将阐述如何基于知识图谱来设计一个个性化教学系统。

知识要点

·知识图谱

·个性化教育

·能力评测

通常情况下，Transformer等模型本身非常大，拥有非常多的参数，不易于放到嵌入式等设备上去使用，所以在集成之前需要做一些压缩的工作。在这个案例中，我们将使用蒸馏算法对Transformer模型做压缩。

知识要点

·模型蒸馏

·Transformer

·模型压缩

类似于Transformer，在实际应用中Seq2Seq模型所消耗的资源和时间也是挺大的。在这个案例中，我们将使用蒸馏算法对Seq2Seq模型做压缩。

知识要点

·模型蒸馏

·Seq2Seq

·模型压缩

社交网络如Twitter，微博实际上就是一个图。在网络中每个节点代表的是人，关系代表的是人和人之间的某种链接。 在这个案例中，我们将使用GCN模型来分析网络的特点以及潜在的关系。

知识要点

·GCN

·网络分析

·网络特征

在传统的推荐系统中，我们通常使用协同过滤等算法。另外一种视角是把推荐网络本身看作是异构网络，并使用图算法来解决推荐的问题。在这个案例中，我们将使用GCN模型来解决基于网络的推荐。

知识要点

·GCN

·推荐系统

·异构网络

·图算法

社交网络如Twitter，微博实际上就是一个图。在网络中每个节点代表的是人，关系代表的是人和人之间的某种链接。 在这个案例中，我们将使用GAT模型来分析网络的特点以及潜在的关系。

知识要点

·GAT

·网络分析

·网络特征

随着信息爆炸式的增加，也避免不了很多虚假的信息如虚假新闻。比如在疫情期间，很多媒体为了蹭热点发布的可能是虚假新闻。检测虚假新闻本身属于文本分类问题。在这个案例中，我们试着使用GAT模型来做文本分类，并结合一些社交网络的特征。

知识要点

·GAT

·文本分类

·社交分析