NLP专项小班

- 自然语言和机器学习模型之间的桥梁：文本处理和文本表示。 - 文本处理包括：分词、词性标注、依存句法分析、词性归一、取词根、去停用词。你需要知道什么时候该用什么处理。 - 基本的文本表示包括：向量空间模型即词袋模型（One-hot, TF, TF-IDF）、主题模型（LSA、pLSA、LDA）。 - 最简单用法初探：文本表示可以用来做什么？计算本文相似度、K-Means聚类、KNN分类等。 - 常用Python包简介：Numpy、Pandas、NLTK、Gensim、Sklearn、Torch。你需要用这些工具实现相关概念和你的设计想法。 - 关键要点：在不用神经网络的情景下，我们可以用传统的方法做什么？

- 当你要用一个机器学习模型时，你要考虑：任务的输入输出数据、模型构建、损失函数、模型优化和模型评价。 - 感知机：线性回归和逻辑回归在模型、损失和优化上的区别和联系，还有哪些激活函数可用？梯度下降算法又是什么？ - 多层感知机：最简单的神经网络模型，你需要知道前向传播和反向传播。 - 深度神经网络：卷积神经网络中的卷积操作和池化操作的意义何在？循环神经网络的神经元为什么要用LSTM或者GRU？注意力机制到底是什么？为什么自注意力机制可以统治一切？ - 提高神经网络模型的常用Tricks：Dropout、Weight Decay、Batch Normalization、Layer Normalization、Early Stopping等 - 关键要点：神经网络中的每一个概念都不是独立存在的，联系在一起思考可以帮助你触类旁通。

- NLP的高级任务可以粗分为：表示和分类，分类可应用至主题分类、新闻分类、情感分析、意图识别等。 - 词嵌入：语言模型怎么用神经网络实现？语言模型是什么？预训练模型是什么？在这个思路下，Word2vec、Glove、FastText这些工具是怎么做的？相比于向量空间模型和主题模型，词嵌入这个表示有什么好处？ - 文本分类：不用神经网络的文本分类范式？神经网络框架下如何构建文本分类模型？思路是什么？优势何在？ - 情感分析：情感分析是文本分类么？该从几个层次考虑情感分析？为什么要做细粒度的情感分析？怎么做？模型构建有何不同？ - 评价指标：Confusion Matrix是什么？Accuracy、Precision、Recall、F1 Score之间的关系？ROC曲线和AUC面积的关系？我们为什么要用LogLoss来评价模型？ - 关键要点：模型构建思路的衍化里暗含着对各个神经网络框架优缺点的考量。没有最好的模型，只有更适合的模型。

- 模拟面试：用Mock的方式回顾文本处理、神经网络概念、文本表示、文本分类。 - 手把手写代码：用Pytorch写一个机器学习项目时你要考虑哪些点？从宏观上来说，你要考虑数据处理及数据分析、模型构建及训练、模型预测及评价；从微观来说，你的每一部分要用什么API去实现以及该如何组织你的代码框架？ - 关键要点：所有的ML-NLP项目都可共享一套代码体系框架，只要你掌握这一种，你可以迅速将之扩展至任何任务、任何数据，快速迭代你的模型构建想法，快速实现模型验证和线上部署。