贪心学院-机器学习高级训练营|资料齐全|完结无秘

44

Week 1: 凸优化介绍

1. 从优化角度理解机器学习
2. 凸优化的重要性
3. 常见的凸优化问题
4. 线性规划以及Simplex Method
5. Stochastic LP
6. 案例：运输问题讲解

Week 2: 判定凸函数

1. 凸集的判断
2. First-order Convexity
3. Second-order convexity
4. Operations preserve convexity
5. 二次规划问题（QP)
6. 案例：最小二乘问题
7. 项目：股票投资组合优化

Week 3: 凸优化问题

1. 常见的凸优化问题类别
2. 半定规划问题（semi-definite programming）
3. 几何规划问题（geometric programming）
4. 非凸函数的优化
5. 松弛化（relaxazation）
6. 整数规划（integer programming）
7. 案例：打车中的匹配问题

Week 4: 对偶（Duality）

1. 拉格朗日对偶函数
2. 对偶的几何意义
3. Weak and Strong Duality
4. KKT条件
5. LP, QP, SDP的对偶问题
6. 对偶的其他应用
7. 案例：经典机器学习模型的对偶推导及实现

Week 5: 优化技术

1. 一阶与二阶优化技术
2. Gradient Descent
3. Subgradient Method
4. Proximal Gradient Descent
5. Projected Gradient Descent
6. Stochastic Gradient Descent与收敛
7. Newton’s Method
8. Quasi-Newton Method

Week 6: 数学基础

1. 向量空间和图论基础
2. Inner Product, Hilbert Space
3. Eigenfunctions, Eigenvalue
4. 傅里叶变化
5. 卷积操作
6. Time Domain and Spectral Domain
7. Laplacian, Graph Laplacian

Week 7: 谱域（Spectral Domain）的图神经网络

1. 卷积神经网络回归
2. 卷积操作的数学意义
3. Graph Convolution
4. Graph Filter
5. ChebNet
6. CayleyNet
7. GCN
8. Graph Pooling
9. 案例：基于GCN的推荐间域与谱域的比较

Week 8: 空间域（Spatial Domain）的图神经网络

1. Spatial Convolution
2. Mixture Model Network (MoNet)
3. 注意力机制（Attention Mechanism)
4. Graph Attention Network(GAT)
5. Edge Convolution
6. 空间域与谱域的比较
7. 项目：基于图神经网络的链路预测

Week 9: 图神经网络改进与应用

1. 拓展1: Relative Position与图神经网络
2. 拓展2：融入Edge特征：Edge GCN
3. 拓展3：图神经网络与知识图谱: Knowledge GCN
4. 拓展4：姿势识别：ST-GCN
5. 案例：基于图的文本分类
6. 案例：基于图的阅读理解

Week 10: 强化学习基础

1. Markov Decision Process
2. Bellman equation
3. 三种方法：Value-based, Policy-based, Model-based
4. Value-based Approach: Q-learning
5. Policy-based Approach: SARSA

Week 11: Bandicts

1. Multi-armed bandicts
2. Epsilon-Greedy
3. Upper Confidence Bound (UCB)
4. Contextual UCB: LinUCB & Kernel UCB
5. 案例：Bandits在推荐系统的应用案例

Week 12: 路径规划

1. Monte-Carlo Tree Search
2. N-step learning
3. Approximation and reward shaping
4. 项目：强化学习在游戏中的应用案例
5. 结合深度学习：Deep RL

Week 13: 自然语言处理中的RL

1. Seq2seq模型的问题
2. 结合Evaluation Metric的自定义loss
3. 结合aspect的自定义loss
4. 不同RL模型与seq2seq模型的结合
5. 案例：基于RL的对话系统

Week 14: 贝叶斯方法论简介

1. 贝叶斯定理
2. 从MLE, MAP到贝叶斯估计
3. 集成模型与贝叶斯方法比较
4. 贝叶斯方法在计算上的Intractiblity
5. MCMC与变分法简介
6. 贝叶斯线性回归
7. 贝叶斯神经网络
8. 案例：基于Bayesian-LSTM的命名实体识别

Week 15: 主题模型

1. 生成模型与判别模型
2. 隐变量模型
3. 贝叶斯中的prior重要性
4. 狄利克雷分布、多项式分布
5. LDA的生成过程
6. LDA中的参数与隐变量
7. Supervised LDA
8. Dynamic LDA
9. LDA的其他变种
10. 项目：LDA的基础上修改并搭建无监督情感分析模型

Week 16: MCMC方法

1. Detail Balance
2. 对于LDA的吉布斯采样
3. 对于LDA的Collapsed吉布斯采样
4. Metropolis Hasting
5. Importance Sampling
6. Rejection Sampling
7. 大规模分布式MCMC
8. 大数据与SGLD
9. 案例：基于分布式的LDA训练

Week 17: 变分法（variational method)

1. 变分法核心思想
2. KL散度与ELBo的推导
3. Mean-Field变分法
4. EM算法
5. LDA的变分法推导
6. 大数据与SVI
7. 变分法与MCMC的比较
8. Variational Autoencoder
9. robabilistic Programming
10. 案例：使用概率编程工具来训练贝叶斯模型、