三个步骤
- 选择模型（function set）
- 定义准则函数
- 优化（从 function set 中选择最优 function）
分类
按任务类型分为三类：
- 分类（classification）输出是一个 scalar
- 回归（regression）输出是类别 one-hot 编码
- 结构化学习（structured learning）输出结构化数据
按照情形分类：
- 监督学习（supervised learning）知道真实输出
- 半监督学习（semi-supervised learning）一部分数据知道真实输出
- 无监督学习（unsupervised learning）不知道真实输出
- 迁移学习（transfer learning）learning from other tasks
- 强化学习（reinforcement learning）不知道正确答案，只知道每个选择或决策的好坏（learning from critics）
