《机器学习初步》笔记
第一章 绪论
1.1 引言
机器学习的经典定义：利用经验（数据）改善系统自身的性能
经典的机器学习过程：
机器学习最重要的理论模型：PAC（概览近似正确）
1.2 基本术语
数据集：一组记录的集合
学习/训练：通过执行某个学习算法，得到模型，学的的模型对应数据的某种潜在规律
示例：不包含结果（标记label） ， 样例:包含结果（标记label）
样本 ， 属性（eg.色泽） ， 属性值
属性空间、样本空间、输入空间：
学习器：模型
分类：离散的输出（是or否） ，回归：连续的输出（0->1）
二分类（正类，负类<可交换>），多分类
无监督学习：不知道结果（任务：密度统计） ， 监督学习：知道结果（任务：分类，回归）
1.3 假设空间
学习过程：在所有假设组成的空间中进行搜索的过程（目标：找到与训练集匹配的假设）
版本空间：与训练集一致的假设集合
1.4 归纳偏好
有效的机器学习必有其偏好
学习算法的归纳偏好是否与问题本身匹配，决定了算法的性能
1.5 NFL定理
一个算法a若在某些问题上比另一个算法b好，必存在另一些问题b比a好
具体问题，具体分析