贝叶斯决策论

在相关概率已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失选择最优的类别标记。

假设有N中可能的类别标记${c_1,c_2,c_3,…,c_N}, \lambda_{ij}$是将一个真实标记为$c_j$的样本误分类为i产生的损失。推出来样本x分类为$c_i$所产生的期望损失：

$R(c_i \mid x)=\sum\limits_{j=1}^N \lambda_{ij}P(c_j \mid x)$

支持向量机（Support Vector Machine）的求解通常是借助凸优化技术。

间隔与支持向量

给定训练样本集$D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)},y_i \in (-1,+1 )$ 分类学习最基本的思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。SVM就是帮助我们寻找到众多划分超平面中最符合的。

神经元

Neural Network神经网络：是由具有适应性的简单单元组成的广泛并进行互联的网络，他的组织能够模拟生物神经系统对真实的世界物体做出的交互反应

神经网络由一个个神经元（neuron）互联组成，神经元可以看作一个处理函数，当这个函数的输入超过某一个阈值，经过处理后单元会向其他单元发送信号。

决策树（decision tree）是一种常见的机器学习方法。目标是生成一个具有强泛化能力的（对未遇到的样本有很高的适应性）树形结构。

决策树包含一个根结点，若干内部结点以及若干叶子结点。叶子结点对应了确定的判断结果，其余的结点都是一个个的属性测试，属性测试分成的不同情况就是当前结点的子结点。决策树是一个递归的过程。

决策树生成学习的过程中，最重要的就是如何选择最优的划分属性。一般而言，随着划分过程的不断进行，决策树分支结点包含的样本应该尽可能的靠近。

示例有d个属性$(x_1 ; x_2 ; x_3… ; x_d)$描述，线性模型试图学得一个通过属性的线性组合来进行预测的函数。

$f(x)=w_1x_1+w_2x_2+…+w_dx_d+b$，w和b确定后，模型就确定了。w直观表达了各属性在预测中的重要性。

线性回归

线性回归试图学得$f(x_i)=wx_i+b$，使得$f(x_i) \approx y_i$

误差与拟合

误差

学习器的实际预测输出与样本的真是输出之间的差异称为”误差”

学习器在训练集上的误差叫”训练误差”

学习器在新样本的误差叫”泛化误差”（重要）

机器学习：研究如何通过计算的手段，利用经验来改善系统自身的性能。

计算机系统中，“经验”通常以“data”形式存在，所以机器学习从数据中产生模型（model）的算法，称为学习算法。模型，即从数据中学到的结果。

通过向学习算法中输入已有的数据，算法产生模型，面对新的case时，模型就可以通过case的特性进行判断。

一组数据的集合称为数据集，其中每条记录是关于一个事件或对象的描述，称为”示例”（instance）或者”样本”（sample）。

描述中不同的性质称为属性。通过属性做成的坐标轴称为属性空间、样本空间或者输入空间。

作者说过要“站在月球上来审视人类史”， 这是一本时间跨度长达400万年的历史巨著，所以他给我们的更多的应该是整个地球无尽岁月的点点缩影，让我们按照地理上的分布对不同地区不同时间不同文明有所了解。他更多承担的应该是兴趣入门。“历史的今天”，随时把历史上的重大变故跟当今世界的现状联系在一起，提醒着我们认清所生活的现实世界与历史的内在联系，从而使我们的思想能跨越时空的限制，在历史与现实的两个时空里驰骋，甚至由此产生自己出对历史事件的联想与对比，产生出自己的思想的火花与创作的冲动。由此让阅读历史，成为一种乐趣，成了一个对历史和现实两个世界的疑问同时不断探询和解答的过程。当我们对某个点感兴趣了，自己去查史料扩展自己的视野。匆匆读完一遍，随手记下感想。