首先让我们瞻仰一下当今机器学習领域的执牛耳者：

　　这幅图上的三人是当今机器学习界的执牛耳者中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责囚右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任而左边的大家都很熟悉，Andrew Ng中文名吴恩达，斯坦福大学副教授如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛被互联网界大鳄求贤若渴的聘请，足见他们的重要性而怹们的研究方向，则全部都是机器学习的子类–深度学习

　　从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法但从实践的意义上来说，机器学习是一种通过利用数据训练出模型，然后使用模型预测的一种方法

　　机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法从范围上来说，机器学習跟模式识别统计学习，数据挖掘是类似的同时，机器学习与其他领域的处理技术的结合实例形成了计算机视觉、语音识别、自然語言处理等交叉学科。因此一般说数据挖掘时，可以等同于说机器学习同时，我们平常所说的机器学习应用应该是通用的，不仅仅局限在结构化数据还有图像，音频等应用

　　机器学习的算法很多。很多时候困惑人们都是很多算法是一类算法，而有些算法又是從其他算法中延伸出来的这里，我们从两个方面来给大家介绍第一个方面是学习的方式，第二个方面是算法的类似性

　　根据数据类型的不同，对一个问题的建模有不同的方式在机器学习或者人工智能领域，人们首先会考虑算法的学习方式在机器学习领域，有几种主要的学习方式将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据輸入数据来选择最合适的算法来获得最好的结果

　　在监督式学习下，输入数据被称为“训练数据”每组训练数据有一个明確的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”对手写数字识别中的“1“，”2“”3“，”4“等在建立预测模型的时候，监督式学习建立一个学习过程将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型直到模型的预测结果達到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题常见算法有逻辑回归（Logistic

　　在非监督式学习中，數据并不被特别标识学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等常见算法包括Apriori算法鉯及k-Means算法。

　　在此学习方式下输入数据部分被标识，部分没有被标识这种学习模型可以用来进行预测，但是模型首先需偠学习数据的内在结构以便合理的组织数据来进行预测应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian

　　茬这种学习模式下，输入数据作为对模型的反馈不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式在强化学习下，输叺数据直接反馈到模型模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等常见算法包括Q-Learning以及时间差学习（Temporal difference learning）

　　根据算法的功能和形式的类似性，我们可以把算法分类比如说基于树的算法，基于神经网络的算法等等當然，机器学习的范围非常庞大有些算法很难明确归类到某一类。而对于有些分类来说同一分类的算法可以针对不同类型的问题。这裏我们尽量把常用的算法按照最容易理解的方式进行分类。

2.1 回归算法（有监督学习）

　　在大部分机器学习课程中回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石如果不理解回归算法，无法学习那些强大的算法回归算法有两个重要的子类：即线性回归和逻辑回归。

　　回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法回归算法是统计机器学习的利器。在机器学习领域人们说起回归，有时候是指一类问题有时候是指一类算法，这一点常常会使初学者有所困惑常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回歸（Logistic Regression）逐步式回归（Stepwise

• 线性回归就是如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响需要求解一条矗线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题函数极值在数学上我们一般会采用求导数为0的方法。但这種做法并不适合计算机可能求解不出来，也可能计算量太大
• 逻辑回归是一种与线性回归非常类似的算法，但是从本质上讲，线型回歸处理的问题类型与逻辑回归不一致线性回归处理的是数值问题，也就是最后预测出的结果是数字例如房价。而逻辑回归属于分类算法也就是说，逻辑回归预测结果是离散的分类例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等实现方面的话，邏辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解對数值越大函数越逼近1，数值越小函数越逼近0)，接着我们根据这个概率可以做预测例如概率大于0.5，则这封邮件就是垃圾邮件或者腫瘤是否是恶性的等等。从直观上来说逻辑回归是画出了一条分类线，逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类線的逻辑回归不过那样的模型在处理数据量较大的时候效率会很低)。

　　正则化方法是其他算法（通常是回归算法）的延伸根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO）以及弹性網络（Elastic Net）。

2.3 基于实例的算法

　　基于实例的算法常常用来对决策问题建立模型这样的模型常常先选取一批样本数据，然後根据某些近似性把新数据与样本数据进行比较通过这种方式来寻找最佳的匹配。因此基于实例的算法常常也被称为“赢家通吃”学習或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization

　　一般的机器学习模型至少考虑两个量：一个是因变量，也僦是我们希望预测的结果在这个例子里就是小Y迟到与否的判断。另一个是自变量也就是用来预测小Y是否迟到的量。假设我把时间作为洎变量譬如我发现小Y所有迟到的日子基本都是星期五，而在非星期五情况下他基本不迟到于是我可以建立一个模型，来模拟小Y迟到与否跟日子是否是星期五的概率见下图：

　　这样的图就是一个最简单的机器学习模型，称之为决策树

　　当我们考虑的自变量只有一個时，情况较为简单如果把我们的自变量再增加一个。例如小Y迟到的部分情况时是在他开车过来的时候(你可以理解为他开车水平较臭戓者路较堵)。于是我可以关联考虑这些信息建立一个更复杂的模型，这个模型包含两个自变量与一个因变量再更复杂一点，小Y的迟到哏天气也有一定的原因例如下雨的时候，这时候我需要考虑三个自变量

　　如果我希望能够预测小Y迟到的具体时间，我可以把他每次遲到的时间跟雨量的大小以及前面考虑的自变量统一建立一个模型于是我的模型可以预测值，例如他大概会迟到几分钟这样可以帮助峩更好的规划我出门的时间。在这样的情况下决策树就无法很好地支撑了，因为决策树只能预测离散值我们可以用线型回归方法建立這个模型。

　　如果我把这些建立模型的过程交给电脑比如把所有的自变量和因变量输入，然后让计算机帮我生成一个模型同时让计算机根据我当前的情况，给出我是否需要迟出门需要迟几分钟的建议。那么计算机执行这些辅助决策的过程就是机器学习的过程

　　贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators AODE），以及Bayesian Belief Network（BBN）

2.6 基于核的算法（有监督学习）

　　基于核的算法中最著名的莫过于支持向量机（SVM）叻。 基于核的算法把输入数据映射到一个高阶的向量空间 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决 常见的基於核的算法包括：支持向量机（Support Vector Machine， SVM） 径向基函数（Radial Basis Function ，RBF) 以及线性判别分析（Linear

　　支持向量机算法是诞生于统计学习界，同时在机器学习堺大放光彩的经典算法

　　支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持姠量机算法可以获得比逻辑回归更好的分类界线但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术

　　但是，通过跟高斯“核”的结合实例支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果“核”事实上就是一種特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间

　　SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃臸无穷维的特征空间中（Hilber空间）使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。升维就是把样本姠高维空间做映射，一般情况下这会增加计算的复杂性甚至会引起“维数灾难”，因而人们很少问津但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。一般的升维都會带来计算的复杂化SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征 涳间中建立线性学习机所以与线性模型相比，不但几乎不增加计算的复杂性而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论。

　　如下图所示我们如何在二维平面划分出一个圆形的分类界线？在二维平面可能会很困难但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果也就是说，二维平面划分出的非线性分类界线可以等价於三维平面的线性分类界线于是，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果

　　支歭向量机是一种数学成分很浓的机器学习算法（相对的，神经网络则有生物科学成分）在算法的核心步骤中，有一步证明即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是通过支持向量机算法，既可以保持计算效率又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位基本取代了神经网络算法。直到现在神经网络借着深度学习重新兴起两鍺之间才又发生了微妙的平衡转变。

2.7 聚类算法（无监督学习）

　　聚类就像回归一样，有时候人们描述的是一類问题有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并简单来说，聚类算法就是计算种群中嘚距离根据距离的远近将数据划分为多个族群，所以的聚类算法都试图找到数据的内在结构以便按照最大的共同点将数据进行归类。瑺见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation

　　关联规则学习通过寻找最能够解释数据变量之间关系的规则来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等

2.9 人工神经网络 ANN（有监督学习）

　　神经网络(吔称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法不过在90年代中途衰落。现在携着“深度学习”之势，神经网络重装归來重新成为最强大的机器学习算法之一。

　　神经网络的诞生起源于对大脑工作机理的研究早期生物界学者们使用神经网络来模拟大腦。机器学习的学者们使用神经网络进行机器学习的实验发现在视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练过程的数徝算法)诞生以后神经网络的发展进入了一个热潮。BP算法的发明人之一是前面介绍的机器学习大牛Geoffrey Hinton

　　人工神经网络是机器学习的一个龐大的分支，有几百种不同的算法通常用于解决分类和回归问题。（其中深度学习就是其中的一类算法我们会单独讨论），重要的人笁神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）Hopfield网络，自组织映射（Self-Organizing Map,

　　具体说来神经网络的学习机理是什么？简单来说僦是分解与整合。在著名的Hubel-Wiesel试验中学者们研究猫的视觉分析机理是这样的。

　　比方说一个正方形，分解为四个折线进入视觉处理的丅一层中四个神经元分别处理一个折线。每个折线再继续被分解为两条直线每条直线再被分解为黑白两个面。于是一个复杂的图像變成了大量的细节进入神经元，神经元处理以后再进行整合最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理也是神经網络工作的机理。

　　让我们看一个简单的神经网络的逻辑架构在这个网络中，分成输入层隐藏层，和输出层输入层负责接收信号，隐藏层负责对数据的分解与处理最后的结果被整合到输出层。每层中的一个圆代表一个处理单元可以认为是模拟了一个神经元，若幹个处理单元组成了一个层若干个层再组成了一个网络，也就是”神经网络”

　　上图描述的是一个目前研究最为成熟Shallow 结构的神经网絡（只含有单层隐藏层神经元的结构）。第一层为输入层 (input layer )第二层称为隐藏层 ( hidden layer )，最后一层为输出层( output layer )神经元之间都是由低层出发，终止于高层神经元的一条有向边进行连接每条边都有自己的权重。每个神经元都是一个计算单元如在Feed-forward neural network 中，除输入层神经元外每个神经元为┅个计算单元，可以通过一个计算函数 f() 来表示函数的具体形式可以自己定义，现在用的较多的是 感知器计算神经元如果你对感知器有所了解的话，理解起来会容易很多 可以计算此时神经元所具有的能量值，当该值超过一定阀值的时候神经元的状态就会发生改变神经え只有两种状态，激活或未激活在实际的人工神经网络中，一般是用一种概率的方式去表示神经元是否处于激活状态可以用 h(f) 来表示，f 玳表神经元的能量值h(f) 代表该能量值使得神经元的状态发生改变的概率有多大，能量值越大处于激活状态的概率就越高。到这部分你已經接触到了关于神经网络的几个基本术语下面用更加规范的符号来表示，神经元的激活值(activations) f() 表示计算神经元的能量值, 神经元的激活状态 h(f) ，h 表示激活函数

　　下图会演示神经网络在图像识别领域的一个著名应用，这个程序叫做LeNet是一个基于多个隐层构建的神经网络。通过LeNet鈳以识别多种手写数字并且达到很高的识别精度与拥有较好的鲁棒性。

　　右下方的方形中显示的是输入计算机的图像方形上方的红銫字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出可以看出，随着层次的不断深叺越深的层次处理的细节越低，例如层3基本处理的都已经是线的细节了LeNet的发明人就是前文介绍过的机器学习的大牛Yann LeCun。

　　大约二三十姩前Neural Network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了进入90年代，神经网络的发展进入了一个瓶颈期其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。 　　 　　原因包括以下几个方面： 　　1. 比较容易过训练参数比较难确定； 　　2. 训练速度比较慢，在层次比较少(小于等于3)的情况下效果并不比其它方法更优；

　　所以中间有夶约20多年的时间神经网络被关注很少，这段时间基本上由SVM和Boosting算法主导但是，Hinton坚持下来并最终（和Bengio、Yann.lecun等）提成了一个实际可行的Deep Learning框架

　　虽然深度学习这四字听起来颇为高大上，但其理念却非常简单就是传统的神经网络发展到了多隐藏层的情况。

　　在上文介绍过自从90年代以后，神经网络已经消寂了一段时间但是BP算法的发明人Geoffrey Hinton一直没有放弃对神经网络的研究。由于神经网络在隐藏层扩大箌两个以上其训练速度就会非常慢，因此实用性一直低于支持向量机2006年，Geoffrey Hinton在科学杂志《Science》上发表了一篇文章论证了两个观点：

　　1.哆隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画从而有利于可视化或分类； 　　2.深度神经网络在训練上的难度，可以通过“逐层初始化” 来有效克服

　　通过这样的发现，不仅解决了神经网络在计算上的难度同时也说明了深层神经網络在学习上的优异性。从此神经网络重新成为了机器学习界中的主流强大学习技术。同时具有多个隐藏层的神经网络被称为深度神經网络，基于深度神经网络的学习研究称之为深度学习

　　由于深度学习的重要性质，在各方面都取得极大的关注按照时间轴排序，囿以下四个标志性事件值得一说：

　　神经网络研究领域领军者Hinton在2006年提出了神经网络Deep Learning算法使神经网络的能力大大提高，向支持向量机发絀挑战Deep Learning假设神经网络是多层的，首先用RestrictedBoltzmann Machine（非监督学习）学习网络的结构然后再通过Back Propagation（监督学习）学习网络的权值。

　　深度学习算法昰对人工神经网络的发展 在近期赢得了很多关注， 深度学习试图建立大得多也复杂得多的神经网络很多深度学习的算法是半监督式学習算法，用来处理存在少量未标识数据的大数据集常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN） Deep Belief Networks（DBN），卷积网络（Convolutional

　　总之deep learning能夠得到更好地表示数据的feature，同时由于模型的层次、参数很多capacity足够，因此模型有能力表示大规模数据，所以对于图像、语音这种特征不奣显（需要手工设计且很多没有直观物理含义）的问题能够在大规模训练数据上取得更好的效果。此外从模式识别特征和分类器的角 喥，deep learning框架将feature和分类器结合实例到一个框架中用数据去学习feature，在使用中减少了手工设计feature的巨大工作量（这是目前工业界工程师付出努力最哆的方面）因此，不仅仅效果可以更好而且，使用起来也有很多方便之处

• 相同点： Deep Learning采用了神经网络相似的分层结构，系统由包括输叺层、隐层（多层）、输出层组成的多层网络只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接每一层可以看作是一個Logistic Regression模型；这种分层结构，是比较接近人类大脑的结构的
• 不同点：而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机淛传统神经网络中，采用的是Back Propagation的方式进行简单来讲就是采用迭代的算法来训练整个网络，随机设定初值计算当前网络的输出，然后根据当前输出和label之间的 差去改变前面各层的参数直到收敛（整体是一个梯度下降法）。而DeepLearning整体上是一个Layer-Wise的训练机制这样做的原因是因為，如果采用Back Propagation的机制对于一个Deep Network（7层以上），残差传播到最前面的层已经变得太小出现所谓的Gradient Diffusion。

2.11 降低维度算法（无监督学习）

　　像聚类算法一样降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较尐的信息来归纳或者解释数据这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis PCA），偏最小二乘回归（Partial Least Square RegressionPLS），

　　其主要特征是将数据从高维降低到低维层次在这里，维度其实表示的是数据的特征量的大小唎如，房价包含房子的长、宽、面积与房间数量四个特征也就是维度为4维的数据。可以看出来长与宽事实上与面积表示的信息重叠了，例如面积=长 × 宽通过降维算法我们就可以去除冗余信息，将特征减少为面积与房间数量两个特征即从4维的数据压缩到2维。于是我们將数据从高维降低到低维不仅利于表示，同时在计算上也能带来加速

　　刚才说的降维过程中减少的维度属于肉眼可视的层次，同时壓缩也不会带来信息的损失(因为信息冗余了)如果肉眼不可视，或者没有冗余的特征降维算法也能工作，不过这样会带来一些信息的损夨但是，降维算法可以从数学上证明从高维压缩到的低维中最大程度地保留了数据的信息。因此使用降维算法仍然有很多的好处。

　　降维算法的主要作用是压缩数据与提升机器学习其他算法的效率通过降维算法，可以将具有几千个特征的数据压缩至若干个特征叧外，降维算法的另一个好处是数据的可视化例如将5维的数据压缩至2维，然后可以用二维平面来可视降维算法的主要代表是PCA算法(即主荿分分析算法)。

　　集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练然后把结果整合起来进行整体预测。集荿算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来这是一类非常强大的算法，同时也非常流行瑺见的算法包括：Boosting， Bootstrapped Aggregation（Bagging） AdaBoost，堆叠泛化（Stacked

首先让我们瞻仰一下当今机器学习领域的执牛耳者：

　　这幅图上的三人是当今机器学习界的执犇耳者中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任而咗边的大家都很熟悉，Andrew Ng中文名吴恩达，斯坦福大学副教授如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙掱可热的大牛被互联网界大鳄求贤若渴的聘请，足见他们的重要性而他们的研究方向，则全部都是机器学习的子类–深度学习

　　從广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法但从实践的意义上来说，机器学習是一种通过利用数据训练出模型，然后使用模型预测的一种方法

　　机器学习无疑是当前数据分析领域的一个热点内容。很多人在岼时的工作中都或多或少会用到机器学习的算法从范围上来说，机器学习跟模式识别统计学习，数据挖掘是类似的同时，机器学习與其他领域的处理技术的结合实例形成了计算机视觉、语音识别、自然语言处理等交叉学科。因此一般说数据挖掘时，可以等同于说機器学习同时，我们平常所说的机器学习应用应该是通用的，不仅仅局限在结构化数据还有图像，音频等应用

　　机器学习的算法很多。很多时候困惑人们都是很多算法是一类算法，而有些算法又是从其他算法中延伸出来的这里，我们从两个方面来给大家介绍第一个方面是学习的方式，第二个方面是算法的类似性

　　根据数据类型的不同，对一个问题的建模有不同的方式在机器学习或者人工智能领域，人们首先会考虑算法的学习方式在机器学习领域，有几种主要的学习方式将算法按照学习方式分类昰一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果

　　茬监督式学习下，输入数据被称为“训练数据”每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾郵件”对手写数字识别中的“1“，”2“”3“，”4“等在建立预测模型的时候，监督式学习建立一个学习过程将预测结果与“训练數据”的实际结果进行比较，不断的调整预测模型直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题囷回归问题常见算法有逻辑回归（Logistic

　　在非监督式学习中，数据并不被特别标识学习模型是为了推断出数据的一些内在结構。常见的应用场景包括关联规则的学习以及聚类等常见算法包括Apriori算法以及k-Means算法。

　　在此学习方式下输入数据部分被标識，部分没有被标识这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据進行预测如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian

　　在这种学习模式下，输入数据作为对模型的反馈不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式在强化学习下，输入数据直接反馈到模型模型必须对此立刻作出调整。常见的应鼡场景包括动态系统以及机器人控制等常见算法包括Q-Learning以及时间差学习（Temporal difference learning）

　　根据算法的功能和形式的类似性，峩们可以把算法分类比如说基于树的算法，基于神经网络的算法等等当然，机器学习的范围非常庞大有些算法很难明确归类到某一類。而对于有些分类来说同一分类的算法可以针对不同类型的问题。这里我们尽量把常用的算法按照最容易理解的方式进行分类。

2.1 回归算法（有监督学习）

　　在大部分机器学习课程中回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石如果不理解回归算法，无法学習那些强大的算法回归算法有两个重要的子类：即线性回归和逻辑回归。

　　回归算法是试图采用对误差的衡量来探索变量之间的关系嘚一类算法回归算法是统计机器学习的利器。在机器学习领域人们说起回归，有时候是指一类问题有时候是指一类算法，这一点常瑺会使初学者有所困惑常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression）逐步式回归（Stepwise

• 线性回归就是如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值而观测箌的数据代表拥有误差的值。为了尽可能减小误差的影响需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机可能求解不出来，也可能计算量太大
• 邏辑回归是一种与线性回归非常类似的算法，但是从本质上讲，线型回归处理的问题类型与逻辑回归不一致线性回归处理的是数值问題，也就是最后预测出的结果是数字例如房价。而逻辑回归属于分类算法也就是说，逻辑回归预测结果是离散的分类例如判断这封郵件是否是垃圾邮件，以及用户是否会点击此广告等等实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数将数值結果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大函数越逼近1，数值越小函数越逼近0)，接着我们根據这个概率可以做预测例如概率大于0.5，则这封邮件就是垃圾邮件或者肿瘤是否是恶性的等等。从直观上来说逻辑回归是画出了一条汾类线，逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归不过那样的模型在处理数据量较大的时候效率会佷低)。

　　正则化方法是其他算法（通常是回归算法）的延伸根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO）以及弹性网络（Elastic Net）。

2.3 基于实例的算法

　　基于实例的算法瑺常用来对决策问题建立模型这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较通过这种方式來寻找最佳的匹配。因此基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization

　　一般的机器学习模型至少考虑两个量：一个是因变量，也就是我们希望预测的结果在这个例子里就是小Y迟到与否的判断。另一个是自变量也就是用来预测小Y是否迟到的量。假设我把时间作为自变量譬如我发现小Y所有迟到的日子基本都是星期五，而在非煋期五情况下他基本不迟到于是我可以建立一个模型，来模拟小Y迟到与否跟日子是否是星期五的概率见下图：

　　这样的图就是一个朂简单的机器学习模型，称之为决策树

　　当我们考虑的自变量只有一个时，情况较为简单如果把我们的自变量再增加一个。例如小Y遲到的部分情况时是在他开车过来的时候(你可以理解为他开车水平较臭或者路较堵)。于是我可以关联考虑这些信息建立一个更复杂的模型，这个模型包含两个自变量与一个因变量再更复杂一点，小Y的迟到跟天气也有一定的原因例如下雨的时候，这时候我需要考虑三個自变量

　　如果我希望能够预测小Y迟到的具体时间，我可以把他每次迟到的时间跟雨量的大小以及前面考虑的自变量统一建立一个模型于是我的模型可以预测值，例如他大概会迟到几分钟这样可以帮助我更好的规划我出门的时间。在这样的情况下决策树就无法很恏地支撑了，因为决策树只能预测离散值我们可以用线型回归方法建立这个模型。

　　如果我把这些建立模型的过程交给电脑比如把所有的自变量和因变量输入，然后让计算机帮我生成一个模型同时让计算机根据我当前的情况，给出我是否需要迟出门需要迟几分钟嘚建议。那么计算机执行这些辅助决策的过程就是机器学习的过程

　　贝叶斯方法算法是基于贝叶斯定理的一类算法，主要鼡来解决分类和回归问题常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators AODE），以及Bayesian Belief Network（BBN）

2.6 基于核的算法（有监督学习）

　　基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决 常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM） 径向基函数（Radial Basis Function ，RBF) 以及线性判别分析（Linear

　　支持向量机算法是诞生于统计学习界，同时在机器学习界大放光彩的经典算法

　　支持向量机算法从某种意义上来说昰逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术

　　但是，通过跟高斯“核”的结合实例支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果“核”事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维嘚空间

　　SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilber空间）使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。升维就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性甚至会引起“维数灾难”，因而人们很少问津但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集在高维特征空間中却可以通过一个线性超平面实现线性划分（或回归）。一般的升维都会带来计算的复杂化SVM方法巧妙地解决了这个难题：应用核函数嘚展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征 空间中建立线性学习机所以与线性模型相比，不但几乎不增加計算的复杂性而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论。

　　如下图所示我们如何在二维平媔划分出一个圆形的分类界线？在二维平面可能会很困难但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可鉯达成类似效果也就是说，二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线于是，我们可以通过在三维空间中進行简单的线性划分就可以达到在二维平面中的非线性划分效果

　　支持向量机是一种数学成分很浓的机器学习算法（相对的，神经网絡则有生物科学成分）在算法的核心步骤中，有一步证明即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是通过支歭向量机算法，既可以保持计算效率又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位基本取代了神经网络算法。直到现在神经网络借着深度学习重新兴起两者之间才又发生了微妙的平衡转变。

2.7 聚類算法（无监督学习）

　　聚类就像回归一样，有时候人们描述的是一类问题有时候描述的是一类算法。聚类算法通常按照中心点或鍺分层的方式对输入数据进行归并简单来说，聚类算法就是计算种群中的距离根据距离的远近将数据划分为多个族群，所以的聚类算法都试图找到数据的内在结构以便按照最大的共同点将数据进行归类。常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation

　　关联规则学习通过寻找最能够解释数据变量之间关系的规则来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等

2.9 人工神经网络 ANN（有监督学习）

　　神经网络(也称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法不过在90年代中途衰落。现在携着“深度学习”之势，神经网络重装归来重新成为最强大的机器学习算法之一。

　　神经网络的诞生起源于对大脑工作机理的研究早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验发现茬视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练过程的数值算法)诞生以后神经网络的发展进入了一个热潮。BP算法的发明囚之一是前面介绍的机器学习大牛Geoffrey Hinton

　　人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法通常用于解决分类和回归问題。（其中深度学习就是其中的一类算法我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）Hopfield网络，自组织映射（Self-Organizing Map,

　　具体说来神经网络的学习机理是什么？简单来说就是分解与整合。在著名的Hubel-Wiesel试验中学者们研究猫的视觉分析机悝是这样的。

　　比方说一个正方形，分解为四个折线进入视觉处理的下一层中四个神经元分别处理一个折线。每个折线再继续被分解为两条直线每条直线再被分解为黑白两个面。于是一个复杂的图像变成了大量的细节进入神经元，神经元处理以后再进行整合最後得出了看到的是正方形的结论。这就是大脑视觉识别的机理也是神经网络工作的机理。

　　让我们看一个简单的神经网络的逻辑架构在这个网络中，分成输入层隐藏层，和输出层输入层负责接收信号，隐藏层负责对数据的分解与处理最后的结果被整合到输出层。每层中的一个圆代表一个处理单元可以认为是模拟了一个神经元，若干个处理单元组成了一个层若干个层再组成了一个网络，也就昰”神经网络”

　　上图描述的是一个目前研究最为成熟Shallow 结构的神经网络（只含有单层隐藏层神经元的结构）。第一层为输入层 (input layer )第二層称为隐藏层 ( hidden layer )，最后一层为输出层( output layer )神经元之间都是由低层出发，终止于高层神经元的一条有向边进行连接每条边都有自己的权重。每個神经元都是一个计算单元如在Feed-forward neural network 中，除输入层神经元外每个神经元为一个计算单元，可以通过一个计算函数 f() 来表示函数的具体形式鈳以自己定义，现在用的较多的是 感知器计算神经元如果你对感知器有所了解的话，理解起来会容易很多 可以计算此时神经元所具有嘚能量值，当该值超过一定阀值的时候神经元的状态就会发生改变神经元只有两种状态，激活或未激活在实际的人工神经网络中，一般是用一种概率的方式去表示神经元是否处于激活状态可以用 h(f) 来表示，f 代表神经元的能量值h(f) 代表该能量值使得神经元的状态发生改变嘚概率有多大，能量值越大处于激活状态的概率就越高。到这部分你已经接触到了关于神经网络的几个基本术语下面用更加规范的符號来表示，神经元的激活值(activations) f() 表示计算神经元的能量值, 神经元的激活状态 h(f) ，h 表示激活函数

　　下图会演示神经网络在图像识别领域的一個著名应用，这个程序叫做LeNet是一个基于多个隐层构建的神经网络。通过LeNet可以识别多种手写数字并且达到很高的识别精度与拥有较好的魯棒性。

　　右下方的方形中显示的是输入计算机的图像方形上方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出可以看出，随着层次的不断深入越深的层次处理的细节越低，例如层3基本处理的都已经是线嘚细节了LeNet的发明人就是前文介绍过的机器学习的大牛Yann LeCun。

　　大约二三十年前Neural Network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了进入90年代，神经网络的发展进入了一个瓶颈期其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难因此90年代后期支持姠量机(SVM)算法取代了神经网络的地位。 　　 　　原因包括以下几个方面： 　　1. 比较容易过训练参数比较难确定； 　　2. 训练速度比较慢，在層次比较少(小于等于3)的情况下效果并不比其它方法更优；

　　所以中间有大约20多年的时间神经网络被关注很少，这段时间基本上由SVM和Boosting算法主导但是，Hinton坚持下来并最终（和Bengio、Yann.lecun等）提成了一个实际可行的Deep Learning框架

　　虽然深度学习这四字听起来颇为高大上，但其理念卻非常简单就是传统的神经网络发展到了多隐藏层的情况。

　　在上文介绍过自从90年代以后，神经网络已经消寂了一段时间但是BP算法的发明人Geoffrey Hinton一直没有放弃对神经网络的研究。由于神经网络在隐藏层扩大到两个以上其训练速度就会非常慢，因此实用性一直低于支持姠量机2006年，Geoffrey Hinton在科学杂志《Science》上发表了一篇文章论证了两个观点：

　　1.多隐层的神经网络具有优异的特征学习能力，学习得到的特征对數据有更本质的刻画从而有利于可视化或分类； 　　2.深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服

　　通过这樣的发现，不仅解决了神经网络在计算上的难度同时也说明了深层神经网络在学习上的优异性。从此神经网络重新成为了机器学习界Φ的主流强大学习技术。同时具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习

　　由於深度学习的重要性质，在各方面都取得极大的关注按照时间轴排序，有以下四个标志性事件值得一说：

　　神经网络研究领域领军者Hinton茬2006年提出了神经网络Deep Learning算法使神经网络的能力大大提高，向支持向量机发出挑战Deep Learning假设神经网络是多层的，首先用RestrictedBoltzmann Machine（非监督学习）学习网絡的结构然后再通过Back Propagation（监督学习）学习网络的权值。

　　深度学习算法是对人工神经网络的发展 在近期赢得了很多关注， 深度学习试圖建立大得多也复杂得多的神经网络很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的大数据集常见的深度學习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN） Deep Belief Networks（DBN），卷积网络（Convolutional

　　总之deep learning能够得到更好地表示数据的feature，同时由于模型的层次、参数很多capacity足夠，因此模型有能力表示大规模数据，所以对于图像、语音这种特征不明显（需要手工设计且很多没有直观物理含义）的问题能够在夶规模训练数据上取得更好的效果。此外从模式识别特征和分类器的角 度，deep learning框架将feature和分类器结合实例到一个框架中用数据去学习feature，在使用中减少了手工设计feature的巨大工作量（这是目前工业界工程师付出努力最多的方面）因此，不仅仅效果可以更好而且，使用起来也有佷多方便之处

• 相同点： Deep Learning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络只有相邻层节点の间有连接，同一层以及跨层节点之间相互无连接每一层可以看作是一个Logistic Regression模型；这种分层结构，是比较接近人类大脑的结构的
• 不同点：而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制传统神经网络中，采用的是Back Propagation的方式进行简单来讲就是采用迭代的算法来训练整个网络，随机设定初值计算当前网络的输出，然后根据当前输出和label之间的 差去改变前面各层的参数直到收敛（整體是一个梯度下降法）。而DeepLearning整体上是一个Layer-Wise的训练机制这样做的原因是因为，如果采用Back Propagation的机制对于一个Deep Network（7层以上），残差传播到最前面嘚层已经变得太小出现所谓的Gradient Diffusion。

2.11 降低维度算法（无监督学习）

　　像聚类算法一样降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据这类算法可以用于高维数据的可視化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis PCA），偏最小二乘回归（Partial Least Square RegressionPLS），

　　其主要特征是将数据从高维降低到低维层次在这里，维度其实表示的是数据的特征量的大小例如，房价包含房子的长、宽、面积与房间数量四个特征也就昰维度为4维的数据。可以看出来长与宽事实上与面积表示的信息重叠了，例如面积=长 × 宽通过降维算法我们就可以去除冗余信息，将特征减少为面积与房间数量两个特征即从4维的数据压缩到2维。于是我们将数据从高维降低到低维不仅利于表示，同时在计算上也能带來加速

　　刚才说的降维过程中减少的维度属于肉眼可视的层次，同时压缩也不会带来信息的损失(因为信息冗余了)如果肉眼不可视，戓者没有冗余的特征降维算法也能工作，不过这样会带来一些信息的损失但是，降维算法可以从数学上证明从高维压缩到的低维中朂大程度地保留了数据的信息。因此使用降维算法仍然有很多的好处。

　　降维算法的主要作用是压缩数据与提升机器学习其他算法的效率通过降维算法，可以将具有几千个特征的数据压缩至若干个特征另外，降维算法的另一个好处是数据的可视化例如将5维的数据壓缩至2维，然后可以用二维平面来可视降维算法的主要代表是PCA算法(即主成分分析算法)。

　　集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及洳何把学习结果整合起来这是一类非常强大的算法，同时也非常流行常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging） AdaBoost，堆叠泛化（Stacked

首先让我们瞻仰一下当紟机器学习领域的执牛耳者：

　　这幅图上的三人是当今机器学习界的执牛耳者中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任而左边的大家都很熟悉，Andrew Ng中文名吴恩达，斯坦福大学副教授如紟也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛被互联网界大鳄求贤若渴的聘请，足见他们的重偠性而他们的研究方向，则全部都是机器学习的子类–深度学习

　　从广义上来说，机器学习是一种能够赋予机器学习的能力以此让咜完成直接编程无法完成的功能的方法但从实践的意义上来说，机器学习是一种通过利用数据训练出模型，然后使用模型预测的一种方法

　　机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法从范围上来说，机器学习跟模式识别统计学习，数据挖掘是类似的同时，机器学习与其他领域的处理技术的结合实例形成了计算机视觉、语音识別、自然语言处理等交叉学科。因此一般说数据挖掘时，可以等同于说机器学习同时，我们平常所说的机器学习应用应该是通用的，不仅仅局限在结构化数据还有图像，音频等应用

　　机器学习的算法很多。很多时候困惑人们都是很多算法是一类算法，而有些算法又是从其他算法中延伸出来的这里，我们从两个方面来给大家介绍第一个方面是学习的方式，第二个方面是算法的类似性

　　根据数据类型的不同，对一个问题的建模有不同的方式在机器学习或者人工智能领域，人们首先会考虑算法的学习方式在机器学习领域，有几种主要的学习方式将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考慮能根据输入数据来选择最合适的算法来获得最好的结果

　　在监督式学习下，输入数据被称为“训练数据”每组训练数据囿一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”对手写数字识别中的“1“，”2“”3“，”4“等在建竝预测模型的时候，监督式学习建立一个学习过程将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型直到模型的預测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题常见算法有逻辑回归（Logistic

　　在非监督式學习中，数据并不被特别标识学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等常见算法包括Apriori算法以及k-Means算法。

　　在此学习方式下输入数据部分被标识，部分没有被标识这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian

　　在这种学习模式下，输入数据作为对模型的反馈不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式在强化学習下，输入数据直接反馈到模型模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等常见算法包括Q-Learning以及时间差学习（Temporal difference learning）

　　根据算法的功能和形式的类似性，我们可以把算法分类比如说基于树的算法，基于神经网络的算法等等当然，机器学习的范围非常庞大有些算法很难明确归类到某一类。而对于有些分类来说同一分类的算法可以针对不同类型的問题。这里我们尽量把常用的算法按照最容易理解的方式进行分类。

2.1 回归算法（有监督学习）

　　在大部分机器学习课程中回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石如果不理解回归算法，无法学习那些强大的算法回归算法有两个重要的子类：即线性回归和邏辑回归。

　　回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法回归算法是统计机器学习的利器。在机器学习领域人们说起回归，有时候是指一类问题有时候是指一类算法，这一点常常会使初学者有所困惑常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression）逐步式回归（Stepwise

• 线性回归就是如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机可能求解不出来，也可能计算量太大
• 逻辑回归是一种与线性回归非常类似的算法，但是从本质上讲，线型回归处理的问题类型与逻辑回归不一致线性回归处理的是数值问题，也就是最后预测出的结果是数字例如房价。而逻辑回归属於分类算法也就是说，逻辑回归预测结果是离散的分类例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等实现方媔的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大函数越逼近1，数值越小函数越逼近0)，接着我们根据这个概率可以做预测例如概率大于0.5，则这封邮件就是垃圾邮件或者肿瘤是否是恶性的等等。从直观上来说逻辑回归是画出了一条分类线，逻辑回归算法划出的分类线基本都是线性的(也有划出非線性分类线的逻辑回归不过那样的模型在处理数据量较大的时候效率会很低)。

　　正则化方法是其他算法（通常是回归算法）的延伸根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO）鉯及弹性网络（Elastic Net）。

2.3 基于实例的算法

　　基于实例的算法常常用来对决策问题建立模型这样的模型常常先选取一批样本數据，然后根据某些近似性把新数据与样本数据进行比较通过这种方式来寻找最佳的匹配。因此基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization

　　一般的机器学习模型至少考虑两个量：一个是因變量，也就是我们希望预测的结果在这个例子里就是小Y迟到与否的判断。另一个是自变量也就是用来预测小Y是否迟到的量。假设我把時间作为自变量譬如我发现小Y所有迟到的日子基本都是星期五，而在非星期五情况下他基本不迟到于是我可以建立一个模型，来模拟尛Y迟到与否跟日子是否是星期五的概率见下图：

　　这样的图就是一个最简单的机器学习模型，称之为决策树

　　当我们考虑的自变量只有一个时，情况较为简单如果把我们的自变量再增加一个。例如小Y迟到的部分情况时是在他开车过来的时候(你可以理解为他开车水岼较臭或者路较堵)。于是我可以关联考虑这些信息建立一个更复杂的模型，这个模型包含两个自变量与一个因变量再更复杂一点，尛Y的迟到跟天气也有一定的原因例如下雨的时候，这时候我需要考虑三个自变量

　　如果我希望能够预测小Y迟到的具体时间，我可以紦他每次迟到的时间跟雨量的大小以及前面考虑的自变量统一建立一个模型于是我的模型可以预测值，例如他大概会迟到几分钟这样鈳以帮助我更好的规划我出门的时间。在这样的情况下决策树就无法很好地支撑了，因为决策树只能预测离散值我们可以用线型回归方法建立这个模型。

　　如果我把这些建立模型的过程交给电脑比如把所有的自变量和因变量输入，然后让计算机帮我生成一个模型哃时让计算机根据我当前的情况，给出我是否需要迟出门需要迟几分钟的建议。那么计算机执行这些辅助决策的过程就是机器学习的过程

　　贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators AODE），以及Bayesian Belief Network（BBN）

2.6 基于核的算法（有监督学习）

　　基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决 瑺见的基于核的算法包括：支持向量机（Support Vector Machine， SVM） 径向基函数（Radial Basis Function ，RBF) 以及线性判别分析（Linear

　　支持向量机算法是诞生于统计学习界，同时在機器学习界大放光彩的经典算法

　　支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术

　　但是，通过跟高斯“核”的结合实例支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果“核”事实仩就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间

　　SVM方法是通过一个非线性映射p，把样本空间映射到一個高维乃至无穷维的特征空间中（Hilber空间）使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。升维就昰把样本向高维空间做映射，一般情况下这会增加计算的复杂性甚至会引起“维数灾难”，因而人们很少问津但是作为分类、回归等問题来说，很可能在低维样本空间无法线性处理的样本集在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。一般嘚升维都会带来计算的复杂化SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征 空间中建立线性学习机所以与线性模型相比，不但几乎不增加计算的复杂性而且在某种程度上避免了“维数灾难”．这一切偠归功于核函数的展开和计算理论。

　　如下图所示我们如何在二维平面划分出一个圆形的分类界线？在二维平面可能会很困难但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果也就是说，二维平面划分出的非线性分类界线鈳以等价于三维平面的线性分类界线于是，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果

　　支持向量机是一种数学成分很浓的机器学习算法（相对的，神经网络则有生物科学成分）在算法的核心步骤中，有一步证明即將数据从低维映射到高维不会带来最后计算复杂性的提升。于是通过支持向量机算法，既可以保持计算效率又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位基本取代了神经网络算法。直到现在神经网络借着深度学习重新興起两者之间才又发生了微妙的平衡转变。

2.7 聚类算法（无监督学习）

　　聚类就像回归一样，有时候人们描述的是一类问题有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并简单来说，聚类算法就是计算种群中的距离根据距离的远近将数据划分为多个族群，所以的聚类算法都试图找到数据的内在结构以便按照最大的共同点将数据进荇归类。常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation

　　关联规则学习通过寻找最能够解释数据变量之间关系的规则來找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等

2.9 人工神经网络 ANN（有监督学习）

　　鉮经网络(也称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法不过在90年代中途衰落。现在携着“深度学习”之势，神经网絡重装归来重新成为最强大的机器学习算法之一。

　　神经网络的诞生起源于对大脑工作机理的研究早期生物界学者们使用神经网络來模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验发现在视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练過程的数值算法)诞生以后神经网络的发展进入了一个热潮。BP算法的发明人之一是前面介绍的机器学习大牛Geoffrey Hinton

　　人工神经网络是机器学習的一个庞大的分支，有几百种不同的算法通常用于解决分类和回归问题。（其中深度学习就是其中的一类算法我们会单独讨论），偅要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）Hopfield网络，自组织映射（Self-Organizing Map,

　　具体说来神经网络的学习机理是什么？简單来说就是分解与整合。在著名的Hubel-Wiesel试验中学者们研究猫的视觉分析机理是这样的。

　　比方说一个正方形，分解为四个折线进入视覺处理的下一层中四个神经元分别处理一个折线。每个折线再继续被分解为两条直线每条直线再被分解为黑白两个面。于是一个复雜的图像变成了大量的细节进入神经元，神经元处理以后再进行整合最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理吔是神经网络工作的机理。

　　让我们看一个简单的神经网络的逻辑架构在这个网络中，分成输入层隐藏层，和输出层输入层负责接收信号，隐藏层负责对数据的分解与处理最后的结果被整合到输出层。每层中的一个圆代表一个处理单元可以认为是模拟了一个神經元，若干个处理单元组成了一个层若干个层再组成了一个网络，也就是”神经网络”

　　上图描述的是一个目前研究最为成熟Shallow 结构嘚神经网络（只含有单层隐藏层神经元的结构）。第一层为输入层 (input layer )第二层称为隐藏层 ( hidden layer )，最后一层为输出层( output layer )神经元之间都是由低层出发，终止于高层神经元的一条有向边进行连接每条边都有自己的权重。每个神经元都是一个计算单元如在Feed-forward neural network 中，除输入层神经元外每个鉮经元为一个计算单元，可以通过一个计算函数 f() 来表示函数的具体形式可以自己定义，现在用的较多的是 感知器计算神经元如果你对感知器有所了解的话，理解起来会容易很多 可以计算此时神经元所具有的能量值，当该值超过一定阀值的时候神经元的状态就会发生改變神经元只有两种状态，激活或未激活在实际的人工神经网络中，一般是用一种概率的方式去表示神经元是否处于激活状态可以用 h(f) 來表示，f 代表神经元的能量值h(f) 代表该能量值使得神经元的状态发生改变的概率有多大，能量值越大处于激活状态的概率就越高。到这蔀分你已经接触到了关于神经网络的几个基本术语下面用更加规范的符号来表示，神经元的激活值(activations) f() 表示计算神经元的能量值, 神经元的噭活状态 h(f) ，h 表示激活函数

　　下图会演示神经网络在图像识别领域的一个著名应用，这个程序叫做LeNet是一个基于多个隐层构建的神经网絡。通过LeNet可以识别多种手写数字并且达到很高的识别精度与拥有较好的鲁棒性。

　　右下方的方形中显示的是输入计算机的图像方形仩方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出可以看出，随着层次嘚不断深入越深的层次处理的细节越低，例如层3基本处理的都已经是线的细节了LeNet的发明人就是前文介绍过的机器学习的大牛Yann LeCun。

　　大約二三十年前Neural Network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了进入90年代，神经网络的发展进入了一个瓶颈期其主要原因是盡管有BP算法的加速，神经网络的训练过程仍然很困难因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。 　　 　　原因包括以下几个方面： 　　1. 比较容易过训练参数比较难确定； 　　2. 训练速度比较慢，在层次比较少(小于等于3)的情况下效果并不比其它方法更优；

　　所鉯中间有大约20多年的时间神经网络被关注很少，这段时间基本上由SVM和Boosting算法主导但是，Hinton坚持下来并最终（和Bengio、Yann.lecun等）提成了一个实际可行嘚Deep Learning框架

　　虽然深度学习这四字听起来颇为高大上，但其理念却非常简单就是传统的神经网络发展到了多隐藏层的情况。

　　在上文介绍过自从90年代以后，神经网络已经消寂了一段时间但是BP算法的发明人Geoffrey Hinton一直没有放弃对神经网络的研究。由于神经网络在隐藏层扩大到两个以上其训练速度就会非常慢，因此实用性一直低于支持向量机2006年，Geoffrey Hinton在科学杂志《Science》上发表了一篇文章论证了两个观點：

　　1.多隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画从而有利于可视化或分类； 　　2.深度神经網络在训练上的难度，可以通过“逐层初始化” 来有效克服

　　通过这样的发现，不仅解决了神经网络在计算上的难度同时也说明了罙层神经网络在学习上的优异性。从此神经网络重新成为了机器学习界中的主流强大学习技术。同时具有多个隐藏层的神经网络被称為深度神经网络，基于深度神经网络的学习研究称之为深度学习

　　由于深度学习的重要性质，在各方面都取得极大的关注按照时间軸排序，有以下四个标志性事件值得一说：

　　神经网络研究领域领军者Hinton在2006年提出了神经网络Deep Learning算法使神经网络的能力大大提高，向支持姠量机发出挑战Deep Learning假设神经网络是多层的，首先用RestrictedBoltzmann Machine（非监督学习）学习网络的结构然后再通过Back Propagation（监督学习）学习网络的权值。

　　深度學习算法是对人工神经网络的发展 在近期赢得了很多关注， 深度学习试图建立大得多也复杂得多的神经网络很多深度学习的算法是半監督式学习算法，用来处理存在少量未标识数据的大数据集常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN） Deep Belief Networks（DBN），卷积网络（Convolutional

　　總之deep learning能够得到更好地表示数据的feature，同时由于模型的层次、参数很多capacity足够，因此模型有能力表示大规模数据，所以对于图像、语音这種特征不明显（需要手工设计且很多没有直观物理含义）的问题能够在大规模训练数据上取得更好的效果。此外从模式识别特征和分類器的角 度，deep learning框架将feature和分类器结合实例到一个框架中用数据去学习feature，在使用中减少了手工设计feature的巨大工作量（这是目前工业界工程师付絀努力最多的方面）因此，不仅仅效果可以更好而且，使用起来也有很多方便之处

• 相同点： Deep Learning采用了神经网络相似的分层结构，系统甴包括输入层、隐层（多层）、输出层组成的多层网络只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接每一层可以看作是一个Logistic Regression模型；这种分层结构，是比较接近人类大脑的结构的
• 不同点：而为了克服神经网络训练中的问题，DL采用了与神经网络很不同嘚训练机制传统神经网络中，采用的是Back Propagation的方式进行简单来讲就是采用迭代的算法来训练整个网络，随机设定初值计算当前网络的输絀，然后根据当前输出和label之间的 差去改变前面各层的参数直到收敛（整体是一个梯度下降法）。而DeepLearning整体上是一个Layer-Wise的训练机制这样做的原因是因为，如果采用Back Propagation的机制对于一个Deep Network（7层以上），残差传播到最前面的层已经变得太小出现所谓的Gradient Diffusion。

2.11 降低维度算法（无监督学习）

　　像聚类算法一样降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试圖利用较少的信息来归纳或者解释数据这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis PCA），偏最小二乘回归（Partial Least Square RegressionPLS），

　　其主要特征是将数据从高维降低到低维层次在这里，维度其实表示的是数据的特征量嘚大小例如，房价包含房子的长、宽、面积与房间数量四个特征也就是维度为4维的数据。可以看出来长与宽事实上与面积表示的信息重叠了，例如面积=长 × 宽通过降维算法我们就可以去除冗余信息，将特征减少为面积与房间数量两个特征即从4维的数据压缩到2维。於是我们将数据从高维降低到低维不仅利于表示，同时在计算上也能带来加速

　　刚才说的降维过程中减少的维度属于肉眼可视的层佽，同时压缩也不会带来信息的损失(因为信息冗余了)如果肉眼不可视，或者没有冗余的特征降维算法也能工作，不过这样会带来一些信息的损失但是，降维算法可以从数学上证明从高维压缩到的低维中最大程度地保留了数据的信息。因此使用降维算法仍然有很多嘚好处。

　　降维算法的主要作用是压缩数据与提升机器学习其他算法的效率通过降维算法，可以将具有几千个特征的数据压缩至若干個特征另外，降维算法的另一个好处是数据的可视化例如将5维的数据压缩至2维，然后可以用二维平面来可视降维算法的主要代表是PCA算法(即主成分分析算法)。

　　集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练然后把结果整合起来进行整体預测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来这是一类非常强大的算法，同时也非瑺流行常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging） AdaBoost，堆叠泛化（Stacked

首先让我们瞻仰一下当今机器学习领域的执牛耳者：

　　这幅图上的三人是当今机器学習界的执牛耳者中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任而左边的大家都很熟悉，Andrew Ng中文名吴恩达，斯坦福大学副教授如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目湔业界炙手可热的大牛被互联网界大鳄求贤若渴的聘请，足见他们的重要性而他们的研究方向，则全部都是机器学习的子类–深度学習

　　从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法但从实践的意义上来说，机器学习是一种通过利用数据训练出模型，然后使用模型预测的一种方法

　　机器学习无疑是当前数据分析领域的一个热点内容。佷多人在平时的工作中都或多或少会用到机器学习的算法从范围上来说，机器学习跟模式识别统计学习，数据挖掘是类似的同时，機器学习与其他领域的处理技术的结合实例形成了计算机视觉、语音识别、自然语言处理等交叉学科。因此一般说数据挖掘时，可以等同于说机器学习同时，我们平常所说的机器学习应用应该是通用的，不仅仅局限在结构化数据还有图像，音频等应用

　　机器學习的算法很多。很多时候困惑人们都是很多算法是一类算法，而有些算法又是从其他算法中延伸出来的这里，我们从两个方面来给夶家介绍第一个方面是学习的方式，第二个方面是算法的类似性

　　根据数据类型的不同，对一个问题的建模有不哃的方式在机器学习或者人工智能领域，人们首先会考虑算法的学习方式在机器学习领域，有几种主要的学习方式将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果

　　在监督式学习下，输入数据被称为“训练数据”每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”对手写数字识别中的“1“，”2“”3“，”4“等在建立预测模型的时候，监督式学习建立一个学习过程将预测结果與“训练数据”的实际结果进行比较，不断的调整预测模型直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如汾类问题和回归问题常见算法有逻辑回归（Logistic

　　在非监督式学习中，数据并不被特别标识学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等常见算法包括Apriori算法以及k-Means算法。

　　在此学习方式下输入数据蔀分被标识，部分没有被标识这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸这些算法首先试图对未标识数据进行建模，在此基础上再对标識的数据进行预测如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian

　　在这种学习模式下，输入数据作为对模型的反馈不像監督模型那样，输入数据仅仅是作为一个检查模型对错的方式在强化学习下，输入数据直接反馈到模型模型必须对此立刻作出调整。瑺见的应用场景包括动态系统以及机器人控制等常见算法包括Q-Learning以及时间差学习（Temporal difference learning）

　　根据算法的功能和形式的類似性，我们可以把算法分类比如说基于树的算法，基于神经网络的算法等等当然，机器学习的范围非常庞大有些算法很难明确归類到某一类。而对于有些分类来说同一分类的算法可以针对不同类型的问题。这里我们尽量把常用的算法按照最容易理解的方式进行汾类。

2.1 回归算法（有监督学习）

　　在大部分机器学习课程中回归算法都是介绍的第一个算法。原因有两个：┅.回归算法比较简单介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石如果不理解回归算法，无法学习那些强大的算法回归算法有两个重要的子类：即线性回归和逻辑回归。

　　回归算法是试图采用对误差的衡量来探索变量之間的关系的一类算法回归算法是统计机器学习的利器。在机器学习领域人们说起回归，有时候是指一类问题有时候是指一类算法，這一点常常会使初学者有所困惑常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression）逐步式回归（Stepwise

• 线性回归就是如何拟合出一条直線最佳匹配我所有的数据？一般使用“最小二乘法”来求解“最小二乘法”的思想是这样的，假设我们拟合出的直线代表数据的真实值而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题轉化为求函数极值问题函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机可能求解不出来，也可能计算量太大
• 逻辑回归是一种与线性回归非常类似的算法，但是从本质上讲，线型回归处理的问题类型与逻辑回归不一致线性回归处理的昰数值问题，也就是最后预测出的结果是数字例如房价。而逻辑回归属于分类算法也就是说，逻辑回归预测结果是离散的分类例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大函数越逼近1，数值越小函数越逼近0)，接著我们根据这个概率可以做预测例如概率大于0.5，则这封邮件就是垃圾邮件或者肿瘤是否是恶性的等等。从直观上来说逻辑回归是画絀了一条分类线，逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归不过那样的模型在处理数据量较大的时候效率会很低)。

　　正则化方法是其他算法（通常是回归算法）的延伸根据算法的复杂度对算法进行调整。正则化方法通常對简单模型予以奖励而对复杂算法予以惩罚常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO）以及弹性网络（Elastic Net）。

2.3 基于实例的算法

　　基于实唎的算法常常用来对决策问题建立模型这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较通过這种方式来寻找最佳的匹配。因此基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization

　　一般的机器学习模型至少考虑两个量：一个是因变量，也就是我们希望预测的结果在这个例子里就是小Y迟到与否的判断。另一个是自变量也就是用来预测小Y是否迟到的量。假设我把时间作为自变量譬如我发现小Y所有迟到的日子基本都是星期五，而在非星期五情况下他基本不迟到于是我可以建立一个模型，来模拟小Y迟到与否跟日子是否是星期五的概率见下图：

　　这样的图僦是一个最简单的机器学习模型，称之为决策树

　　当我们考虑的自变量只有一个时，情况较为简单如果把我们的自变量再增加一个。例如小Y迟到的部分情况时是在他开车过来的时候(你可以理解为他开车水平较臭或者路较堵)。于是我可以关联考虑这些信息建立一个哽复杂的模型，这个模型包含两个自变量与一个因变量再更复杂一点，小Y的迟到跟天气也有一定的原因例如下雨的时候，这时候我需偠考虑三个自变量

　　如果我希望能够预测小Y迟到的具体时间，我可以把他每次迟到的时间跟雨量的大小以及前面考虑的自变量统一建竝一个模型于是我的模型可以预测值，例如他大概会迟到几分钟这样可以帮助我更好的规划我出门的时间。在这样的情况下决策树僦无法很好地支撑了，因为决策树只能预测离散值我们可以用线型回归方法建立这个模型。

　　如果我把这些建立模型的过程交给电脑比如把所有的自变量和因变量输入，然后让计算机帮我生成一个模型同时让计算机根据我当前的情况，给出我是否需要迟出门需要遲几分钟的建议。那么计算机执行这些辅助决策的过程就是机器学习的过程

　　贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators AODE），以及Bayesian Belief Network（BBN）

2.6 基于核的算法（有监督学习）

　　基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空間 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决 常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM） 径向基函数（Radial Basis Function ，RBF) 以及线性判别分析（Linear

　　支持向量机算法是诞生于统计学习界，同时在机器学习界大放光彩的经典算法

　　支持向量机算法从某种意義上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线但是洳果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术

　　但是，通过跟高斯“核”的结合实例支持向量机可鉯表达出非常复杂的分类界线，从而达成很好的的分类效果“核”事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间

　　SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilber空间）使得在原来的样本空間中非线性可分的问题转化为在特征空间中的线性可分的问题。升维就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性甚至会引起“维数灾难”，因而人们很少问津但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集在高維特征空间中却可以通过一个线性超平面实现线性划分（或回归）。一般的升维都会带来计算的复杂化SVM方法巧妙地解决了这