确定执行的优先级 我们已经学习过一些机器学习的算法，那么如何设计一个机器学习系统呢，课程中举了一个垃圾邮件分类器的例子，例子比较简单这里就不再赘述： 那么如何来提升这个分类器的准确度呢？有下面几个建议： 收集更多的数据 增加更复杂的特征（比如邮件头） 开发更复杂的算法来鉴定错误拼写 误差分析 如果你准备研发一个机器学习应用，下面有一些关于开发的一些…

评估假设 我们之前已经学习过一些机器学习的算法，现在我们来谈谈如何评估算法学习得到的假设。当发现预测的结果和实际的数据有误差的时候，我们需要进行一些调整来保证预测的准确性，大部分情况下，有以下几种办法来调整假设函数： 获取更多的训练集 减少特征的数量 尝试使用更多的特征 尝试使用多项式特征 增大或减小lambda 假设函数相对于训练集可能得到的误差…

直观感受反向传播的概念 上篇文章讲述了神经网络的反向传播算法的基本概念，现在来详细的对此算法进行一些讲解。 回忆一下神经网络的代价函数： 如果我们只考虑一个简单的只有一个输出单元的情况，即 k=1，那么代价函数则变成： 直观的说，$\delta_j^(l)$项表示在第 l 层中第 j 个单元的误差。更正式的说，$\delta$的值实际上是代价函数的…

代价函数 在神经网络中，我们需要定义一些新的参数来表示代价函数。 L = total number of layers in the network $s_l$ = number of units (not counting bias unit) in layer l K = number of output units/classes 在上一章的…

本文将会介绍一种叫“神经网络”(Neural Network)的机器学习算法。 非线性假设 我们之前已经学习过线性回归和逻辑回归算法了，为什么还要研究神经网络？ 我们先看一个例子。下面是一个监督学习分类问题的训练集： 如果利用逻辑回归算法来解决这个问题，首先需要构造一个包含很多非线性项的逻辑回归函数。如下所示： 这里 g 仍是 sigmod 函数，…

概念 假设我们有一组数据集如下图所示： 左边的图中，我们假设$y = \theta_0 + \theta_1x$，与数据集进行比较发现此函数和数据的拟合度并不是很高，先然数据并不是呈现一条直线的形状，因此我们认为此函数并不能很好的预测后面的数据的真实情况，我们通常称这种情况为欠拟合（underfitting）；中间的图中，我们假设$y = \the…

回归函数 在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数，否则会使得输出的结果图像呈现波浪状，也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把 1/2 放到求和里面来。 $$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}(h_\theta(x^(i))-y^(i)…

之前的文章中我们讨论过关于线性回归的问题，现在我们来学习一下，当预测的变量 y 为离散值时候的分类问题。 分类 下面给出几个分类的例子： 邮件： 垃圾邮件、非垃圾邮件； 在线交易： 欺诈、非欺诈； 肿瘤： 良性（不是恶性）、恶性 很显然这几个例子的结果只有两个，是或者不是。那么我们可以假设结果$y\in{0,1}$。这里的 0 我们可以当做非 xx…

在前面的学习中，我们一直使用的线性回归算法是梯度下降法，即为了最小化代价函数$J(\theta)$，我们需要通过迭代很多步来收敛到全局最小值。那么现在我们来学习一种新的解法来求解。即正规方程。正规方程提供了一种求$\theta$的解析解法，相比较迭代算法，我们可以直接一次性的求解出$\theta$的最优值。 我们首先举一个例子来帮助理解正规方程，我…

之前的文章中已经讲述了简单的一元线性回归的基础知识，现在我们来继续讨论多元线性回归。本文针对吴恩达机器学习第二周课程多元线性回归部分。 假设函数 所谓多元线性回归正如其名字一样，就是说这里的变量是多个的，下面介绍一下如何表示含有多个变量情况下的假设函数： $$ h_\theta(x) = \theta_0+\theta_1x_1+\theta_2x…