确定执行的优先级 我们已经学习过一些机器学习的算法，那么如何设计一个机器学习系统呢，课程中举了一个垃圾邮件分类器的例子，例子比较简单这里就不再赘述： 那么如何来提升这个分类器的准确度呢？有下面几个建议： 收集更多的数据 增加更复杂的特征（比如邮件头） 开发更复杂的算法来鉴定错误拼写 误差分析 如果你准备研发一个机器学习应用，下面有一些关于开发的一些建议： 其中误差分析不一定会对改善算法的表现有帮助，唯一的办法是尝试着去做然后看看其是否能起到效果。并且我们需要设定一个误差的度量值来判断该算法是否是有效的。 偏斜类问题…

评估假设 我们之前已经学习过一些机器学习的算法，现在我们来谈谈如何评估算法学习得到的假设。当发现预测的结果和实际的数据有误差的时候，我们需要进行一些调整来保证预测的准确性，大部分情况下，有以下几种办法来调整假设函数： 获取更多的训练集 减少特征的数量 尝试使用更多的特征 尝试使用多项式特征 增大或减小lambda 假设函数相对于训练集可能得到的误差很小，比如在过拟合的情况下，这时候就不能肯定假设函数是准确的。因此，我们有时候将数据集分成两块：训练集和测试集，一般来说训练集占70%，测试集30%。定义训练集的误差为J…

直观感受反向传播的概念 上篇文章讲述了神经网络的反向传播算法的基本概念，现在来详细的对此算法进行一些讲解。 回忆一下神经网络的代价函数： 如果我们只考虑一个简单的只有一个输出单元的情况，即 k=1，那么代价函数则变成： 直观的说，\delta_j^(l)项表示在第 l 层中第 j 个单元的误差。更正式的说，\delta的值实际上是代价函数的导数。 \delta_j^(l) = \frac{\partial}{\partial z_j^(l)}cost(t) 由于函数的导数即是其切线的斜率，因此其切线越陡则说明计算的…

代价函数 在神经网络中，我们需要定义一些新的参数来表示代价函数。 L = total number of layers in the network $s_l$ = number of units (not counting bias unit) in layer l K = number of output units/classes 在上一章的神经网络的介绍中，我们有多个输出的节点。这里我们定义 h_\Theta(x)_k 来表示第 k 个输出结果。神经网络的代价函数应当和之前说过的 Logistic Regr…

本文将会介绍一种叫“神经网络”(Neural Network)的机器学习算法。 非线性假设 我们之前已经学习过线性回归和逻辑回归算法了，为什么还要研究神经网络？ 我们先看一个例子。下面是一个监督学习分类问题的训练集： 如果利用逻辑回归算法来解决这个问题，首先需要构造一个包含很多非线性项的逻辑回归函数。如下所示： 这里 g 仍是 sigmod 函数，我们能让函数，包含很多像这样的多项式项。事实上，当多项式项数足够多时，那么可能你能够得到一个分开正负样本的曲线： 这里只有x_1和x_2两项，因此可以得出不错的结果。但如…

概念 假设我们有一组数据集如下图所示： 左边的图中，我们假设y = \theta_0 + \theta_1x，与数据集进行比较发现此函数和数据的拟合度并不是很高，先然数据并不是呈现一条直线的形状，因此我们认为此函数并不能很好的预测后面的数据的真实情况，我们通常称这种情况为欠拟合（underfitting）；中间的图中，我们假设y = \theta_0 + \theta_1x + \theta_2x^2，从曲线和数据集和比较来看，此函数相对较为满足实际的情况；第三张图中我们是通过多个特征值来设定假设函数从而满足当前的…

回归函数 在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数，否则会使得输出的结果图像呈现波浪状，也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把 1/2 放到求和里面来。 J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}(h_\theta(x^(i))-y^(i))^2 这里的求和部分我们可以表示为： Cost(h_\theta(x(i)),y) 很显然，如果我们把在之前说过的分类问题的假设函数带进去，即h_\theta(x) = \f…

之前的文章中我们讨论过关于线性回归的问题，现在我们来学习一下，当预测的变量 y 为离散值时候的分类问题。 分类 下面给出几个分类的例子： 邮件： 垃圾邮件、非垃圾邮件； 在线交易： 欺诈、非欺诈； 肿瘤： 良性（不是恶性）、恶性 很显然这几个例子的结果只有两个，是或者不是。那么我们可以假设结果y\in{0,1}。这里的 0 我们可以当做非 xx 的类型，比如良性肿瘤，而 1 则可以当做是确认的分类，比如是恶性肿瘤。当然经常我们遇到的分类问题可能不止是或否两种结果，可能y\in{0,1,2,3}。 接下来我们来用肿瘤…

在前面的学习中，我们一直使用的线性回归算法是梯度下降法，即为了最小化代价函数J(\theta)，我们需要通过迭代很多步来收敛到全局最小值。那么现在我们来学习一种新的解法来求解。即正规方程。正规方程提供了一种求\theta的解析解法，相比较迭代算法，我们可以直接一次性的求解出\theta的最优值。 我们首先举一个例子来帮助理解正规方程，我们假设有一个非常简单的代价函数J(\theta)，它就是一个实数\theta的函数：J(\theta) = a\theta^2+b\theta+c。所以现在假设数\theta只是一个…

之前的文章中已经讲述了简单的一元线性回归的基础知识，现在我们来继续讨论多元线性回归。本文针对吴恩达机器学习第二周课程多元线性回归部分。 假设函数 所谓多元线性回归正如其名字一样，就是说这里的变量是多个的，下面介绍一下如何表示含有多个变量情况下的假设函数： h_\theta(x) = \theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+...+\theta_nx_n 之前的一元线性回归中有变量x^(i)表示i个训练样本的特征值，现在由于有多个变量，因此我们用x_j^(i)表示第i…