分类:机器学习

27 篇文章

吴恩达机器学习笔记(7)-过拟合
概念 假设我们有一组数据集如下图所示: 左边的图中,我们假设$y = \theta_0 + \theta_1x$,与数据集进行比较发现此函数和数据的拟合度并不是很高,先然数据并不是呈现一条直线的形状,因此我们认为此函数并不能很好的预测后面的数据的真实情况,我们通常称这种情况为欠拟合(underfitting);中间的图中,我们假设$y = \the…
吴恩达机器学习笔记(6)-Logistic回归模型
回归函数 在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数,否则会使得输出的结果图像呈现波浪状,也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把 1/2 放到求和里面来。 $$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}(h_\theta(x^(i))-y^(i)…
吴恩达机器学习笔记(5)-分类问题陈述
之前的文章中我们讨论过关于线性回归的问题,现在我们来学习一下,当预测的变量 y 为离散值时候的分类问题。 分类 下面给出几个分类的例子: 邮件: 垃圾邮件、非垃圾邮件; 在线交易: 欺诈、非欺诈; 肿瘤: 良性(不是恶性)、恶性 很显然这几个例子的结果只有两个,是或者不是。那么我们可以假设结果$y\in{0,1}$。这里的 0 我们可以当做非 xx…
吴恩达机器学习笔记(4)-正规方程
在前面的学习中,我们一直使用的线性回归算法是梯度下降法,即为了最小化代价函数$J(\theta)$,我们需要通过迭代很多步来收敛到全局最小值。那么现在我们来学习一种新的解法来求解。即正规方程。正规方程提供了一种求$\theta$的解析解法,相比较迭代算法,我们可以直接一次性的求解出$\theta$的最优值。 我们首先举一个例子来帮助理解正规方程,我…
吴恩达机器学习笔记(3)-多元线性回归
之前的文章中已经讲述了简单的一元线性回归的基础知识,现在我们来继续讨论多元线性回归。本文针对吴恩达机器学习第二周课程多元线性回归部分。 假设函数 所谓多元线性回归正如其名字一样,就是说这里的变量是多个的,下面介绍一下如何表示含有多个变量情况下的假设函数: $$ h_\theta(x) = \theta_0+\theta_1x_1+\theta_2x…
吴恩达机器学习笔记(2)-梯度下降
通过前面的文章我们现在已经有了假设函数$h_\theta(x)$并知道如何度量这个函数与数据的符合程度,即代价函数$J(\theta_0,\theta_1)$取得最小值。那么现在要做的,就是如何去预估这个假设函数的参数来使得我们的函数更加符合实际数据。 如下图是代价函数$J(\theta_0,\theta_1)$的图像,x轴为$\theta_0$,…
吴恩达机器学习笔记(1)-模型及代价函数
主要讲述一元线性回归算法的主要内容,因此默认对监督学习的定义有所了解,若不清楚可查看吴恩达机器学习第一讲或自行Google。 首先,我们知道,在监督学习中,我们一般都会有已有的数据集且其拥有明确的输入输出结果.监督学习主要分为回归和分类两种类型,而这里我们只讨论回归问题。 模型概述 在回归问题中,一般都是去尝试寻找一个连续的函数来尽可能的表达出输入…