机器学习A-Z~简单线性回归
机器学习A-Z~简单线性回归 所谓简单线性回归,其实就是自变量只有一个条件情况下的线性回归问题,是线性回归问题中最简单的一种了,这种问题在生活中也经常能简单,本文就用一个简单的例子来讲解简单线性回归。 以下有一组数据集,关于工作年限和薪水之间的联系(篇幅问题只给一部分): YearsExperience,Salary 1.1,39343.00 1.…
机器学习A-Z~数据预处理
机器学习A-Z~数据预处理 数据预处理是机器学习中非常重要的步骤,为了能正确的分析数据,得到最佳的机器学习算法,拿到数据后我们一般来说都需要对数据进行预处理。数据预处理包括以下几个步骤: 导入数据集 处理缺失数据 分类数据 数据分成训练集和测试集 特征缩放 导入数据集 我们当前有一组数据集如下: Country,Age,Salary,Purchas…
吴恩达机器学习笔记(12)-机器学习系统设计
确定执行的优先级 我们已经学习过一些机器学习的算法,那么如何设计一个机器学习系统呢,课程中举了一个垃圾邮件分类器的例子,例子比较简单这里就不再赘述: 那么如何来提升这个分类器的准确度呢?有下面几个建议: 收集更多的数据 增加更复杂的特征(比如邮件头) 开发更复杂的算法来鉴定错误拼写 误差分析 如果你准备研发一个机器学习应用,下面有一些关于开发的一些…
吴恩达机器学习笔记(11)-应用机器学习的建议
评估假设 我们之前已经学习过一些机器学习的算法,现在我们来谈谈如何评估算法学习得到的假设。当发现预测的结果和实际的数据有误差的时候,我们需要进行一些调整来保证预测的准确性,大部分情况下,有以下几种办法来调整假设函数: 获取更多的训练集 减少特征的数量 尝试使用更多的特征 尝试使用多项式特征 增大或减小lambda 假设函数相对于训练集可能得到的误差…
吴恩达机器学习笔记(10)-反向传播算法练习
直观感受反向传播的概念 上篇文章讲述了神经网络的反向传播算法的基本概念,现在来详细的对此算法进行一些讲解。 回忆一下神经网络的代价函数: 如果我们只考虑一个简单的只有一个输出单元的情况,即 k=1,那么代价函数则变成: 直观的说,$\delta_j^(l)$项表示在第 l 层中第 j 个单元的误差。更正式的说,$\delta$的值实际上是代价函数的…
吴恩达机器学习笔记(8)-神经网络
本文将会介绍一种叫“神经网络”(Neural Network)的机器学习算法。 非线性假设 我们之前已经学习过线性回归和逻辑回归算法了,为什么还要研究神经网络? 我们先看一个例子。下面是一个监督学习分类问题的训练集: 如果利用逻辑回归算法来解决这个问题,首先需要构造一个包含很多非线性项的逻辑回归函数。如下所示: 这里 g 仍是 sigmod 函数,…
吴恩达机器学习笔记(7)-过拟合
概念 假设我们有一组数据集如下图所示: 左边的图中,我们假设$y = \theta_0 + \theta_1x$,与数据集进行比较发现此函数和数据的拟合度并不是很高,先然数据并不是呈现一条直线的形状,因此我们认为此函数并不能很好的预测后面的数据的真实情况,我们通常称这种情况为欠拟合(underfitting);中间的图中,我们假设$y = \the…
吴恩达机器学习笔记(6)-Logistic回归模型
回归函数 在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数,否则会使得输出的结果图像呈现波浪状,也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把 1/2 放到求和里面来。 $$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}(h_\theta(x^(i))-y^(i)…
吴恩达机器学习笔记(5)-分类问题陈述
之前的文章中我们讨论过关于线性回归的问题,现在我们来学习一下,当预测的变量 y 为离散值时候的分类问题。 分类 下面给出几个分类的例子: 邮件: 垃圾邮件、非垃圾邮件; 在线交易: 欺诈、非欺诈; 肿瘤: 良性(不是恶性)、恶性 很显然这几个例子的结果只有两个,是或者不是。那么我们可以假设结果$y\in{0,1}$。这里的 0 我们可以当做非 xx…