首页
学习
活动
专区
圈层
工具
发布

100天搞定机器学习|Day26-29 线性代数的本质

物理专业视角:向量是空间中的箭头,决定一个向量的是它的长度和方向 计算机专业视角:向量是有序的数字列表 数学专业视角:向量可以是任何东西,只要保证两个向量相加以及数字与向量相乘是有意义的即可 运算规则...线性变换由它对空间的基向量的作用完全决定,在二维空间中,基向量就是 ? 和 ? ,这是因为其他任意向量都成表示为基向量的线性组合,坐标为(x,y)的向量就是x乘以 ? 加上y乘以 ?...的矩阵乘积是第三个矩阵 ? 。为了使乘法可被定义,矩阵A的列数必须和矩阵B的行数相等。如果矩阵 ? 的形状是 ? ,矩阵 ? 的形状是 ? ,那么矩阵 ? 的形状是 ? 。...逆矩阵 A逆乘以A等于一个‘什么都不做’的矩阵。 ? 一旦找到A逆,就可以在两步同乘A的逆矩阵来求解向量方程 行列式不为零,则矩阵的逆存在 零矩阵 所有元素都为0的矩阵称为零矩阵,记为 ? 。...零矩阵表示的映射是将所有的点都映射到原点的映射。 对角矩阵 在方阵中,对角线(从左上到右下)上的值称为对角元素。 非对角元素全部为0的矩阵称为对角矩阵。

1.3K40

机器学习数学基础--线性代数

物理专业视角:向量是空间中的箭头,决定一个向量的是它的长度和方向 计算机专业视角:向量是有序的数字列表 数学专业视角:向量可以是任何东西,只要保证两个向量相加以及数字与向量相乘是有意义的即可 运算规则...线性变换由它对空间的基向量的作用完全决定,在二维空间中,基向量就是 ? 和 ? ,这是因为其他任意向量都成表示为基向量的线性组合,坐标为(x,y)的向量就是x乘以 ? 加上y乘以 ?...的矩阵乘积是第三个矩阵 ? 。为了使乘法可被定义,矩阵A的列数必须和矩阵B的行数相等。如果矩阵 ? 的形状是 ? ,矩阵 ? 的形状是 ? ,那么矩阵 ? 的形状是 ? 。...逆矩阵 A逆乘以A等于一个‘什么都不做’的矩阵。 ? 一旦找到A逆,就可以在两步同乘A的逆矩阵来求解向量方程 行列式不为零,则矩阵的逆存在 零矩阵 所有元素都为0的矩阵称为零矩阵,记为 ? 。...零矩阵表示的映射是将所有的点都映射到原点的映射。 对角矩阵 在方阵中,对角线(从左上到右下)上的值称为对角元素。 非对角元素全部为0的矩阵称为对角矩阵。

1.3K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一文读懂矩阵的秩和行列式的意义

    所谓逆序性,其几何意义就是在规定了一个正方向之后(比如从1,2,3,4,5...N这个顺序定义为正号),交换任意一对数都取一次负号。...,矩阵的行列式对应的面积或者是体积.这样的推广证明相信在任意一本的线性代数书中都会看到,我只是说了人话而已. 5 行列式和矩阵的逆 我们知道很多定理,比如行列式为0的矩阵,不可逆,行列式不为0的矩阵...这个时候我们就应该要理解线性变化的几何意义.现在我来陈述一下: 如果我们把空间中一组线性无关的矢量都写成列向量的形式,那么他们所张成的N维体体积不为零,根据上面的分析,其值由行列式给出。...A的行列式如果不为零,则代表这个变换后,N维体的体积不是NULL。...为3*3的矩阵A,因为秩小于3,那么任何一个3维六面体经过他的变化后,体积变为0,退化一个面,但是仍然存在一个面积不为0的面,在变换以后还是一个非零面积的面 所以说所谓的一个线性变换的秩,无非就是变化后

    1.8K120

    读懂矩阵的秩和行列式的意义

    所谓逆序性,其几何意义就是在规定了一个正方向之后(比如从1,2,3,4,5...N这个顺序定义为正号),交换任意一对数都取一次负号。...,矩阵的行列式对应的面积或者是体积.这样的推广证明相信在任意一本的线性代数书中都会看到,我只是说了人话而已. 5:行列式和矩阵的逆 我们知道很多定理,比如行列式为0的矩阵,不可逆,行列式不为0的矩阵,可逆...这个时候我们就应该要理解线性变化的几何意义.现在我来陈述一下: 如果我们把空间中一组线性无关的矢量都写成列向量的形式,那么他们所张成的N维体体积不为零,根据上面的分析,其值由行列式给出。...变换前,N维体的体积是: 变换之后,N维体的体积是(注意到,第二个等式实际上说明了几何意义是如何定义矩阵乘法的,也就是N*N矩阵A和另外一个N个列向量组成的N*N矩阵的乘法): A的行列式如果不为零,则代表这个变换后...为3*3的矩阵A,因为秩小于3,那么任何一个3维六面体经过他的变化后,体积变为0,退化一个面,但是仍然存在一个面积不为0的面,在变换以后还是一个非零面积的面 所以说所谓的一个线性变换的秩,无非就是变化后

    1.4K120

    【机器学习】无监督学习:PCA和聚类

    非对角值为相应特征对的协方差。若X是观测的矩阵,则协方差矩阵为: ? 快速温习:作为线性操作的矩阵,有本征值和本征向量。...它们非常方便,因为它们描述了我们的空间在应用线性操作时不会翻转只会拉伸的部分;本征向量保持相同的方向,但是根据相应的本征值拉伸。形式化地说,矩阵M、本征向量w、本征值λ满足如下等式: ?...样本X的协方差矩阵可以写成转置矩阵X和X自身的乘积。据Rayleigh quotient,样本的最大差异沿该矩阵的本征向量分布,且和最大本征值相一致。...因此,我们打算保留的数据主成分不过是对应矩阵的k个最大本征值的本征向量。 下面的步骤要容易理解一点。我们将数据X矩阵乘以其成分,以得到我们的数据在选中的成分的正交基底上的投影。...这些测度的值不像ARI或AMI一样缩放过,因此取决于聚类数。当一个随机聚类结果的聚类数足够大,而目标数足够小时,这一测度的值不会接近零。在这样的情形下,使用ARI要更合理。

    2.6K21

    呆在家无聊?何不抓住这个机会好好学习!

    ⑵矩阵的运算 具有m行n列的矩阵称为m×n矩阵,共具有m×n个元素;行和列数均为n的称为n阶矩阵或n阶方阵。只有一行的矩阵为行向量,只有一列的矩阵为列向量,行数和列数均相等的矩阵称为同型矩阵。...: 实例如下所示: 矩阵与矩阵相乘不满足结合律,但是满足交换律和分配律,在R中可使用%*%符号来计算,如下所示: 矩阵相乘的Hadamard乘积定义为矩阵每个对应元素的乘积(必须是两个同型矩阵之间...upper.tri()则与之相反,取矩阵上三角部分,具体如下所示: ⑤与维数有关 在R中很容易得到一个矩阵的维数(指矩阵的行数和列数),函数dim()将返回一个矩阵的维数,此外nrow()和ncol(...同样,假如数据中有些个维度,在所有的样本上变化不明显(极端情况:在所有的样本中该维度都等于同一个数),也就是说该维度上的方差接近于零,那么显然它对区分不同的样本丝毫起不到任何作用,这个维度即是冗余的。...那么“降噪”,就是让保留下的不同维度间的相关性尽可能小,也就是说让协方差矩阵中非对角线元素都基本为零,也即矩阵对角化过程。

    1.1K30

    枚举(蓝桥练习)

    请问,在1到n中,所有这样的数的和是多少? 输入描述 输入格式: 输入一行包含两个整数 n(1≤n≤ 104) 输出描述 输出一行,包含一个整数,表示满足条件的数的和。...<< '\n'; else cout << z << '\n'; } return 0; } 乘积和加法的和都不为0 如果只考虑乘积不为0 如果乘积为0,则说明存在零(zero)元素...此时的答案一定是所有零(zero)元素都加一 如果只考虑加法为0, 那么随便选择一个数加一 回到原问题, 同时考虑乘法和加法 1.乘积为0, 且加法也为0 此时将所有零(zero)...元素加一即可 2.乘积为0, 加法不为0 2.1.乘积为0, 加法不等于零(zero)元素的个数的相反数 此时将所有零(zero)元素加一即可 2.2.乘积为0, 加法等于零(zero)...元素的个数的相反数 此时将所有0元素加一后, 再选择一个数加一 3.乘积不为0,加法为0 此时将某个正数加一即可 4.乘积不为0,加法也不为0 不动 #include <bits/stdc

    23811

    手把手教你用LDA特征选择

    每一个本征向量对应一个本征值,本征值会告诉我们相应本征向量的“长度”/“大小”。 如果所有的本征值大小都很相近,那么这就表示我们的数据已经投影到了一个“好”的特征空间上。...个最大本征值对应的本征向量,组建一个 d×k 维矩阵——即每一列就是一个本征向量。  5. 用这个 d×k-维本征向量矩阵将样本变换到新的子空间。这一步可以写作矩阵乘法 Y=X×W 。...从第一节线性代数课开始我们就知道,本征向量和本征值表示了一个线性变换的形变程度——本征向量是形变的方向;本征值是本征向量的尺度因数,刻画了形变的幅度。...其实,这后两个本征值应该恰好为0。 在LDA中,线性判别器的数目最多是 c−1,c 是总的类别数,这是因为类内散布矩阵 SB 是 c 个秩为1或0的矩阵的和。...注意到很少有完全共线的情况(所有样本点分布在一条直线上),协方差矩阵秩为1,这导致了只有一个非零本征值和一个对应的本征向量。

    6.6K50

    张量分解与应用-学习笔记

    (反正写文献的时候也肯定是用英文嘛) 1. 介绍 什么是张量(tensor)?简单地说,就是个多维数组。在本研究范围内, 不考虑任何物理和工学领域内的张量定义,而仅仅考虑其数学领域。...后面我们马上会提到这是个非常棘手的概念。我们很多时候无法轻易地决定一个张量的秩是多少。 不过,秩1张量比较特别。他可以被向量(vector)的外积(outer product)所定义。...如果对角张量同时是立方的,则只有超对角线(superdiagonal)所经过的元素不为0 值得注意的是,对角张量对任何维度比例的张量其实都成立。...本文将不会叙述一个完整的张量乘法定义,而是仅挑选其最为有意义的n-mode乘法来进行介绍。也就是张量与矩阵(或向量)在mode n之下的乘积。...这个15也就是除去被选中进行乘法的维度以外的剩余维度可索引元素最大数量。最后该矩阵乘法的结果为一个矩阵。这是我们原本所期待的张量乘积的n-mode矩阵化后的产物。

    3.4K00

    首发:吴恩达的 CS229的数学基础(线性代数),有人把它做成了在线翻译版本!

    2.矩阵乘法 两个矩阵相乘,其中 and ,则: 其中: 请注意,为了使矩阵乘积存在,中的列数必须等于中的行数。有很多方法可以查看矩阵乘法,我们将从检查一些特殊情况开始。...正交矩阵的另一个好的特性是在具有正交矩阵的向量上操作不会改变其欧几里德范数,即: 对于任何 , 是正交的。 3.9 矩阵的值域和零空间 一组向量是可以表示为的线性组合的所有向量的集合。...可以看出,对于任何非奇异, 虽然这是一个很好的“显式”的逆矩阵公式,但我们应该注意,从数字上讲,有很多更有效的方法来计算逆矩阵。 3.11 二次型和半正定矩阵 给定方矩阵和向量,标量值被称为二次型。...值得注意的是,对于任何特征向量和标量,,也是一个特征向量。...以下是特征值和特征向量的属性(所有假设在具有特征值的前提下): 的迹等于其特征值之和 的行列式等于其特征值的乘积 的秩等于的非零特征值的个数 假设非奇异,其特征值为和特征向量为。

    1.6K20

    通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)

    矩阵A与特征向量x的变换等于特征向量x与特征值λ的乘积 对于一个3×3维的矩阵A,我们可以将矩阵A与其特征向量x的变换理解为将矩阵A与另一个矩阵x的乘积。...这是因为矩阵A与其特征向量x的变换等同于矩阵A的每一行与特征向量x的变换,从而矩阵之间的乘积可以表示为其特征值与特征向量的乘积。此时我们便能够分离出矩阵的特征值和特征值向量,并将其放在两个矩阵之中。...这揭示了一个重要的结论:对称矩阵能够被分解为两个正交特征向量组成的矩阵与对角矩阵的乘积。并且,对称矩阵的特征值均为实数。 ?...我们现在可以将任何矩阵分解成两个正交矩阵和一个对角矩阵,其中矩阵U的维度为m×r,对角阵Σ的维度为r×r和矩阵V的维度为r×n,其并且矩阵A的秩为r。...因此,通过把5个样本向量映射到u1,在没有损失任何信息的情况下,所需分析矩阵A的维度从3维下降到了1维。 李爱(Li Ai)

    2.8K20

    敲开图灵之门:CS 大四学生长文畅谈量子计算机的「前世、今生、未来」

    然而,在实践中,对于任何实际的、合理大小的问题来说,图灵机的速度都太慢了。 ? 图灵机示意图。...这是量子比特的一个固有属性,为其自身的定域性(locality)赋予了一个概率分布。 ? 经典比特和量子比特。...基态被定义为粒子处于最低能级时的状态,因此是最稳定的状态。传统上,获得基态需要从粒子状态的本征向量中计算最小的本征值,这些本征向量由称为哈密顿量(Hamiltonian)的矩阵表示。...此外,经典神经网络有时会由于高度退化的 Fisher 信息矩阵放缓训练速度,而量子神经网络提供了更具描述性的 Fisher 信息矩阵,具有更均匀的非零本征值。...同样地,量子计算机可以在 N 个数据点执行傅里叶变换,对稀疏 N*N 矩阵反演,并找到在时间上与 log (N)中多项式成正比的本征值和本征向量。

    44110

    【学习】 TensorFlow:最棒的深度学习加速器

    简单地说,这些神经网络都是简单的函数,输入X就会产生输出Y。除了输入X,函数还使用一系列参数(被称为权重),其中包括标量值、向量以及最昂贵的矩阵和高阶张量。 张量是向量的泛化以及更高维度的矩阵。...如今流行的特殊函数包括数目庞大、昂贵、可计算的线性代数操作,以及矩阵乘积和卷积操作。在能够训练网络之前,我们定义一个代价函数,常见的代价函数包括回归问题的方差以及分类时候的交叉熵。...其次,手动对一个巨大而丑陋的函数求导本身是一个很痛苦而且耗时非常久的过程,数天甚至数周的求导过程还不如来进行新实验设计。...进一步说,我已经在使用Python的Numpy库上投入了很多精力,使用一个python架构使我的工作变得简单方便。这是只有Python和Theano拥有的属性。...Theano有一个似乎广为人知的bug,每当在调用Scan函数时在函数调用语句里做了生成随机数的操作。函数返回的错误信息并不特别有用,我也没办法知道这个bug啥时能被解决掉,或者能不能被解决。

    71450

    深度学习-数学基础

    分配律 \[ A(B + C) = AB + AC \] 结合律 \[ A(BC) = (AB)C \] 矩阵乘积不满足交换律 两个相同维数的向量 x 和 y 的 点积(dot product...)可看作是矩阵乘积 \(x^{T}y\) 两个向量的点积满足交换律 \[ x^{T}y=y^{T}x \] 矩阵乘积的转置 \[ (AB)^{T} = B^{T}A^{T} \] 由两个向量点积的结果是标量...这是对于任意 \(b\) 的取值都有解的充分必要条件 不存在一个 \(m\) 维向量的集合具有多于 \(m\) 个彼此线性不相关的列向量,但是一个有多于 \(m\) 个列向量的矩阵有可能拥有不止一个大小为...如果两个向量都有非零范数,那么这两个向量之间的夹角是 90 度。在 \(R^n\) 中,至多有 \(n\) 个范数非零向量互相正交。...其他的衡量指标如 相关系数(correlation)将每个变量的贡献归一化,为了只衡量变量的相关性而不受各个变量尺度大小的影响 两个变量如果相互独立那么它们的协方差为零,如果两个变量的协方差不为零那么它们一定是相关的

    1K10

    线性代数学习笔记(几何版)

    本博客仅用来记录重要概念。...线性相关 一组向量中至少有一个是多余的,没有对张成空间做出任何贡献 你有多个向量, 并且可以移除其中的一个而不减小张成的空间 这种情况发生时,我们称他们是“线性相关”的 ?...“保持网格线平行且等距分布”—》如果变换前的向量是$i$和$j$的线性组合,那么变换后也是$i$和$j$的线性组合 ?...零空间 零空间:变换后落在原点的向量的集合 点积 定义: 代数:对于两个维度相同的矩阵,其点积为将相应坐标配对,求出每一对坐标的乘积再相加 ?...几何:两个向量的点积为一个向量在另一个向量上正交投影的长度乘以另一个向量的长度(好绕。。) ? 若两向量反向,则乘积为负 ? 两者的关系: 这一部分听傻了,感觉都是神仙推导。太强了orz ?

    1.2K30

    特征值和特征向量

    特征值和特征向量是矩阵的重要性质,本文记录相关内容。 我们知道,矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中,原向量主要发生旋转、伸缩的变化。...——《线性代数的几何意义》 定义 对于一个给定的方阵 {\displaystyle A},定义它的特征向量(eigenvector,也译固有向量、本征向量)为非零向量{\displaystyle v}...、本征值)。...x 矩阵的特征向量不是固定的,特征值 {\displaystyle \lambda } 对应的所有特征向量和零向量一起可以组成一个向量空间,这个空间称为 A 的一个特征空间。...这个特征空间如果是有限维的,那么它的维数叫做 {\displaystyle \lambda } 的几何重数。

    1.3K20

    微积分、线性代数、概率论,这里有份超详细的ML数学路线图

    深入挖掘一下,你会发现,线性代数、微积分和概率论等都和机器学习背后的算法息息相关。 机器学习算法背后的数学知识你了解吗?...微分和积分互为逆运算,这是因为: 它适用于任何可积函数 f(x)。函数的积分也可以看作是曲线下的有符号面积。...首先介绍一个特例,把平面上的每个点看作一个元组: 这些本质上是从零指向(x₁,x2)的向量。向量之间可以相加,向量也可与标量相乘: 这是向量空间的原型模型。...一般来说,基(basis)是向量的最小集合: 它们的线性组合跨越了向量空间: 任何向量空间都存在一个基(它可能不是一个有限集,但这里不必关心)。毫无疑问,在讨论线性空间时,基大大简化了问题。...Ax 是线性变换的一部分,则函数: 是向量空间 V 和 W 之间的线性变换 对于 V 中的所有 x、y 值都成立,而且都是实数。 矩阵及其运算 矩阵最重要的运算是矩阵乘积。

    53510
    领券