1901年由Pearson第一次提出主成分分析的主要方法，直到1963年Karhunan Loeve对该问题的归纳经历了多次的修改。...它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多 的原数据点的特性。...通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息 （如点和点之间的距离关系） 都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。...基 一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。 但是，在二维空间当中，只有坐标(X,Y)本身是不能够精确表示一个具有方向的向量的。...可以知道向量(x,y)是一个线性组合，即二维空间的基，在线性代数中，基（也称为基底）是描述、刻画向量空间的基本工具。向量空间的基是它的一个特殊的子集。 下面是二维空间的基的一般表示 ?
例如，在一个二维平面上的点 可以看作是一个二维向量 ，其中 和 分别是向量在两个坐标轴上的分量。向量的维度就是其包含的分量个数，如 维向量 ，这里的 就是向量的各个分量。...矩阵的行向量是指矩阵的每一行所构成的向量，如矩阵 的第 行向量为 ；列向量则是矩阵的每一列所构成的向量，第 列向量为 。...如 ， ，则 。 向量数乘在几何上表现为向量的缩放，其方向不变（当 时），长度变为原来的 倍。...在机器学习中，常用于调整特征向量的权重，例如在神经网络的输入层，对输入特征向量进行数乘操作可以改变不同特征对后续计算的影响程度，或者在数据标准化过程中，通过数乘将向量的长度调整到合适的范围。...通过将数据投影到由前 个特征向量张成的子空间中，实现了数据的降维，并且由于保留了方差较大的方向，所以能保留数据的主要信息，避免了信息的过度损失。
在很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。...通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。...容易得到最优的W是由数据协方差矩阵前 k 个最大 的特征值对应的特征向量作为列向量构成的。这些特征向量形成一组正交基并且最好地保留了数据中的信息。 ...ISOMap对MDS（Multidimensional Scaling-多维尺度分析）进行改造，用测地线距离（曲线距离）作为空间中两点距离，原来是用欧氏距离，从而将位于某维流形上的数据映射到一个欧氏空间上...维基百科对MDS的介绍https://en.wikipedia.org/wiki/Multidimensional_scaling 2.2.2 LLE（局部线性嵌入） 前提假设：数据没有形成一个封闭的超曲面
，不更新，但是权重仍然保留， 防止过拟合。...（4）Flatten层：将一个维度大于或等于3的高维矩阵，“压扁”为一个二维矩阵。即保留第一个维度（如：batch的个数），然后将剩下维度的值相乘为“压扁”矩阵的第二个维度。...如我们想要一个9个元素的输入向量重构成一个( None, 3, 3) 的二维矩阵：Reshape((3,3), input_length=(16, )) （6）卷积层：卷积操作分为一维、二维、三维，分别为...如我们对文本数据进行处理时，我们对每个词编号后，我们希望将词编号变成词向量就可以使 用嵌入层。...output_dim：输出的维度，如词向量的维度。
常见的几何基元包括: 点(Point): 由一对或一组坐标值表示的零维对象。 线段(Line Segment): 由两个端点确定的一维对象。...多边形(Polygon): 由一系列顶点连接而成的闭合平面图形,是二维对象。 曲线(Curve): 由一系列控制点和方程确定的平滑曲线,如贝塞尔曲线、样条曲线等。...上述变换可以分为 刚体变换 (如平移和旋转)和 非刚体变换 (如缩放、剪切和反射)。刚体变换不改变对象的形状和大小,只改变其位置和方向。非刚体变换会改变对象的形状或大小。...射影变换(Projective Transformation): 也称透视变换,可以将三维物体投影到二维平面上。 几何变换通常使用矩阵表示,对点或向量进行矩阵乘法即可完成变换操作。...& a_{02}\\a_{10} & a_{11} & a_{12}\end{bmatrix}x 射影变换 二维射影: x' = Hx,\ H\ \text{为任意3x3矩阵} 这些变换矩阵提供了将点或向量从一个坐标空间变换到另一个坐标空间的数学表示方法
利用 Python 和 Spacy 尝试过英文的词嵌入模型后，你是不是很想了解如何对中文词语做向量表达，让机器建模时捕捉更多语义信息呢？这份视频教程，会手把手教你操作。...另外，我们还可以把词语之间的关系，压缩到一个二维平面查看。 令人略感遗憾的是，以上的例子，都是英文的。 那么中文呢？ 中文可不可以也这样做语义计算，和可视化？ 答案是： 可以。...如果你对这个代码运行环境的构建过程感兴趣，欢迎阅读我的《如何用iPad运行Python代码？》一文。 浏览器中开启了咱们的环境后，请你观看我给你录制的视频教程。 希望你能跟着教程，实际操作一遍。...通过本教程，希望你已经掌握了以下知识： 如何用 gensim 建立语言模型； 如何把词嵌入预训练模型读入； 如何根据语义，查找某单词近似词汇列表； 如何利用语义计算，进行查询； 如何用字符串替换与结巴分词对中文文本做预处理...； 如何用 tsne 将高维词向量压缩到低维； 如何可视化压缩到低维的词汇集合； 如果你希望在本地，而非云端运行本教程中的样例，请使用这个链接（http://t.cn/R1T4400）下载本文用到的全部源代码和运行环境配置文件
图1 运动引导的注意力机制 为了建模显著运动如何结合外观信息来影响物体显著性的，作者将外观信息抽象为三维的外观特征张量（可为某个ReLU隐层的输出），将显著运动抽象为二维的运动显著图（如某个sigmoid...首先考虑最简单的情况，如何用一张二维的运动显著图来“关注”三维外观特征的重要位置。 一个直观的朴素模型是将运动显著图与外观特征逐位相乘，来加强外观特征中运动显著的区域的响应。...由于物体的运动和静止部分有较一致的外观属性（如色彩、纹理、语义），那么基于上述运动区域的外观特征向量预测出的一维的通道注意力权重，可有效提高物体静止部分相应属性或通道的响应，从而有助于分割出完整物体。...模型四的末端保留残差结构，以避免零元素“抑制”的问题。...本文是对原文主要方法和实验的解读，更多细节请参见原文。
现在有一张朱迪的照片,这张照片有500多列的像素点构成,但是大部分地方都是白色的，相互没有什么差别，也就是说图像中有很多列都是相互线性相关的，这些列向量对我们接受图像信息没有更大的帮助。...那么我们能不能找到一种方法，找出图像中相互独立的列向量，用尽可能少的向量去估计这张图片？这种方法就叫奇异值分解SVD，或PCA主成分分析。 ? “SVD" ?...；(可用用来做数据压缩) 降维： 下图中每一个点都是一个二维的数据，我们可以对图中的点做回归，回归可以看做是用一维的线去拟合二维的数据，现在我们从每一个原始数据点出发向这条线做垂线，落在这条线上的交点可以看做是二维空间内的点在这条一维空间内的表示...(representation)，降维后的数据保留了原始数据最大的变化特点(相关系数,或者说这条直线的斜率),而对于每个点离回归直线的距离这样的微小变化,直接忽略,即保留了原始数据包含的主要信息,忽略掉其中微小的变化...从图中可以发现，我们只使用了 特征向量V和 的特征向量U的前20列就可以很好的估计出原图。
除了索引之外，一个特征是一维，两个特征是二维，n个特征是n维。 1.2 图像中的维度 对图像来说，维度就是图像中特征向量的数量。...现在我们的目标是：只用一个特征向量来描述这组数据，即将二维数据降为一维数据，并且尽可能地保留信息量，即让数据的总方差尽量靠近2。...通过旋转原有特征向量组成的坐标轴来找到新特征向量和新坐标平面，将三个样本点的信息压缩到了一条直线上，实现了二维变一维，并且尽量保留原始数据的信息。一个成功的降维，就实现了。...在上述简单的二维实验中，保留第一个成分看起来是自然的选择。...中第i列的向量被称为关于的左奇异向量，中第i列的向量被称为关于的右奇异向量。 由上述分析可知，PCA的核心问题是协方差矩阵 的特征值分解，SVD的核心问题在于对 进行特征值分解。
之前的样本 x_1，它是一个二维向量。在降维后，我们可用一维向量（即，实数）z_1表示第一个样本。...把所有的数据都投射到一个二维平面上。 3D 云： ? 投射到一个二维平面上： ?...假使我们有关于许多不同国家的数据，每一个特征向量都有50个特征（如GDP，人均GDP，平均寿命等）。如果要将这个50维的数据可视化是不可能的。使用降维的方法将其降至2维，我们便可以将其可视化了。...PCA做的就是，如果想将数据从二维降到一维。我们要试着找一个方向向量，使得向量 u^(i) ∈ R^n （本例中， n = 2，即，u^(i) ∈ R^2）投影到这个方向向量上的投影误差最小。 ?...（我们要做的是，将数据投影到这 k 个向量展开的线性子空间上） 举例：从 3D 降维到 2D： ? u^(1) 和 u^(2) 两个向量一起定义了一个二维平面。我们将我们的数据投影到上面。
首先需要注意的是范数是对向量（或者矩阵）的度量，是一个标量（scalar）： 首先help(np.linalg.norm)查看其文档： x_norm=np.linalg.norm(x, ord=None...范数理论的一个小推论告诉我们：ℓ1≥ℓ2≥ℓ∞ ③axis：处理类型 axis=1表示按行向量处理，求多个行向量的范数 axis=0表示按列向量处理，求多个列向量的范数 axis=None表示矩阵范数。...④keepding：是否保持矩阵的二维特性 True表示保持矩阵的二维特性，False相反 import numpy as np x = np.array([ [0, 3, 4], [1..., 6, 4]]) #默认参数ord=None，axis=None，keepdims=False print "默认参数(矩阵整体元素平方和开根号，不保留矩阵二维特性)：",np.linalg.norm...(x) print "矩阵整体元素平方和开根号，保留矩阵二维特性：",np.linalg.norm(x,keepdims=True) print "矩阵每个行向量求向量的2范数：",np.linalg.norm
支持向量机的基础概念可以通过一个简单的例子来解释。让我们想象两个类别：红色和蓝色，我们的数据有两个特征：x 和 y。我们想要一个分类器，给定一对（x，y）坐标，输出仅限于红色或蓝色。...支持向量机会接受这些数据点，并输出一个超平面（在二维的图中，就是一条线）以将两类分割开来。这条线就是判定边界：将红色和蓝色分割开。 ? 但是，最好的超平面是什么样的？...支持向量机将会如何区分它？很简单： ? 太棒了！请注意，现在我们处于三维空间，超平面是 z 某个刻度上（比如 z=1）一个平行于 x 轴的平面。它在二维上的投影是这样： ?...它可以与其他线性分类器共同使用，如逻辑回归等。支持向量机只负责找到决策边界。 支持向量机如何用于自然语言分类？ 有了这个算法，我们就可以在多维空间中对向量进行分类了。如何将它引入文本分类任务呢？...我们还可以使用预处理技术来进一步改善它的效果，如词干提取、停用词删除以及 n-gram。 选择核函数 现在我们有了特征向量，唯一要做的事就是选择模型适用的核函数了。
这条直线一定会有这样的特点：即原二维数据的点投影到这直线上尽可能分散，这样才能保证尽可能多的点到这条直线上，即保留的信息尽量最大，为什么不是紧凑呢？...3,1）所在的轴，以矩阵的形式表示： ，也就是说(8,0)是在新的坐标轴 下的投影，原来的二维数据被降到了一维；那么这条合适的向量（新的坐标轴）是怎么确定的呢？...对 对u进行求导，让导函数等于0，可以得到： ，该公式就是线性代数里的矩阵特征值分解，线性代数其中用一条定理： A为n*n的矩阵，x为非零向量，若存在数 使得 成立，那么称 为A的特征值，x称为对应与...根据矩阵特征值分解的性质，可以得到m对特征值和特征向量（原始数据有多少维度，就有多少主成分，就多少个线性组合），为了达到降维的效果，需要丢弃掉变异较小即方差小的主成分，即只保留前k个比较大的特征值所对应的特征向量...，如果是在做多元回归或者多变量模型时，为了在预测模型中避免特征之间的共线性，可以考虑保留较多的主成分，尽量保留信息。
确定要保留的奇异值个数有很多启发式的策略，其中一个典型的做法就是保留矩阵90%的能量信息。为了计算能量信息，将所有的奇异值求平均和，直到累加到总值的90%为止。...拿到这个问题，最直观的一个思路流程就是：计算菜系的相似度->结合评分->对没吃过的菜系计算预测评分->预测评分排序->推荐前x个菜。...，进行推荐，奇异值是我生活的经验映射在数学空间的一种体现，来自于数学角度的解释，是巧合也是必然），如何将原始数据变换到这二维呢？...具体SVD是如何用程序实现的我打算专门写一篇程序实现的介绍，也包括比如特征值到底怎么求的等等方法。这里就简介调用方式。...对于Sigma矩阵为什么长成行向量的样子，是Python内部的机制，为了节省空间，因为它除了对角线都是0，记着Sigma是个矩阵就好。
图像处理中，往往把图像表示为像素的向量，比如一个 1000×1000 的图像，可以表示为一个10^6 的向量，就如同在手写字神经网络中，输入层为28×28 = 784 维的向量。...03 — 图像理论预备知识 一副图像的计算机表达 在计算机中，一个二维的图像被表达为一个二维的矩阵，可以看到空白的地方取值较小，越是颜色黑的区域，矩阵对应的色素值越大。 ? ?...通道（channel） 通道是一幅图像的特定组成部分，常见的手机拍出来的图片会有3个通道：红色，绿色，蓝色（RGB），也就是三通道，我们可以把它看为3个二维的数组，每一个二维数组代表一种颜色值，像素值在...根据图像其局部的像素联系较为紧密，距离较远的像素相关性较弱，这一合理的假设，CNN认为每个神经元没有必要对整个的全局图像进行感知，只需要对局部进行感知，然后接下来的隐含层中再对局部的信息综合起来，这样就提取成了一个新的保留了原来主要特征的图像...接下来，看下100个像素点，如何用一个指定大小的卷积核，做卷积操作的，为了演示的方便，直接拿一个5×5的原图像块，经过3×3的卷积核，最后如何提取特征的，首先3×3的卷积核长这样： filter =
np.size 表示数组中元素的个数，np.shape 表示数组各个维度的大小，例如一个三行四列矩阵的 shape 就是（3, 4），np.dtype 表示数组的数据类型，np 里面有很多的数据类型，如..., 6, 4]]) #默认参数ord=None，axis=None，keepdims=False print("默认参数(矩阵整体元素平方和开根号，不保留矩阵二维特性)：",np.linalg.norm...(x)) print("矩阵整体元素平方和开根号，保留矩阵二维特性：",np.linalg.norm(x,keepdims=True)) print("矩阵每个行向量求向量的2范数：",np.linalg.norm...1范数：",np.linalg.norm(x,ord=1,axis=1,keepdims=True)) 默认参数(矩阵整体元素平方和开根号，不保留矩阵二维特性)： 8.831760866327848...矩阵整体元素平方和开根号，保留矩阵二维特性： [[8.83176087]] 矩阵每个行向量求向量的2范数： [[5. ] [7.28010989]] 矩阵每个列向量求向量的2范数： [[1. 6.70820393
NumPy数组无法像Python列表那样加长，因为在数组末尾没有保留空间。...矩阵初始化语法与向量相似： ? 这里需要双括号，因为第二个位置参数是为dtype保留的。 随机矩阵的生成也类似于向量的生成： ? 二维索引语法比嵌套列表更方便： ?...因此在二维数组中，如果axis=0是按列，那么axis=1就是按行。 ? 矩阵运算 除了普通的运算符（如+，-，*，/，//和**）以元素方式计算外，还有一个@运算符可计算矩阵乘积： ?...默认情况下，一维数组在二维操作中被视为行向量。因此，将矩阵乘以行向量时，可以使用(n，)或(1，n)，结果将相同。 如果需要列向量，则有转置方法对其进行操作： ?...因此，NumPy中总共有三种类型的向量：一维数组，二维行向量和二维列向量。这是两者之间显式转换的示意图： ?
确定要保留的奇异值个数有很多启发式的策略，其中一个典型的做法就是保留矩阵90%的能量信息。为了计算能量信息，将所有的奇异值求平均和，直到累加到总值的90%为止。...用户和菜系 拿到这个问题，最直观的一个思路流程就是：计算菜系的相似度->结合评分->对没吃过的菜系计算预测评分->预测评分排序->推荐前x个菜。...，进行推荐，奇异值是我生活的经验映射在数学空间的一种体现，来自于数学角度的解释，是巧合也是必然），如何将原始数据变换到这二维呢？...具体SVD是如何用程序实现的我打算专门写一篇程序实现的介绍，也包括比如特征值到底怎么求的等等方法。这里就简介调用方式。...对于Sigma矩阵为什么长成行向量的样子，是Python内部的机制，为了节省空间，因为它除了对角线都是0，记着Sigma是个矩阵就好。
image.png 自组织映射的训练实例 自组织映射[2] 是一种使用非监督学习来产生训练样本输入空间的一个低维（通常是二维）离散化表示的神经网络。...保留距离最小的节点（最佳匹配单元BMU） 更新BMU节点及其邻域内节点的权重 其中 是神经元 的权重， 是迭代次数 是邻近函数（neighborhood function），...3 如何用SOM做异常检测？...image.png Alexander[3]等人的研究中，随硬件使用时长变化，整体qe随时间的变化曲线，当濒临硬件的使用寿命极限时，整体qe会显著上升，并且在濒临极限前可通过qe检测出硬件风险 4 如何用...详细的逻辑可参照下图，样本共有四个维度，测试集共有20480个样本，第一张图是测试集的quantization error随时间的分布，第二张图的原理如下，每个样本都可以计算出一个最异常维度，如样本
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
实时音视频
