numpy中有一个掩码数组的概念，需要通过子模块numpy.ma来创建，基本的创建方式如下 >>> import numpy as np >>> import numpy.ma as ma >>> a...上述代码中，掩藏了数组的前3个元素，形成了一个新的掩码数组，在该掩码数组中，被掩藏的前3位用短横杠表示，对原始数组和对应的掩码数组同时求最小值，可以看到，掩码数组中只有未被掩藏的元素参与了计算。...掩码数组赋予了我们重新选择元素的权利，而不用改变矩阵的维度。...在可视化领域，最典型的应用就是绘制三角热图，代码如下 import matplotlib.pyplot as plt import numpy as np import numpy.ma as ma...在numpy.ma子模块中，还提供了多种创建掩码数组的方式，用法如下 >>> import numpy.ma as ma >>> a array([0, 1, 2, 3, 4]) # 等于2的元素被掩盖
参考链接： Python中的numpy.asmatrix python科学计算_numpy_线性代数/掩码数组/内存映射数组 1....线性代数 numpy对于多维数组的运算在默认情况下并不使用矩阵运算，进行矩阵运算可以通过matrix对象或者矩阵函数来进行； matrix对象由matrix类创建，其四则运算都默认采用矩阵运算，...掩码数组 numpy.ma模块中提供掩码数组的处理，这个模块中几乎完整复制了numpy中的所有函数，并提供掩码数组的功能； 一个掩码数组由一个正常数组和一个布尔数组组成，布尔数组中值为True的...>元素表示正常数组中对应下标的值无效，False表示有效； 创建掩码数组： 创建掩码数组： import numpy.ma as ma x = np.array([1,2,3,5,7,4,3,2,8,0...，tofile()输出的数据不>保存数组的形状和元素类型等信息；fromfile()函数可以读取无格式二进制>文件，此时，需要正确设置数组的元素类型dtype， 以及后续进行正确的形>状转换操作；如果指定了
(gh-20414) UPDATEIFCOPY数组标志已与枚举NPY_ARRAY_UPDATEIFCOPY一起被移除。相关的（已弃用的）PyArray_XDECREF_ERR也被移除。...(gh-21354) 新函数 现在可以使用numpy.ma.ndenumerate作为ndenumerate的掩码数组专用版本。它提供了一个替代方案，跳过默认情况下的掩码值。...这种限制会不必要地强迫用户在能够更改 dtype 之前对非连续数组进行连续复制。 此更改不仅影响 ndarray.view，还影响其他构造机制，包括不鼓励直接赋值给 ndarray.dtype。...(gh-20314) C API 更改 掩码内部循环不再可以自定义 掩码内部循环选择器现在不再使用。在极少数情况下自定义时会发出警告。 我们不希望任何代码使用这个功能。...(gh-20314) C API 更改 无法再自定义掩码内部循环 掩码内部循环选择器现在不再使用。在极少情况下，如果进行了自定义，将发出警告。 我们不希望任何代码使用此功能。
(gh-22607) 兼容性说明 array.fill(scalar)的行为可能会有轻微不同 numpy.ndarray.fill 在某些情况下可能会有轻微不同的行为，因为逻辑与项目赋值对齐： arr...在某些情况下，这种变化意味着返回的是视图而不是输入数组。...在某些情况下，这个变化意味着返回的是视图而不是输入数组。...(gh-22598) array.fill(scalar)的行为可能略有不同 numpy.ndarray.fill在某些情况下可能会因为逻辑与项目赋值对齐而略有不同： arr = np.array([1...在某些情况下，这种更改意味着返回的是视图而不是输入数组。
比如buffer.copy_(a)，将a中的数据直接复制到了buffer中。视图(View)： 视图是指不复制数据的情况下，返回一个与原始张量共享内存的张量。例如，切片操作通常会返回一个视图。...PyTorch和Numpy中的情况：在通过索引访问张量的内容时，PyTorch 遵循 Numpy 的行为，即基本索引返回视图，而高级索引返回副本。通过基本索引或高级索引进行的赋值都是原地操作。...基本索引：使用整数或切片来访问数组的元素。高级索引：指的是使用整数数组、布尔数组或者其他序列来访问数组的元素。...相比于基本索引，高级索引可以访问到数组中的任意元素，并且可以用来对数组进行复杂的操作和修改。...： tensor([0, 8, 9, 3, 4]) 结论分析 在PyTorch中，当你使用布尔掩码或索引来访问张量时，通常会创建一个新的张量，而不是对原始张量进行原地修改。
相反，可以通过 pip/build 的配置设置接口传递命令行标志给构建。这些标志都列在仓库根目录的 meson_options.txt 文件中。...: 统一 fortranobject #24545: TYP: 向 numpy.isin 类型规范添加 kind 参数 #24561: BUG: 修复掩码和未掩码结构化数组之间的比较...在不传递任何 kwargs 的情况下正常工作 #24117: MAINT: 固定 urllib3 以避免 anaconda-client 的 bug。...(gh-23314) 仅 ndim-0 数组被视为标量。NumPy 曾将所有大小为 1 的数组（例如，np.array([3.14])）视为标量。...现在数组上的 == 和 != 运算符总是： 在比较过程中引发错误，例如当数组具有不兼容的形状时（np.array([1, 2]) == np.array([1, 2, 3])）。
推荐阅读时间：8min~10min 文章内容：Numpy掩码数组（Numpy异常值、缺失值处理） 简介 有时候数据集中存在缺失、异常或者无效的数值，我们可以标记该元素为被屏蔽（无效）状态。...>>> mx.mean() 2.75 访问掩码 可通过其mask属性访问掩码数组的掩码。我们必须记住，掩码中的True条目表示无效数据。...当访问没有命名字段的被掩蔽数组的单个条目时，输出是标量（如果掩码的相应条目是False）或特殊值masked （如果掩码的相应条目为True）： >>> x = ma.array([1, 2, 3],...，访问单个条目将返回numpy.void对象（如果没有掩码），或者如果至少一个字段具有与初始数组相同的dtype的0d掩码数组的字段被屏蔽。...，其data属性是原始数据的视图，并且其掩码是nomask（如果没有无效条目原始数组）或原始掩码的相应切片的副本。
在 axis=None 的情况下使用相同种类转换融合。 赋值给数组时，NumPy 标量会被转换。 当混合字符串和其他类型时，数组强制转换会发生变化。...和 fastputmask slots 被废弃并设置为 NULL np.ediff1d 在 to_end 和 to_begin 上的类型转换行为 将空数组对象转换为 NumPy 数组...numpy.distutils 在 LDFLAGS 和类似情况下的 append 行为发生更改 移除未弃用的 numpy.random.entropy 添加选项以安静地配置构建并用...__array__()在a不连续时返回不可写的数组 np.tensordot现在在收缩为 0 长度的维度时返回零数组 numpy.testing重新组织 np.asfarray不再接受非数据类型的...的reduce在更多情况下被允许（查看详情） 对象数组的更好 repr（查看详情） 改变（查看详情） 对掩码数组进行的 argsort 现在具有与 sort 相同的默认参数（查看详情
在第二章中，我们详细介绍了在 NumPy 数组中访问，设置和修改值的方法和工具。...序列中的数据选择 我们在上一节中看到，Series对象在很多方面都像一维 NumPy 数组，并且在许多方面像标准的 Python 字典。...作为一维数组的序列 Series建立字典式接口上，并通过与 NumPy 数组相同的基本机制，提供数组式的项目选择，即切片，掩码和花式索引。...data[1] # 'a' # 切片的时候是隐式索引 data[1:3] ''' 3 b 5 c dtype: object ''' 由于在整数索引的情况下存在这种潜在的混淆，Pandas...loc和iloc的显式特性，使它们在维护清晰可读的代码时非常有用；特别是在整数索引的情况下，我建议使用这两者，来使代码更容易阅读和理解，并防止由于混合索引/切片约定而导致的细微错误。
一般情况下可以分为两种：一种方法是通过一个覆盖全局的掩码表示缺失值， 另一种方法是用一个标签值（sentinel value） 表示缺失值。...在掩码方法中， 掩码可能是一个与原数组维度相同的完整布尔类型数组， 也可能是用一个比特（0 或 1） 表示有缺失值的局部状态。...由于 None 是一个 Python 对象， 所以不能作为任何 NumPy / Pandas 数组类型的缺失值，只能用于 'object' 数组类型） ： import numpy as np import...dtype('float64') 请注意， NumPy 会为这个数组选择一个原生浮点类型， 这意味着和之前的 object 类型数组不同， 这个数组会被编译成 C 代码从而实现快速操作。...3 行被剔除了， 因为它们只包含两个非缺失值。
期望输入一个 数组或者是操作掩码数组 ---- 掩码是啥？ 在许多情况下，数据集可能不完整或因无效数据的存在而受到污染。例如，传感器可能无法记录数据或记录无效值。...numpy.ma模块通过引入掩码数组提供了一种解决此问题的便捷方法。 再看一种解释，数据很大形况下是凌乱的，并且含有空白的或者无法处理的字符，掩码式数组可以很好的忽略残缺的或者是无效的数据点。...masked数组是标准numpy.ndarray和 masked的组合。掩码是nomask，表示关联数组的值无效，或者是一个布尔数组，用于确定关联数组的每个元素是否有效。...当掩码的元素为False时，关联数组的相应元素有效，并且被称为未屏蔽。当掩码的元素为True时，相关数组的相应元素被称为被屏蔽（无效）。...看第二个的方法 掩码数组具有三个属性：data、mask、fill_value； data表示原始数值数组， mask表示获得掩码用的布尔数组， fill_value表示的填充值替代无效值之>后的数组
它是在C和Fortran中创建的，因此当计算被矢量化（用矩阵和矢量表示操作）时，性能很高。...由于动态类型的原因，在Python中用list实现这种操作并不是很有效。 Numpy数组是静态类型化和同质化的。元素类型是在创建数组时定义的（那么数组数据类型可以改变）。...如果我们省略了多维数组中的索引，就会返回一些值（一般情况下，N-1维的数组）。 M ? M[1] ? M[1,:]#第一行 ? M[:,1]#第一列 ? 使用索引，你可以为单个数组元素赋值。...你也可以使用掩码：如果掩码类型为bool，那么根据掩码元素的值与相应的索引，选择该元素（True）或不选择（False）。 B = array([n for n in range(5)]) B ?...5.4从数组中提取数据和创建数组的函数。 5.4.1where 索引掩码可以通过使用以下方法转换为位置索引 where indices = where(mask) indices ?
Series数据选择 前面说过，Series有些操作类似一维Numpy数组，有些操作类似Python字典。...例如，下面的就发生冲突了： data.pop is data['pop'] 所以一般情况下，尽量采用[]的方式获取值。...与Series对象类似，也可以通过键赋值的方式修改整列获取添加新的列: data['density'] = data['pop'] / data['area'] 将DataFrame看做二维数组 通过values...1.96511270e+07, 1.39076746e+02], [ 6.95662000e+05, 2.64481930e+07, 3.80187404e+01]]) 许多二维数组的操作同样可以在...image.png 其他类似Numpy的索引方式对DataFrame也适用，例如通过掩码的方式进行索引： data.loc[data.density > 100, ['pop', 'density']]
NumPy是一个用于科学计算和数据分析的Python库，也是机器学习的支柱。可以说NumPy奠定了Python在机器学习中的地位。...类似的还有numpy.ones:创建一个都是1的数组 / numpy.empty:在不初始化数组元素的情况下创建数组。 使用numpy.random:生成随机数组的函数。...:在指定范围内生成均匀间隔的数字。...numpy.ma:供对掩码数组的支持。 numpy.ma.array:从现有的数组或序列创建一个掩码数组。 numpy.ma.masked_array:从现有数组和掩码中创建一个掩码数组。...numpy.ma.mask:表示掩码数组中的掩码值。 numpy.ma.masked_invalid:屏蔽数组中无效的(NaN, Inf)元素。
数组的计算：广播广播的介绍广播的规则广播的实际应用比较，掩码和布尔逻辑比较操作操作布尔数组将布尔数组作为掩码 《Python数据科学手册》读书笔记 数组的计算：广播 另外一种向量化操作的方法是利用 NumPy...NumPy 广播功能的好处是， 这种对值的重复实际上并没有发生， 但是这是一种很好用的理解广播的模型。...NumPy 提供了一些简明的模式来操作这些布尔结果。 操作布尔数组 给定一个布尔数组， 你可以实现很多有用的操作。...一种更强大的模式是使用布尔数组作为掩码， 通过该掩码选择数据的子数据集。...，对于Numpy布尔数组，后者是最常用的操作
译者：飞龙 协议：CC BY-NC-SA 4.0 在前面的章节中，我们看到了如何使用简单的索引（例如，arr [0]），切片（例如，arr [：5]）和布尔掩码来访问和修改数组的片段（ 例如，arr...在本节中，我们将介绍另一种数组索引方式，称为花式索引。 花式索引就像我们已经看到的简单索引，但是我们传递索引数组来代替单个标量。这使我们能够非常快速地访问和修改数组的复杂子集。...([71, 86, 60]) 使用花式索引时，结果的形状反映索引数组的形状，而不是被索引的数组的形状： ind = np.array([[3, 7], [4, 5]])...通过花式索引，返回值反映了索引的广播形状，而不是被索引的数组的形状。...求解x[i] + 1，然后将结果赋给x中的索引。考虑到这一点，它不是多次递增，而是赋值，这产生了相当不直观的结果。那么如果你想要重复操作的其他行为呢？
译者：飞龙 协议：CC BY-NC-SA 4.0 本节介绍如何使用布尔掩码，来检查和操作 NumPy 数组中的值。...在 NumPy 中，布尔掩码通常是完成这些类型任务的最有效方法。 示例：统计雨天 想象一下，你有一系列数据表示某一城市一年中每天的降水量。...我们在“NumPy 上的数组计算：通用函数”中看到，NumPy 的ufuncs可用于代替循环，对数组进行快速的逐元素算术运算；以同样的方式，我们可以使用其他ufunc对数组进行逐元素比较，然后我们可以操纵结果来回答我们的问题...作为ufunc的比较运算 在“NumPy 上的数组计算：通用函数”中，我们介绍了ufunc，专注于算术运算符。 我们看到，在数组上使用+，-，*，/和其他，产生了逐元素操作。...这是通过 Python 的按位逻辑运算符，&，|，^和~来实现的。与标准算术运算符一样，NumPy 将这些重载为ufunc，这些ufunc在（通常是布尔）数组上逐元素工作。
通常，它们围绕两种策略中的一种：使用在全局表示缺失值的掩码，或选择表示缺失条目的标记值。 在掩码方法中，掩码可以是完全独立的布尔数组，或者它可以在数据表示中占用一个比特，在本地表示值的空状态。...像NaN这样的常见特殊值不适用于所有数据类型。 在大多数情况下，不存在普遍最佳选择，不同的语言和系统使用不同的惯例。...此外，对于较小的数据类型（例如 8 位整数），牺牲一个位用作掩码，将显着减小它可以表示的值的范围。 NumPy 确实支持掩码数组吗？...我们将要看到，这种选择有一些副作用，但实际上在大多数相关情况下，最终都是很好的妥协。...NumPy 可以推断出，数组的内容是 Python 对象。
在后一种情况下，它必须与 WRITEMASKED 的结构操作数匹配，因为它在指定该数组的每个字段的掩码。 此标志仅影响从缓冲区写回数组。...如果未指定内部迭代，则指向内部循环的第一个数据项。 此指针可能在迭代循环之前被缓存，调用iternext不会改变它。此函数可以在不持有 Python 全局解释器锁（GIL）的情况下安全地调用。...这些指针与NpyIter_ResetBasePointers接受的指针不同，因为沿某些轴的方向可能已经被颠倒。 此函数在不持有 Python 全局解释器锁（GIL）的情况下可以安全地调用。...此指针可能在迭代循环之前被缓存，调用iternext不会改变它。此函数可以在不持有 Python 全局解释器锁（GIL）的情况下安全地调用。...在后一种情况下，它必须与被 WRITEMASKED 的结构操作数匹配，因为它指定了该数组每个字段的掩码。 此标记仅影响从缓冲区回写到数组。
在很多情况下，有些数据并不是完整的，丢失了部分值，这一节将学习如何处理这些丢失的数据。...处理机制的权衡 常见的处理丢失数据的方法有两种： 使用掩码全局的指明丢失了哪些数据 使用哨兵值直接替换丢失的值 上述都两种方法各有弊利，使用掩码需要提供一个格外的布尔值数组，占用更多的空间；使用哨兵则在计算时需要更多的时间...Pandas中的数据丢失 Pandas中处理数据丢失的方法受制于Numpy，尽管Numpy提供了掩码机制，但是在存储、计算和代码维护来说，并不划算，所以Pandas使用哨兵机制来处理丢失的数据。...None代替丢失值 第一个被Pandas使用的哨兵值是None， 由于None是Python对象，所以它并不适合所有情况，只能用于数组的类型为对象的情况。...isnull()：用于创建掩码数组 notnull()：isnull()的反操作 dropna()： 返回过滤后的数据 fillna()： 返回填充后的数据 检测null值 Pandas提供的isnull
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
