2回答
由于各种维度诅咒的存在，许多常用的预测技术对高维数据的精度和速度都会降低。帮助有效处理高维数据的一些最有用的技术/技巧/启发式方法是什么？例如,
某些统计/建模方法在高维数据集上表现良好吗？
我们可以通过使用特定的(定义距离的替代概念)或核粒 (定义点积的替代概念)来改进高维数据上的预测模型的性能吗？
高维数据降维最有用的技术是什么？
浏览 0提问于2015-01-25得票数 17
当我看到高维部分时，我正在读“统计学习导论”，他们认为高维数据会引起很多问题。我的问题是，要应用任何特征选择模型，必须有更多的特征而不是观察。
如果是的话，你能给我提供任何关于它的文章吗？
浏览 0提问于2020-11-25得票数 0
回答已采纳
3回答
从数据库中提取的数据集由50多个列组成，我将这些列称为_dimension_s，可以称之为_dimension_s吗？
显然，我必须对它们进行降维。但是，由于PCA算法和其他算法一样，通常采用轴旋转来生成一些新的轴。我认为我不会在降维中使用PCA算法。因此，我计算了这些列(参数)之间的相关性，并过滤了那些具有高值和其他一些规则的人。所以我还能称它为降维吗？因为我只做了一些参数过滤
我之所以不使用PCA算法，是因为我想实现神经网络分类，而且我需要实际的参数。
请评论一下，任何批评都是受欢迎的。
浏览 0提问于2017-03-21得票数 1
我的keras编解码码在cpu上工作得很好。但是在gpu上，除了1之外，我不能用batch_size启动它！这很奇怪。即使在这种拟合中不使用批处理大小参数，我也会得到：
tensorflow.python.framework.errors_impl.InvalidArgumentError:不兼容形状: 1568对32,49
(默认情况下，keras采用batch_size=32)
我可以用我想要的任何batch_size运行许多其他程序。模块是比较二维对象和一维对象吗？
浏览 1提问于2018-10-28得票数 2
根据wiki的说法，重新开始使用T-SNE映射到二维.
如果我们想要可视化数据，我可以理解这一点。
如果我们想要减少功能的数量(即从30个特性减少到5个dims)，那么是否建议使用T-SNE来实现呢？还是我们应该使用其他的降维算法？
浏览 0提问于2021-06-22得票数 7
回答已采纳
1回答
我仍然在探索机器学习的这一领域，尽管我知道特征选择和降维之间的区别，但我发现在掌握何时进行特征选择或降维(或两者兼而有之)的概念上存在一些困难。
假设我有一个包含大约40个特征的数据集，那么单独执行降维还是单独进行特征选择是一种好的做法？或者应该有两种方法的混合(即先进行特征选择，然后进行降维-或者反之亦然)？
浏览 1提问于2017-12-16得票数 0
1回答
如何从图形中提取有用的特征？
、、、、
事情是这样的：
我有一些图形，如上面的图片，我试图将它们分类为不同的种类，这样就可以识别字符的形状，下面是我所做的：
我把二维FFT应用到这些图上，这样就可以得到这些图的谱分析。以下是一些结果：
S后的二维快速傅立叶变换
二维FFT后的t
我发现在FFT之后，同一个字母共享相同的幅值图，我想使用这个特性来对这些字母进行聚类。但是有一个问题:我希望感兴趣的特征可以在二维平面上呈现，也就是以(x，y)的形式，但是这里的特征实际上是一个图，大约有600*400元素，我知道我唯一感兴趣的是图形的形状(S是中间的一个点，T是一个十字)。那么，我能做些什么来降低星等
浏览 2提问于2013-04-08得票数 1
1回答
基本上，我有一个n维数组，我想遍历它的元素，但是迭代器只能去一个相邻的元素。例如，像这样(用2D数组)-
现在，我可以想出一种用2D数组来完成这个任务的方法--例如(通过编辑数组本身)，但我想不出任何n维数组都可以以这种方式循环通过。如果你对此有任何想法的话，那会有很大帮助的。它不需要在特定的模式中移动，唯一需要的是迭代器在每个步骤中只移动到相邻的矩阵元素。
注意:我之所以需要这样做，是因为我正在编写一个python脚本来操作一个QM程序，以运行一个“轻松扫描”。在这种情况下，一个或多个键的长度必须被限制到特定的值，其余的分子被允许放松。大多数程序都是这样做的，每次都采用第一个提供的
浏览 1提问于2020-11-09得票数 0
1回答
我有一个二进制形式的NxM数据的数据集。我对它应用了各种维度技术，并绘制了前两个维度。这就是我如何直观地判断该技术是否适合我的数据集。有没有更合适的/有条理的/启发式的/正式的方法来测试我使用的降维技术的适用性？
浏览 2提问于2013-07-30得票数 4
我想使用MatLab中的主成分分析(PCA)将一个更大的维数矩阵(如2000*768)减少到一些较低的维数(如200*768或400*400 (不固定))。我想这样做是为了减少特征维数。我怎么才能轻松做到这一点呢？请给我推荐一些教程，以便更好地理解PCA。
提前谢谢。
浏览 4提问于2015-05-08得票数 0
2回答
Iam正在使用有监督的机器学习解决二值图像分类问题。我使用支持向量机分类器算法。首先，我在变量X中创建了一个归一化彩色图像的numpy数组，其形状为(17500,32,32,3)。然后，在数据拆分之后，X_train具有形状(14000,32,32,3)和维度4，y_train具有形状(14000, 2 )和维度2。
clf.fit(X_train,y_train)
运行此代码后，我得到一个值错误:发现维数为4的数组估计器的维数为<=2。
提前感谢！
浏览 1提问于2020-01-23得票数 0
1回答
我有一个具有大约100万行和大约500 K稀疏特性的数据集。我想把维数降到1K-5K稠密特征的某个地方。
sklearn.decomposition.PCA不工作在稀疏数据上，我尝试过使用sklearn.decomposition.TruncatedSVD，但是很快就得到了一个内存错误。在这个尺度上，我的有效降维选择是什么？
浏览 0提问于2018-08-29得票数 14
回答已采纳
2回答
我有一个三维数组A，我想要对其中一个轴上的值求和，并创建一个包含和的二维数组。
这可以很天真地通过循环遍历3d数组来完成，但这样做非常慢。
可以比天真的方式更快地实现这一点，但是有没有更快的方法呢？
我在Matlab语言中找到了这个答案：
我想知道在Python中是否有类似的有效方法来做到这一点。
下面是我要找的东西：
A = np.ones((3, 3, 3))
# numpy magic ...
print (A)
/**********
* [3, 3, 3],
* [3, 3, 3],
* [3, 3, 3]
***********/
浏览 0提问于2021-06-04得票数 0
我有一些高维数据，我想从这些数据中检测异常值。我知道如果我在处理低维数据，我可以聚类，然后检查一个数据点是否属于一个聚类，或者计算它到它的k个最近邻居的平均距离，等等。但我不能在高维数据上做这些，因为维度的诅咒。
因此，我想也许我可以随机地将高维数据投影到低维数据，并检查数据点的投影在大多数转换后的数据集中是否为异常值。我的假设是，高维的异常值在大多数对低维的投影中也应该表现为异常值。
例如，随机生成一些投影
(假设我们有维度的诅咒
)至
(我们可以通过传统方法进行聚类)，由
(所有这些都是
具有随机元素的矩阵)。假设我们想要检测
。如果对很多人来说
，
是中的异常值
，然后
浏览 13提问于2016-09-01得票数 1
1回答
我的工作是利用FER2013数据集和vgg16模型进行人脸情感检测。我正在将t-sne应用于我的训练数据集，用于降维.
我的问题是“tensorflow需要降维吗？”
浏览 0提问于2022-09-05得票数 0
回答已采纳
我有弓向量，我想知道在sklearn或gensim中是否有监督降维算法能够获取高维的监督数据，并将其投影到低维空间中，从而保留这些类之间的方差。
实际上，我正在尝试为分类/回归找到一个合适的度量标准，我相信使用维数可以帮助我。我知道有一些无监督的方法，但我希望在此过程中保留标签信息。
浏览 1提问于2015-07-29得票数 0
在我的3D游戏中，有300个类别的生物可以属于。我想教我的RL代理根据它最接近的10个怪物来做决定。
到目前为止，我的神经网络输入向量是十个300维一维热编码向量的级联.如果我有10个40维向量，那就太棒了。
那么，是否有可能通过自动编码器传递一个300维的一维热编码矢量，从自动编码器的中间抓取它的压缩版本(嵌入)？
这将允许我将几个这样的压缩嵌入连接成一个“总”输入(十个级联的40D向量)，而不膨胀这个总输入向量。
在我的游戏中，每一个热点都应该代表一个不同的类别.我的分类在任何方面都不相关.
( 1)它是有效的，还是会像标签编码那样引入不必要的假设？
2)如何训练这种自动编码器？我可以简单
浏览 0提问于2018-08-06得票数 4
回答已采纳
2回答
矩阵TFIDF的降维
、、、
我计算了TFIdf(词频，反向文档频率)，并且我已经看到，在这一步之后，有必要使用诸如LSI、chi -square test等方法来降低矩阵的维数。
我不知道如何在java中实现用于矩阵TFIDF降维的卡方测试，如果有一些库可以做这件事，或者有教程解释我如何做这件事，请告诉我
浏览 0提问于2011-03-30得票数 4
回答已采纳
3回答
降维技术在深度学习中是否有用？
、、、、
我一直在研究机器学习，并且注意到大多数时候，像PCA和t-SNE这样的降维技术都被用于机器学习，但我很少注意到有人会在深度学习项目中这样做。在深度学习中没有使用降维技术的具体原因是什么？
浏览 0提问于2018-07-30得票数 4
回答已采纳
1回答
据我所知，DR是一种将高维数据转化为低维数据的技术。但是它是特征选择还是特征提取？这些功能是只从可用的功能中选择的，还是被设计出来的？(在一些测试中被要求从特征选择和提取中进行选择)
浏览 5提问于2021-12-12得票数 0
2回答
降低词嵌入的维数
、、
我训练了300个维度的单词嵌入。现在，我想要50个维度的单词嵌入:是最好用50个维度来重新训练嵌入词，还是可以使用一些降维方法来将300个维度的单词嵌入到50个维度呢？
浏览 0提问于2015-07-28得票数 10
2回答
我正在使用列(范围)的一部分中的值填充数组。结果数组是多维的--但它应该是一维的。我只想将Emp ID值放入数组中：
我已经尝试过了：
Sub Test()
Dim colPostionNumber As Integer
Dim lastRow As Integer
Dim ws As Worksheet
Dim positionNumberArray As Variant
Set ws = ActiveSheet
With ActiveWorkbook.Sheets("Sheet 1")
colPositionNumber = Application.
浏览 0提问于2021-04-14得票数 1
2回答
目前，我正在阅读the可视化技术，有人提到，使用主成分分析可视化高维数据的缺点之一是，它只保留大的两两点之间的距离。意思是，在高维中相距很远的点在低维时也会出现很远的距离，但除此之外，所有其他点的距离都会被扭曲。
有人能帮我理解一下为什么是这样吗?从图形上来说，这意味着什么？
非常感谢!
浏览 5提问于2015-10-13得票数 3
2回答
我注意到UMAP经常与其他聚类算法结合使用，例如K-means、DBSCAN、HDBSCAN。然而，据我所理解，UMAP可以用于集群任务。那么，为什么我注意到人们主要把它作为一种降维技术呢？
这里是我所说的一个例子：https://medium.com/grabngoinfo/topic-modeling-with-deep-learning-using-python-bertopic-cf91f5676504
我是不是出什么问题了？UMAP可以单独用于集群任务吗？将它与其他聚类算法结合使用有什么好处？
浏览 0提问于2023-03-29得票数 0
回答已采纳
我正在尝试执行一项简单的任务，即查找数组中是否存在(string)元素。"contains“函数适用于一维数组，但不适用于二维数组。有什么建议吗？(关于此函数的文档似乎很少，或者我不知道从哪里查找。)
浏览 2提问于2016-03-05得票数 2
1回答
LDA在主题建模前的降维
、、、
我想用LDA做一些主题建模，但不幸的是，我的数据相当稀疏，结果并不令人满意。因为我仍然想尝试用LDA来解决我的任务(即使可能有更好的可能性)，我正在考虑在LDA之前使用某种降维方法。
我知道LDA用于主题建模，但也可以用于降维，那么在使用LDA之前尝试降维有意义吗？如果是，我可以使用什么方法？我认为使用像LSI或SVD这样的东西是没有意义的。
浏览 9提问于2020-05-23得票数 0
回答已采纳
1回答
我想使用LDA进行降维。我正在使用R。我发现的示例主要使用LDA进行分类。那么如何使用LDA进行降维呢？在R中有没有内置的函数调用来进行降维，或者你必须对其进行编码？
谢谢。塞夫万迪
浏览 2提问于2014-01-17得票数 1
1回答
无监督降维算法以矩阵NxC1为输入，其中N是输入向量的个数，C1是每个向量的分量数(向量的维数)。因此，它返回一个新的矩阵NxC2 (C2 < C1)，其中每个向量的分量较少。
模糊聚类算法以矩阵N*C1为输入矩阵，其中N是输入向量的个数，C1是每个向量的分量数。因此，它返回一个新的矩阵NxC2 (C2通常低于C1)，其中每个向量的每个分量都指示向量属于相应的簇的程度。
我注意到，这两类算法的输入和输出在结构上是相同的，只是对结果的解释发生了变化。此外，在scikit-learn中没有模糊聚类实现，因此出现了以下问题：
使用降维算法进行模糊聚类有意义吗？例如，将或应用于从文本数据中提取的
浏览 2提问于2015-10-13得票数 3
回答已采纳
1回答
我看到the可以帮助我们减少维数和可视化数据.但是我们从这个可视化中得到了什么信息呢？因为我们知道，新的轴在我们的上下文中没有意义。
此外，如果我们有一个类标记数据，那么我们可以从可视化中获得什么信息？我们已经知道有一些'n‘类，我们必须对其中一个类中的新示例进行分类。
还是我理解得不对？
浏览 0提问于2020-07-30得票数 0
我只是想知道是否有人在php中将2维数组转换为1维数组。我还没有在php中找到一个清晰的解释。任何建议都将不胜感激。
浏览 3提问于2011-08-02得票数 6
回答已采纳
1回答
我有一个包含100 k高维数据的数据集(例如LA中的房屋) (dim=100，例如房屋参数，如面积、到市中心的距离等)。下面是由目标值(如房价)着色的数据的两分量PCA表示。
📷
正如你所看到的，价格函数具有随机性，并且在任何地方都会发生迅速的变化。
是否有一种将目标值考虑在内的降维方法，其结果是一方面聚集廉价住房，然后在地图上看到房价的梯度？
多方面的学习对这项任务有帮助吗？
我尝试了基于岭回归的后向特征提取，根据它们对目标值回归结果的影响来降低维数，然后应用主成分分析( PCA )进行归一化，但输出结果并不理想。这是输出：
📷
谢谢
浏览 0提问于2019-07-06得票数 1
回答已采纳
1回答
我正在尝试找到一种方法来可视化具有高维输入的数据，用于支持向量机的两类分类，然后在分析之前决定使用哪个核。在联机文档中，数据的可视化只针对二维输入(我指的是两个属性)。
另一个问题出现了:如果我有多个类和两个以上的属性怎么办？
浏览 1提问于2014-04-19得票数 1
1回答
我是数据科学和统计学的新手。我遇到了这个问题，它有50个自变量和一个因变量，并试图找出一个很好的回归技术。下面是我执行的流程图：
数据挖掘->相关矩阵->维数约简-> (维数约简) ->基本线性回归技术。
如果有其他更好的技术或程序，有人能指导我吗？
浏览 0提问于2018-11-07得票数 1
1回答
关于下面的链接，用电影和人的例子很好地解释了维数约简，但我无法理解的是，在数学上特征向量是如何成为电影的特征，为什么特征向量而不是任何其他向量
浏览 2提问于2014-09-29得票数 0
回答已采纳
3回答
可视化高维字段箭头？
、、、、
我有一个很大的元组列表(a，b)，其中a和b都是来自同一空间的9维向量。这本质上是对系统的状态和一些转换进行编码。我想将这些元组描述的字段可视化为从a->b指向的箭头，无论是2D还是3D。然而，我的一个问题是，这不是一个行为良好的向量场(不是连续的)，但我有理由相信它可能可以很好地布局，即使在2D中也是如此。
有没有人知道有什么工具箱(用于matlab/python)或程序可以做到这一点？这可能首先涉及a和b上的某种降维，然后绘制从一个点到另一个点的小箭头。
谢谢你的帮助!
浏览 0提问于2010-07-07得票数 1
回答已采纳
1回答
有人能指出特征选择和聚类以及降维算法之间的区别吗？
特征选择算法:允许找到最能代表数据的主要变量，也可以找到表示gbm / lasso类的最佳参数。
聚类帮助我们指出哪些变量簇清楚地定义了输出。
这与降维算法不一样吗？特征选择+聚类不是和降维算法一样吗？
浏览 4提问于2015-10-27得票数 0
多达5个不同的功能。每个类的平均实例/样本数约为300个(从200到400个不等)。样本总数接近4500个。
(为了清楚起见:例如，对于一个类和一个颜色特征，我有一个具有220行(样本)的矩阵，每行是5376维向量，因此一个220 x 5376维矩阵代表一个类和一个特征)。
现在，如果我在单个类别/类上应用主成分分析，那么我将获得小于270的所有特征集的降维( n_components = min(n_samples，feature_dimension))。
如果我将PCA应用于4500个图像的完整数据集(连接来自15个类别的所有样本)，当然是在一个特征集上，比如颜色。然后我将获得一个降维小于
浏览 0提问于2016-01-19得票数 0
解释说，fit_transform只能用于密集矩阵，但我有一个csr格式的稀疏矩阵，我想对它执行tsne。文档说要对稀疏矩阵使用fit方法，但这并不返回低维嵌入。
我很感谢我可以像在.todense()中一样使用方法，但是我的数据集非常大(0.4*10^6行和0.5*10^4列)，所以内存中不适合使用。真的，用稀疏矩阵来做这件事是很好的。是否有一种方法可以使用scikit TSNE (或TSNE的任何其他python实现)来降低大型稀疏矩阵的维数，然后返回低维嵌入以进行可视化？
浏览 6提问于2017-09-26得票数 4
回答已采纳
1回答
推理时的单图像特征约简: SVM
、、、、
我试着用scikit学习来训练一个SVM分类器。在训练时，我要减少特征向量维数。我使用PCA来减少维数。
pp = PCA(n_components=400).fit(features)
features = pp.transform(features)
主成分分析需要m x n数据集来确定方差。但在推理时，我只有一幅图像和相应的一维特征向量。我想知道如何在推理时减少特征向量以匹配训练维数。
或者，如果有人可以提出一些其他的降维技术，可用于单一图像将是非常值得赞赏的。
浏览 0提问于2020-07-30得票数 0
我有一个数据集的张量(有12个类)的形状(700,2000) -高度是700，宽度是2000。我想尝试使用支持向量机分类器(只是看看它是如何实现的)。我的问题是-我如何输入数据？我把它压平了吗？所以输入阵列应该是一维的，长度是700*2000？
浏览 0提问于2022-07-07得票数 2
回答已采纳
3回答
推理时的单幅图像特征约简
、、、
我试着用scikit学习来训练一个SVM分类器。在训练时，我要减少特征向量维数。我使用PCA来减少维数。
pp = PCA(n_components=400).fit(features)
features = pp.transform(features)
主成分分析需要m x n数据集来确定方差。但在推理时，我只有一幅图像和相应的一维特征向量。我想知道如何在推理时减少特征向量以匹配训练维数。
浏览 5提问于2020-07-30得票数 1
回答已采纳
1回答
通用语句编码器，减少向量维数
、、、、
我正在使用模块成功地转换TensorFlow集线器上的文档。
每个文档的输出都是一个512维向量，但是对于我的应用程序来说，这太大了，我想降低维度，这是模块本身没有提供的。
我可以看到一些选择：
使用另一个具有较低维度输出的包。
使用诸如PCA或tSNE之类的方法来减少尺寸。
使用PCA或tSNE的问题是，这需要适合许多示例向量的数据--这意味着当新文档到达并转换为512-dim向量时，我需要继续拟合另一个模型，然后更新旧的文档向量--这在我的应用程序中将是一个巨大的问题。
还有其他的降维技术可以在一个数据点上工作吗？
浏览 4提问于2019-10-01得票数 1
回答已采纳
1回答
分解机(FMs)是一种将高维数据表示为较低维的方法，尽管原始数据稀疏。
它与PCA本身是一种降维技术有何不同？
这两种方法都有利弊吗？
浏览 0提问于2019-06-05得票数 2
1回答
所以我有这个数据集，大约有750个变量(列)和5万行条目。我想将数据集的维数降到25-50-100维，然后计算这些维度之间的关联矩阵。我有连续的和离散的列。我还想知道哪些维度代表原始数据集中的单个变量束。我要补充的是，我没有输出变量，我只是试图在数据中找到相关性。在Python中有办法做到这一点吗？
浏览 0提问于2021-02-25得票数 1
1回答
我想使用堆叠的自动编码器来降低数据集的维度。数据集的大小和我所掌握的计算能力使得使用简单的、全批渐变下降来训练网络变得非常困难。
对于这类任务，使用最小批处理梯度下降是否有意义？我想那会产生一个噪音降维数？
浏览 0提问于2019-07-01得票数 0
1回答
我正在尝试使用减少数据集。我希望在缩减的数据集上，我的准确率会更低。然而，根据我得到的随机种子，有时简化的版本会给我更高的准确率。
X, y = make_classification(1000, 50, n_informative=10, n_classes=20)
X1, X2, y1, y2 = train_test_split(X, y)
lda = LDA()
lda.fit(X1, y1)
predicted = lda.predict(X2)
full_accuracy = accuracy_score(y2, predicted)
reduction = LDA(n_co
浏览 5提问于2017-02-17得票数 0
我有一个图像数据集，我想对其运行非线性降维。为了决定使用多少个输出维度，我需要能够找到保留方差(或解释方差，我相信它们是相似的)。Scikit-learn似乎拥有到目前为止最好的流形学习算法选择，但我看不到任何获得保留方差统计的方法。有没有我遗漏的scikit-learn API的一部分，或者计算保留方差的简单方法？
浏览 46提问于2016-07-21得票数 2
1回答
我读到，建议在feature selection进程之后使用feature extraction。
但在我读到的所有帖子中都缺少了一些东西：
假设我们有50 features.Suppose，我们使用特征提取，我们得到了3个新的提取特征
2个问题：
我们需要在：上运行feature selection吗？
- The 3 extracted features ?
或
- total 53 features (base 50 features + 3 extracted features) ?
假设我们对特征提取的结果进行特征选择，而不是所有通过特征选择算法选择的新特征(即3中的2)，如果我
浏览 3提问于2020-05-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
