如何去除某类数据中的离群值？
去除某类数据中的离群值是数据预处理的一项重要任务，可以通过以下步骤进行：
- 确定离群值的定义：离群值是指与大多数数据点相比明显不同的异常值。可以使用统计学方法，如标准差、箱线图等来定义离群值。
- 可视化数据：使用数据可视化工具，如散点图、直方图等，来观察数据的分布情况，识别潜在的离群值。
- 确定离群值处理方法：根据数据的特点和业务需求，选择合适的离群值处理方法。常见的方法包括删除离群值、替换为缺失值、替换为平均值或中位数等。
- 删除离群值：如果离群值对数据分析和建模产生较大影响，可以选择删除离群值。删除离群值时需要谨慎，确保删除的数据点是真正的离群值而非数据采集或记录错误。
- 替换离群值：如果离群值对数据分析和建模影响较小，可以选择替换离群值。常见的替换方法包括使用缺失值、平均值、中位数等来替代离群值。
- 重新评估数据：在处理离群值后，重新评估数据的分布情况和统计特征，确保数据符合分析和建模的要求。
腾讯云相关产品和产品介绍链接地址：
- 数据处理与分析：https://cloud.tencent.com/product/dpa
- 人工智能与机器学习：https://cloud.tencent.com/product/aiml
- 数据库：https://cloud.tencent.com/product/cdb
- 云原生应用：https://cloud.tencent.com/product/tke
- 存储与CDN：https://cloud.tencent.com/product/cos
- 区块链服务：https://cloud.tencent.com/product/bcs
相关·内容
1回答
我应用了隔离森林算法来识别我的时间序列中的异常数据。现在，我想在将这些离群值送入机器学习模型之前替换它们。我们如何在时间序列分析中替换这些异常值？
浏览 9提问于2021-07-23得票数 0
1回答
我正在对电信流失数据集进行分析。我有4617个观测结果和17个变量。我正在使用Python。我有以下问题，
1)在正态检验的偏度和峰度检验中，两个变量不服从正态分布(值大于1)。我应该对这两个变量进行日志转换，还是对整个数据集进行日志转换？
2)用IQR方法对异常值进行检验时，近700个观测值为离群值。我不想删除离群点。我是否也应该应用日志转换来处理异常值？这是正确的方式吗？
3)我查过谷歌，他们说你可以用百分位数来限制异常值。处理离群点是一种好做法吗？
4)我的最终目标是应用所有的分类算法。我可以在日志转换后进行缩放吗？我们需要在日志转换之后进行缩放吗？没有异常值的树模型是可以的，但是想要为
浏览 0提问于2019-07-03得票数 3
1回答
特征选择与孤立点检测
、、、
特征选择如何影响离群点的检测，以及去除异常值如何影响特征选择？这可能是个基本问题。然而，我只是想知道界限，我问。提前谢谢。我经历了以下几个方面：特征选择与离群点排序
浏览 0提问于2020-08-01得票数 2
1回答
我有两个数据处理程序，我需要将这些数据聚集到我试图做的以下工作中：
应用主成分分析( PCA )去除孤立点，并使用包含3个分量的PCA对其进行可视化。我使用了97%的解释方差，用于剔除异常点。
反变换，得到逆变换数据与原始数据之间的MSE评分。
使用IQR上括号限制，使用计算的MSE分数移除异常值。
应用包含3个组件的PCA来可视化和确定新数据集上的簇数。
我的主要问题是：
对MSE的IQR是一个很好的去除标准吗？
由于我们的工作是绝对值，所以我只限于上半段。如果没有
或者我应该放弃PCA，转而采用其他的异常点检测方法，如果是这样的话？
最后，在做x，y，z图的时候，我
浏览 4提问于2020-06-23得票数 0
2回答
我是R的新手，我尝试使用一个函数来测试包含600多个变量的大型数据帧中的异常值，除了最后两列之外，所有变量都是数字。我尝试了outliers包中的离群值函数，一次测试一列，最后得到了一个我无法使用的数值向量。有没有更好的方法来识别数据帧中的所有异常值。
myout <- c()
for (i in 1:dim(training)[2]){
if (is.numeric(training[,i])) {
myout <- c(myout,outlier(training[,i])) }
}
浏览 2提问于2013-03-05得票数 1
4回答
时间序列:离群点检测
、、、、
我有时间序列数据，看上去像下面提到的图表。
我熟悉根据标准差和中值消除异常值的方法。这些方法的缺点是它们不考虑相邻的数据点。
例如，在下面显示的数据中，我不想删除那些与平均值相差最大或标准差的值。我想移除在红色中圈起来的点。其他极端值在该地区是常见的，不应被检测为孤立点，因为这些数据点附近有相似的数据点。
是否有任何方法来移除这些点，或者是否有任何python库可以用来删除这些点。正常的标准偏差和中值滤波器不能很好地解决这些问题，因为它们也消除了没有被圈住的点。
📷
浏览 0提问于2019-06-07得票数 3
1回答
我正在做一个分类任务。数据集是一个关于机器学习的UCI数据集，有200个观察和2个类。
我的模型的一部分包括以下预处理步骤：
删除丢失的值
在0到1之间进行规范化
移除离群点
光顺
从数据中删除趋势
击打
我想使用一种聚类方法来去除噪声数据点。问题是，这应该在哪一步发生呢？
浏览 0提问于2019-12-04得票数 2
回答已采纳
1回答
从不同类型的熊猫中移除野值
、、、、
目前我正在研究一个回归问题，我在模型的性能方面面临一些问题。为了有一个更好的表现，我有一些离群点，我想删除。
问题:从包含不同类型数据的数据中删除异常值。
DF看起来像：
df.dtypes
CONTRACT_TYPE object
CONTRACT_COC object
ORIGINATION_DATE datetime64[ns]
MATURITY_DATE datetime64[ns]
ORIGINAL_TERM
浏览 0提问于2019-07-10得票数 1
回答已采纳
我最近将我的项目从1.7升级到了Java1.8。
对于我的一个类中的一个方法，我得到了一个不一致的堆栈映射的异常。
初始化方法中的一些未分配的局部变量可以解决这个问题，但是请有人解释一下为什么在Java 8中使用未读变量会引发异常，谢谢。
它很可能是与月食版本(开普勒SR 2 20140224-0627)正在使用，只是好奇。
WorkAround
以前在修复错误代码之前使用了‘-xxSplitVerifier’(在1.7中)或'-noVerify‘Jvm参数。
如果用‘保存未使用的局部变量’选项未选中eclipse工作区中的编译器首选项，则使用java 8可以很好地编译。
浏览 0提问于2016-11-10得票数 4
请允许我提出一些图像，以便我可以解释我的问题。左边的图像包含一条光滑的曲线，周围环绕着大量的离群点/噪声。右边的图像描绘了所需的曲线。
📷
是否有任何方法可以帮助消除噪音和恢复原始曲线。请注意，这可能是任何光滑的曲线(在右边的图像)和方程是未知的。没有关于曲线方程的先验知识。
请注意，我最初在Match stackexchange上发布了这个问题。基于反馈的信息发布到数据科学。
谢谢,
Sau
浏览 0提问于2021-01-24得票数 3
1回答
动态聚类
、
我对不同的数据集执行异常检测，并考虑首先对数据集进行聚类，并将每个集群提交给不同的AD模型。我使用的是HDBSCAN，在我的测试数据集中，我可以得到10到20个集群，但是当我在生产中运行第一个测试时，我得到了3500个。如何在所有集群中动态地重复AD模型？
浏览 0提问于2018-05-21得票数 2
2回答
我使用LOF (局部离群系数)来检测数据中的异常值。我得到LOF分数作为离群点的距离。这种无监督的学习无助于在运行时检测出离群点。所以我想用我的数据点和LOF分数来建立一个有监督的回归/分类模型。
我的问题是，哪一个应该从
1)分类(取LOF评分的截止点，在具有二进制变量后，建立分类模型)，并使用该分类模型在运行时预测异常值。
在运行时，如何使用任何聚类/异常检测(使用群集)？任何指导都会有帮助。
浏览 0提问于2018-05-18得票数 1
1回答
如何评价无监督异常检测
、、、
我试图通过使用机器学习预测一个连续值来解决一个回归问题。我有一个由6个浮动列组成的数据集。
这些数据来自低价格的传感器，这就解释了我们很可能会有一些超乎寻常的价值。为了解决这个问题，在预测我的连续目标之前，我将预测数据异常，并使用它作为数据过滤器，但是我所拥有的数据没有标记，这意味着我有无监督异常检测问题。
用于本课题的算法有：局部孤立点因子、一类支持向量机、隔离林、椭圆包络和DBSCAN.。
在对这些算法进行拟合后，有必要对其进行评价，以选择出最优的算法。有没有人知道如何评估一种无监督的异常检测算法？
浏览 4提问于2020-02-18得票数 4
回答已采纳
1回答
我有两个文件，一个带有标签字段的培训数据和一个没有标签字段的测试数据。我在列车数据中绘制了一个"A“字段：
📷
看起来离群值是4,5,6，应该移除。
现在，在测试文件中绘制字段"A“也显示了与所显示的图像有些相似的结果。在这种情况下，我是否应该将4,5,6视为异常值，并将其从列车数据中删除，还是保留这些数据？任何指点都会受到赞赏。
浏览 0提问于2020-04-25得票数 0
2回答
我有这两个数组：(创建了两个随机示例数组)
x = [5,12,24,44,22,32,22]
y = [8,14,26,47,44,35,23]
这两列是相关的，x4和y4是这些数据的异常值。
如何通过数据帧返回列或列号，其中包含异常值？
编辑: Aplogoies。以下是数据框架：
df = pd.DataFrame({'x':x, 'y':y})
浏览 1提问于2021-10-01得票数 1
回答已采纳
1回答
我尝试使用k-表示集群(使用SQLserver + R)，我想知道我们如何才能正确地估计距离。
例如，如果我们考虑欧几里得距离构成星系团的中心，如果对于相同的数据集，不同大小的簇会发生什么？大星系团中的“正常”点的距离要高于小星团中的“离群点”。
所以：
它与每个簇的中心/尺度欧氏距离相关吗？(然后将离群值视为具有最大标度距离的离群值)
还有其他的距离需要考虑吗？
浏览 0提问于2016-04-28得票数 2
回答已采纳
在R中创建了一个函数，该函数应该返回一个用NA来替换某些数据的离群值向量，之后，我得到了在最大值附近保留的离群值：
kill_outliers <- function(data, na.rm=TRUE){
q <- quantile(data, probs=c(0.25, 0.75), na.rm=na.rm)
killed <- data
intq <- 1.5 * IQR(data, na.rm=na.rm)
killed[x < (q[1]-intq)] <- NA
killed[x > (q[2]+intq)] <-
浏览 3提问于2020-05-07得票数 0
回答已采纳
1回答
我正试图在我的熊猫DataFrame专栏中限制离群点。这是我的原始数据列的框图。
📷
因此，使用来自这个堆叠溢出的答案的代码，我尝试了封顶异常值。
下面是有上限的列的样子，上界之后是新的离群值。
📷
我现在的问题是，我不能一直封顶离群的人，是的！我现在该干啥？
浏览 0提问于2019-08-04得票数 0
回答已采纳
2回答
关于JFreeChart中的离群点规则，我有一些问题：
是否有可能影响JFreeChart盒中的离群点规则？
我假设异常值的默认设置是Q3+1.5*IQR和Q1-1.5*IQR？
对于像Q3+3*IQR和Q1-3*IQR这样的极值是否有默认规则？
也许这应该是另外一个问题，但是你是如何为离群点设置符号的呢？默认的设置是一个圆，它对我的偏好来说太大了。
我的数据在DefaultBoxAndWhiskerCategoryDataset中，我甚至不确定是否需要更改任何默认设置。不过，很高兴知道默认设置到底是什么;)
浏览 0提问于2011-08-03得票数 3
2回答
我有一个带有几个速度值的熊猫数据，它是一个连续移动的值，但是它是一个传感器数据，所以我们经常在移动平均值的某些点得到中间的误差，移动平均值似乎也没有帮助，那么我能用什么方法从数据中删除这些异常值或峰值呢？
示例：
data points = {0.5,0.5,0.7,0.6,0.5,0.7,0.5,0.4,0.6,4,0.5,0.5,4,5,6,0.4,0.7,0.8,0.9}
在这个数据中，如果我看到点4，4，5，6是完全离群的值，在我用滚动平均5分钟的窗口框架来平滑这些值之前，我仍然得到了这些类型的很多点，我想移除，有人能给我建议什么技术来去除这些点吗？
我有一幅更清晰的数据视图：
浏览 1提问于2018-06-24得票数 4
回答已采纳
我有一段使用pandas创建数据帧的代码
import pandas as pd
import numpy as np
x = (g[0].time[:111673])
y = (g[0].data.f[:111673])
df = pd.DataFrame({'Time': x, 'Data': y})
#df
这将打印出来：
Data Time
0 -0.704239 7.304021
1 -0.704239 7.352021
2 -0.704239
浏览 5提问于2017-08-02得票数 3
回答已采纳
1回答
孤立点检测的邻域计算
、、、、
我正在使用R编程语言，并试图了解用于异常值检测的以下函数的细节：
这个函数(来自"dbscan“库)使用本地离群值因子(LOF)算法计算异常值：。
LOF算法是一种无监督的、基于距离的算法，它定义了数据集中相对于观测的“可达性和邻域”的异常值。一般说来，相对于邻里的其他观测而言，“很难到达”的观测被认为是一个“离群点”。基于这些属性(用户指定这些属性，例如邻域(由“k”表示)可以是"3")，该算法为数据集中的每个点分配一个LOF“得分”。对于给定的观测，LOF分数越大，这个观察就被认为是一个更多的离群点。
现在，我试图更好地理解dbscan::lof()函数中的一些计算
浏览 7提问于2021-02-22得票数 0
有谁知道Python / PySpark中的简单算法来检测K-means聚类中的离群值并创建这些离群值的列表或数据帧吗？我不知道如何获得质心。我使用了以下代码： n_clusters = 10
kmeans = KMeans(k = n_clusters, seed = 0)
model = kmeans.fit(Data.select("features"))
浏览 57提问于2021-01-08得票数 1
回答已采纳
2回答
我已经删除了建模数据中的异常值。我厌倦了尝试所有的方法来删除，因为有一个异常值，我在应用了许多方法后困扰了我很多。
有没有人能在这方面帮我……请..。
我用过winzorise，离群值，极值包等等，但是不能去掉离群值
这些数据有50000个自定义元素和32个属性。
数据既有数值数据也有非数值数据
我无法在此处附加数据集。
请帮帮我
额外信息：
我非常担心，因为这是我的论文，我不知道如何处理异常值。
如果你知道任何工作，请张贴…
数据在网上有，我不能在这里发布，对不起....
我的主管需要一个没有异常值的图..以及存在于离群值数据的整个数据时隙。我不知道如何在所有的变量组合中选择异常值，并在图中
浏览 3提问于2013-06-15得票数 1
回答已采纳
我想从内置的boxplot函数中提取值。在A1中有三个超大的值(1000000)，而正确的最大值是273.
a = boxplot(A1)
a =
173.0043
174.0028
175.0033
176.0027
177.0032
178.0027
179.0031
我试过了，但我不知道这些值到底是什么，这些值既不是离群值本身，也不是离群值的索引。
findobj(gcf,'tag','Outliers');仅返回179.0031
如何从boxplot中提取离群值或其索引？
浏览 0提问于2012-03-16得票数 4
回答已采纳
1回答
我想要找到一个具体的算法来选择2或3中的3个给定的值。就像，如果我有一组值10,11,12，这三个值都足够接近，所以我将计算这个值的平均值并返回平均值。另一个例子，如果值是6, 10 ,12，那么我将选择10和12，计算平均值并返回平均值。虽然这些价值不一定属于这一范围，但也可以达到数千。但只会有三个数值。我希望我说得够清楚。我不知道该如何处理，我需要一些帮助。谢谢
浏览 0提问于2020-06-30得票数 -5
1回答
我有他们各自的户口证和销售额。事实证明，很少有这些HH ID的人有极高的总销售额。你们能推荐一个处理异常值的好方法吗？如果你在SAS中推荐的话，那就太好了。
向您致敬，Saket
浏览 13提问于2014-04-15得票数 1
1回答
我有显示请求创建和完成日期/时间的数据。我正在寻找的离群点，需要更长的时间完成。所以我有两个问题。
我目前正在减去完成日期和创建日期，然后寻找平均值。我的计划是从实际中减去平均值，看看最大的离群点是什么。我似乎想不出如何显示所有行的总平均值；它一直在分解它。我该怎么做？
有什么更好的办法吗？也许我想错了。
浏览 6提问于2021-02-17得票数 0
2回答
我有一个很大的向量，大约有400万行。问题是外部源改变了传感器数据，产生了大量的异常值。我发现了超过90%的。但现在我只剩下最后10%的离群点，我找不到合适的方法把它们设置为NA。我不想删除它们，只是把它们设置为NA。
这幅图显示了100000个值。在TS中，并不是到处都是这样的。有时没有离群点，有时看起来是这样的。这意味着，我需要一种方法，我可以找到那些离群值，而不设置数据NA，而不是异常值。
我尝试了不同的包(例如tsoutliers)，但没有取得很大的成功。
是否有一个包或方法，可以找到所有或至少大多数的离群点看到的情节？
浏览 0提问于2018-10-24得票数 0
回答已采纳
1回答
我有一个包含先验异常值的DataFrame。我想至少从“降雨”变量中删除异常值。我是这样做的。这看起来很有效，但我在第二个数字中仍然有异常值。这是正常的吗?
移除离群值前的
移除异常值
rainfall = df["Rainfall"]
q3 = np.quantile(rainfall, 0.75)
q1 = np.quantile(rainfall, 0.25)
iqr = q3 - q1
upper_bound = q1 + 1.5 * iqr
lower_bound = q3 - 1.5 * iqr
rainfall_wo_outliers = df[(
浏览 5提问于2022-01-25得票数 0
回答已采纳
1回答
我希望使用Pandas和Numpy在csv数据表列中找到任何异常值。目前，我可以得到高端的离群点，但我不知道如何得到最小的离群点或“较低的”异常值，如果这是有意义的。
下面是我使用的函数：
def detect_outlier(data_1):
outliers = []
threshold = 3
mean_1 = np.mean(data_1)
std_1 = np.std(data_1)
for y in data_1:
z_score = (y - mean_1) / std_1
if np.abs(z_scor
浏览 3提问于2020-02-19得票数 2
回答已采纳
3回答
为了知道我有多少个离群值，所以我用海运盒图对我的所有列都进行了装箱，令人惊讶的是，有太多的离群值，所以我可以删除异常值，因为我担心有太多的异常值会对我的模型产生不良影响，特别是影响平均值，中位数，方差，这将进一步影响我的模型的性能。然后我找到了这个QnA关于太多的离群点，答案是，这个案例并不是一个真正的离群点。答案是合理的，但我仍然担心它会给我的模型的性能带来不良影响。我最好做什么？
这是我的两个例子，我的数据中每10列中就有9列是这样的，我真的很担心这一点，因为你知道，不仅有太多的离群值，几乎每一列(总共10列中的9列)都会出现这种情况。
📷
📷
浏览 0提问于2020-03-11得票数 0
回答已采纳
1回答
我使用以下代码查找Linregress参数：
import numpy, scipy,pandas as pd
from scipy.optimize import curve_fit
from scipy.stats import linregress
import scipy.stats
import copy
df=pd.read_excel("S:/Python/Excel.xlsx")
df.head();
xyDataPairs = df[['x', 'y']].values.tolist();
df.groupby('Tes
浏览 4提问于2018-09-24得票数 1
我使用了MATLAB代码，得到了两个不同的行向量A=1×18和B=1×350。分别从两行向量中去除噪声数据，使用标准偏差。但问题是，两行向量中的数据不是正态分布的。我有没有办法用标准差来减少来自非正态分布数据的噪音。如有任何指导，将不胜感激。谢谢
浏览 0提问于2018-08-12得票数 0
2回答
通过移除IQR范围之外的点，可以很容易地消除单个数据的离群点。但是，如果数据集是由多个维度的数据组成的，那么如何检测和删除异常值呢？
下面是我的方法:数据集包含七个不同的数据维度。当在dataframe上显示时，有七个不同的列；每一行充当解释单个数据属性的元数据。
我遍历了每个单独的列，并删除了包含IQR范围之外的数据的行。由于七个不同的列被分组在一列中，我认为循环遍历每一列并移除异常值将导致包含IQR范围内的数据的数据，尽管其总体数量可能已经减少。
现在我想问一下关于数据增强的问题。虽然有一个专门的库可以通过随机修改其结构来增强图像数据集，但要找到一种增强数值数据的方法是很有挑战性的。因此，
浏览 0提问于2021-10-20得票数 0
1回答
目前，我试着在python中实现一种基于scikit的异常检测算法。我将数据集重新标记为Inliers (正常实例)标记为1，而异常值(异常实例)标记为-1 ()。
对于accuracy_score、precision_score、recall_score和f1_score的计算，我在设置pos_label=1或pos_label=-1时得到不同的值。
那么异常检测上下文中阳性类的标签是什么：1或-1
浏览 0提问于2019-07-04得票数 0
回答已采纳
1回答
移除值而不移除整行
、、、
我在R中有一个数据，我有一些离群点。我想删除这些离群值，但不想删除整行，因为离群点就在其中一列中；其余的数据都很好。
对于一个可重复的示例，我将如何删除titanic_train dataframe的Age列中的最高值(该值为80)，而将其余的数据留给该乘客(在本例中，最高值属于PassengerID # 631)。
首先，我输入了数据，绘制了一个盒子图，并给乘客ID贴上了标签，这样我就可以看到哪个ID的年龄最高。
library(titanic)
library(ggrepel)
library(tidyverse)
titanic_train %>% ggplot(aes(x = S
浏览 7提问于2022-08-18得票数 0
回答已采纳
3回答
使用标准化方法处理异常值？
、、、、
我有一个60列和5K记录的数据集。很少有列有离群值。我知道有多种方法来处理异常值。
实际上，我不想放弃这些数据，因为它是一个异常值，因为我不确定它是一个异常值还是一个有意义的值(比如收入如何被扭曲)。
因此，我所做的只是使用standard scaler对列进行标准化。
这样做可以吗？我假设通过进行这个标准的缩放，我保留了数据，同时去除了异常值。
我确实提到了几个帖子(post1，post2)，但是我想不出来
这就是标准化所做的吗？有人能给我建议吗?有没有其他方法可以在不删除记录的情况下处理离群点呢？
你能帮上忙吗？
浏览 0提问于2019-12-26得票数 1
回答已采纳
1回答
我遇到了以下问题：
我正在做一个数据科学的初学者项目。我得到了测试和训练数据拆分，现在我正在分析每个特征，然后将其添加到离散连续变量的数据帧或连续变量的数据帧中。在这样做的时候，我遇到了一个离群值很大的特征。如果我要删除它们，我已经添加到我的子数据帧中的其他特性将具有比这一个更多的列条目。
我是应该找到一种策略，用“更好”的值覆盖离群值，还是应该重新考虑我的策略，在一开始就将两种类型的变量的训练数据分开？不过，我不认为在实际的train_data中删除异常行是有用的……
浏览 11提问于2021-03-25得票数 1
1回答
我有一束高维数据，实例是否被标记为异常值。我想了解一下这些异常值在数据中的位置。我想回答的问题如下：
离群点是否彼此相距很远？还是他们聚在一起？
异常值是否处于良好数据的“中间”？或者它们在数据的“边缘”边界上？
如果孤立点是聚集在一起的，那么这些集群密度与一组好数据相比如何呢？
离群点在哪里？
什么样的技术能让我找到这些洞察力？如果数据是2或3维的，我可以很容易地绘制数据，只需看一看。但我做不到高维数据。
浏览 4提问于2020-05-10得票数 0
日安，
我正在使用boxplot从我的数据集中删除异常值：
outliers <- boxplot(dataset, outline=FALSE);
现在，由于离群值变量具有所有信息，我如何在数据集上应用删除？boxplot会就地这么做吗？
谢谢,
浏览 0提问于2017-05-04得票数 0
1回答
我试图使用simpleKmeans对weka中的文本数据(在论坛+用户中发布内容) 817个实例进行聚类。由于某些原因，聚类如下所示：
Clustered Instances
0 812 ( 99%)
1 1 ( 0%)
2 1 ( 0%)
3 1 ( 0%)
4 1 ( 0%)
5 1 ( 0%)
有人能向我解释一下为什么我不能平均地得到聚类结果吗？
浏览 2提问于2014-02-24得票数 2
回答已采纳
1回答
我正在尝试创建一个异常数据集，其中包含8列，一些列包含分类值，另一些列包含正数值。该数据只包含两种类型的数据点:普通数据点和异常值。
我想知道您是否知道有什么工具或库，或者某些方法可以帮助我自动创建这种类型的数据集。我听说numpy有生成标准发行版的工具，但我认为它不能创造绝对价值。
和每一次一样，非常感谢你的帮助。
浏览 3提问于2019-12-10得票数 1
回答已采纳
1回答
我从阅读中看到，医疗行业正在使用机器学习来应用于小数据集，并想了解这是如何工作的？因此，我为我妻子的生意创建了一个小的数据集。
我有一个数据集，将是大约100 K单位，我如何确定最好的预测或因素模型使用时，接近这个小的数据集？我想避免越位等。
我应该避免和/或使用任何常见的陷阱来获取更多的数据吗？
浏览 0提问于2017-12-30得票数 5
1回答
我想从我的数据帧中提取异常值。就像1000个数据点中的10个，这些数据点可能是离群点，或者不会在95%的置信区间内下降。有一些方法可以找到与样本平均值相差最大的值。
> a <- c(1,3,2,4,5,2,3,90,78,56,78,23,345)
> require("outliers")
> outlier(a)
[1] 345
我不想从我的数据或我的盒子里删除离群点。我想打印或整理它们。
有什么想法吗？
浏览 1提问于2015-04-01得票数 1
回答已采纳
5回答
在计算相关性时，我如何告诉R删除一个离群点？我从散点图中找出了一个潜在的离群点，并试图比较这个值与此值之间的相关性。这是一个介绍统计课程，我只是玩这些数据开始理解相关性和离群点。
我的数据如下：
"Australia" 35.2 31794.13
"Austria" 29.1 33699.6
"Canada" 32.6 33375.5
"CzechRepublic" 25.4 20538.5
"Denmark" 24.7 33972.62
...
等等，为26行数据。我试图找出第一个和第二个数字之间的相关性。
我确
浏览 18提问于2012-10-12得票数 5
2回答
高倾斜数据直方图的生成
、、、
我使用dc.js、crossfilter.js和d3.js来生成条形图。
条形图代表信用卡交易的数据。它把交易金额(x轴)上的交易数(y轴)绘制成图.
看起来是这样的：
数据数组基本上如下所示：
[
...
{
txn_id: 1,
txn_amount: 20
},
...
]
数据是高度可变的，取决于不同的商家等，我不能对分布做出任何假设。
正如您所看到的，由于数据本身的原因，这个图表并不那么有用。在本例中，-$7500和2在$7500周围有一个事务。
在两者之间还有其他数量，但大多数事务都聚集在$0 - $100周围，在那里您可以看到峰值。
不幸
浏览 5提问于2013-10-10得票数 3
我希望从数据帧中删除每个组(通过每个BRMA_Name)的离群值(删除具有离群值的行)。我的示例数据如下：
BRMA_No BRMA_Name Price
1 A 5
1 A 6
1 A 100
1 A 90
2 B 50
2 B 60
2 B 40
2 B 400
2 B 4
3 C 4
3 C 2
我看了看，但没有找到任何答案(对不起)，有人能解释一下吗？
Kind关于Lutfor
浏览 21提问于2018-01-12得票数 1
1回答
我使用tensorflow对象检测api来训练图像。并成功地检测出标记物。现在，我希望在文本提取中实现同样的概念。通过深入学习，我可以从文档中提取信息。例如，从简历中提取经验部分。我可以为经验创建数据集，并对它们进行培训。1.我想知道如何使用这个经过训练的模型从简历中提取内容？
是否有任何方法可用于从扫描文档中提取指定信息？
如何在该方法中实现机器学习的概念？
如果我的逻辑是错的。请帮我弄清楚。
浏览 0提问于2019-06-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
