1回答
对数据集进行通用数据质量检查
、、、、
我每天都会收集一些不同的数据集，执行一些简单的数据质量检查，然后在数据集未通过检查时发出电子邮件。我的检查就像检查数据集中的重复项一样简单，也可以检查数据集中的行数和列数是否没有变化--请参见下面的内容。assert df.shape == (1016545, 8)由于这些数据集每天都会更新，并且可能会更改行数例如，一个
浏览 11提问于2020-02-12得票数 0
回答已采纳
我对airflow是个新手，在正确设置架构方面遇到了一些问题。在这个领域，似乎没有我想象的那么多在线帮助。任何资源或一般技巧将非常感谢。
浏览 27提问于2020-02-13得票数 4
下面是一个简化的场景：
失败-通知源数据提供程序并等待固定数据。然后重新摄取和运行所有的N套质量检查.创建一个分支--这意味着N个业务流程中没有通过质量检查的K将等待它们的固定数据集，而通过的N将与当前的<
浏览 2提问于2017-04-27得票数 0
我们正在尝试使用MS计算机视觉服务对损坏的汽车和未损坏的汽车进行分类。问题是，与更多的数据相比，当对较少的数据进行培训时，该模型表现得更好。知道发生了什么事吗？
浏览 0提问于2022-07-04得票数 0
1回答
跨栏对熊猫数据进行多重质量检查
、、、、
我有一个数据文件，如下所示 'test_id':['A1所以，我尝试了下面的质量检查q_2 = np.where(df['subject_id'].duplicated如何在data
浏览 1提问于2021-07-02得票数 1
回答已采纳
在Kaggle比赛中，我们有一个训练和测试数据集。因此，我们通常在训练数据集上开发一个模型，并使用该算法所看不到的测试数据集对其进行评估。我想知道，如果只给我们一个数据集而没有任何测试数据集，那么验证回归问题的最佳方法是什么。我认为可能有两种方法：
在第一步中，在导入数据集之后，将其转换为训练和测试数据集，使用
浏览 1提问于2020-09-04得票数 0
我知道spark在内存中进行计算，而且比MapReduce快得多。我想知道spark对小于10000的记录有多好的效果？我有大量的文件(每个文件大约有10000条记录，比如说100列文件)进入我的hadoop数据平台，在我加载到hbase之前，我需要执行一些数据质量检查。我在后端使用MapReduce的hive中执行数据质量检查。对于每个文件，它大约需要8分钟，这对我来说很糟糕。spark会给我更好的表现吗，比方说2-3分钟？我很困惑哪种方法对我来说是
浏览 2提问于2015-08-16得票数 1
在对不同的训练数据集进行了实验之后，我对什么是doc2Vec模型的理想训练数据大小感到非常困惑？
关于通用数据集的培训----如果我想使用对通用数据集进行培训的模型，那么在特定的用例中，我需要对很多数据进行培训。关于上下文相关数据集</em
浏览 2提问于2018-01-02得票数 6
回答已采纳
我通过CLR程序集将一个平面文件导入到DB中。HashSet
查询DB
DB保存表的结构，并针对这类查
浏览 6提问于2014-03-25得票数 0
1回答
数据库模式质量门/分析
、、、
我被赋予了彻底改造数据库的任务。这个数据库有所有这类错误做法，很少主键，缺少关系，数据类型选得很差。我很欣赏其中的一些很难理解，但当然也有一些能告诉我。为了最后确定这是一个SQL Server数据库，我显然要进入SSDT，这样我们就可以获得有关更改的历史信息，并且我认为，作为我们CI过程的一部分，我将在它上运行一个质量门。
浏览 3提问于2020-10-06得票数 0
1回答
总体思路是将数据从多个数据源推送到kafka，并执行数据质量检查。我对这个架构没有什么疑问。从多个源(主要包括java应用程序、oracle数据库、rest、日志文件到apache )进行流传输的最佳方法是什么？注意:每个客户端部署都包括每个这样的数据源。因此，将数据推送给kafka的数据源数量将等于我列出的客户*x的数量，其中x是数据源的类型。理想情况下，推送法最适合于使用拉法而不是拉法。我们如何
浏览 2提问于2017-03-17得票数 3
2回答
我有一个Tableau数据源(最初的来源是MariaDB)，它包含许多电子邮件地址。在对数据源进行一些质量检查时，我想确定各种可能的数据输入问题。其中之一是字符串是否存储在所有小写中。虽然电子邮件不区分大小写，但数据输入应该确保它们以标准化的方式存储，而不仅仅是自由文本。但历史数据并没有对此进行检查。因此，我想找出电子邮件哪里有大写字符，这是一个(小)信号，表明数据输入不小心。例如，测试lower([Email])=[Email]是否
浏览 10提问于2020-09-25得票数 1
回答已采纳
callbacks=my_callback,
class_weight='balanced') 我已经确保数据具有与image_generator和其他所有数据相同的伸缩性。
浏览 53提问于2020-08-24得票数 0
我试图弄清楚如何对代码进行一些数据质量检查。x <- list(1,2,T)我希望能够应用一个函数，它会将'x‘标记为有坏数据。
浏览 2提问于2014-11-24得票数 0
回答已采纳
1回答
我想开发一个机器学习算法，使用knn模型来对我的数据记录进行分类。我的问题是:是否有一个通用的方法来确定我的训练数据集应该有多大？
浏览 0提问于2021-09-07得票数 1
1回答
我的列车数据集具有如下结构，其格式为.hdf5。作物数据集{27482，3,128,192}标签数据集{27482，12}平均数据集{3,128,192} pids数据集{27482}
我知道如何用更简单的格式(如.txt或.jpg )来输入模型
浏览 5提问于2016-11-11得票数 1
回答已采纳
1回答
我有一个有三列的数据集。产品(最多200)。在最终质量检验中未进行的质量检验。(多达70种不同的质量控制措施)质量检验的结果。我怎样才能解决这个问题？
浏览 0提问于2021-10-22得票数 1
为了确保没有任何变化(并且作为质量检查)，我们尝试使用WinMerge对它们进行比较。我们可以看到它们之间的差异似乎是由于某种元数据，例如在不同日期构建的文件？
线条上的差别似乎是一致的。有没有一种方法来比较它们剔除的元数据，如日期？
浏览 11提问于2010-03-28得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
