2回答
我很难从另一张纸上导入数据。它相当大，有超过500行和100列。(我不知道这是否重要，但它有大约50张，我想从第一大的进口)
Importhtml和importdata加载时间太长，然后说源太大了。
但是我想要的是importrange，它总是说内部错误。
您有什么建议吗?我如何导入我的数据？甚至是如何更改源，以便从其中导入？
浏览 2提问于2020-07-20得票数 1
回答已采纳
我们的oracle应用程序数据库中有某些列，它们被定义为CLOB和NCLOB。如何将CLOB数据类型列从Oracle移动到大查询？我们使用数据流从oracle数据库中提取数据并写入大查询。
浏览 4提问于2020-02-23得票数 0
我在ImageNet上训练CNN，这个数据集包含小到96 * 96像素的图像，而其他的图像则大到1600 * 1200像素。然而，我知道缩小大图像，但我不能理解放大小图像，它是如何做到的，它是如何影响训练的？
浏览 32提问于2021-08-24得票数 1
2回答
我正在使用displaytag用我的数据库中的数据构建表格。如果请求的列表不是很大，但如果列表大小超过2500个条目，则获取结果列表需要很长时间(超过5分钟)。我想知道这种行为是否正常。
如何处理返回大结果的大列表/查询？
浏览 0提问于2009-12-17得票数 1
回答已采纳
假设您有一个非常大的表，比方说有几十亿无序的行，现在您想要为它建立索引以进行快速查找。或者，您可能要大容量加载它，并使用聚集索引在磁盘上对其进行排序。显然，当您处理这么大的数据量时，您必须停止假设您可以在内存中进行排序之类的事情(当然，在不使用虚拟内存的情况下，这会对性能造成很大的影响)。
有人能给我一些关于数据库如何在幕后处理这样大量数据的线索吗？我猜有一些算法使用某种形式的智能磁盘缓存来处理所有数据，但我不知道从哪里开始。参考资料将特别受欢迎。也许是一本高级数据库的教科书？
浏览 3提问于2009-11-13得票数 4
回答已采纳
6回答
我正在使用SQL Express 2005，每天晚上备份所有的数据库。我注意到一个数据库变得越来越大。我看了看数据库，不明白为什么它变得这么大！我想知道这是不是和日志文件有关？
寻找关于如何找出为什么它在没有那么多数据的情况下变得如此大的提示-还有如何优化/减小大小？
浏览 2提问于2009-08-20得票数 13
回答已采纳
1回答
我有一个包含48列的表，其中我想从csv文件中导入数据。我的csv文件包含一些空白值。
每当我使用大容量插入时，我都会得到错误：
1)第1行、第1列(列名)的大容量加载数据转换错误(指定代码页的类型错配或无效字符)
2) OLE DB提供程序为链接服务器"BULK“(Null)报告了一个错误。提供程序没有提供有关错误的任何信息。
3)无法从OLE DB提供程序"BULK“中为链接服务器"(null)”获取行。
我正在使用sql server 2008。
下面是我使用的大容量插入命令：- **
bulk insert DataBaseName.dbo.TableN
浏览 3提问于2015-09-21得票数 0
1回答
在GCP中，我有一个数据流工作，负责将文件从云存储复制到大查询，一旦这些文件成功插入大查询，我想删除它们。有人能提供如何实现这一目标的指导，以及如何在上一项工作成功后触发另一项工作吗？
浏览 1提问于2018-09-07得票数 1
回答已采纳
2回答
从有标记的数据库中获取行
、、、
我在数据库中有标签列，用逗号分隔：“绿色，大，强”。我知道这不是在数据库中存储标记的最佳方法，稍后我会更改它，但现在我真的需要了解如何获得具有特殊标记的行。例如，在第一行中，列标签是“绿色、大、强”。第二行是“白色、大、强的y”。当我用
"SELECT * FROM tablename WHERE tags LIKE '%strong%'"
它返回第一列和第二列(由于强y)，但我只需要第一列。
浏览 0提问于2018-10-13得票数 0
回答已采纳
我需要大查询用户的任何日志或数据，如何在事件中以非手工方式查阅？我需要火基分析组和观众数据
浏览 5提问于2020-05-27得票数 0
回答已采纳
我正在尝试上传一个json文件从Google存储到大查询。但是这个json文件在被推送到大查询之前需要进行预处理。我计划使用气流操作员gcs_to_bq。在这种情况下，如何处理json数据？请给我提点想法。我也可以使用python_operator，但是如果有任何干净的解决方案来使用现有的操作符，那么它也很好。
提前谢谢你
浏览 3提问于2020-07-28得票数 1
回答已采纳
3回答
全,
我正在使用Tableau9.0进行数据分析。我的数据集非常大，包含了1000亿条记录。
我想先用过滤器过滤掉数据。但是，当我试图在Tableau中的数据的特定列上添加过滤器时，它会继续运行.直到永远。原因是tableau想用升序向我显示所有这些字段值，然后允许我进行选择。例如，选择一个或两个值来筛选.
但是由于1000亿的记录，它还在继续运行。如何解决这个问题？我可以关闭这个函数(显示所有特定的字段值..)吗？如何过滤这么大的数据集？
提前谢谢你
浏览 23提问于2015-09-26得票数 2
回答已采纳
1回答
我需要一种方法来使用非常大的数据类型。而int通常是4个字节，而我需要的数据类型为536,870,912字节，甚至更高。我不能只使用数组，因为我需要能够转换成字符串，加，减，乘，除法等。
如何创建或使用如此大的数据类型？我需要一个uint4294967296_t :P
注意，我尝试过使用带有位字段的structs，但是它们不够大，我无法使用它在值之间进行转换。
浏览 3提问于2017-02-19得票数 1
回答已采纳
我正在尝试将csv文件导入中的mysql数据库。总共大约有40,000条记录，我已经建立了我想要将数据输入到的数据库。
这是我得到的错误消息：
第1行第9列(idul_dvc_wid_dsc)的Msg 4864、级别16、状态1、第1行大容量加载数据转换错误(指定代码页的类型错配或无效字符)。
第2行第20列(member_id)的Msg 4864、级别16、状态1、第1行大容量加载数据转换错误(指定代码页的类型错配或无效字符)。
第3行第20列(member_id)的Msg 4864、级别16、状态1、第1行大容量加载数据转换错误(指定代码页的类型错配或无效字符)。
.(这会持续一段时间直
浏览 4提问于2013-10-08得票数 0
我们需要用一维向量来乘一个大矩阵。大矩阵是稀疏的。在第二个场景中，我们需要乘两个大型矩阵，它们都是稀疏的。在第三种情况下，我们需要乘两个大矩阵，它们都是稠密的。
Apache似乎为矩阵(包括稀疏矩阵的专用数据类型)提供了内置的数据类型，并为矩阵线性代数(乘法、加法、换位等)提供了一组非常丰富的库。
在上述三种情况下，如何在Google上高效地进行矩阵乘法(或矩阵的其他线性代数运算)？
浏览 0提问于2016-03-23得票数 1
我有一大堆键，我想使用.indexOn对它们进行索引
假设我的数据如下所示。我希望能够使用.orderByChild("height")。
{
"lambeosaurus": {
"stats": {
"height" : 2.1,
"length" : 12.5,
"weight": 5000
}
},
"stegosaurus": {
"stats": {
"height&
浏览 1提问于2014-11-28得票数 13
1回答
如何在MFC对话框上排列控件之间的间距？
静态框( RX数据)和大编辑框之间的间距可能不等于“RX数据的大小”和上述编辑框之间的间距。
浏览 1提问于2015-11-04得票数 1
2回答
更好的大O复杂度算法
、、、
有谁能帮我解决这个问题吗？
如何限制输入数据以获得更好的大O复杂度？描述一种处理此有限数据的算法，以查找是否存在任何重复数据。什么是大O复杂性？
在限制输入数据时，我们指的是数组的大小，例如n=100 (数组包含100个整数)和；数组在默认情况下是未排序的，但可以在算法中实现。
我得到的最坏的情况复杂度是O ( n ^2) =N* ((N + 1)/2)，对于大小为n的未排序数组。
我通过使用嵌套循环(用于n-1迭代的外部循环--用于对数组中的每个值进行迭代)和用于比较以检查是否存在重复项的内循环来获得这一结果，并重复该过程直到外部循环结束。
浏览 5提问于2014-03-14得票数 1
回答已采纳
我有一个相当大的数据集，每个变量都有不同程度的缺失。我希望在这个数据集的不同组合上运行随机森林，基于丢失，然后对OOB误差对缺失阈值的敏感性进行分析。如何获得整个森林的OOB错误？
浏览 0提问于2019-06-29得票数 0
回答已采纳
我正试图找出一种方法，对一个非常大的数据进行公开密钥加密。
为此，我当然希望一方进行加密，但无法解密数据，而另一方则希望能够解密数据。
但对于RSA加密来说，合理的大小-性能是有限制的，因为它可以加密多大。
我还没有找到解决这个问题的好办法，但我想到的最简单的方法就是重用公钥来对数据块进行加密。当然，这会造成某种安全问题，但到目前为止，我仍然不知道它会导致什么样的安全问题。
有人能向我解释一下这个简单的方法会导致什么问题吗?也许还能告诉我如何实现我的目标--能够对一大块数据进行公开密钥加密？
浏览 0提问于2013-08-09得票数 1
回答已采纳
1回答
当我写到csv时，我试图重新划分(1)数据，但是它运行了两个多小时。我尝试了repartition(20)，但是它仍然很慢。我认为数据是大的，我是新的火花，我如何才能使这更快？
df.repartition(20).write.format("com.databricks.spark.csv").option("header", "true").save(filepath)
浏览 0提问于2019-09-30得票数 0
1回答
我刚开始管理MS Dynamics。它在网上，而不是在-prem。今天早上我接到通知说，一位租户已经超过了我们30 of的存储容量。查看一下对那个租户的数据厌恶，我可以看到20 is的文件存储是AsyncOperations。看看如何大容量删除这一点，我可以看到，我们的作业设置为大容量删除已完成的系统作业，所以这是排序的。再看一看，我找到了一些指南，说明这是一种工作流的系统作业类型。但是，当我创建大容量删除作业和预览记录时，系统作业类型工作流的值为0。对于如何清除一些AsyncOperation存储，有什么想法吗？
在如何清除文件存储方面，我尝试过各种微软文档，但是除
浏览 6提问于2022-11-08得票数 0
我希望使用SSMS工具从生产数据库(包括Schema和数据)生成脚本，但我想知道这将如何影响创建脚本的数据库性能。
数据库中的对象(表、存储过程)相当大，而且有大量的数据。
如果我创建脚本，这会影响服务器/数据库的性能吗？
浏览 0提问于2018-05-18得票数 0
回答已采纳
1回答
我们如何将数据从elastic search发送到google big query，是否有特定的连接器？我一直在寻找各种选择，将需要数据在谷歌大查询实时可用
浏览 0提问于2018-03-28得票数 0
1回答
我想使用转移，学习和微调，我需要决定哪一部分的原始模型将使用，哪一部分将被冻结。我正在考虑四种可能的情况:小/大的新数据集，这个集合与原始数据集相似/不相似。应如何在每一种情况下取得最佳结果？
浏览 0提问于2021-01-27得票数 0
回答已采纳
1回答
在处理一个非常大的二进制文件时，在C中使用内存映射与使用fread相比会有什么不同吗？即使在时间上有很小的差异也是可以的。如果它确实使进程fsater，你知道如何在一个大的二进制文件上使用内存映射并从中提取数据吗？
谢谢！！
浏览 2提问于2012-04-15得票数 0
由于我正在构建总线时间表应用程序，该应用程序在活动中插入和显示查询结果，每次我按下后退按钮并重新启动该活动时，将再次输入数据并复制查询结果。如何避免这种情况？另外，当我的应用程序在sqlite中插入大容量插入数据时，会冻结一秒钟左右，如何避免这种情况呢？我能用个进度条吗？
浏览 3提问于2014-03-19得票数 0
回答已采纳
从大csv文件读取数据时，数据的初始partitions发生在什么基础上？
在读取Big文件时，它将如何决定将大文件数据的分区/拆分分成不同的工作节点？
有没有人能分享，是怎么做到的？
浏览 8提问于2022-02-14得票数 1
回答已采纳
我正在尝试批量插入大量数据到MYSQL数据库中，需要关于如何处理表列不足以处理传入数据大小的情况的建议。
由于数据集非常大(超过1 1Gb)，我正在执行将输入数据流式读取到内存中。在某些时候，我会“刷新”数据，并尝试使用jdbcTemplate.batchUpdate将其插入到表中。目标表的所有列都是VARCHAR，并假定其大小为50。对于绝大多数数据来说，这是完全足够的。但是，由于偶尔会到达大于15大小的数据，插入将失败(数据对于列来说太长)。
解决这个问题的最佳方法是什么？我不想盲目地让所有的表列都变大，因为这似乎是一种伸缩性不太好的策略。由于数据的大小，我也不希望预先解析数据。那么，我应
浏览 1提问于2011-05-26得票数 0
我正在尝试弄清楚是否有可能从大查询中导出超对数草图，并在外部合并它们以进行基数估计。有没有一个开源库可以很容易地解析大的查询草图？
如果没有，是否有任何关于biq query的hyperloglog草图格式的公开信息？具体地说，使用了哪种散列算法，包含了什么类型的元数据，以及草图是如何构造的？
浏览 2提问于2018-09-13得票数 3
1回答
下面的代码将大整数打印到十进制格式的文件中，如何将代码转换为打印二进制数据和十六进制数据到文件中？
static void
print_pos( FILE* f, bigint bi )
{
if ( bi_compare( bi_copy( bi ), bi_10 ) >= 0 )
print_pos( f, bi_int_divide( bi_copy( bi ), 10 ) );
putc( bi_int_mod( bi, 10 ) + '0', f );
}
bi_10只是一种bigint类型，我如何修改上面的代码来打印十六进制/二
浏览 1提问于2010-01-07得票数 0
回答已采纳
2回答
如何过滤多条件的数据帧？
、、、
我有这个数据框架，我想要将其子集(如果可能，使用dplyr或base R函数)：
df <- data.frame(x = c(1,1,1,2,2,2), y = c(30,10,8,10,18,5))
x y
1 30
1 10
1 8
2 10
2 18
2 5
假设x是因子(因此是2个条件/级别)，我如何子集/过滤此数据帧，以便仅获得df$x == 1大于15的df$y值和df$x == 2大于5的df$y值？
这是我想要得到的：
df2 <- data.frame(x = c(1,2,2), y = c(30,10,18))
x y
1 30
2 10
2 18
浏览 0提问于2015-05-05得票数 5
回答已采纳
5回答
如果我在Wolfram中输入一个值，例如1234567^98787878，它可以向我提供一些详细信息。这包括十进制近似，总长度，最后一位数等。你如何评价这么大的数字？据我所知，编程语言必须有一个特殊的数据类型才能存储数字，更不用说将它添加到其他东西中了。虽然我可以看到一个人如何接近两个非常大的数字的加法，但我看不出有多大的数字被计算出来。
10^2可以通过重复添加来计算。然而，像上面的例子这样的数字需要一个庞大的循环。有人能解释一下这么大的数字是如何被评估的吗？另外，如何创建自定义的大数据类型以支持C#中的大数字？
浏览 8提问于2013-08-20得票数 14
回答已采纳
如何从苏格拉塔API中获得随机数据样本？也就是说，我正在尝试获取，但是现在不愿意下载整个它，因为它非常大。
浏览 5提问于2016-07-25得票数 0
回答已采纳
假设我有4-5个大表(以to为单位的数据)，我想在hive中加入它们。Hive在内部(在MapReduce中)执行joins的效果如何？
浏览 1提问于2018-06-27得票数 1
我有与使用CRecordSet (MFC )大容量取行有关的查询。
在MSDN页面上，它被写成
成员函数IsDeleted、IsFieldDirty、IsFieldNull、IsFieldNullable、SetFieldDirty和SetFieldNull不能用于实现大容量行获取的记录集。但是，您可以调用GetRowStatus代替IsDeleted，调用GetODBCFieldInfo代替IsFieldNullable。
现在，我想检查一个字段是否包含“NULL”/“无值”数据。如何检查这一点，因为IsFieldNull函数在大容量行取取中不工作？
浏览 0提问于2013-04-10得票数 0
1回答
我在"MySQL Server 5.7\ data“中创建了一个文件夹，并从另一个数据库文件夹(MySQL5.1)复制了frm、myd、myi文件，但是数据被包围了，并且有一个程序发送查询、解密和显示结果。(用Delphi 7，db组件Zeoslib编写)每当我试图搜索一个大表时，我就会得到“无法检索结果集数据”错误。我是个十足的菜鸟，不知道如何解决this.Any的建议？
编辑:我不是特别关心效率，我没有写解密程序，我只是把它和MySQL5.1数据files.Because一起下载了。数据是加密的，我被困在了这个程序的查询中。我知道有几个人成功地让这个程序工作起来，所以应该是可能的。
浏览 0提问于2016-02-26得票数 1
这是我昨天提出的一个问题的后续问题：我可以大容量插入到一个空的页面压缩表并获得完全压缩吗？，这个问题的答案(从Randi的出色回答中得到)是肯定的，但是它要求大容量插入需要一个表级别的锁；否则，大容量插入需要一个行级别的锁，并且只执行行数据压缩。这就引出了一个问题:之后我如何知道应用了什么压缩？
以下是在理论页压缩表中创建行压缩数据的步骤：
使用DATA_COMPRESSION=PAGE创建一个表，不要使用sp_tableoption打开该表的“表锁定大容量加载”选项。
使用bcp将平面文件中的数据大容量插入到新表中，但不指定锁定表的-h TABLOCK选项。
结果是一个表，其中的数据在行
浏览 0提问于2019-08-13得票数 10
回答已采纳
1回答
假设我有一个数据框，其中3列包含参数。因此，所有可能的队列都是组合:假设这些列有“鸭子”、“猫”、“狗”，另一个是“白”、“灰”、“黑”，最后一列是“小”、“大”。因此，队列中有小灰鸭、大黑猫等。
因此，如何通过存储在其中的所有可能的队列对数据帧进行分组？我需要这个来计算所有队列的特定值。谢谢。
浏览 0提问于2020-12-19得票数 2
2回答
我有很多数据正在进入一个切分的集群。
应该插入什么顺序，索引和碎片？
最好是
1)大容量插入数据>碎片>索引
或
2)大容量插入数据>索引>碎片
或
3)切分>批量插入数据>索引
浏览 2提问于2014-06-03得票数 1
回答已采纳
1回答
如何更改系列/数据文件中的值，如下所示：
labels = df_known["labels"] # get dataframe
for label in labels:
for c in classes_to_remove:
if label > c:
label -= 1 # doesn't actually change the label in the series, just the local variable
这样，每个标签就会减少所删除的类的数量，而这些类比标签要小。
例如，如果classes_to
浏览 5提问于2021-11-21得票数 1
回答已采纳
使用给定的列表，我如何找到谁的名字有第三大分数？
数据如下：
names = [Andi, Budi, Charlie, Dilan, Echa]
score = [80, 80, 80, 100, 90]
浏览 10提问于2022-03-19得票数 -1
2回答
Python原生的列表、集合和字典功能非常棒。当数据变得非常大时，有没有办法继续使用原生功能？我正在处理的问题涉及到非常大的列表的匹配(交集)。我还没有突破限制--实际上我并不真正知道限制是什么--我也不想在数据按预期增长后对大量的重新实现感到惊讶。
部署在Google App Engine这样的东西上，宣称没有实际规模限制，并继续使用原生功能，而不真正考虑这一点，这合理吗？
有没有什么Python魔术可以隐藏列表、集合或字典是否在Python管理的内存中，而不是在DB中--这样，数据的物理部署就可以与我在代码中所做的保持不同？
随着数据量的增长，Python超级专家先生或女士如何处理列表、集
浏览 1提问于2011-07-11得票数 11
回答已采纳
1回答
再:缺失值
、、、
我有一个大的数据集，它有每个用户的会话长度记录。我试图根据会话长度来预测购买行为。但是，该数据在会话长度列中有多个零。我该如何处理这些零？我应该用其他值来计算零吗？请给我建议。
浏览 0提问于2018-01-31得票数 1
我几乎对面向数据引擎的概念很感兴趣；然而，有一件事我仍然无法理解。如果我们将数据从一个大的层次打包到巨大的数组中，并对它们进行检查，我们所拥有的任何可见性系统基本上都会使大部分数据成为不可处理的。
考虑到这一点：
void do_stuff_with_data(data* vdata, const const_data* cdata, int count)
{
for ( int i = 0; i < count; ++i )
{
if ( vdata->active )
{
... process data
浏览 0提问于2014-06-14得票数 0
1回答
我有一个由远程设备单元的数据填充的设备信息提要表。
大约有1000个单元，每个单元每分钟发送一次更新，这些更新将作为一行存储在该表中。所以每分钟就会增加1000行，每小时增加60,000行，每天增加1,440,000行。我需要存储至少3周的数据。
因此，由于我对DB设计还不熟悉，所以我对如何维护这么大的数据流没有什么想法。
将主要在此表上插入查询，并选择查询，不需要更新或其他查询。
表结构:将有28列，主要是FLOAT和TINYINT(4)，以及1 DATE类型。没有其他类型的。该表为第三范式，每个设备单元的每一行都是唯一的。所以，列不能比这个少。
我正在使用MySQL。
我还有其他的表，但它
浏览 0提问于2014-07-05得票数 1
我正在尝试使用lightGBM作为分类器。我的数据保存在多个csv文件中，但我发现无法直接使用多个文件作为输入。
我曾考虑将所有数据合并成一个大的数据(numpy数组)，但我的计算机没有足够的内存。当可用内存不足时，如何使用lightGBM处理多个数据文件？
浏览 1提问于2018-04-24得票数 0
3回答
如何解析一个非常大的xml文件并将其插入到mysql数据库中？我知道PHP和javascript
浏览 0提问于2011-03-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
