3回答
上一个问题(初始级别优化)：Excel“大”数据处理与查找“我们计划将这一过程转化为一个旨在保存这么多数据的程序，但是IT和其他专家在接下来的7个月里都忙于更高优先级的项目。我需要在下个月底，当这类产品再次上市时，才能开始运行。此时重构原始数据是不合理的，但是写入新的工作表或文件并不是一个问题。
我非常感谢一切帮助。
浏览 0提问于2017-03-22得票数 4
回答已采纳
1回答
处理大型文件的更好方法
、、、
我有一个巨大的csv文件，我必须处理这个文件并做一些数据处理。现在，我正在缓冲区中读取/加载文件，然后进行数据处理工作。在文件非常大的情况下，我发现这种方法效率低下。
浏览 0提问于2020-08-15得票数 -4
1回答
“部分数据负载”术语
、、、
我正在写我的作品，我试着想出一个更好地描述数据“部分负载”的单词或短语。是否有一个术语更简洁地描述了这种数据处理技术，而不是“部分负载”？
浏览 0提问于2022-10-18得票数 0
大约300吨的数据正在使用Google平台数据集(选项: dev)传输到大查询中。感谢您的阅读。
浏览 1提问于2020-10-19得票数 2
回答已采纳
如果我在小型表上运行join，那么对于bigquery引擎中的每个小表副本，处理的数据都会增加吗？
是否有用于数据处理的最小大小？我们的观察认为它是4MB，这是正确的吗？关于3)我在数据处理方面有这么大的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My大，而我的每个查询的DP大小却大3倍？如果big
浏览 10提问于2013-04-22得票数 5
回答已采纳
我想知道我是否可以使用Storage类来管理数据对象，如对象列表等。Storage类的限制是什么？什么时候需要使用sqlLite？谢谢
浏览 1提问于2014-01-24得票数 2
6回答
现在，我使用Python和R的组合来满足我所有的数据处理需求。但是，我的一些数据集非常大，并且会从多线程处理中受益良多。例如，如果有两个步骤，每个步骤都必须在一组数百万个数据点上执行，我希望能够在第一步仍在运行时启动第二步，使用已经通过第一步处理的数据部分。对于这种类型的数据处理，最好的语言/实现是什么？
浏览 0提问于2010-08-18得票数 6
回答已采纳
1回答
我目前在一个涉及数据上传过程的网站上工作。文件当前被上传到服务器，方法被调用(在app_code中)，最终(通过web方法)调用DTS包来将数据加载到数据库中并对其执行一些验证。
浏览 1提问于2010-07-20得票数 0
回答已采纳
1回答
在这一页中，他们提到：
当您使用大容量收集和集合从游标中获取数据时，您不应该依赖游标属性来决定是否终止循环和数据处理。
浏览 1提问于2017-08-21得票数 1
回答已采纳
在异步web服务调用中以块(例如20k)处理这100万数据的方法有哪些？
存储过程是否可能比上述两个选项更合适和更好地执行(猜测否！)
浏览 0提问于2016-05-30得票数 2
回答已采纳
1回答
lil背景信息( 1)插入时会比当前的快吗？( 2)假设我需要将这些数据返回头版，并显示100个结果(只需要一个摘要，所以在第一条路径上只选择3列)，如果我要做第一种方式，我可以用一个select和循环来显示数据，这会比我从数据<
浏览 2提问于2011-02-04得票数 0
回答已采纳
我有一个从数据仓库中提取的非常大的数据集。要将数据集下载到我想要运行lme4的机器上，需要很长时间。我想知道是否可以将数据处理成协方差矩阵，下载该数据(小得多)，并将其用作lme4的数据输入。
浏览 9提问于2013-02-06得票数 0
目前，我正在寻找支持大数据地球空间分析的大数据技术。我来到ESRI，发现它主要支持地球空间数据分析和可视化。然而，目前，除了需要许可的ArcGIS GeoAnalytics服务器之外，它们还没有对大数据地理空间分析的广泛支持。我想知道的是:我应该选择哪个工具进行地理空间大数据处理、分析和可视化？哪个工具(ESRI和BigQuery)更适合用于什么？我想在非常大的时间地理空间数据集上运行复杂的查询，最后在地图上可视化结果。
请注意，我刚刚开始了对地理空间大数据处理
浏览 5提问于2019-10-28得票数 0
回答已采纳
1回答
我有一个设备，我可以控制我用USB发送数据的速度。我正在使用Qt进行PC端的数据处理。我经常根据计时器从设备上阅读。问题是计时器的分辨率仅为1ms。这难道不把我读取数据的速度限制在1ms吗？如果这个计时器速度这么慢，我该如何利用USB大带宽的能力呢？
浏览 3提问于2013-11-15得票数 0
回答已采纳
我应该在哪里执行python脚本来处理GCS上可用的大约7G数据。输出也将写入GCS。该脚本已在datalab notebook上使用小数据集进行了调试。我想扩大处理的规模。我应该分配一台大机器吗？非常感谢，艾拉
以防万一，数据流不能用于这种数据处理
浏览 13提问于2018-02-21得票数 1
2回答
我正在重写一些R脚本，将空间数据处理并分析到一个包中，以便更容易地共享。最初，我只是将所有光栅数据/etc保存到我的工作目录中，每次我想使用“堆栈”或“光栅”进行分析时，都会将它从那里加载到脚本中。我有很多光栅/形状文件，其中有些相当大。
浏览 5提问于2020-04-20得票数 0
回答已采纳
1回答
我有一个pgAdmin数据库，它在geojson format.Using中包含数百万行，这个表是我创建的Tableau仪表板。由于行包含geojson格式的数据，所以我必须这样查询：jsondata -> 'properties' ->> 'qq',,
jsondata'updatedAt'as bigint)/1000 as int) * INTERVAL &#x
浏览 4提问于2020-04-10得票数 0
2回答
我正在做非常大的数据处理(16 am )，为了处理磁盘延迟，我想尝试通过将整个文件存储在RAM中来加速操作。
我查看了现有的库，但是找不到任何能给我提供接口灵活性的东西。
浏览 8提问于2022-07-19得票数 0
回答已采纳
我喜欢处理超过5GB的.CSV格式日志的每个人，下面的内部结构。 3db953e172f313e674374e71730b0c746bea97be,desktop,2017-01-10T00:10:25.948Z e83ce32fa2b74ad65091b66e2cab94b684073f8c,mobile,2017-01-10T02:10:29.137Z
浏览 0提问于2017-01-15得票数 0
回答已采纳
我正在构建一个数据处理管道。数据相当大:表示高频采样的传感器数据的数据帧。在管道过程中，我有一个中间结果，即对后续转换所需的数据进行转换。使用Dask，我发现中间转换必须在每个后续转换中重新计算。我知道.persist()，但是这会将结果保存在内存中，而由于数据的大小，这不是一种选择。
浏览 2提问于2022-06-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
