1回答
“部分数据负载”术语
、、、
在我的例子中，我有一个非常大的文件，即“环境A”。为了改进我的数据处理(并阻止我的PC崩溃)，我只一次加载这个环境的一小部分。我不会将数据分割成不同的文件。是否有一个术语更简洁地描述了这种数据处理技术，而不是“部分负载”？
浏览 0提问于2022-10-18得票数 0
目前，我正在寻找支持大数据地球空间分析的大数据技术。我来到ESRI，发现它主要支持地球空间数据分析和可视化。我想知道的是:我应该选择哪个工具进行地理空间大数据处理、分析和可视化？哪个工具(ESRI和BigQuery)更适合用于什么？我想在非常大的时间地理空间数据集上运行复杂的查询，最后在地图上可视化结果。任何帮助都是非常感谢的！
浏览 5提问于2019-10-28得票数 0
回答已采纳
3回答
批量数据处理技术
、、
我正在寻找一种技术来做以下事情，我需要你的建议。我有一个巨大的(真的)注册ID表，我需要向这些ID所有者发送消息。我不能一次发送消息给许多收件人，这需要一个接一个地进行。
浏览 0提问于2011-10-04得票数 0
我想在我的DW (大查询)中加载这些文件。1)运行预处理脚本，生成文件，然后加载这些文件。我感兴趣的问题不仅集中在技术人员和成本方面，而且也集中在数据处理方法方面。我补充了我的一些结论作为答案。不过，对于何时使用直接传输和何时使用文件来暂存预处理结果的技术方面，有更多的评论是很好的。
谢谢!
浏览 0提问于2019-01-11得票数 0
回答已采纳
1回答
见下列方程式：我为它做了以下代码： if t >= t_max: elif t_s <= t < t_max: return s*(t-t_s) return 0
x_real = pd.DataFrame([[0.322,0.062,0.045,0.05,0.094,0.067,0.045,0.04
浏览 0提问于2023-03-10得票数 -1
1回答
构建一个在单个节点上运行的解决方案是很简单的(例如，spark master)，但假设目录结构非常大，具有O(十亿)个叶节点。对于使用Spark或其他框架/数据处理技术构建递归/迭代类型的数据管道，有什么建议吗？
浏览 37提问于2021-06-24得票数 0
1回答
处理大型文件的更好方法
、、、
我有一个巨大的csv文件，我必须处理这个文件并做一些数据处理。现在，我正在缓冲区中读取/加载文件，然后进行数据处理工作。在文件非常大的情况下，我发现这种方法效率低下。
浏览 0提问于2020-08-15得票数 -4
3回答
上一个问题(初始级别优化)：Excel“大”数据处理与查找“
代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0提问于2017-03-22得票数 4
回答已采纳
1回答
在孤立森林中集成缺失的值
、、、、
我们遇到的有趣的技术之一是隔离森林。现在，我们想探讨是否可能将XGBoost所具有的缺少值的特性集成到当前的隔离林中。随后，我有两个问题；请让我听听你的建议，这将是非常有价值的！提前谢谢你。
浏览 0提问于2019-03-21得票数 1
1回答
Message Oriented Middleware (比如JEE中的JMS )是Space Base Architecture吗？如果答案为假，那么MOM系统和Space基本系统之间有什么不同呢？
浏览 4提问于2016-01-12得票数 0
我正在批判性地阅读一篇研究论文，其中作者提出了一个用于云和多核的操作系统。这篇研究论文中可能存在的缺点是什么？到论文的链接是
浏览 2提问于2014-03-10得票数 0
我开始学习一些Hadoop/MapReduce，主要来自PHP背景，以及一些Java和Python。我已经看过了，看起来PHP中有一些Hadoop/MapReduce，但绝大多数文献似乎都致力于这四种语言。如果这是任意的--如果PHP和Python一样擅长处理这些操作，那么我应该研究哪些
浏览 0提问于2010-06-25得票数 3
回答已采纳
2回答
(我想讨论的主题是文件系统、元数据、存储的物理实现(das、nas等).请求到存储设备和存储设备(取决于技术)通过磁盘和磁盘发送数据，使用iscsi协议原版，可以说iscsi协议管理之间的路径...。如果你能帮我逐层解释这些步骤，并给出一些要定义的关键技术的名称，你会很欣赏的。
谢谢。
浏览 0提问于2010-04-05得票数 3
回答已采纳
4回答
本学期我和一位教授一起做了一个研究项目，我不得不可视化一个有点大(根据我的经验)的数据集之间的关系。这是一个15 MB的CSV文件。我的大部分数据处理都是用Python语言编写的，使用GNUPlot进行可视化。
有没有任何关于这个主题的可访问的书籍或网站？编辑:我更多的是在寻找一些能教会我“大创意”的东西。我可以自己写代码，但是寻找人们用来处理大型数据集的技术。我的意思是，我的15MB足够小，我可以把我需要的所有东西都放到内存中，然后开始处理。
浏览 2提问于2011-05-05得票数 11
回答已采纳
2回答
你能提供一些你用来确保解决方案质量的技术的洞察力吗？例如，有时，我喜欢使用stopifnot()测试我的结果，以确保我不会收到可笑的结果。您在数据处理中是否使用其他技术或函数来确保收到您想要的解决方案？
注意:我意识到这是一个广泛的问题，可能是社区维基甚至关闭的候选者，但与其投票结束，也许可以通过添加评论来指导对话。
浏览 3提问于2010-10-30得票数 5
回答已采纳
我理解OHE、LabelEncoder和DictVectorizor在数据处理方面的区别，但我不清楚的是，您什么时候可以选择使用一种技术而不是另一种技术。
浏览 0提问于2015-12-19得票数 171
回答已采纳
基本上我是想从商店里进入技术人员的状态({ getTechs, tech: {techs, loading}}) => { // getTechs(== null && techs.map(tech => ( ))}只想确保这段代码在数据处理方面一切正常。
浏览 0提问于2021-07-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
