1回答
像Spark、apache这样的数据处理引擎是如何将结构化、半结构化和非结构化数据集成在一起并影响计算的？
浏览 2提问于2015-04-12得票数 0
回答已采纳
例如，我有一个100MB的文件，我使用结构化流来处理它。我希望每次读取10MB，然后输出结果，再次读取10MB，然后处理它。但结构化流似乎直接读取100MB到处理中，并等待新数据处理。
浏览 11提问于2019-11-30得票数 0
回答已采纳
我开始阅读书名为“火花权威指南-大数据处理变得简单”来学习火花。在我阅读的时候，我看到一句话："A DataFrame是最常见的结构化API，它只是表示带有行和列的数据表。
浏览 5提问于2021-09-08得票数 1
2回答
处理数据仓库中的大数据
、、、
基于我的理解，大数据是处理非结构化数据和高volume.When的关键，我们研究了数据仓库( datawarehouse，DW )的大数据体系结构，从源数据通过Hadoop (HDFS和Mapreduce)提取数据，并将相关的非结构化信息转换为有效的业务信息，最后通过ETL处理(以及现有的结构化数据处理)将数据注入DW或DataMart。
浏览 3提问于2015-04-28得票数 5
回答已采纳
它是结构化的常规数据(不是图像、视频或音频)。prototype的历史还没有确定，但是如果是3个月，那么prototype将是90天x50gb=4500 gb，或者是(9000 gb，6个月)。我想做数据处理，推导出一些新的变量，EDA接着建模(特征工程&实现无监督的深度学习算法)。有人能给我推荐最好的方法吗？例如，使用save笔记本，在那里编写数据处理python脚本，将处理过的数据保存到S3文件夹，然后应用算法？或者使用EMR进行数据处理，然后使用SageMaker进行EDA+Modeling。
浏览 9提问于2022-02-09得票数 0
在我们的组织中，我们试图围绕大数据、、Hadoop、和相关的生态系统开发一些能力。如果是，那么它是hadoop用例吗？如果是这样的话，我们应该追求什么技术呢？但我们不确定我们是否做对了，如何使它成为适当的大数据Hadoop用例，以及如何在技术堆栈上做出决定，无论是Hadoop还是no SQL db，还是SOLR等等。
我们的目标
浏览 1提问于2014-08-07得票数 0
1回答
我正处于编写栈交换网络的Emacs主要模式的早期阶段；如果您经常使用Emacs，这将最终使您受益。显然，这将是一份清单。然而，与任何数据结构一样，选择必须取决于存储了什么数据以及如何访问数据。什么，我希望能够将所有这些信息存储在一个单一的符号中，比如stack-api/cache。因此，stack-api/cache是一个由上一次更新确定的目录：
`(<
浏览 0提问于2013-03-05得票数 10
根据我的知识，我已经把所有必需的结构化数据都放进去了，并且还用Google网站管理员的结构化数据测试工具测试了它，它可以很好地检测所有的东西，并且所有的要求都满足了。但当我回到网站管理员工具中:搜索外观>结构化数据时，它说
我们不会在您的网站上检测到任何结构化数据。结构化数据帮助Google理解站点上的内容，这些内容可以用来显示搜索结果中丰富的片段。我用结构化数据测试工具检查了我的站点，没有错误。
浏览 0提问于2017-03-03得票数 3
1回答
我试图获得更多关于使用Hadoop等分布式数据处理的信息。我刚刚开始阅读Hadoop，据我最初的理解，Hadoop非常适合非结构化数据处理，对于关系数据处理可能用处不大。
浏览 1提问于2012-10-25得票数 1
回答已采纳
1回答
我想在python中解析格式的结构化文本文件：field1 = xxx, xxx文本文件可能包含具有不同字段数的其他标头。不幸的是，我不知道这属于哪个编程/数据处理分支，也不知道如何使用正确的关键字来为自己确定解决方案。我沮丧地在这里张贴了一个问题。或者，如果有另一个模块可以解释这种类型的结构化文本文件，请声明它并提供一个示例。
这类问题属于程序设计或数据处理的哪个分支？如果您有一些数据，则定义模板或自动定义模板，然后将其
浏览 3提问于2014-07-19得票数 1
回答已采纳
我们有一个从SQL Server加载Image列的场景，这是我们的源，并加载到Snowflake中，但由于"String Long Issue“而失败，因为Snowflake具有Varchar限制。 到目前为止，我们已经尝试了Varchar和Variant数据类型来加载这个Image数据类型，但由于它的巨大尺寸，它也无法加载Variant数据类型(Snowflake试图将其读取为JSON，这就是为什么我们也尝试了variant )。 在snowflake中，有什么方法可以克服这种数据类型长度的限制？
浏览 14提问于2021-10-28得票数 0
回答已采纳
1回答
我编写了两个用于流数据的Apache管道(一个使用结构化流，另一个使用流)。管道从套接字连接接收流数据。这两种流方法(一种是快速的，另一种是稍慢的)对于流和结构化的流管道都有非常不同的结果。延迟的逐行流(1)允许管道完全处理所有信息，而转储(2)只导致处理一小部分数据点(大部分数据完全丢失)。我的问题是:如何找到Apache结构化流/Apache流管道设置的最大数据处理速率？
浏览 0提问于2018-04-27得票数 3
我知道，Hadoop不仅仅是半结构化数据处理的替代方案--我可以用普通的制表符分隔的数据和一堆unix工具(cut、grep、sed等)做很多事情。和手写的python脚本。
浏览 1提问于2011-01-11得票数 1
3回答
我有以下文件：
{"domain": "netflix.com", "approved_at_utc": null, "banned_by": null, "media_embed": {}, "subreddit": "NetflixBestOf", "selftext_html": null, "selftext": "", "likes": null, "suggested_sort": null,
浏览 2提问于2017-10-23得票数 1
回答已采纳
2回答
嗨，我有以下形式的查询日志文件：0 red ballons 1790 2012-10-02 00:00:002 current 280 2012-10-02 00:00:004 red table 201 2012-10-02 00:00:00
我每天都有一份档
浏览 0提问于2013-09-21得票数 0
回答已采纳
我有2个线性火花结构化流式作业，从一个卡夫卡主题复制数据到另一个。 是否可以在Spark UI中发布/查看消费/产生的事件数量？
浏览 13提问于2020-04-15得票数 1
回答已采纳
1回答
我不是一个HDFS书呆子，但来自传统的RDMS背景，我是划痕的新技术，如Hadoop和火花。现在，我正在考虑我的选项，当涉及到SQL查询星火数据时。还是我误解了它的实际作用？
浏览 0提问于2018-09-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
