腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Hadoop
批处理
需要
记录
计数
、
、
出于审计目的,我
需要
在mysql表中捕获main.sql处理并插入到目标表中的
记录
数。我们怎样才能做到这一点呢?
浏览 32
提问于2019-10-19
得票数 0
1
回答
批间火花流数据共享
、
但是我的用例
需要
在间隔之间共享数据。我将如何产生以下字数?单词"
hadoop
“和”火花“与前一个间隔
计数
的相对
计数
因此,UpdateStateByKey不适合这个需求。在第2段,
hadoop
发生了3次,但是输出应该是1 (3-2)。 火花发生3次,但输出应为
浏览 2
提问于2015-05-05
得票数 8
回答已采纳
1
回答
如何从Oozie触发的流Map Reduce作业输出
Hadoop
EL
计数
器?
、
、
我正在使用Oozie触发一个流式MapReduce作业,为此,我希望收集以下
Hadoop
EL常量:REDUCE_IN:
Hadoop
reducer输入
记录
计数
器名称。REDUCE_OUT:
Hadoop
reducer输入
记录
计数
器名称。我看到可以
浏览 1
提问于2015-10-23
得票数 2
1
回答
任何代码都可以触发
批处理
覆盖操作吗?
我正在工作的一个项目,将
批处理
约834
记录
在档案中。我知道它可以通过单击
批处理
配置窗口中的覆盖按钮来完成,但是它
需要
自动完成。我必须说,我没有尝试发送一个控制信息到一个
批处理
设置为每个
记录
浏览 2
提问于2014-08-06
得票数 1
回答已采纳
1
回答
在siemens TIA Portal中将
计数
器值
记录
为
批处理
名称
、
、
我
需要
在TIA Portal中为1214 PLC创建一个程序,并创建一个舒适的人机界面( HMI ),它使用
计数
和存储特定批次名称来计算多个产品。对于每一个新
批处理
,操作员将输入一个新的批名称,
计数
器将对该特定批的产品进行
计数
。
计数
需要
显示在人机界面屏幕上,以及批次的历史
记录
和相关的最终
计数
号。因此,基本上,我
需要
一种将名称(batch_id)附加到最终
计数
并
记录
这一对的方法,以
浏览 17
提问于2021-12-16
得票数 0
1
回答
如何读取每个reduce任务的
计数
器(例如,输出
记录
的数量
、
、
我正在运行迭代
hadoop
/mapreduce作业来分析某些数据。(apache
hadoop
version 1.1.0),我
需要
知道每个reduce任务的输出
记录
数,才能运行M/R作业的下一次迭代。我可以在每个M/R作业后读取合并的
计数
器,但我找不到单独读取每个任务的
计数
器的方法。关于这一点请给我建议。 Choi
浏览 1
提问于2014-08-08
得票数 1
2
回答
为什么
hadoop
计数
器中的map输出
记录
和reduce输入
记录
不同?
、
、
我在
hadoop
中运行一个字数统计作业,我的问题是为什么在
hadoop
计数
器中映射输出
记录
和减少输入
记录
是不同的?请看下面的图片
浏览 0
提问于2016-06-21
得票数 2
2
回答
我想在
Hadoop
上比较两个连续的作业
、
我想知道是否可以在
Hadoop
中比较两个连续的作业。如果没有,如果有人能告诉我如何继续下去,我将不胜感激。准确地说,我想从两个工作到底做了什么方面来比较这两个工作?这样做背后的原因是创建一个统
计数
据,说明在
Hadoop
上执行的作业在行为方面是相似的。例如,对相同的输入执行了多少次相同的排序函数。现在,我想知道在
Hadoop
中是否有一些映射存储在像JobID X-> SortList(A)这样的地方。到目前为止,我认为这个问题是在
Hadoop
中找到入口点,并试图理解作业是如何创建的,jobID保存了哪
浏览 1
提问于2011-04-25
得票数 0
回答已采纳
1
回答
具有不同分区键的表的Cassandra
批处理
查询性能
、
、
、
因为目前,我正在
批处理
插入多个表,这些表可能存在于不同的集群中,因为它们具有不同的分区键;据我所知,将
批处理
查询插入到具有不同分区键的不同表有额外的权衡。
浏览 2
提问于2017-03-21
得票数 0
2
回答
列出所有
记录
计数
以及文件名。
、
我正在尝试创建一个
批处理
文件(显示在下面),以获得一组.csv文件中的
计数
记录
和文件名。 下面的
批处理
文件将输出第一个.csv文件的
记录
计数
。有没有办法在文件名的同时列出所有的
记录
计数
?
浏览 0
提问于2013-08-25
得票数 0
回答已采纳
1
回答
wholeTextFile() API速度极慢,不可伸缩
、
问题:我们使用wholeTextFile()接口从S3读取文件。但是由于下面提到的原因,这个API非常慢。问题是如何解决这个问题?问题是我们正在使用Spark WholeTextFile API读取s3文件。WholeTextFile接口分两步工作。第一步,driver/master尝试列出所有的S3文件,第二步是driver/master尝试拆分文件列表,并将这些文件分发到多个工作节点和执行器进行处理)。 步骤1.列出给定路径中的所有s3文件(我们在运行每个gw/设备/应用程序步骤时传递此路径)。问题是每一批次的每一份报告都是第一批列出的文件数量。我们遇到的主
浏览 3
提问于2021-10-02
得票数 1
1
回答
Spark vs
Hadoop
、
、
、
、
我有一个使用
Hadoop
或Spark编写大数据处理应用程序的要求。我知道
Hadoop
对于
批处理
应用来说是最好的技术,而Spark对于分析应用来说是最好的技术。应用程序将获得一个输入文件和几个配置文件。此输入文件
需要
在配置文件的帮助下转换为输出文件。我们所称的配置文件或转换规范具有从源文件到目标文件的映射、列方式和将特定单元格值转换为其他值的表达式等信息。我已经用MapReduce写过这篇文章了。输入可能包含百万/十亿条
记录
。现在,利益相关者建议使用Spark,因为他们认为Spark比MapRed
浏览 0
提问于2015-01-06
得票数 1
1
回答
某些地图在运行
hadoop
作业时会丢失用户定义的
计数
器
、
、
、
我有一个
Hadoop
工作,我自己定义了几个
计数
器。当我运行这个作业( map的数量> 500)时,我发现一些map任务丢失了用户定义的
计数
器,但
Hadoop
内置
计数
器(如map输入
记录
)工作正常。
浏览 1
提问于2012-11-27
得票数 1
2
回答
在MongoDB中对不同条件进行实时查询并处理结果
、
、
、
例如,我的用例
需要
在为不同的标准值处理集合之后生成以下格式的数据。我看到Mongodb有,它处理
记录
并返回计算结果。为了提高效率,我应该使用聚合吗?如果聚合是可行的,我想我会在每次我的源数据发生变化时这样做。另外,这就是的用途吗?在我的理解中,我的理解是正确的吗?
浏览 1
提问于2014-02-26
得票数 0
1
回答
在Yarn集群上运行时,火花批次未完成
、
、
、
、
设置场景但是,当我查看Spark上的流统
计数
据时,我可以看到我的
批处理
从未被处理过。我见过包含0条
记录
的
批处理
、处理和完成,但是当一批
记录
开始处理时,它永远不会完成。现在我有3230个活动批次(3229个排
浏览 1
提问于2018-02-21
得票数 1
回答已采纳
2
回答
我应该使用
Hadoop
吗?
、
、
我有一个
批处理
作业,可以检索大量相互独立的web服务。从一个REST响应检索的数据绝不依赖于或与来自另一个响应的数据一起使用,除了一些轻量级的统计信息是在所有处理完成时计算的。一旦最后一个线程完成,就会计算最终的统
计数
据。根据每个REST请求是否具有与先前检索到的数据相关的新数据,整个
批处理
可能
需要
4到25分钟。
批处理
大小相对适中,上面提到的时间窗口也不差,因为如果我每隔30分钟在cron上运行一次作业,那么跳过时间序列的机会实际上就消除了,因为数据大约每小时更新一次。然而,我正在考虑增加批量。我是<em
浏览 0
提问于2012-09-16
得票数 0
1
回答
用于存储TBs时间戳数据的平台
我们有一个创建大量数据的系统,最多可创建150万条时间戳
记录
,每秒约24MB,或每天约2TB。 数据来自多个来源,具有多种格式,唯一的共同点是时间戳。我们倾向于像Nathan Marz在中描述的那样,使用
Hadoop
/ElephantDB进行长期
批处理
存储,使用Storm/Cassandra作为实时层。
浏览 2
提问于2011-10-27
得票数 1
1
回答
Spring批量读写
计数
与实际执行
记录
数不匹配
如果
批处理
要提取100条
记录
,而当它正在运行时,我碰巧在两者之间停止了
批处理
执行。BATCH_STEP_EXECUTION表中的读取
计数
和写入
计数
是'n‘。但BATCH_STEP_EXECUTION_CONTEXT的
记录
计数
为'n'+/-,但不是相同的..这些表之间通常存在不匹配。还可以观察到,有时处理和提交的
记录
数量较多,但这些表中的
计数
数量要少得多。
浏览 1
提问于2014-10-28
得票数 1
4
回答
ExecuteBatch方法返回java中的值-2数组。
、
、
当我在java中执行executeBatch方法时,它返回一个int数组,这个数组很好,但是值是所有数组元素的-2,当我在数据库中签入它时,所有更新都成功地完成了。请解释一下这个-2的含义是什么,以及我如何发现受影响的行数。
浏览 4
提问于2013-09-26
得票数 30
回答已采纳
1
回答
Map-reduce比较最新和最早的值
、
, count: 4, id: 3, batch: 3,} 我想要编写一个map-reduce函数来返回最近
批处理
和最早
批处理
的
计数
之间的增量差我使用的是Mongo,但如果有一个Java/
Hadoop
示例可以工作,我会很高兴地接受它。
浏览 0
提问于2013-11-13
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据处理框架是怎样的原理
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
Hadoop MapReduce与Apache Spark
五大最佳数据框架的快速比较
大数据计算模式:批处理&流处理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券