下面是我的代码：
double getRevenue(KeywordGroupKey key) {
Double r = revenueMap.get(key);
System.out.println(key + "\t" + key.hashCode());
for (KeywordGroupKey other : revenueMap.keySet()) {
System.out.println(other.toString() + "\t" + other.hashCode());
if(other.
浏览 4提问于2012-07-09得票数 1
回答已采纳
2回答
我希望我这样问是对的。我正在学习关于弹性MapReduce的方法，我看到了许多关于“聚合”减速器的引用，它可以与“流”作业流一起使用。
在亚马逊的“亚马逊弹性MapReduce简介”中，它指出“亚马逊弹性MapReduce有一个名为aggregrate的默认减速器”。
我想知道的是：还有其他可用的默认还原器吗？
我知道我可以写我自己的减速机，但我不想写一些已经存在的东西，并且“重新发明轮子”，因为我确信我的轮子不会像原来的那样好。
浏览 3提问于2009-12-22得票数 12
回答已采纳
我想知道，我是否可以使用AutoScaling自动升级或下降亚马逊的Ec2容量，根据cpu的利用率与弹性地图减少。
例如，我只使用一个实例启动mapreduce作业，但是如果该实例达到50%的利用率(例如，我希望使用创建的AutoScaling组来启动一个新实例)。这有可能吗？
你知道这是否可能吗？或者弹性mapreduce，因为它是“弹性的”，如果它需要自动启动更多的实例而没有任何配置？
浏览 3提问于2015-04-24得票数 0
回答已采纳
1回答
我在弹性mapreduce上运行了交互模式的蜂巢：
/弹性-地图推理-创建-蜂巢-互动
在脚本模式下：
./弹性-mapreduce-创建-hive-脚本-arg s3://mybucket/myfile.q
我希望在我自己的服务器上有一个应用程序(最好是PHP、R或Python)能够旋转一个弹性mapreduce集群并运行几个Hive命令，同时以可解析的形式获得它们的输出。
我知道构建一个集群可能需要一些时间，所以我的应用程序可能必须在单独的步骤中这样做，然后等待集群做好准备。但有没有办法做这样的假设：
创建蜂巢表customer_orders
运行蜂巢查询“从customer_or
浏览 6提问于2012-12-21得票数 0
我还没有找到在Amazon弹性mapreduce实例上运行的AMI。您不能指定一个实例，但是可以通过运行一个引导操作来自定义mapreduce实例。不过，我想知道我是怎么开始的。
浏览 0提问于2011-03-30得票数 2
回答已采纳
我有一个产品是团购类促销的一部分。客户购买类似Groupon网站的广告代码，这些优惠券代码作为100%的折扣输入到我的Ubercart系统中。我只想让这个特定的产品被购买时，这些特定的代码之一已进入购物车。换句话说，信用卡输入面板将不会出现，直到他们输入了一个有效的代码，该产品的推广。
这有可能吗？如果是的话，我怎样才能做到这一点呢？规则/有条件的行动？
谢谢!
浏览 0提问于2013-09-23得票数 1
我开始在Hadoop KMeans框架上实现MapReduce算法。在这方面，我使用了提供的弹性MapReduce。我想要创建一个HDFS文件，以保存初始集群坐标，并在其上存储还原器的最终结果。我完全糊涂了。是否有创建或“上传”该文件到HDFS格式，以便让所有映射者看到。
在这方面有任何澄清吗？
谢谢。
浏览 0提问于2014-04-30得票数 1
回答已采纳
请描述您的问题
标题：Oozie 任务调度 - 弹性 MapReduce - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/589/12337
浏览 408提问于2018-02-07
请描述您的问题
标题：通过 API 使用 Hbase - 弹性 MapReduce - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/589/12310
浏览 368提问于2018-01-19
3回答
将配置表导出到S3存储桶
、、、
我已经通过一个弹性MapReduce交互式会话创建了一个配置单元表，并使用CSV文件填充它，如下所示：
CREATE TABLE csvimport(id BIGINT, time STRING, log STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';
LOAD DATA LOCAL INPATH '/home/hadoop/file.csv' OVERWRITE INTO TABLE csvimport;
现在，我希望将配置单元表存储在S3存储桶中，以便在终止MapReduce实例后保留该表。
浏览 118提问于2012-02-29得票数 22
回答已采纳
1回答
我需要在.Net中找到与Amazon相关联的资源数量。
我已经搜索了各种用于VPC的describe方法，它们返回不同类型的值，包括Tags等，但是我无法找到相同的值。
下面是我试图找到的与给定的Amazon Id相关联的资源数。
RDS DB实例数
自动缩放组数
EC2实例数
ElastiCache簇数
弹性豆杆应用程序的数量
弹性负载平衡器数目
弹性MapReduce作业数
红移簇数
如果有人对此有任何想法，请帮助我。
谢谢
浏览 0提问于2019-07-17得票数 0
1回答
在Hadoop 1.0.3中，我尝试使用org.apache.hadoop.mapred.lib.IdentityMapper作为-mapper的参数时遇到了问题。" cat“可以工作；使用cat是否会影响性能--特别是在弹性MapReduce上？
浏览 1提问于2014-07-25得票数 2
我编写了一个Hadoop程序，它需要在HDFS中进行某种布局，然后，我需要将文件从HDFS中取出。它可以在我的单节点Hadoop设置上工作，我很想让它在弹性MapReduce中的10个节点上工作。
我一直在做这样的事情：
./elastic-mapreduce --create --alive
JOBID="j-XXX" # output from creation
./elastic-mapreduce -j $JOBID --ssh "hadoop fs -cp s3://bucket-id/XXX /XXX"
./elastic-mapreduce -j
浏览 0提问于2011-10-09得票数 3
回答已采纳
2回答
我想知道是否有电子病历(弹性MapReduce)的后期处理的例子？我试图实现的是在亚马逊的Hadoop完成工作后立即发送一封电子邮件给一群人。
浏览 1提问于2013-04-04得票数 4
回答已采纳
3回答
我正在运行亚马逊运行弹性MapReduce的示例，并经常遇到以下错误：
启动作业时出错，输出路径已经存在。
下面是运行我正在使用的作业的命令：
C:\ruby\elastic-mapreduce-cli>ruby elastic-mapreduce --create --stream \
--mapper s3://elasticmapreduce/samples/wordcount/wordSplitter.py \
--input s3://elasticmapreduce/samples/wordcount/input \
--outpu
浏览 11提问于2012-07-29得票数 2
回答已采纳
3回答
我正在做一些非常简单的数据挖掘(实际上，只是一个单词)作为我的本科生计划的研究项目。
我将使用亚马逊弹性MapReduce。
我需要上传4 4GB的.xml文件。
做这件事最好的方法是什么？
上传小的zip文件，然后在存储桶中以某种方式解压它们？或者拆分文件，上传所有小文件，然后使用所有小文件进行流式MapReduce作业？
浏览 1提问于2011-03-28得票数 3
2回答
我希望每小时将所有dynamodb表数据转储到s3文件中。调度弹性mapreduce作业流的最佳方式是什么？我可以使用Amazon Simple workflow服务来实现吗？
浏览 0提问于2012-10-31得票数 3
1回答
我有一个问题，如果你能帮我的话，我将非常感激。
开始情况：
债券："026351AZ9“"026351BC9"
这些债券的首张息票日期："2029-02-15“"2010-09-11" (档次日期)
债券支付息票的年份：3年和1年
每年也有一个优惠券频率：2和4，这意味着在下一年将有2次付款(4次付款)。
第一种情况:3年，每年2次优惠券支付->，因此今后3年每6个月支付一次优惠券。相同的一年和4倍的利息支付。
结果:应该是这样的：
datesBond1 = "2029-02-15" "202
浏览 6提问于2017-07-07得票数 0
回答已采纳
2回答
我使用亚马逊弹性MapReduce (Amazon )创建了一个工作流程，但由于一些未知的原因，它失败了。然后，我试图通过AWS管理控制台终止作业流，但是“终止”按钮被禁用。然后，我尝试使用CLI终止作业流，它显示了作业流被终止，但是当通过CLI和管理控制台中的弹性MapReduce选项卡看到它时，它仍然显示为在作业流列表中失败。
请让我知道如何从列表中删除职务流。
当我尝试调试作业流时，它显示了两个错误：
调试功能对此作业流不可用，因为创建它时没有指定亚马逊S3日志路径。作业流失败，原因是:无效的桶名“testBucket”：桶名必须只包含小写字母、数字、句点(.)和破折号(-)。
浏览 4提问于2012-04-14得票数 3
回答已采纳
我使用弹性Bean秸秆控制台将一个应用程序从Docker容器部署到AWS弹性Bean秸秆。
完成在AWS上部署Web应用程序后，弹性豆杆-环境状态是绿色的。
我点击了环境仪表板上的URL链接来查看我的web应用程序。
它总是导航到有字符串的网页
Congratulations!
Your Docker Container is now running in Elastic Beanstalk on your own dedicated environment in the AWS Cloud
我读了日志文件，没有看到任何错误。这是它的链接：，我的网络应用程序在哪里？我有错过
浏览 4提问于2015-03-31得票数 3
回答已采纳
我正在使用弹性MapReduce集群。我试图连接web接口，如作业跟踪器，任务跟踪器，通过链接我使用putty，但是，我不能连接到主-公共-dns:9100通过获取超时错误。
如何连接到这些接口？
浏览 0提问于2016-05-02得票数 2
回答已采纳
1回答
我需要帮助以及建议，我的观点是，我必须给卢比2000首次登录的用户，每次用户使用优惠券，只有5%的总数将扣除卢比2000和其余的金额，用户可以使用以后，但只有5%将扣除每次。我如何在目标商务中管理这种类型的功能？或者有没有什么插件来管理这件事。
浏览 11提问于2017-08-23得票数 0
我有以下错误：
Error: undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String
当我运行以下命令行通过弹性- mapreduce在Amazon集群上启动mapreduce算法时，指定一个分布式缓存文件：
./elastic-mapreduce --create --stream \
> --input s3n://dico-count-words/Words \
> --output s3n://dico-cou
浏览 2提问于2014-11-11得票数 4
我想处理亚马逊CloudFront使用亚马逊弹性MapReduce创建的访问日志。
我只需要一些关于不同文件从cloudfront加载了多少次的简单统计数据，所以我想我应该为此编写一个简单的PIG脚本。
我遇到的第一个问题是cloudfront写的日志是压缩的，据我所知，我不能在pig中读取.gz？
我该怎么做，有什么建议吗？我是elastic mapreduce的新手，所以欢迎任何关于如何构建这类工作的提示。
浏览 0提问于2010-11-01得票数 0
回答已采纳
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
4回答
我刚接触过Amazon服务，我试图在亚马逊弹性地图上运行作业流，使用命令行接口工具减少作业。
我遵循了指南的步骤，这个aws.But开发人员指南对我来说还不清楚。
如果我执行命令./弹性-mapreduce- list 来列出作业流。显示以下错误。
/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:23: warning: else without rescue is useless
/usr/local/rbenv/versions/1.9.3-p194/lib/rub
浏览 7提问于2013-07-21得票数 4
回答已采纳
1回答
假设我在Amazon弹性mapreduce上启动了一个集群，并有一个主节点实例、两个核心节点实例和15个任务节点实例。
我想我使用mapreduce作业和增量上传将大约1TB的数据上传到hbase。
现在-
如何找到表的大小和区域分割(字节)。通常，在CDH上，我会执行hadoop -du /hbase。但是我的主节点上没有/hbase目录。
我也很想知道区域服务器分配将如何工作。因此，即使我有100个区域-如果我有一个主节点-这意味着整个IO将被节流，对吗？
谢谢问候
浏览 1提问于2013-10-03得票数 1
2回答
为大型数据集生成ngram频率
、、、、
我想为大型数据集生成ngram频率。维基百科，或者更确切地说，Freebase的WEX适合我的目的。
在接下来的一天左右，什么是最好的、最具成本效益的方法？
我的想法是：
PostgreSQL使用regex来分割句子和单词。我已经有了PostgreSQL中的WEX转储，并且我已经有regex来进行拆分(这里不需要主要的准确性)。
带Hadoop的MapReduce
MapReduce与亚马逊的弹性MapReduce，我几乎不知道
我在Hadoop方面的经验包括在三个EC2实例上计算Pi，效率非常低。我对Java很在行，我理解Map + Reduce的概念。我担心Postgr
浏览 7提问于2012-12-06得票数 1
回答已采纳
说，一个弹性MapReduce步骤可以将多个作业提交给Hadoop。然而，建议，一个步骤只能容纳Hadoop-Streing.jar的一个执行(也就是说，HadoopJarStep是一个HadoopJarStepConfig而不是一个HadoopJarStepConfigs数组)。
在一个步骤中向Hadoop提交几个作业的正确语法是什么？
浏览 2提问于2014-06-14得票数 14
回答已采纳
1回答
我已经创建了一个弹性MapReduce作业，并且我正在尝试优化它的性能。
目前，我正在尝试增加每个实例的映射器数量。我正在通过mapred.tasktracker.map.tasks.maximum=X完成此操作
elastic-mapreduce --create --alive --num-instance 3 \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--args -s,mapred.tasktracker.map.tasks.maximum=5
每次我尝试为每个小实
浏览 1提问于2011-09-27得票数 0
我看到AWS弹性MapReduce和AWS都使用集群结构，并且可以用于数据分析。它们的不同用例是什么？
支持与多种应用程序的客户端连接，包括商业智能(BI)、报告、数据和分析工具。
(Amazon )是一个托管集群平台，它简化了在AWS上运行大数据框架(如Apache和Apache )来处理和分析大量数据的过程。
浏览 1提问于2016-06-04得票数 15
回答已采纳
1回答
我试图在亚马逊弹性MapReduce上使用hadoop，在那里我要执行数千个地图任务。如果有一小部分任务失败了，我很好，但是，Amazon关闭了任务，当第一个映射器失败时，我会失去所有的结果。是否有可用于增加允许的失败作业数量的设置？谢谢。
浏览 4提问于2013-10-07得票数 1
回答已采纳
我有大量的商店项目导入到elastic search中，我可以查询它们。
我想知道如何最好地将以下mysql表关系建模为elastic search：
商店项目可以有不同的优惠。有不同的优惠类型。并且在一些商店中可能提供物品，而在其他商店中该物品可能不提供或者具有不同的提供类型。物品不一定要有优惠。我的模型如下：
项目表
item_id
优惠表
shop_id, item_id, offer_type, user_id
其中user_id是创建报价的用户的id。
例如，店铺1和item_id _id‘s 1,2和offer_types premium and featured。
然后，offe
浏览 1提问于2015-07-21得票数 0
因此，我已经为他们的免费使用层提供亚马逊AWS帐户。
两天后，我在我的账户信息中看到了这一点：
每月全球免费层下的数据传输: 0.023 GB
区域数据传输+公共/弹性IP数据传输: 0.023 GB
数字是可以的，因为我一直在下载来安装我的实例。
但是，虽然第一个项目符合免费使用层优惠，第二个不符合，现在我的账单是0.01美元。
为什么流量会被计算两次？我没有做任何区域性的数据传输，所以我想他们是在通过一个弹性IP的流量计费我。
我怎么才能防止这种情况？
浏览 0提问于2010-11-03得票数 0
回答已采纳
是否可以使用.NET语言为Amazon Elastic MapReduce ()编写map/reduce作业？特别是，我想使用C#。
初步研究表明并非如此。上述网址的营销文本建议您可以“选择Java、Ruby、Perl、Python、PHP或C++"，而无需提及.NET语言。这个亚马逊线程( --“支持C# / F#映射/缩减”)明确表示“目前Amazon Elastic MapReduce不支持单声道平台或C#或F#等语言”。
上面的情况表明这是不可能的。不过，我想知道是否有任何变通方法。例如，我可以修改我的账户的弹性MapReduce机器镜像，并在上面安装Mono吗？
亚马逊常见问
浏览 4提问于2009-07-27得票数 13
回答已采纳
假设我需要使用10个实例处理20 Gb的输入。有10个2 5Gb的输入文件和4个5 5Gb的输入文件有区别吗？在后一种情况下，亚马逊弹性MapReduce是否可以在10个实例中自动分配4个输入文件的负载？(我使用流方法，因为我的映射器是用ruby编写的)
浏览 0提问于2011-07-07得票数 0
1回答
我对亚马逊弹性MapReduce完全是个新手。我需要使用我的自定义调度器来调度Amazon Elastic MapReduce中的作业，该调度器是基于Hadoop容量调度器实现的。
根据我目前的理解，要实现这一点，我只能在作业流中定义一个阶段，并通过SSH连接将我的自定义jar文件提交到主节点。但是，我找不到如何编辑xml配置文件，如主节点中的capacity-scheduler.xml。有人知道怎么做吗？
此外，如果我想在其上添加动态大小调整属性，当作业当前正在运行时，我是否可以动态调整集群中的任务节点数量？或者在每个阶段，集群的大小应该保持不变？非常感谢。
浏览 2提问于2014-08-28得票数 0
我在odoo v12里找请购单。我在odoo v11里找到了一份PDF文件，里面有请购单。 ? 但是在odoo v12中，请购单消失了吗？我需要启用它吗？我在哪里可以找到它？ ?
浏览 13提问于2018-12-28得票数 1
我正在使用AWS弹性MapReduce，我希望能够设置日志记录级别。例如，我希望log.isDebugEnabled()返回true。在谷歌上搜索一下，我找到了这篇博客文章：
这基本上建议编写一个shell脚本来复制和覆盖本地log4j.properties文件。这似乎是一个复杂的方法。我更喜欢一种更简单的方式来设置调试级别。有办法吗？
浏览 2提问于2013-10-09得票数 2
我使用弹性地图还原和boto。
一切都很好，但从这周起我就遇到了这样的错误：
InstanceProfile is required for creating cluster
我试图解决这个问题，现在看来我们需要为弹性地图减少创建一个默认的角色。
我使用awscli完成了这个操作，下面的命令是这样做的，但是没有其他方法(例如，使用boto)？
如果没有其他方法可以创建一个python函数，执行下面的3个命令？
1- pip安装awscli
2- aws配置
3- aws emr创建-默认角色
使用上述命令，我还需要在mapreduce作业函数中添加以下内容：
ami_version="
浏览 5提问于2015-06-04得票数 3
回答已采纳
1回答
在ETL级联作业结束时，我使用提取关于使用Hadoop计数器公开的弹性搜索摄入的度量。
我想使用Spark来做同样的事情，但是我没有找到与使用的度量标准相关的文档。
不总是这样，但通常，我们将在EMR ( Hadoop )中执行作业，所以也许使用Hadoop的方式与级联连接器的方式相同。无论如何，我认为情况并非如此，因为我认为它只适用于"MapReduce连接器类型“，比如级联。
所以我的问题是：
如何从Elasticsearch火花连接器中提取度量？
如果连接器使用Hadoop计数器，当我在Hadoop中执行它时，如何从Spark访问Hadoop计数器？
版本：
浏览 3提问于2017-04-03得票数 0
回答已采纳
1回答
在弹性mapreduce流作业中，如果映射器突然死亡，会发生什么？已经处理的数据将被重放吗？如果是的话，是否有任何选项可以禁用该功能？
我是问，因为我使用电子病历插入一些数据到第三方数据库。每个映射器都通过HTTP发送数据。在这种情况下，如果一个映射器崩溃了，我不想重播HTTP请求，我需要继续保持原来的状态。
浏览 1提问于2014-04-29得票数 0
回答已采纳
1回答
我正在尝试在我的亚马逊弹性MapReduce作业上启用错误输入跳过。我正在遵循这里描述的绝妙食谱：
上面的链接表明我需要以某种方式在EMR作业上设置以下配置参数：
mapred.skip.mode.enabled=true
mapred.skip.map.max.skip.records=1
mapred.skip.attempts.to.start.skipping=2
mapred.map.tasks=1000
mapred.map.max.attempts=10
如何使用Boto在JobFlow上设置这些(和其他) mapred.XXX参数？
浏览 0提问于2012-08-22得票数 8
回答已采纳
我试图构建一个数据服务层，使用cassandra作为后端存储。我是卡桑德拉的新手，不知道卡桑德拉-节俭或cql 3的客户是什么？我们有许多使用亚马逊弹性mapreduce (EMR)的mapreduce作业，这些工作将以很大的容量从cassandra读取/写入数据。总数据量将是> 100 TB，在Cassandra中有数十亿行。mapreduce作业可能读或写较重的qps (>1000 qps)。所需经费如下：
简单的客户端代码。对于使用sstableloader ()加载大量数据的情况而言，节俭似乎已经内置了与Hadoop的集成。
能够在运行时定义新列。根据应用程序的需求
浏览 1提问于2013-05-01得票数 3
2回答
减轻Hadoop的跟腱
、、、
我刚刚给看了一遍，在JobTracker中，Hadoop有跟腱(一个单一的故障点)
JobTracker是Hadoop MapReduce服务的一个单一故障点，这意味着如果JobTracker崩溃，所有正在运行的作业都会停止。
还有，它声明NameNode是一个SPOF：
Hadoop集群中的单点故障是NameNode。
单点故障是不好的，mkay？可以做什么策略/技术/工具/工具等来规避这些SPOFs，并使Hadoop冗余、容错和弹性(buzzword警报！)？。
浏览 3提问于2015-06-25得票数 3
回答已采纳
1回答
我现在正在研究如何改进MapReduce调度器，但不幸的是，我的大学并没有为研究目的提供一个集群。我想租一个集群，我听说过亚马逊EC2，但我对它的服务没有经验，也不知道如何使用它们。
我需要5台具有以下规格的机器(每台机器)：
双处理器(2.2 GHz AMD (M)处理器4122，具有4个物理核)
8GB内存
500磁盘
我想手动设置Linux操作系统和Hadoop框架，就像我把机器放在手上一样。我想知道亚马逊EC2是否提供了类似的东西，我想估计这个基础设施的成本，比如说，一个月。
在我选择亚马逊的弹性MapReduce框架的情况下，我能控制Hadoop的de吗？我是否也
浏览 1提问于2014-12-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
