如何直接将mapper-reducer的输出发送到另一个mapper-reducer而不将输出保存到hdfs
你好！我可以回答你的问题。
要将mapper-reducer的输出发送到另一个mapper-reducer而不将输出保存到hdfs，可以使用云计算领域的分布式计算技术，例如Apache Spark或Apache Flink。这些技术可以将大规模数据集的并行处理与分布式存储相结合，实现高效的数据处理和分析。
在云计算领域，腾讯云云原生产品提供了丰富的分布式计算和存储能力，例如腾讯云云服务器、腾讯云对象存储、腾讯云数据库等。通过使用这些产品，可以轻松地实现分布式计算和存储，从而提高数据处理效率和可靠性。
此外，腾讯云云原生产品还提供了丰富的API和SDK，可以方便地集成到自己的应用程序中，实现分布式计算和存储。
总之，使用腾讯云云原生产品可以实现分布式计算和存储，从而提高数据处理效率和可靠性，同时也可以方便地集成到自己的应用程序中。
相关·内容
4回答
as an attachment content: fs.createReadStream('file.txt')我能够创建pdf并将其保存到目录中的文件中，并在电子邮件中附加保存的文件，但是，我想直接将pdf的输出发送到电子邮件的附件内容，而不将pdf输出保存到文
浏览 0提问于2015-10-22得票数 4
回答已采纳
3回答
当mapreduce作业运行时，映射任务结果存储在本地文件系统中，然后还原器的最终结果存储在hdfs中。问题是
将任务结果存储在本地文件系统中的原因是什么？在映射减少作业的情况下，在没有减少阶段(仅存在映射阶段)的情况下，最终结果存储在哪里？
浏览 8提问于2016-04-29得票数 2
回答已采纳
我对HDFS存储和数据节点存储有点困惑。以下是我的怀疑。
减速器输出文件的物理存储位置(part-nnnnn 00001)是什么？所以我假设数据节点是HDFS的一部分，假设数据
浏览 6提问于2014-04-22得票数 1
4回答
我试着用mapreduce写一个简单的字数统计程序。我的mapreduce程序只将输出写入文件。但是我不希望我的输出被写在文件中。我想收集这些信息或输出(就像java集合一样)，以便在我的其他程序区域中使用。例如，如果我在hive上提交任何查询，它将返回一个结果集对象，但在内部，我的查询将被转换为mapreduce程序，并在完成作业后返回结果集对象。那么，我如何收集输出，或者如何在reducer或映
浏览 0提问于2014-04-02得票数 3
这是我的命令： time sleep 1; \) 2>&1 | tee inner.txt ) 2>&1 | tee outer.txtreal 0m3.068ssys 0m0.008srealreal 0m2.003ssys 0m0.002s
浏览 0提问于2022-04-21得票数 0
在某些条件下，我们希望映射器做所有的工作和输出到HDFS，我们不希望数据传输到reducer(将使用额外的带宽，如果有错误的情况，请纠正我)。伪代码为： for v in v_list: write to HDFS emit我发现它很难，因为我们唯一能玩的就是OutputCollector。我想到的一件事是扩展OutputCollector，覆盖
浏览 3提问于2012-04-24得票数 4
回答已采纳
问题最终得到解决，在底部检查我的解
第一个映射器将输出写入hdfs，而第二个映射器试图读取输出，映射器可以将98955转换为VarLongWritable，但不能将{
浏览 4提问于2012-04-22得票数 6
回答已采纳
我在工作中的任务是通过finatra直接从磁盘向客户发送一个文件，而不需要加载到内存中(这些是非常大的文件)。以下是我的问题：2)我认为，所有东西都必须装入内存中，以便处理、传输和发送。如何实际将内容直接</em
浏览 3提问于2015-03-27得票数 0
回答已采纳
我正在编写一个bash脚本，将"smartctl -a /dev/xx“的输出发送到低语DB (石墨/碳/ grafana设置的一部分)。我使用awk中的printf来清理输出，然后发送到低语DB，但是我想不出在awk的%s printf输出中删除逗号(从数字中)的方法。：
root@freenas:~ # smartctl -a /dev
浏览 0提问于2020-06-07得票数 0
回答已采纳
我需要帮助，我创建了一个facebook应用程序使用php gd.The程序是当用户打开应用程序的图像将appear.The图像包含用户的用户名，档案图片和随机生成的nick name.Iam保存输出的图像到服务器作为问题是，当两个用户同时使用应用程序时，输出会有所不同。如何为每个用户生成图像，而无需将其保存到服务器并发布到facebook。现在我正在使用html img标签来显示应用程序中的图像。
浏览 5提问于2012-09-24得票数 0
回答已采纳
我目前正在尝试序列化CSV中的一些字符串片段，而不将输出保存到文件中。我看到了一些使用bytes.Buffer的例子，但即使是最小的测试也不起作用。我不知道如何调试它，代码在没有警告的情况下编译，并且不会在writer.Flush()之后抛出错误。它还能正确地将结果保存到文件或将其直接输送到标准输出。
任何帮助都将不胜感激:) Thx。PS:最后的</em
浏览 1提问于2020-11-15得票数 0
回答已采纳
4回答
发送图像并使用json返回它？
、、、、
我正在尝试使用json将图像发送到php中的read服务，但客户端无法读取图像。当我还回去的时候！！
<?
浏览 9提问于2011-02-28得票数 5
回答已采纳
2回答
我在保存齐柏林飞艇笔记本中的电火花流所消耗的卡夫卡信息方面有问题。我的代码是：谢谢你帮忙。
浏览 3提问于2016-01-24得票数 4
回答已采纳
1回答
下面是im脚本，用于将MySQL数据库导出到.csv文件。知道为什么吗？而且，PHPMyAdmin导出实用程序转储它的速度非常快(仅几秒钟)。想知道它是怎么做到的。
浏览 2提问于2014-06-05得票数 1
回答已采纳
1回答
这应该由边缘节点上的某种轻量级代理直接处理到HDFS，或者--如果必要的话--一个中间的“接收器”，然后将数据推送给HDFS。)
这两种工具都被证明在生产级环境中是稳定的这两种工具都用于跟踪日志和在这些事件发生时进行流处理，而</e
浏览 0提问于2018-06-14得票数 5
2回答
目前，它将十六进制代码写入文件，而不是字符。下面是应用程序中失败的部分{如何将实际字符保存为文件，而不是十六进制值？多亏了雷米，我得到了以下几个很好的结果： * Is t
浏览 0提问于2016-01-10得票数 0
回答已采纳
2回答
r标记块下面的内容：1 3 3 3
我想知道如何在不将输出保存在单独的对象的情况下对这个dplyr输出中的各个数据点执行操作例如，在summarise的输出中，假设我们希望从ID == 1和ID == 2的输出值之和中减去ID == 3的输出值，并将ID == 1和ID ==
浏览 6提问于2021-06-16得票数 1
回答已采纳
1回答
我正在尝试将信息从一个页面发送到另一个页面，以将其包含在表单中，然后通过电子邮件发送。我在这里找到了许多有帮助的话题，但找不到任何关于这方面的东西。我有一个“查询此信息”按钮，我想将该信息发送到另一个页面上的表单，但是，该页面可能会被直接访问。如何从我找到的另一个页面输出信息，非常好的消息，但是如果我使用
<input type="text" name=&
浏览 1提问于2012-03-13得票数 0
回答已采纳
/vx < ${IN_FILE} > ${OUT_FILE}我有8个nodes.And的集群，我有8个输入文件，每个文件有1行但我搞不懂如何在HDFS中使用文件。out.writeUTF(lon + ";" + lat + ";" + depth + "
浏览 0提问于2013-05-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
