为什么我不能在Hadoop中getFileName和显示它的格式(Word文件名计数)？

文章/答案/技术大牛

发布

1回答

java、hadoop、mapreduce

输入是一个名为Wiki-micro.txt的文本文件...字数统计程序运行正常..我需要的是修改它&将它的输出格式从(字数计数)改为(Word####Filename计数)我想要我的输出格式(Word#Filename计数)，您能告诉我我哪里出错了吗？我使用了输入拆分

浏览 11提问于2020-03-07得票数 0

回答已采纳

1回答

Python创建新列并将数据存储在.CSV文件中。

python、csv、io、text-files、counter

在我的Python中，我尝试打开.txt文件，列出该文件中的单词列表，计数单词出现的次数(计数器)并将其放入.csv文件中。我的文件名为1870.txt-1892(1871年，1872年，1873…1892.txt)。这里的所有内容都正常，但是我希望每个文件都能放进下一篇专栏。outputt) writer =

浏览 3提问于2016-05-13得票数 0

回答已采纳

3回答

使用Hadoop启动守护进程时出错

java、hadoop

我已经在我的ubuntu上安装了hadoop，但是问题是每次我开始使用它，我不能使用它直到我格式化我的namenode？可能出了什么问题？请给我这个建议。我在JDK版本1.8.0_25上使用Hadoop1.2.1版本

浏览 5提问于2014-11-26得票数 0

回答已采纳

3回答

mapReduce模式的最好的python实现是什么？

python、mapreduce

什么是最好的MapReduce实现，一个框架或一个库，可能和Apache hadoop one一样好，但如果它是用Python语言编写的，最好是文档良好且易于理解，完全实现为MapReduce模式，高可伸缩性，高稳定性和轻量级。我在谷歌上搜索了一个叫mincemeat的，不太确定，但还有其他人很出名吗？谢谢

浏览 2提问于2011-09-01得票数 4

2回答

用火花流读取binaryFile

apache-spark、spark-streaming

我在哪里可以找到所有的inputformatClass？文档没有提供这方面的链接。我认为ValueClass与inputformatClass有某种联系。在使用二进制文件的非流版本中，我可以获得每个文件的ByteArrays。有什么方法可以让我在sparkStreaming上得到同样的信息吗？如果不是的话，我在哪里可以找到这些细节。这意味着所支持的输入格式及其生成的值类。最后，我们

浏览 1提问于2017-08-20得票数 2

1回答

Hadoop流简单作业失败错误python

java、python、hadoop、mapreduce、streaming

我是hadoop和mapreduce的新手，我正在尝试编写一个mapreduce来统计一个字计数txt文件中的前10个单词。我的txt文件“q2_result.txt”看起来如下：yourselves 73youst 1 youth我知道您可以在Hadoop命令中将一个标志传递给-D选项，

浏览 1提问于2016-09-30得票数 0

回答已采纳

1回答

查找包含一个单词的所有文件，然后计算行数

bash、text-processing

我需要递归地查找所有包含特定单词的文件，如果该单词存在于文件中，则需要查找该文件中的行数。我一直在尝试使用grep，但到目前为止我还没有成功。

浏览 0提问于2014-05-23得票数 1

4回答

计数列表元素

c++、linked-list、counter

我正在编写一个双链接列表，在该列表中，我从给定文件中读取字符串。因此，我编写了一个名为Node的类，其中存储了一个字符串(读单词)和一些用于字长和其他参数的整数。读取文件中的所有字符串后，打开第二个文件，再次读出每个单词，并将该单词与链接列表中的字符串进行比较。之后，我将所有找到的单词存储在一个结果文件中。现在

浏览 5提问于2014-10-03得票数 1

1回答

如何在Hadoop中使用自定义类型

hadoop

例如: DataStruct =文件名，word。我的计划是分两次完成，在第一次中，我将输入文件映射到(DataStruct，1)键值对，然后将其减少为-> (DataStruct，count)。我设想每一行都是这样的格式： ..file2 word 6 ..我的第一个(也是次要的)问题是，这是否是解决这个问题

浏览 6提问于2019-09-02得票数 1

回答已采纳

2回答

Hive创建空表，即使有大量的文件

hadoop、hive

我将一些文件放入hdfs (/path/to/directory/)中，其中包含以下数据；62 FABBC9ED9719A5030B2F6A4591EDB180这些文件是从另一个hdfs下载的。我试图通过蜂巢创建外部表；id int,) ROW FORMAT DELIMITED FIELDS TERMINATEDHive成

浏览 3提问于2015-01-27得票数 1

回答已采纳

1回答

如何使用Java 8和流在一组文件中计数文件和单词

java、file、lambda、java-8

我现在很难过。我试图完成一项任务，在这个分配中访问一个文件目录，并对文件进行计数，然后读取文件本身，并在每个文件中计数单词。这是我贴出的一个问题的延续，但“答案”根本无助于解决我的问题()编写一个程序，该程序使用流有效地计数出现在一组文件(files.zip)中的不同长度的单词。您的输出类似于：(计数

浏览 5提问于2017-12-09得票数 0

1回答

进一步过滤通过目录循环返回的文件

c#、.net、windows-7

我有一个非常小的代码，将循环通过一个网络驱动器，并返回所有文件的文件名和扩展名。我将输出设置为显示在列表框中。我目前的难题是，它输入了临时文件"~filename.ext“，这使我无法计数。如何指导它忽略所有临时文件"~filename.ext“。statusCodeLB.Items.Clear(); fore

浏览 3提问于2016-02-06得票数 1

回答已采纳

1回答

c#我的吸气器不起作用

我试图在Visual中为我的类编写一个anagram分析器，但是当我从另一个类调用getter时，我的列表是空的。getPreparedList{ { } } 在这里，我删除了不需要的字符我做了一个字符串来测试它是否会显示，但preparedWord列

浏览 0提问于2013-11-01得票数 0

回答已采纳

1回答

当格式为EXCEL时，SSRS 2014 URL access总是生成XLS而不是XLSX

excel、reporting-services、sql-server-2014

我有SQL Server 2014，我正在尝试通过URL访问访问我的报表。据我所知，Excel格式应该为我提供一个XLSX文件，它支持无限行数。但是，在查看了我的日志文件之后，我注意到对于超过65536行的任何报告，我都会得到最大的行错误。对此进行研究后，我发现，每当我以EXCEL格式通过URL请求报告时，它们都会生成一个XLS文件，而不是XLS

浏览 5提问于2015-05-12得票数 3

回答已采纳

1回答

如何在Hadoop中创建自定义输出格式

java、hadoop、output

我试图创建一个字计数hadoop程序的变体，它在一个目录中读取多个文件并输出每个单词的频率。问题是，我希望它输出一个单词，后面跟着文件名，然后是那个文件的频率。现在，它只输出一个键值对。().getName();编辑

浏览 2提问于2015-04-13得票数 1

回答已采纳

2回答

Hadoop的Word百分比程序

java、hadoop、mapreduce、word-count

我正在研究一个名为WordCount程序的稍微改进的版本，它应该输出书中单词所占的百分比。例如：war 0.00002332423%...所以至少应该有两份工作：减速机:用相同的</e

浏览 3提问于2014-03-12得票数 2

回答已采纳

2回答

我有以下用例。在oozie工作流中，map-还原操作生成一系列诊断计数器.我希望在map后面有另一个java操作--还原操作。java操作基本上是基于map的计数器进行验证--还原操作，并根据验证条件和结果生成一些通知。这个想法起作用的关键是，java操作必须能够访问上游映射中的所有计数器--还原操作，就像oozie如何在其工作流xml中使用EL来访问它们一样。现在我不知道从何说起。因此，任何指针

浏览 0提问于2015-07-26得票数 0

回答已采纳

2回答

这类内容的MySQL结构？

mysql、structure

我有几百个文本文件，这些文本文件的数据看起来如下：Define: 0/70Facto: 16/75 是否适合这样的数据库？，如果是的话，我想不出一种正确构造表的方法。人们可能会考虑为Capo、Define、Largo和Facto创建列，但是在这几百个文本文件中有大约200个不同的单词，如果要这样做，每个字都需要一个列。

浏览 2提问于2012-09-04得票数 0

回答已采纳

8回答

Linux:删除不包含所有指定单词的文件

linux、bash、file、shell

在目录中，如何删除缺少任何指定单词的文件，以便只留下包含所有单词的文件？我试图使用grep和rm命令编写一个简单的bash shell脚本，但是我迷路了。我对Linux完全陌生，任何帮助都将不胜感激。

浏览 2提问于2009-03-05得票数 13

回答已采纳

1回答

基于php会话值检索目录中的文件

php

我有工作代码，可以显示目录中的文件，并将它们显示在表中。但是，文件名的前4个字符是客户端代码。因此，如果用户被记录，我只需要显示用户文件，而不需要显示其他文件。我已经查看了substr，可以检索和回显文件名的前4个字符。但是，由于数组，这个回显'DEMODEMODEMODEMODEMODEMO‘而不是'DEM

浏览 1提问于2014-11-10得票数 0

回答已采纳

点击加载更多