我有一个需求，我需要将Json数据加载到pig中，但似乎有一些问题，我无法加载数据。Male",
我尝试使用JsonLoader加载数据，如以下代码所示---REGISTER 'piggybank-0.15.0.jar';
inidata
浏览 9提问于2018-02-22得票数 0
2回答
我想做的是：(2)由于同一q_string可能在多天内出现，所以我希望在一个月内对同一个q_strings进行分组，并在q_visits上对该q_string的所有实例进行汇总我希望输出有一个与输入类似的模式
浏览 0提问于2013-09-21得票数 0
回答已采纳
在这里，我已经分析了apache日志文件，但是当我试图将它导出为csv格式时，会发生错误。- mapred.job.reduce.markreset.buffer.percent未设置，设置为默认值0.32015-12-24 10:50:49,056主要信息org.apache.pig.dat
浏览 0提问于2015-12-24得票数 2
1回答
我正在使用Hortonworks环境进行大数据处理。我观察到，作为来自Hive/Oozie/Pig等映射减少作业的一部分，我所在的本地缓存目录正在被填充，up.It为每个映射创建一个文件夹，用jar文件减少执行。是否有任何配置可以设置为自动删除它？
浏览 1提问于2017-02-13得票数 0
回答已采纳
我对Hadoop Mapreduce和Pig环境有疑问。在中，我发现Pig系统对Pig的拉丁代码很感兴趣。首先，我认为Pig使用map和reduce方法创建.jar文件，然后将该文件“发送”到Hadoop Mapreduce环境以运行mapreduce作业(这是Pig开发人员未来的工作)。那么，Pig系统到底什么时候使用Hadoop Mapreduce呢？它是在解释Pig拉丁语代码的过程中出现的吗？或者，如果我问我的问题换句话:作为输入发送到Hadoop Mapredu
浏览 0提问于2012-08-30得票数 2
回答已采纳
1回答
如何在同一个目录中加载带有.pig_schema架构文件的数据文件？有人能给出一个更好、更详细的例子吗？
浏览 1提问于2016-10-01得票数 1
回答已采纳
4回答
我是Hadoop的新手。我知道HCatalog是Hadoop的一个表和存储管理层。但它到底是如何工作的，以及如何使用它。请举一些简单的例子。
浏览 46提问于2014-03-20得票数 22
回答已采纳
1回答
我有一个文件，其中每一行都是一个JSON对象(实际上，它是stackoverflow的一个转储)。我想尽可能轻松地将它加载到Apache Pig中，但我在弄清楚如何告诉Pig输入格式是什么时遇到了麻烦。: 1217540572667 }, "ForumName" : "stackoverflow.com" 有没有一种方法可以将文件加载到Pig中，其中每一
浏览 0提问于2012-09-29得票数 5
回答已采纳
1回答
它接受JSON格式的数据(我使用了SERDE来创建它)。{"id":"1", "word":"2" ,"flag":1}.
json_obj
浏览 5提问于2014-03-04得票数 0
我将有一个Pig脚本，最后将其内容存储在一个文本文件中。在一个完全不同的任务中，我想读取这个文件的行，并将它们解析回元组。foo中的数据可能包含chararrays，其中包含在保存Pig包/元组时使用的字符，如{}()等。我可以使用以下代码读取以前保存的文件。这是可能的吗/ Pig提供API了吗？我能找到的最接近的是StorageUtil类的textToTuple函数，但这只能生成一个包含一个DataByteArray的元组。
浏览 0提问于2013-03-28得票数 1
回答已采纳
2回答
这是的延续register /usr/hdp/current/pig-client/lib/piggybank.jar
x = FOREACH data_inputGENERATE jso
浏览 6提问于2016-10-20得票数 0
回答已采纳
1回答
我正在使用elephantbird项目将一个json文件加载到pig中。但我不确定如何在加载时定义模式。没有找到关于相同的描述。Product2","colors":["White","Blue"],"sizes":["M"]}feed = LOAD '$INPUT' USING com.twitter.elephantbird.pig.load.JsonLoader() AS pro
浏览 14提问于2015-04-08得票数 0
1回答
我使用Pig (版本0.12)和Hive (版本0.11)来分析客户事务。在我的例子中，pig脚本将按天调度；主数据包含大约500K到800K条记录(甚至多达100万条)，并且将有4个额外的数据集来帮助分析主交易数据集，每个数据集大约有50K条记录。我听说在大数据处理中，我们应该避免连接，但在我的例子中，我不能；我必须将我的主数据集与这4个额外的数据集连接起来，并执行大量的IF-ELSE、过滤器、连接等操作，以便每天生成一些事务分析报告。如何提高pig脚本的性能？连接数据集的最佳方式？
浏览 2提问于2014-07-02得票数 0
1回答
使用OSX，我下载了pig-0.11.1 as，并在bashrc中创建了一个别名。我有以下别名：
别名-0.11.1/bin/pig udf.import.list=org.apache.pig.piggybank.storage.avro pig.additional.jars=/dev/avro-1.7.4.jar;/dev/avro-mapred-1.7.4.jar;/dev/json_simple-1.1.jar;&
浏览 3提问于2014-01-12得票数 0
回答已采纳
我们尝试将PDF存储在HDFS中，并通过mapper作业并行地创建lucene索引，并将索引存储在数据节点本地临时目录中。
浏览 1提问于2014-08-07得票数 0
1回答
我想在Pig中解析一个复杂的JSON字符串。具体地说，我希望Pig将我的JSON数组理解为一个包，而不是单个chararray。有没有办法让Pig帮我找出我的模式，或者在Pig解析字符串时指定它？我一直在使用，但是找不到一种方法来指定模式，或者让它正确地理解我的JSON数组是一个数组而不是单个字符数组。
浏览 0提问于2013-02-28得票数 3
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号