1回答
我正在尝试使用雅典娜查询AWS S3 。如果我只有一个源桶，我就能做到这一点。我不知道如何将其配置为与多个源存储桶一起工作。因此，如果我想查询多个源桶的库存数据，似乎必须为每个“源桶”创建一个
浏览 0提问于2019-04-23得票数 3
回答已采纳
2回答
我是AWS和Hive的新手，我正在尝试使用Hive来分析Google Ngram数据。我尝试将表保存为S3存储桶中以制表符分隔的CSV，但现在我不知道如何查看它或下载它来查看我的作业是否正确执行。我用来创建表的查询是 gram string, occurrences bigint,
pages bigintROW FORMAT DELIMITED FIELDS TERMI
浏览 2提问于2013-04-21得票数 1
1回答
name, gender, action, month, F.idINNER JOIN D ON F.id = D.id表D只有5个不同的I，我只是想从F中提取我列出的变量，其中F和D的id相等。查询可以工作，但我在我的S3存储桶中获得了大约700个文件，其中大部分是完全空的，也就是0字节。为什么会发生这种情况，有什么原因吗？
浏览 3提问于2017-01-13得票数 0
回答已采纳
配置单元中有一个外部表指向未分区的s3位置。该表指向s3中的一个文件夹，但数据位于该文件夹内的多个子文件夹中。即使没有对表进行分区，也可以通过在配置单元中设置一些属性来查询该表，如下所示：set hive.input.dir.recursive=true; set hive.
浏览 2提问于2017-10-16得票数 1
我在java中创建了一个可以在配置单元查询中调用的UDF，在我放在System.out.prinln(msg)中的UDF中，希望在控制台中输出一些东西。它在我本地的工作环境中可以正常工作，但是当部署到amazon EMR时，stderr日志文件不会显示来自我的UDF函数的任何
浏览 19提问于2013-09-04得票数 2
3回答
在S3上压缩文件
、、、、
我在S3上有一个17.7 S3的文件。它是作为配置单元查询的输出生成的，并且没有压缩。我还没有找到任何直接的方法来在S3上压缩文件，或者在s3cmd、boto或相
浏览 0提问于2013-01-24得票数 29
回答已采纳
我正在使用以下脚本将数据从DynamoDB导出到S3：STORED BY 'EXTERNAL TABLE TableS3(col1 String, col2 String)LOCATION 's3://myBucket/DataFiles/MyData.txt&#
浏览 1提问于2012-07-26得票数 3
回答已采纳
我有几个火花作业，在AWS S3中产生拼花文件。每隔一段时间，我需要对这个数据的给定日期范围运行一些临时查询。我不想在火花中这样做，因为我希望我们的QA团队没有知识或火花能够做到这一点。我喜欢做的是拆分一个AWS EMR集群，并将拼板文件加载到HDFS中，并对其运行我的查询。我已经知道了如何用蜂巢创建表，并将其指向一个s3路径。但这就限制了我的数
浏览 5提问于2016-04-14得票数 2
我正在尝试使用amazon EMR控制台运行一个简单的配置单元作业。每次我收到一个错误，指出"Error missing argument base-path“，配置单元作业失败。我已将输入文件插入到s3:// bucket / input位置，脚本位于s3://bucket/ script，我的配置单元查询如下
浏览 0提问于2015-04-09得票数 0
2回答
我正在尝试将以下格式的数据导入到配置单元表中 { "dataA" : "dataA#1" {"identifier" : "id#2", }我有多个这样的
浏览 2提问于2017-11-28得票数 2
我在amazon s3中有一个文件夹，我限制了删除任何文件夹的权限。但是，现在发生的情况是我不能使用hive脚本创建任何文件夹。此配置单元查询在_tmp.customerlevel名称下创建一个临时文件夹。一旦它完成了map reduce任务，它就会尝试删除它。但是，由于删除配置单元的限制，查询</em
浏览 0提问于2013-07-26得票数 2
我在S3中有一个内部表和一个外部表。在HDFS和S3中使用内部表有什么区别？存储在S3中的内部表和外部表有什么区别？如果我在S3中删除外部表，主节点中的元数据将被删除，而数据将在S3中，那么由于元数据被删除，我如何访问S3中的数据？
浏览 4提问于2017-09-19得票数 2
2回答
案例1:我的spark应用程序在EMR集群上运行，spark应用程序从s3上的配置单元读取表，并将其写入s3上的配置单元表。在本例中，S3存储桶属于同一个用户usera，因此我将fs.s3.awsAccessKeyId和fs.s3.awsSecretAccessKey添加到一个配置文件中。在我
浏览 0提问于2017-03-28得票数 1
2回答
我对以下语句的理解是，如果在hive列中插入空白或空字符串，它将被视为null。TBLPROPERTIES('serialization.null.format'=''
为了测试该功能，我创建了一个表，并将'‘插入到字段3中。当我在field3上查询空值时，没有符合该条件的行。我把空字符串变成null的理解正确吗？？但我希望返回所有行，因为field3中有空字符串。
浏览 1提问于2017-04-07得票数 3
回答已采纳
1回答
记录中的配置单元"\n“值
、、、、
我正在使用hive处理一个120 GB的大文件。数据首先以csv文件(制表符分隔)的形式从sql server表加载到aws s3，然后在此文件的顶部创建配置单元外部表。从配置单元外部表中查询数据时遇到问题。我注意到csv在许多列字段中包含\n (在sql server中实际上是“null”)
浏览 2提问于2016-11-08得票数 1
在同一时间运行两个查询时出现错误。我正在使用AWS EMR，下面是我的配置单元表架构。mybucket/'第一个查询：
SELECT count( distinct STATE ) FROM
浏览 3提问于2018-12-07得票数 1
1回答
我想配置Presto在亚马逊网络服务S3中查询ORC文件。根据文档，必须配置配置单元元存储区。这个元存储区将收集所有表的模式。由于我有现有的ORC文件，有没有办法用应该嵌入到ORC文件中的现有表的方案自动填充此元存储？
提前感谢您的帮助！
浏览 20提问于2021-05-05得票数 0
我刚刚在Amazon上创建了一个帐户，我将使用DATAPIPELINE来调度我的查询。是否可以使用数据管道的SQLACTIVITY从.sql文件运行多个复杂的SQL查询？我的总体目标是使用数据管道中的sql查询处理REDSHIFT/s3中的原始数据，并将其保存到s3中。这是可行的方法
浏览 0提问于2015-06-30得票数 0
回答已采纳
我想编写一个spark应用程序，在其中我可以从多个hive表中读取数据，并向多个hive表中写入数据。然而，这里有一个奇怪的地方。据我所知，我只能在全局级别设置属性fs.s3a.server-side-encryption algorithm
浏览 2提问于2017-04-06得票数 0
2回答
我想在无服务器架构中使用AWS Lambda和Cognito，并且好奇人们的想法是使用S3存储桶作为用户数据存储，而不是像DynamoDb这样的东西？优点/缺点是什么？
浏览 2提问于2017-08-30得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
