1回答
ACCESS_LOGS_DEST/2018-03-15-03-05-46-2E5105C8E00951B32018-03-15-03-05-46-2E5105C8E00951B3
有没有一种简单的方法可以根据白天在雅典娜分区
浏览 2提问于2018-04-18得票数 4
回答已采纳
我定义了一个分区表，它指向使用日期分区的S3桶。我有过去3个月的数据在S3桶里。我已经加载了第一个月的分区。但是，在过去两个月中，我没有使用msck repair table或alter table命令在分区中加载数据。当我试图查询表时，过去两个月的数据不是从S3加载的，只有最新的分区数据显示在查询结果中。我试图为同一个s3桶创建另一个分区表，但这一次我没有加载任何分区。当我查询这个表时，我得到了最近的记录。
浏览 0提问于2019-09-28得票数 2
回答已采纳
我在雅典娜做分区工作。我在s3中有一个存放日期文件的目录。我正在尝试创建一个日期分区表，并将每个分区的位置设置为该日期的文件。虽然分区的设置位置查询运行成功，但我无法通过select查询查看该分区中的数据。但是我需要将分区的位置设置为文件名。这在蜂巢中工作得很好。雅典娜需要帮助。
浏览 3提问于2018-05-28得票数 0
我想对这些S3访问日志(使用雅典娜)进行一些分析。雅典娜允许我：
使用S3桶作为位置创建雅典娜表，或者创建分区打开的雅典娜表，我可以使用s3前缀添加分区。我希望雅典娜只扫描那个日期的文件。我注意到雅典娜可以使用“S3 -访问日志”作为S3位置/前缀，但雅典娜似乎不支持使用“S3-Access-log/2017-11-03”作为S3位置/前缀。雅
浏览 0提问于2019-11-22得票数 5
3回答
我有一个有很多分区的表(这是我们正在减少的)。当我询问：我得到：
为什么查询的“限制10”部分不足以使雅典娜返回结果而不读取更多的1或3个分区？答:在查询计划阶段，雅典娜试图列出回答查询可能需要的所有分区。由于雅典娜不知道哪些分区实际包含数
浏览 0提问于2021-12-03得票数 0
回答已采纳
我有以下雅典娜分区表(HIVE/Presto)： id STRING,SELECT FROM WHERE (year='2020' AND month
浏览 2提问于2020-08-12得票数 1
回答已采纳
我试图在雅典娜建立一个带有分区投影的桌子。我的日志是s3://bucket/folder/year/month/day/hour格式的，然后是其中的json文件。我尝试使用分区投影创建表，如下所示： `timestamp` bigint,
`formatversion`storage.location.template" = "s3://bu
浏览 0提问于2021-06-11得票数 0
3回答
给定以这种方式按日期划分的S3桶：|___month |___file_*.parquetcreate external table spectrum.visits( user_agent varchar(2000), referer varchar(10000), store_id int, page_id int,
浏览 1提问于2021-08-29得票数 1
回答已采纳
1回答
以编程方式获取群集/存储列
、、、、
staging_dir={myS3_staging_path}',在大多数遵循ANSI-SQL标准的关系数据库中，我可以通过运行以下代码以编程方式获得表的分区列PS:如果其他有关该表的信息(如文件位置和存储格式)也能以编程方式访问，那就太好了。
浏览 7提问于2020-11-13得票数 1
回答已采纳
但是，当我试图在雅典娜查询编辑器中访问该表时，当我试图从表中选择数据时，它给了我以下错误：输出:未找到单元文件:分区位置不存在
我还没有找到分区位置定义。
浏览 8提问于2022-10-06得票数 0
1回答
自动化外部单元/雅典娜表分区管理
、、、、
有一个计划好的AWS胶水爬行器，它爬行S3前缀，并将新生成的S3路径作为新分区添加到关联的外部雅典娜表中。因此，我的外部表中的数据将自动刷新，并可用于查询。这个很好用。这里有一个新的要求，我想要与这个体系结构集成-用户可以标记一些S3 URL为无效的自我管理转移，我想要自动删除这些分区从我的外部表。看起来，即使我通过查询超级分区来删除分区，也会在下次胶水爬行器运行时再次出现。这里唯一的选项是从S
浏览 0提问于2018-07-26得票数 2
1回答
雅典娜外部表中基座位置的变化
、、、、
我的s3桶按键对数据进行了分区。/<data>s3://my-bucket/202001/tablenm/key=4/<data>现在，在下一次运
浏览 0提问于2020-04-24得票数 1
在我的例子中，我希望位置被参数化，而不是静态值
我正在使用亚马逊redshift的dB Weaver
浏览 1提问于2020-06-23得票数 0
为了清楚起见，我希望使用parquet，这样雅典娜就可以通过读取第一列来快速获取我关心的事件，然后使用第二列的内容执行查询。
这个是可能的吗？多么?
浏览 11提问于2018-09-10得票数 1
1回答
使用雅典娜查询最新的快照分区
、、、、
我有一个分区表，每天都有胶水的快照。当我使用雅典娜查询它时，所有分区都有查询。有没有办法让雅典娜自动只获得最新的快照？或者，如果要避免查询所有快照，是否必须显式地说明要查询哪个分区？
浏览 5提问于2022-08-04得票数 0
回答已采纳
1回答
我有一个火花作业，写到s3桶，并有一个雅典娜表在这个位置。表是分区的。Spark在每个分区编写1GB单个文件。我们试验了maxRecordsPerFile选项，因此每个文件只编写了500 We的数据。在上面的例子中，我们最终使用了两个500MB文件，每个文件在EMR运行时节省了15分钟，但是雅典娜出现了问题。由于新的文件大小限制，雅典娜查询CPU时间开始变得更糟。在执行之前和之后，我尝试将相同的数据与相同的查询进行比较，这就是我发现的：
分区列= source_syst
浏览 5提问于2022-09-15得票数 3
MSCK REPAIR TABLE命令只在重新创建表之后添加分区。这个问题突然开始了，我不知道该怎么办。Partitions missing from filesystem:
prod_partner_visits
浏览 7提问于2021-06-09得票数 1
1回答
AWS雅典娜分区获取所有路径
、、、、
最近，当有相当多的分区时，我遇到了AWS雅典娜的问题。结果是，雅典娜首先获取所有分区(元数据)和s3路径(不管where子句的用法)，然后过滤您希望在哪个条件下看到的s3路径。第一部分(按分区获取所有s3路径的时间与分区数成正比)。分区越多，执行的查询就越慢。
直觉地说，我期望雅典娜只获取关于
浏览 3提问于2019-12-26得票数 12
回答已采纳
2回答
我试图按列对数据进行分区。但是，当我运行查询MSCK REPAIR TABLE mytable时，它会返回错误 "type": "record"')LOCATION "s3://mybucket/city
浏览 2提问于2020-07-23得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
