如何用一个位置路径从多个文件夹创建多个表，雅典娜也应该使用glue crawler来处理它
从多个文件夹创建多个表的方法是使用AWS Glue来处理。AWS Glue是一种完全托管的ETL（Extract, Transform, Load）服务，可帮助我们轻松地准备和加载数据到各种数据存储中。
要使用AWS Glue来处理这个任务，可以按照以下步骤进行操作：
- 创建一个Glue Crawler：在AWS Glue控制台中，创建一个新的Crawler。Crawler是一种自动发现和注册数据源的服务，它会扫描指定的文件夹路径并自动创建表结构。
- 配置Crawler的数据源：在创建Crawler时，需要指定数据源的位置路径。可以指定多个文件夹路径，以便从多个文件夹创建多个表。
- 配置Crawler的目标：在创建Crawler时，需要指定目标数据存储的位置。可以选择将表结构和数据加载到AWS Glue Data Catalog中，也可以选择将数据加载到其他数据存储中，如Amazon S3、Amazon Redshift等。
- 运行Crawler：配置完Crawler后，可以手动运行Crawler来扫描指定的文件夹路径并创建表结构。也可以设置定期运行Crawler，以便自动更新表结构。
- 使用创建的表：一旦Crawler完成运行并成功创建了表结构，就可以在AWS Glue Data Catalog中查看和使用这些表了。可以使用AWS Glue提供的各种功能和工具来进行数据转换、数据清洗、数据分析等操作。
需要注意的是，雅典娜（Athena）也可以使用Glue Crawler来处理这个任务。雅典娜是AWS提供的一种交互式查询服务，可以直接在S3中运行SQL查询。通过使用Glue Crawler，可以自动创建和更新Athena所需的表结构，使得在Athena中查询数据更加方便。
推荐的腾讯云相关产品是腾讯云数据工场（DataWorks），它是一种全托管的大数据开发和运维平台，提供了类似于AWS Glue的功能。腾讯云数据工场可以帮助用户轻松地构建和管理数据处理流程，包括数据抽取、数据转换、数据加载等操作。您可以通过腾讯云官方网站了解更多关于腾讯云数据工场的信息和产品介绍。
参考链接：
- AWS Glue官方文档：https://docs.aws.amazon.com/glue/index.html
- 腾讯云数据工场产品介绍：https://cloud.tencent.com/product/dp
相关·内容
我对AWS胶水有新的了解。我正在使用AWS Glue Crawler从两个S3存储桶中抓取数据。我在每个存储桶中都有一个文件。AWS Glue Crawler在AWS Glue Data Catalog中创建了两个表，我还可以在AWS Athena中查询数据。 我的理解是为了在雅典娜中获取数据，我需要创建胶水作业，这将在雅典娜中提取数据，但我错了。Glue crawler将数据放在雅典娜中而不需要Glue作业，如果我们需要将数据推送到数据库中，如SQL，Oracle等，那么我们需要Glue job，这是正确的吗？ 如何配置Glue Crawler，使其只从源存储桶中获取增量数据，而不是所有数
浏览 62提问于2021-10-08得票数 1
回答已采纳
我创建了一个glue爬虫，它爬行数据并在glue数据目录中创建表。假设我有一个CSV文件(file1.csv)，它的模式类似于(id，name)，一旦爬虫作业执行完毕，它就会创建包含2列(id，name)的雅典娜表(crawler_file)。现在有了一个新文件(file2.csv)，它的模式类似于(id，name，roll_no)。目前，当glue爬虫正在执行时，它正在创建一个新的带有模式(id，name，roll_no)的雅典娜表(crawler_file_111)。我是否可以这样配置crawler，使crawler不创建新表，而是更新表的现有架构？在这个场景中，它应该更新现有的雅典娜表(
浏览 13提问于2018-12-19得票数 2
回答已采纳
我使用AWS S3、Glue和Athena，设置如下：
S3 -> Glue -->雅典娜
我的原始数据作为CSV文件存储在S3上。我使用Glue for ETL，使用Athena查询数据。
由于我使用雅典娜，我想把CSV文件转换为Parquet。我现在用AWS胶来做这个。这是我正在使用的当前过程：
运行Crawler读取CSV文件并填充数据目录。
运行ETL作业，从数据目录创建Parquet文件。
运行一个Crawler来使用Parquet文件填充数据目录。
Glue作业只允许我一次转换一个表。如果我有许多CSV文件，这个过程就会很快变得难以管理。是否有更好的
浏览 1提问于2018-04-23得票数 16
回答已采纳
2回答
对于如何使用terraform将雅典娜连接到我的Glue目录数据库，我感到困惑。
我使用
resource "aws_glue_catalog_database" "catalog_database" {
name = "${var.glue_db_name}"
}
resource "aws_glue_crawler" "datalake_crawler" {
database_name = "${var.glue_db_name}"
name = &#
浏览 0提问于2019-03-12得票数 10
回答已采纳
1回答
我有一个亚马逊胶水爬虫，它查看一个特定的s3位置，包含avro文件。我有一个进程，它在那个位置的一个新的子文件夹中输出文件。
一旦我手动运行爬虫，新的子文件夹将被视为数据库中的一个新表，它也将是可从雅典娜查询的。
有什么方法可以使进程自动化，并以编程方式调用爬虫，但只指定新的子文件夹，这样它就不必扫描整个父文件夹结构了吗？我希望将表添加到数据库中，而不是将分区添加到现有表中。
我正在寻找Python选项，我确实看到了这样一个选项：
import boto3
glue_client = boto3.client('glue', region_name='us-east-1
浏览 0提问于2018-08-21得票数 1
回答已采纳
1回答
我们有一个ETL脚本，它读取数据格式目录，并以s3作为拼图写入。我们还调用了一个爬虫来创建/更新雅典娜中的表。但是，它正在创建表，但在表名中添加了一些奇怪的后缀。
我正在爬行的文件夹中的所有文件都使用相同的模式。而且，只有当我们从ETL脚本调用爬虫时，才会发生这种情况。
我们以前叫爬虫的脚本
glue_client = boto3.client("glue", region_name=args.get("aws_region"))
glue_client.start_crawler(Name=args["crawler_name"])
预期: t
浏览 3提问于2020-08-04得票数 0
回答已采纳
当新分区被添加到雅典娜表时，我们可以使用Glue Crawler或MSCK修复表来更新meta信息。他们要花多少钱？哪一种更好？
浏览 0提问于2019-05-23得票数 6
回答已采纳
1回答
我正在测试这个架构: Kinesis Firehose S3→雅典娜。现在我使用的是Kinesis生成的虚拟数据，每一行看起来像这样：{"ticker_symbol":"NFLX","sector":"TECHNOLOGY","change":-1.17,"price":97.83}
然而，有两个问题。首先，Glue Crawler为每个文件创建一个单独的表。我读到过，如果模式匹配，Glue应该只提供一个表。正如您在下面的屏幕截图中所看到的，模式是相同的。在爬虫选项中，我尝试了Create a si
浏览 18提问于2021-01-28得票数 0
我将AWS雅典娜DynamoDB连接器部署到我的帐户中，并为DynamoDB表创建了Glue Crawler。
问题是Glue中的模式不区分大小写，当我通过DynamoDB连接器在雅典娜中使用该表时，我在列中的投影就没有价值了。
我怀疑这是由不区分大小写的列名造成的(都是小写的)。我有带有Glue的两个表和没有Glue元数据的表，以及在没有Glue支持工作的Athena连接器中检测到的表(列名区分大小写，格式正确)。
是否有任何方法配置Glue与DynamoDB，以满足大小写敏感性？我甚至试图手动更改Glue中的列名，但是在保存时，所有内容都是小写的。
浏览 5提问于2022-07-28得票数 0
我正在努力建立公司的新数据湖，并试图找到最好的和最近的选择在这里工作。因此，我找到了一个非常好的解决方案，可以使用EMR + S3 + Athena + Glue。
我所做的过程是：
1-运行Apache脚本，生成按日期划分的3000万行，存储在S3上。
2-运行雅典娜查询以创建外部表。
3-在EMR上检查了与Glue Data Catalog连接的表，它工作得很好。火花和蜂巢都能进入。
4-在按日期划分的其他文件夹中再生成3000万行。以Orc格式
运行Glue Crawler来识别新表。添加到数据目录中，雅典娜能够执行查询。但星火和蜂巢无法做到。见下文例外情况：
星火 Caused by:
浏览 6提问于2017-08-18得票数 15
回答已采纳
1回答
我有AWS Glue Crawler，它每天运行两次，并在雅典娜中填充数据。
Quicksight从雅典娜获取数据并显示在仪表板上。
我正在实现LastDataRefresh (日期时间)，以便在Quicksight仪表板中显示。有什么方法可以让我得到最后一个爬虫运行日期时间，以便我可以将它存储在雅典娜表中并显示在Quicksight中？
任何其他建议也是受欢迎的。
浏览 12提问于2021-12-10得票数 1
回答已采纳
我在S3存储桶的csv文件中有如下数据：
"Name"|"Address"|"Age"
----------------------
"John"|"LA,USA"|"27"
我已经创建了爬虫，它创建了表，当我试图查询雅典娜上的数据时。获取以下数据：
如何配置AWS glue Crawler创建目录表以读取上述数据？
浏览 6提问于2021-06-23得票数 0
2回答
下面是我的S3路径，在这些路径下存在多个文件夹。每个文件夹都包含一个CSV文件，每个文件都有不同的架构。
大括号{}中的值将是动态的。
s3://test_bucket/{val1}/data/{val2}/input/latest/
s3://test_bucket/{val1}/data/{val2}/input/archived/timestamp={val3}/
我想使用AWS Glue Crawler创建雅典娜表。我们可以为当前和存档的input_data提供一个单独的数据库。
所形成的表应该能够在当前和存档的、val1和val2上进行分区。而且，在存档的情况下，表中应该有一个额外
浏览 5提问于2021-10-21得票数 0
回答已采纳
我们将一些以竖线分隔的.txt报告放入S3中的一个文件夹中，我们在该文件夹上运行Glue crawler以确定在雅典娜中的模式和查询。 报告的格式最近发生了变化，因此在中间有两个新的列。 旧文件： Columns A B C D E F
Data a1 b1 c1 d1 e1 f1 包含额外"G“和"H”列的新文件： Columns A B G H C D E F
Data a2 b2 g2 h2 c2 d2 e2 f2 我们在爬虫创建的表中得到了什么，就像在雅典娜看到的那样： Columns A B C D E F G H
浏览 12提问于2019-06-12得票数 0
1回答
我的胶水工作流程是DDB ->胶水表(使用Crawler) -> S3 (使用胶水作业)
在运行工作流之前，我手动创建S3文件夹。
For DDB表，其大小为500 MB总是运行良好的(运行7-10分钟即可完成)，s3路径将有正确的结果:例如:s3://glue_/ddb_500 MB/(连接到s3后在雅典娜检查数据是正确的)。
For DDB表的大小为50 s3的文件夹被胶水作业删除(运行2小时即可完成，没有错误)，例如S3:// GLUE _/ddb_ 50GB该文件夹被删除。( path) i为s3启用了日志，而在日志中，GlueJobRunnerSession在此文件夹s3
浏览 4提问于2022-08-26得票数 1
回答已采纳
我正在使用AWS Glue创建元数据表。
AWS Glue Crawler数据存储路径: s3://bucket-name/
S3中的存储桶结构类似于
├── bucket-name
│ ├── pt=2011-10-11-01
│ │ ├── file1
| | ├── file2
│ ├── pt=2011-10-11-02
│ │ ├── file1
│ ├─
浏览 0提问于2018-01-09得票数 9
1回答
我有一个Glue ETL作业，它从目录中读取数据并写入s3。完成此操作后，需要触发爬虫程序来更新雅典娜中的数据。 所以，我使用glue_client.start_crawler(Name='crawler_name')方法来启动一个爬虫程序。但是，每当我尝试从ETL胶水作业启动爬虫程序时，它都会失败，并显示以下错误 ConnectTimeoutError: Connect timeout on endpoint URL: "https://glue.eu-central-1.amazonaws.com/"
浏览 37提问于2020-08-03得票数 2
回答已采纳
我创建了一个AWS EMR Hadoop集群，其中“AWS Glue Data Catalog”用于“for Spark table metadata”。因此，在Spark作业或spark-shell中，我可以编写使用Glue/Athena数据库和表的Spark SQL。
如果在EMR中运行的Spark作业正在读取该表的内容时更改了Athena表的位置，会发生什么情况？
假设我在Glue数据库中有一个名为"item“的雅典娜表，名为"my_db”。雅典娜表格位置指向存储包含数据的地块文件的S3文件夹。此文件夹为s3://my_bucket/item_2020_03_02。
在E
浏览 26提问于2020-03-03得票数 0
回答已采纳
我有一个以500+格式存储在AWS S3中的表的列表。结构如下：
aws-bucket/
└── parquet/
└── table1/t1.parquet
└── table2/t2.parquet
└── table3/t3.parquet
└── table4/t4.parquet
└── table5/t5.parquet
└── table6/t6.parquet
└── table7/t7.parquet
└── table8/t8.parquet
当我在“S3://aws/ parquet /”上运行Glue Cr
浏览 3提问于2019-08-19得票数 2
我正在尝试将我的发电机数据库流数据读取到S3中。以下是流程： DynamoDb -> DynamoDb Streams -> Kinesis Streams -> Kinesis Firehose -> S3 -> Glue Crawler -> Athena 这工作得很好，但问题是Kinesis firehose每小时都会创建一个新文件夹，这意味着我必须等到下一次运行爬虫。如何在雅典娜中实时获取数据？ 谢谢
浏览 32提问于2021-09-21得票数 0
1回答
我在s3位置加载了json文件，其中一个键以数字( 3party_count )开头，.I使用crawler在此位置上创建了aws雅典娜中的表，glue.so列名已创建为3party_count，但我不能使用此列执行select查询？错误-invalid请求异常 有人能帮我吗？
浏览 13提问于2019-10-13得票数 0
我在Kafka中有几个主题，正在将AVRO文件写入S3存储桶中，我想使用AWS Athena在存储桶上执行一些查询。 我正在尝试创建一个表，但AWS Glue crawler运行，并且没有添加我的表(如果我将文件类型更改为JSON，它将起作用)。我试图从雅典娜控制台创建一个表，但它不显示对AVRO文件的支持。 你有什么办法让它工作吗？
浏览 16提问于2019-06-26得票数 2
我已经使用python从SQL数据创建了parquet文件。我能够读取本地机器上的数据，所以我知道拼花文件是有效的。我创建了一个Glue Crawler，它从S3中的Parquet文件创建了一个数据库，该数据库显示了胶水仪表板中正确的记录数量。
当我在雅典娜中查询数据库时，它会显示“无结果”，但会显示列名。
请参阅以下图片以供参考。
浏览 3提问于2022-09-13得票数 0
回答已采纳
我们有一个包含.csv和.ctl文件的文件夹。CSV是一段时间内每天总共五个文件。它们的命名约定是一个前缀字符串，后跟一个日期标识符(例如: ABCDE090619.csv)。五个日常文件的标题行在一段时间内是一致的。 Glue crawler的预期行为是识别五个表模式，并在每个表中为day数据创建一行。相反，crawler会为每个文件创建一个单独的架构。总共大约550个。 有没有什么机制可以驱动这种行为呢？我们目前考虑的因素包括命名约定，但根据Glue文档，只有文件模式才是重要的。 谢谢。
浏览 18提问于2019-09-07得票数 0
回答已采纳
2回答
我的S3桶是用这个层次结构组织的，存储了拼花文件：<folder-name>/year=<yyyy>/month=<mm>/day=<dd>/<filename>.parquet
人工固定
对于一个特定的日期(即一个拼花文件)，我做了一些手工固定。
DataFrameUpdated 下载了这个拼花文件，并将其读取为“熊猫unchangedSaved”中的一些值，而该列仍然保留着“熊猫”DataFrame返回到“”文件，而“filenameUploaded”则将其返回到“S3桶”子文件夹。
PS：我好像删除了S3上的拼花文件一次，导致了
浏览 6提问于2021-02-17得票数 0
我正在尝试创建AWS Glue ETL Job，将数据从存储在S3中的拼图文件加载到红移表中。拼图文件是使用带有‘简单’文件模式选项的pandas编写到一个S3 bucked中的多个文件夹中的。布局如下所示：
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/01/file_2.parket
S3://bucket/parquet_table/01/file_3.parket
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_tab
浏览 1提问于2017-11-14得票数 3
我已经根据一个桶的内容创建了一个S3表。这允许我使用Athena在这个S3桶中查询数据。我定义了一个AWS Glue爬虫，并运行了一次，以自动确定数据的架构。这一切都很好。
之后，所有新上传到S3桶中的数据都很好地反映在表中。(在雅典娜做select count(*) ...。
那么，为什么我需要定期运行(即:调度)一个AWS Glue Crawler？毕竟，如前所述，对s3桶的更新似乎在表中得到了正确的反映。它是为了更新表上的统计信息，以便优化查询计划器还是什么的？
浏览 0提问于2018-09-10得票数 4
回答已采纳
我正在尝试通过boto3库创建并运行一个AWS glue爬虫。爬虫针对的是s3文件夹中的JSON文件。爬虫成功完成，当我检查日志时没有错误，但它没有在我的glue数据库中创建任何表 这不是权限问题，因为我可以通过CFT创建相同的爬虫，当我运行它时，它会像预期的那样创建表。我在我的代码中使用与我的CFT相同的角色，我使用boto3来创建它。 我尝试过使用boto3 create_crawler()和run_crawler()。已尝试在从CFT创建的爬网程序上使用boto3 update_crawler()并更新s3目标路径。 response = glue.create_crawler(
浏览 30提问于2019-06-07得票数 0
根据的说法，
特殊字符
不支持除下划线(_)以外的特殊字符。有关更多信息，请参见Apache DDL文档。
重要
虽然您可能成功地创建了包含除下划线以外的特殊字符的表、视图、数据库或列名，方法是将它们括在回勾(`)字符中，但是引用它们的后续DDL或DML查询可能失败。
因此，我尝试使用存储在S3桶中的JSON文件创建一个表，JSON中的一个键包含多个点(.)，根据链接上提供的信息，如果我使用backticks(`)来转义它，应该是可以的。
CREATE EXTERNAL TABLE json_table (
id string,
version string,
com`.`org`.`dt
浏览 0提问于2020-06-26得票数 1
回答已采纳
2回答
环境
从python3.7 -> boto3 -> S3.
用拼花(用紧固件连载)
使用Glue Crawler进行非自定义(只需创建、分配IAM角色、s3目标、创建空的数据目录)
问题
以下雅典娜查询只返回2020-04-01：
SELECT * FROM "rawdata" where "partition_0" >= '2020-03-29' and "partition_0" <= '2020-04-02';
SELECT * FROM "rawdata" where
浏览 2提问于2020-04-02得票数 0
回答已采纳
1回答
我正在调用lambda函数，该函数正在从AWS雅典娜查询，在执行查询过程中，我得到了以下错误：Permission denied on S3 path: s3://bkt_logs/apis/2020/12/16/14
注意: S3桶是一个加密的桶，并附加了访问KMS密钥的策略。
这些是我给lambda函数的权限。
[
{
"Action": [
"s3:Get*",
"s3:List*",
"s3:PutObject",
"s3:DeleteObject
浏览 18提问于2022-05-18得票数 2
回答已采纳
我在S3中使用不同的源创建了拼图文件。它们具有相同的模式。1是使用雅典娜CTAS创建的。另一个是使用AWS Glue/Spark创建的。
Glue创建的文件如下所示：
雅典娜CTAS ones看起来像：
我尝试将缺失分区中的文件复制到另一个文件夹中，然后使用Glue爬虫，Glue可以检测到。但当所有东西都放在一起时，它似乎无法检测到这些分区。为什么会这样呢？我是否需要使用一种方法处理所有数据才能正常工作？
浏览 0提问于2019-06-25得票数 1
如何用ODBC连接AWS雅典娜和Power BI。
我已经安装了64位Simba雅典娜连接。
我增加了适当的水桶政策。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"athena:BatchGetQueryExecution",
"
浏览 1提问于2019-11-14得票数 1
回答已采纳
我已经阅读了问题的答案
还有的问题
按建议
我给Glue爬虫提供了S3中的文件夹路径，而不是文件名。I已删除并重新创建了爬虫
但这没什么用
我的案子：
来自s3存储中csv的示例数据：
云监视日志显示成功创建了胶水表：
模式结构如下所示：
Sizekey 333匹配csv数据大小：
但是当我运行雅典娜查询时，我得到的结果是：
只返回列，不返回记录。扫描数据:0 KB
有人知道为什么胶水爬虫不能转换数据吗？
谢谢!
浏览 1提问于2019-12-12得票数 2
回答已采纳
2回答
我在AWS中有一个表，它使用S3桶来定位数据。我想对现有的表执行雅典娜查询，并使用查询结果创建一个新的Glue表。
我尝试创建一个新的Glue表，将它指向S3中的一个新位置，并将雅典娜查询结果连接到该S3位置。这几乎实现了我想要的，但是
.csv.metadata文件与实际的.csv输出一起放在这个位置( Glue表读取指定s3位置中的所有文件)。
csv文件在每个字段周围放置双引号，这会破坏使用数字的Glue表中定义的任何fieldSchema。
这些服务都是为了协同工作而设计的，因此必须有一种适当的方法来实现这一点。如有任何建议，将不胜感激:)
浏览 0提问于2019-02-27得票数 2
回答已采纳
使用，您可以设置像这样的雅典娜表。雅典娜基于S3的文件夹结构。我想把我的雅典娜表和我的胶模板分开。
在中，我似乎可以使用PartitionKeys来划分数据，但是当我尝试使用下面的模板时，雅典娜失败了，无法获得任何数据。
Resources:
...
MyGlueTable:
Type: AWS::Glue::Table
Properties:
DatabaseName: !Ref MyGlueDatabase
CatalogId: !Ref AWS::AccountId
TableInput:
Name: my-g
浏览 0提问于2018-05-10得票数 3
回答已采纳
我还在学习powershell脚本以及与AWS的集成。
脚本的预期结果是使用新的数据存储(目标)更新AWS Glue Crawler，其中包含爬行器中尚未存在的任何S3存储桶目录路径。原因是我需要在AWS雅典娜中单独的表。当前的默认行为是，如果模式相同，则创建一个分区表。我在S3存储桶中有多个目录，所有文件都有相同的模式。所以我的理解是，我必须在爬虫中定义每条路径，以便它们在雅典娜中成为单独的表。
function Update-GlueCrawler($S3BucketSubdirectories)
{
$Targets = New-Object Amazon.Glue.Model.Cr
浏览 0提问于2018-09-20得票数 0
我有一个非常基本的s3设置，我想使用雅典娜来查询它。数据全部存储在一个存储桶中，并组织到年/月/日/小时文件夹中。
|--data
| |--2018
| | |--01
| | | |--01
| | | | |--01
| | | | | |--file1.json
| | | | | |--file2.json
| | | | |--02
| | | | | |--file3.json
| | | | | |--file4.json
...
然后，我设置
浏览 7提问于2018-06-30得票数 8
1回答
我现在和Kinesis Firehose，Glue Crawler一起使用雅典娜。Kinesis Firehose正在将JSON保存到单行文件，如下所示
{"name": "Jone Doe"}{"name": "Jane Doe"}{"name": "Jack Doe"}
但是我注意到雅典娜查询select count(*) from db.names返回1而不是3，在搜索问题之后。我找到了以下文件。
这篇文章说，JSON文件应该用新的行存储。
{"name": "Jon
浏览 3提问于2020-06-07得票数 8
回答已采纳
我使用AWS Glue Crawler来抓取大约170 GB的avro数据来创建一个数据目录表。
avro数据中有几个不同的模式版本，但是爬虫仍然设法将数据合并到一个表中(我启用了“按数据兼容性分组和模式相似性模式”)。
这是当事情变得有问题的时候。
我只能使用雅典娜对数据运行SELECT COUNT(*) FROM <DB>.<TABLE>查询-任何其他查询都会引发以下错误：
GENERIC_INTERNAL_ERROR: Unknown object inspector category: UNION
简单的Google检查让我相信这与avro文件中的模式有关。
通
浏览 0提问于2019-03-24得票数 0
我正在尝试使用雅典娜视图作为我的AWS Glue作业的数据源。我在尝试运行Glue作业时得到的错误消息是关于视图的分类。我能把它定义为什么？谢谢
浏览 0提问于2018-11-01得票数 9
1回答
我正在复制一个完整的雪花DB到S3中，通过雅典娜观看。我希望保留模式/层次结构，这样相应的查询就不会改变。在S3中，所有文件的组织都是正确的，如下所示
数据库/架构/文件夹/表/{拼板文件}
当我用Glue爬行时，它们最终都在同一级别的一个DB中结束。雅典娜有可能有类似的文件夹结构吗？
现在，雅典娜中的所有查询就像
Select *
FROM database.table
我想要
Select *
FROM database.schema.folder.table
浏览 12提问于2022-03-24得票数 1
回答已采纳
1回答
在Athena中重命名分区列名称
、、、、
我有一个雅典娜表自动创建的胶水爬行的镶木地板文件在S3。它将文件夹名称作为分区，并将此分区列命名为' partition _0‘。现在，我想将这个分区重命名为'snapshot_date‘，我可以通过使用'edit_schema’选项在Glue UI中执行此操作。但另一方面，当我尝试使用Java代码做同样的事情时，我无法做到。这是我在java代码中运行的查询，以完成此操作。 Alter table test_java_crawler.pao_java_input_data change column `partition_0` `snapshot_date` stri
浏览 19提问于2020-01-13得票数 0
我有一个遵循以下格式的S3文件集合：
date=10001
abc.json
bcd.json
cdf.json
date=10002
...
date=20001
...
Glue对这些文件进行爬行，以便在Athena中创建一个表(分区为date)。一旦创建了S3文件，它就永远不会被更新或删除，因此重新爬网是多余的。为此，我尝试让Glue忽略我知道已经被爬行的文件。
为此，我在exclude patterns字段下添加了10** -这是有效的- Glue不会重新爬行这些文件，并且更新我的表的时间是四分之一的。但是，当我试图访问其中一个被忽略的日期(例如- dat
浏览 0提问于2020-03-04得票数 1
当我尝试在一个s3文件夹中拥有多个文件(具有不同的表模式)并使用这个位置使用爬虫和AWS胶水创建多个表时，雅典娜不会检测到任何数据，它会提供空白数据。但是，如果只有一个表模式(具有相同列结构的表)的文件，那么它就能很好地检测数据。问题是，雅典娜是否可以从同一个s3文件夹中创建多个具有不同结构的表？
我尝试过为不同的文件创建不同的文件夹，而爬虫很好地选择了表模式，它给了我们确切的结果，但是这是不可行的，因为为100多个文件创建不同的文件夹并不是一个解决方案。因此，寻找另一种方式。
浏览 9提问于2022-11-24得票数 0
1回答
添加多个S3路径来粘合地形爬行器
、、、、
我正在用Terraform在AWS中建立一些基础设施。我已经创建了几个S3桶，并希望Glue爬虫每小时爬行这些桶一次。我的Terraform目录db、角色和策略都构建得很好，但是当我试图通过向爬虫的S3部分添加四条s3_target{}路径来创建爬虫资源时，我会得到一个失败：
resource "aws_glue_crawler" "datalake_crawler" {
database_name = "${var.glue_db_name}"
name = "${var.crawler_name}"
浏览 0提问于2019-02-18得票数 3
回答已采纳
1回答
我最近发现AWS雅典娜表可能有一个分区数量的限制(目前有20000个分区，这里提到的是：)。
同一页提到AWS Glue表可能有1,000万个分区，因此我打开AWS Glue控制台来重新创建我到目前为止在Athena中使用的表，并且惊讶地看到我在Athena控制台中创建的所有表都列在AWS Glue console中。
因此，有一个问题，这是否意味着在雅典娜控制台中创建的每个表都将是一个AWS Glue表，并将支持1000万个分区？
我目前正在使用雅典娜SDK ()来选择数据并将数据从表t1加载到表t2中，使用INSERT INTO查询动态生成Hive格式的分区(即col1=<...&g
浏览 19提问于2022-06-15得票数 1
回答已采纳
1回答
我有一组Json数据文件，如下所示
[
{"client":"toys",
"filename":"toy1.csv",
"file_row_number":1,
"secondary_db_index":"4050",
"processed_timestamp":1535004075,
"processed_datetime":"2018-08-23T06:01:15+0000",
"e
浏览 1提问于2018-08-28得票数 5
回答已采纳
4回答
使用boto3从AWS胶中获取表
、、、、
我需要从AWS Glue爬虫元数据目录中获取表格和列名。我使用了boto3，但不断地得到100个表，尽管还有更多。设置NextToken没有帮助。如果可能的话请帮忙。
希望取得的成果如下：
lst = table_one.col_one，table_one.col_two，table_two.col_one....table_n.col_n
def harvest_aws_crawler():
glue = boto3.client('glue', region_name='')
response = glue.get_tables(DatabaseName=&
浏览 5提问于2021-03-09得票数 2
回答已采纳
我有几个avro文件存储在一个S3存储桶，并有他们的AWS胶水爬行使用AvroSerde，胶水索引文件完美。
当我使用AWS athena来查询表时，比如：select * from mytable，我得到了所有的结果，“values”列显示为234,345.6。
但是，当我尝试选择"values“列(或尝试对其使用任何数组函数)时，我没有得到任何结果，并且雅典娜中的query选项卡显示了一个"FAiled”图标，但是我没有得到任何错误。
失败的查询示例：select values from mytable
describe mytable;在雅典娜的输出
timestamp
浏览 7提问于2018-08-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
