将Athena中的嵌套json转换为在Quicksight中显示
Athena是亚马逊AWS提供的一种交互式查询服务，可以通过标准SQL查询语言对存储在S3中的数据进行分析。Quicksight是亚马逊AWS提供的一种商业智能工具，用于创建、可视化和分享数据分析报表。
在Athena中，如果需要将嵌套的JSON数据转换为在Quicksight中显示，可以通过以下步骤实现：
- 创建Athena表：首先，需要在Athena中创建一个表来解析和存储JSON数据。可以使用CREATE EXTERNAL TABLE语句定义表结构，并指定JSON数据所在的S3路径。
- 解析嵌套JSON数据：使用Athena的内置函数和语法来解析嵌套的JSON数据。例如，可以使用JSON_EXTRACT函数来提取JSON对象中的特定字段。
- 转换为扁平结构：为了在Quicksight中更好地展示数据，可以将嵌套的JSON数据转换为扁平结构。可以使用LATERAL VIEW和UNNEST函数来展开嵌套的JSON数组，并将其与其他字段关联。
- 导出数据到S3：将转换后的数据导出到S3中的CSV或Parquet格式文件，以便Quicksight可以读取和可视化。
- 创建Quicksight数据集：在Quicksight中创建一个数据集，连接到Athena中导出的数据文件。可以选择适当的数据类型和字段映射。
- 创建报表和可视化：使用Quicksight的可视化工具创建报表和仪表板，根据需要选择合适的图表类型和过滤器。
推荐的腾讯云相关产品： 腾讯云提供了类似的云计算服务，可以用于实现类似的功能。以下是一些相关产品和链接地址：
- 腾讯云对象存储（COS）：用于存储和管理数据文件，类似于亚马逊S3。链接地址：https://cloud.tencent.com/product/cos
- 腾讯云数据仓库（CDW）：提供了类似于Athena的交互式查询服务，可以对存储在COS中的数据进行分析。链接地址：https://cloud.tencent.com/product/cdw
- 腾讯云数据智能（DataBrain）：提供了类似于Quicksight的商业智能工具，用于创建、可视化和分享数据分析报表。链接地址：https://cloud.tencent.com/product/db
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估。
相关·内容
我已经在下面编写了雅典娜查询，以便在Quicksight中显示/可视化数据。只要我在表中有一条记录，这个方法就可以正常工作。如果你看到查询，我已经硬编码为索引1。我如何修改下面的查询，以包括表中的所有数据。AS QuestionId,transform(response_json.answers,answer->answer.answerId) A
浏览 27提问于2021-11-22得票数 0
回答已采纳
我目前有一个很大的json数据集，我想导入到Amazon Athena中，以便在Amazon Quicksight中可视化。在每个json中，有两个字段:一个是逗号分隔的In字符串(orderlist)，另一个是字符串数组(locations)。因为Quicksight不支持数组搜索，所以我现在求助于创建一个跨两个字符串数组生成交叉联接的视图： select id,
try_CA
浏览 21提问于2020-10-02得票数 0
(这个问题非常类似于)[{"key1": value, "key2": value, "key3": {"key4": value, etc}}, {"两个问题：
为什么如果我直接把这个发送给Quicksight，Quicksight知道如何将文件完全规范化(除非桶中有多个不匹配的文件(这就是我为什么要尝试雅典娜)，但雅典娜却在挣扎呢？我知道这与
浏览 0提问于2019-05-20得票数 2
回答已采纳
我们将数据转储到S3存储桶中，我们使用这些数据在Quicksight中提取一些报告--一些直接访问S3作为数据源，而对于其他报告，我们使用雅典娜查询s3。
到那时，人们需要使用Redshift吗？在S3+Athena上使用Redshift有什么好处吗？
浏览 2提问于2022-02-21得票数 0
我有一个嵌套的json数据结构，如下所示，最终目标是在Athena的Quicksight中显示数据。经过研究，我发现Quicksight无法显示/处理可视化的“数组”数据类型。COMMENT 'from deserializer') ROW FORMAT SERDE
'org.openx.data.jsonse
浏览 9提问于2021-11-19得票数 0
我有一个管道，在那里AWS Kinesis Firehose接收数据，基于雅典娜表将其转换为拼图格式，并基于日期分区(date_int: YYYYMMdd)将其存储在S3存储桶中。每当有新数据添加到存储桶中时，就会触发一个lambda来检查Athena是否已经知道该分区。一切似乎都运行得很好；在Athena中，我可以运行查询(见下文)，并接收到最新的数据。雅典娜查询：SELECT * FROM "my_table"
浏览 0提问于2021-03-09得票数 0
2回答
我在亚马逊网络服务的S3存储桶中有JSON数据，我想在一个具有自定义域名的公共网站上可视化这些数据。 我正在寻找如何做到这一点的建议。 谢谢!
浏览 13提问于2020-04-02得票数 1
我检查了存储来自雅典娜的查询结果的S3，但是它似乎没有通过QuickSight使用雅典娜查询的查询结果。 有没有其他雅典娜通过QuickSight存储查询结果的地方？ 谢谢!
浏览 14提问于2020-08-12得票数 3
我有JSON格式的数据，在它的示例"2017-06-29T00:00:00-0400“中具有ISO 8601时间戳格式，并且我试图使用AWS Glue为Athena/Quicksight使用进行转换；然而，我尝试过的每个转换组合仍然将目标字段视为字符串(在爬行目标json文件之后)。在尝试查询雅典娜中的表时，我还会收到一个HI
浏览 0提问于2019-01-15得票数 2
回答已采纳
我把QuickSight设在欧洲西部1号的account_a。我试图从account_b中的雅典娜查询。
当我尝试使用自定义查询功能时，它会出现以下错误：
[Sim
浏览 1提问于2021-03-23得票数 2
2回答
我试图从S3将数据存储到雅典娜数据库中，并且我有如下所示的日期时间格式:-
我试图在Quicksight中进
浏览 4提问于2017-10-12得票数 0
回答已采纳
我在S3中有2个存储桶，其中第二个存储桶是使用第一个复制的存储桶的设置创建的。两个存储桶都转换为Glue中的表(在同一数据库中，第一个表通过爬虫，第二个表手动创建)。这两个表都可以在Athena中查询。如果我试图在QuickSight中可视化这些表，那么第一个表可以在graphs/等
浏览 65提问于2020-01-15得票数 1
当日期数据没有指定时区时，Amazon假设QuickSight值。当日期数据指定时区时，亚马逊QuickSight将其转换为UTC时间显示。例如，一个时区偏移量为2015-11-01T03:00:00-08:00的日期字段被转换为UTC，并显示在Amazon QuickSight中为2015-11-01T15:30:00。我有一个范围的日期在我的雅典娜数据集，我正
浏览 5提问于2018-11-09得票数 9
也许我错过了一些东西，但我无法理解，如果我把雅典娜和QuickSight连接在一起，而不是直接将QuickSight与S3连接起来，我会得到什么好处。请帮助我理解这一点。
浏览 3提问于2017-11-17得票数 7
回答已采纳
我希望嵌套的XML文件使用AWS glue从AWS Athena查询。我认为我们必须在ETL工作中做一些修改。如果有其他信息，请让我知道。
浏览 1提问于2019-03-22得票数 1
我在S3中有一些数据，在Glue目录中创建了一个模式，然后通过雅典娜将其公开给QuickSight。当我单击控制台创建它时，所有这些都很好。然后，我将其转换为以下CloudFormation： Type: AWS::Glue::Database DatabaseInputName: analysis_raw Parameters:
浏览 2提问于2018-12-06得票数 2
回答已采纳
我正在寻找一个以亚马逊网络服务为中心的解决方案(如果可能的话，避免第三方的东西)来可视化一个非常简单的DynamoDB表中的数据。我们使用AWS Quicksight为我们的客户提供许多其他报告和仪表板，因此我们的目标是在那里提供可视化。我非常惊讶地发现，尽管有许多其他的东西，比如S3，雅典娜，红移，RDS等，DynamoDB却不是Quicksight的支持源码。
有人有为此创建解决方案的<
浏览 3提问于2019-09-04得票数 25
我试图在Quicksight中创建一个非常简单的可视化，为此，我在Quicksight中使用了一个SQL查询，FROM analytics.myTableGROUP BY day
来自AWS雅典娜的客户。SYNTAX_ERROR:第2:8行:无法解析列
浏览 1提问于2018-12-14得票数 1
回答已采纳
3回答
我有一个每小时执行一次的Spark批处理作业。每次运行都会使用目录命名模式DATA/YEAR=?/MONTH=?/DATE=?/datafile在S3中生成和存储新数据。在将数据上传到S3之后，我想使用Athena对其进行调查。另外，我想通过连接到作为数据源的雅典娜，在QuickSight中可视化它们。问题是，除非我手动运行查询MSCK REPAIR TABLE，否则每次运行S
浏览 2提问于2017-11-29得票数 39
回答已采纳
我使用PostHog进行产品分析，并将一些事件数据导出到Amazon以及用于Quicksight的S3中。在JSON的personal属性部分下，每个单独的属性都是嵌套的，但以$开头下面是来自PostHog的JSON示例
&q
浏览 5提问于2022-03-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
