用红移频谱映射通用JSON字段

文章/答案/技术大牛

发布

1回答

hadoop、amazon-redshift、amazon-redshift-spectrum

我试图将红移频谱中的变量类型JSON字段转换为平面字符串，但一直得到column type VARCHAR for column STRUCT is incompatible。我试图查询的JSON数据有几个字段，这些字段的结构是固定的和预期的。但是，有一个字段包含元数据，它是一个没有特定格式的JSON (任何格式都是有效的)。fixed_integer": 1, "fixed_date"

浏览 14提问于2019-09-06得票数 0

1回答

用Python脚本加载红移数据

python-3.x、pandas、pyspark、amazon-redshift

我必须将数以百万计的记录加载到redshift DB中(这是必须的)，这样做的最有效/最快的方法是什么？现在，我正在创建一个字典，在其中存储行块，这些行被抛到字符串中，这样我就可以将它们放在查询字符串中，然后使用Pandas这样的方法： with conn.cursor() as c: for chunk in df_chunks.keys()

浏览 0提问于2020-04-22得票数 0

回答已采纳

1回答

使用红移频谱查询蜂窝视图

hive、amazon-redshift、amazon-redshift-spectrum

我正在尝试使用红移频谱查询配置单元视图，但它给出了以下错误： SQL Error [500310] [XX000]: [Amazon](500310) Invalid operation: Assertscan_range_manager.cpp:272 -----------------------------------------------; 可以从红移频谱中查询配置单元视图吗另外，因为我的原始表(拼图数据

浏览 22提问于2020-03-31得票数 3

回答已采纳

2回答

不同AWS组件的调度- Glue和EMR

amazon-emr、aws-glue

或者说，继续使用EMR集群，这不是一个好的用例吗？胶水可以写到SAP Hana与适当的连接器和红移频谱是常见的用例加载红移通过Glue作业与红移频谱。

浏览 5提问于2021-05-08得票数 0

回答已采纳

1回答

从AWS表到RedShift光谱外部表的日期字段转换

json、aws-glue、isodate、amazon-redshift-spectrum

我正在尝试将JSON数据集从S3转换为粘合表模式，并将其转换为用于数据分析的红移频谱。在创建外部表时，如何转换日期字段？startDate:struct<date:varchar(40)>在红移光谱或胶水中有没有办法处理

浏览 5提问于2019-03-20得票数 7

1回答

选择不同的性能不一致

sql、amazon-redshift

我的数据是S3格式的ORC格式，我在雅典娜和红移谱中有外部表指向同一个文件。当上面的查询在雅典娜中运行时，它会在几秒内返回，而在红移谱中则需要几分钟。但是当我移到选择列表的末尾时，它在红移光谱中也能很好地工作。这种情况只发生在这个特定的列中，我的意思是在结尾移动d或e不会有任何区别，即它们运行的时间更长。

浏览 0提问于2019-04-05得票数 0

1回答

红移光谱中带连字符的选择字段

amazon-web-services、amazon-redshift、amazon-redshift-spectrum

我正在尝试通过红移频谱提取名称中带有连字符的嵌套字段FROM my_external_schema.my_table我在其他DBMS中看到的是建议用双引号将字段名称括起来：或反勾号 `mystruct.mysubstruct.my-field.id

浏览 6提问于2020-05-14得票数 1

回答已采纳

5回答

雅典娜vs红移光谱

amazon-web-services、amazon-redshift、amazon-athena、amazon-redshift-spectrum

我在评估雅典娜和红移光谱。两者都服务于相同的目的，频谱需要一个适当的红移集群，而雅典娜是纯粹的无服务器的。雅典娜使用Presto，而Spectrum使用其Redshift的引擎雅典娜或红移光谱有什么特别的缺点吗？使用Athena或Spectrum有什么限制吗？

浏览 3提问于2018-05-09得票数 28

1回答

红移光谱比雅典娜慢得多？

amazon-s3、tableau-api、amazon-athena、amazon-redshift-spectrum

我们的数据以没有分区的JSON形式存储在S3中。直到今天，我们只使用雅典娜，但现在我们尝试红移光谱。我们在aws控制台中运行的两种情况下的查询如下： SELECT "events"."

浏览 2提问于2019-11-27得票数 0

回答已采纳

4回答

红移频谱的性能问题

amazon-web-services、amazon-s3、amazon-redshift、amazon-redshift-spectrum

我使用的是红移频谱。我创建了一个外部表，并在S3上上传了一个包含大约550万条记录的csv数据文件。

浏览 24提问于2017-07-06得票数 2

回答已采纳

1回答

红移光谱要读取的文件的数据格式是什么？

amazon-web-services、amazon-redshift、dataformat、amazon-redshift-spectrum

我一直在读“红移光谱”，有些事情我就是不明白。每次我查询时，它是否仍然从文件中获取数据？意思是，假设我运行查询1.更新现有文件。并再次运行查询。我会得到不同的结果吗？

浏览 1提问于2019-11-26得票数 0

2回答

从PostgreSQL到AWS S3的数据移动和RedShift频谱分析

postgresql、amazon-web-services、apache-spark、amazon-redshift、amazon-redshift-spectrum

我有大量不同模式的PostgreSQL表，以及其中的大量数据。我正在考虑以下方法--我将使用Apache处理我的所有PostgreSQL表，加载DataFrames并将它们存储为AWS S3中的Parquet文件。然后，我将使用RedShift谱来查询存储在这些拼花文件中的信息。第二个- RedShift谱是否能够在不需要额外模式规范的情况下自动从这些PostgreSQL文件创建外部表(即使原始PostgreSQL表包含AWS RedSh

浏览 0提问于2018-11-05得票数 1

回答已采纳

1回答

AWS数据湖

excel、amazon-web-services、amazon-s3、amazon-athena、data-lake

使用这些文件是否需要对在桶中提交的数据使用胶水，还是有其他方法使这些数据可用于其他工具，如雅典娜和红移光谱？-Guido

浏览 4提问于2017-09-21得票数 2

回答已采纳

1回答

如何为频谱表定义排序键

database、amazon-redshift、amazon-redshift-spectrum

我有一个用例，其中我加入了一个红移表和一个大频谱表。我在最佳实践中看到，在join条件中选择排序键将有助于join操作。如何为外部表(如频谱)指定排序键。

浏览 1提问于2020-05-20得票数 1

回答已采纳

2回答

在AWS中使用什么工具来报告兆字节的数据

amazon-s3、amazon-dynamodb、amazon-redshift、amazon-rds、amazon-athena

红移服务器对此来说是不是太过分了？我听说数据应该至少达到PB的比例才能使用。有什么更好的工具集我应该去探索吗？

浏览 5提问于2022-08-12得票数 1

1回答

将拼花文件复制到具有逗号分隔数据的Redshift中的错误

sql、amazon-web-services、amazon-s3、amazon-redshift

红移复制命令FROM 's3://path/to/parquetfiles/'FORMAT AS PARQUET

浏览 10提问于2022-11-29得票数 0

1回答

如何利用红移谱在S3中查看数据目录表

amazon-redshift、aws-glue、amazon-redshift-spectrum

我用aws glue为我的数据库创建了外部模式。我可以看到表的列表，但是我不能查看json数据。redshift抛出了这个错误。Error occured during Ion/JSON extractor match: IERR_INVALID_SYNTAX location:它们是json格式的。如果我使用的作业将在redshift中上传此数据，它们将作为平面文件(数组除外)加载到redshift表中。我正在努力创建这个表的单独脚本，这就是为什么amazon<em

浏览 5提问于2018-06-05得票数 0

4回答

是否可以使用数据库迁移服务(DMS)将数据移动到Redshift中？

amazon-web-services、amazon-redshift、aws-dms、amazon-redshift-spectrum

我有我的数据在MySQL数据库中，并希望将其移动到红移。我可以使用数据库迁移服务(DMS)来完成此任务吗？还有别的选择吗？

浏览 26提问于2020-06-15得票数 1

1回答

AWS数据管道的默认日期时间

mysql、amazon-web-services、amazon-redshift、amazon-data-pipeline、aws-data-pipeline

我们正在使用数据管道将数据从s3推送到亚马逊红移表。我们使用JSON推送数据"jsonpaths": [ "$['data1']", "$['"$['data1']", "$['data

浏览 2提问于2018-06-21得票数 0

3回答

雅典娜对红移的拼花

apache-spark、amazon-s3、amazon-redshift、parquet

2种情况:第一，第二,与此设想有关的问题：火花JDBC与红移是缓慢的火花-红移数据砖回购有一个失败的构建，并在两年前更新。我应该使用红<

浏览 2提问于2019-03-08得票数 4

点击加载更多