红移频谱sql查询中的排除列
红移频谱SQL查询中的排除列指的是在SQL查询语句中，通过使用"NOT"或者"-"等关键字，来排除某些列的显示结果。
在红移频谱（Redshift Spectrum）中，可以通过创建外部表的方式查询并分析存储在Amazon S3中的数据。在进行查询时，可以使用SELECT语句来指定需要显示的列，但有时候也需要排除某些列的显示结果。
以下是一些常见的方法来实现排除列的操作：
- 使用"NOT"关键字： 在SELECT语句中，可以使用"NOT"关键字来排除某些列。例如，如果有一张表包含列A、B和C，想要排除列B，可以使用以下语句： SELECT A, C FROM table_name;
- 使用"-"（减号）： 在SELECT语句中，可以使用减号来排除某些列。例如，如果有一张表包含列A、B和C，想要排除列B，可以使用以下语句： SELECT A, C - B FROM table_name;
需要注意的是，对于使用红移频谱查询S3数据的情况，列的排除操作是在查询过程中进行的，而不是在数据存储层面进行的。这意味着即使排除了某些列，它们仍然存在于原始数据中，并不会被删除或修改。
关于红移频谱（Redshift Spectrum）的更多信息和产品介绍，可以参考腾讯云的文档链接：
相关·内容
1回答
在单个表上有一个不同的查询。
select distinct d, e, f, a, b, c from t where a = 1 and e = 2;
在cols a，b，c中的不同值的个数高(高列基数)，而cols d，e，f是低基数列。我的数据是S3格式的ORC格式，我在雅典娜和红移谱中有外部表指向同一个文件。
当上面的查询在雅典娜中运行时，它会在几秒内返回，而在红移谱中则需要几分钟。
但是当我移到选择列表的末尾时，它在红移光谱中也能很好地工作。这种情况只发生在这个特定的列中，我的意思是在结尾移动d或e不会有任何区别，即它们运行的时间更长。col和其他列一样是varchar列，该列的最
浏览 0提问于2019-04-05得票数 0
1回答
红移光谱比雅典娜慢得多？
、、、
我们的数据以没有分区的JSON形式存储在S3中。直到今天，我们只使用雅典娜，但现在我们尝试红移光谱。
我们正在运行相同的查询两次。一次使用红移光谱，一次使用雅典娜。两者都连接到S3中的相同数据。
使用红移频谱，这个报告需要永远(超过15分钟)的运行和使用雅典娜，它只需要10秒的运行。
我们在aws控制台中运行的两种情况下的查询如下：
SELECT "events"."persistentid" AS "persistentid",
SUM(1) AS "sum_number_of_reco"
FROM "analyti
浏览 2提问于2019-11-27得票数 0
回答已采纳
1回答
我一直在读“红移光谱”，有些事情我就是不明白。
我知道红移频谱将从存储在S3中的文件中读取数据，但是我需要在S3中存储的实际文件是什么？是SQL语句吗？我可以把它放任何格式吗？假设我运行一个电子商务站点，我是否为每个订单创建一个文件？或者是一个文件，里面有所有的命令，并一直附加在上面？
我还需要一个扁平的格式吗？或者我可以用这些文件中的数据做更多的NoSQL类型的事情吗？
每次我查询时，它是否仍然从文件中获取数据？意思是，假设我运行查询1.更新现有文件。并再次运行查询。我会得到不同的结果吗？或者这些数据已经以某种方式被拉进了光谱？
浏览 1提问于2019-11-26得票数 0
4回答
红移频谱的性能问题
、、、
我使用的是红移频谱。我创建了一个外部表，并在S3上上传了一个包含大约550万条记录的csv数据文件。如果在这个外部表上执行查询，大约需要15秒，而如果我在Amazon redshift上运行相同的查询，我在大约2秒内就会得到相同的结果。当AWS声称它是非常高性能的平台时，这种性能滞后的原因可能是什么？请使用spectrum建议相同性能的解决方案。
浏览 24提问于2017-07-06得票数 2
回答已采纳
我正在使用us-west-1中的红移集群( Redshift Cluster )
s3文件的位置在us-west-1 (NCAL)，胶水数据目录在us-west-2 (俄勒冈州)
当我尝试查询表时
select count(*) from spectrum_schema.table_name;
我得到了下面的错误。
[Code: 500310, SQL State: XX000] [Amazon](500310) Invalid operation: The
specified region 'us-west-1' is invalid.
Details:
-------
浏览 1提问于2018-01-11得票数 0
5回答
雅典娜vs红移光谱
、、、
我在评估雅典娜和红移光谱。两者都服务于相同的目的，频谱需要一个适当的红移集群，而雅典娜是纯粹的无服务器的。雅典娜使用Presto，而Spectrum使用其Redshift的引擎
雅典娜或红移光谱有什么特别的缺点吗？使用Athena或Spectrum有什么限制吗？
浏览 3提问于2018-05-09得票数 28
我正在尝试使用copy命令将一些数据从S3存储桶复制到红移表中。该文件的格式为PARQUET。当我运行执行复制命令查询时，我得到InternalError_：频谱扫描错误。
这是我第一次尝试从拼图文件中复制。
如果对此有解决方案，请帮助我。我在python中使用boto3。
浏览 3提问于2020-03-30得票数 5
回答已采纳
1回答
我在S3中有一个存储了拼图文件并按日期划分的存储桶。 使用以下查询： select
count(1)
from logs.logs_prod
where partition_1 = '2019' and partition_2 = '03' 直接在Athena中运行该查询，它在不到10秒的时间内执行。但当我在Redshift中运行相同的查询时，它需要3分钟以上。它们都返回相同的正确值，在本例中，该分区中的行数少于8万行。 我使用AWS Glue作为Athena和Redshift的元数据存储。 Redshift的查询计划如下： QUERY PLAN
XN
浏览 32提问于2019-04-12得票数 2
2回答
我仍然是红移服务的新手，对什么时候使用或者把什么数据放进频谱很困惑。
假设我在Redshift上有星型模式数据仓库，是否应该将事实表或暗淡表放入频谱(来自s3的外部表)以进行存储优化？或者数据仓库通常有不同的层，例如:着陆、登台或数据库。如果我们把其他层的数据放到频谱中，只会将星型数据留在Redshift中。
而且，由于S3中的数据仅被附加，我们是否需要安装apachi hudi或delta lake来使用Redshift频谱？
我发现了一篇aws文章:在下面陈述，但仍然不清楚。
几个好的用例如下：
andaggregation-intensive查询可以使用分区剪枝和谓词下推的选择性查询，
浏览 9提问于2022-10-08得票数 0
我有一个字符串，当显示在Notepad++中时：
App.xEFxBFxBF35
tocken EFxBFxBF接缝是一些应用程序无法处理的UTF实体(对我来说，它的红移)。
在记事本中，字符串读为
App.35
如何从c#中的字符串中删除该实体？
编辑
在visual studio中，调试器中的字符串显示为
"App.\uffff35"
编辑1
最后发现，当我插入非拉丁文字符时，该列的大小需要加倍。
我通过查看sql server中列的字符长度来创建红移表，并将该数字直接用于红移中的列。这适用于拉丁语的语言，而非拉丁语的语言。
我通过这个红移查询找到了不同的长度。
selec
浏览 4提问于2017-07-18得票数 0
回答已采纳
1回答
我面临着在红移频谱上频繁Disk Full error的问题，因此，我不得不反复扩容集群。缓存似乎会被删除。 理想情况下，我希望向上扩展以保持缓存，并找到一种方法来了解查询需要多少磁盘空间。 有没有什么文档谈到了红移频谱的缓存，或者他们正在使用相同的机制来进行红移？ 编辑:应Jon Scott的要求，我正在更新我的问题 SELECT p.postcode,
SUM(p.like_count),
COUNT(l.id)
FROM post AS p
INNER JOIN likes AS l
ON l.postcode = p.postcode
GR
浏览 26提问于2019-06-26得票数 0
回答已采纳
我试图将位于S3中的拼花文件复制到Redshift，但由于一列中有逗号分隔的数据，它失败了。有谁知道如何在地板文件中处理这样的场景吗？
文件中的Parquet数据示例
"column_1" : "data1"
"column_2" : "data2"
....
"column_16" : "test1, test2"
特定列中的数据以逗号分隔为"test1，test2“。
红移复制命令
COPY schema.table_name
FROM 's3://path/to/parquet
浏览 10提问于2022-11-29得票数 0
2回答
我可以使用红移光谱来查询我的表。但是，当我试图访问一个定义为struct的列时，我得到了以下错误：
ERROR: Spectrum Scan Error: S3ServiceException:Access Denied,Status 403,Error AccessDenied
你知道为什么会发生这种事吗？
浏览 6提问于2021-01-06得票数 1
1回答
我正在尝试使用红移频谱查询配置单元视图，但它给出了以下错误： SQL Error [500310] [XX000]: [Amazon](500310) Invalid operation: Assert
Details:
-----------------------------------------------
error: Assert
code: 1000
context: loc->length() > 5 && loc->substr(0, 5) == "s3://" -
query:
浏览 22提问于2020-03-31得票数 3
回答已采纳
2回答
自动归档aws-红移表的最佳方法
、、、、
我有一个大表的红移，我需要自动化的过程归档每月的数据。
目前的办法如下(手册)：
将红移查询结果卸载到s3
创建新的备份表
将文件从s3复制到redshift表
从原始表中删除数据
我需要让这个方法自动化，
使用aws数据管道是一种好方法吗？
请提出任何其他有效的方法和赞赏的例子。
谢谢你的帮助！
浏览 0提问于2018-03-22得票数 0
我有我的数据在MySQL数据库中，并希望将其移动到红移。我可以使用数据库迁移服务(DMS)来完成此任务吗？还有别的选择吗？我是否应该简单地考虑使用Amazon Redshift Spectrum而不移动数据？
浏览 26提问于2020-06-15得票数 1
我试图使用这个SQL查询将数据插入红移表：
insert into temp(JSON)({"name":"abc","lname":"xyz"});
但是它不起作用，我得到了一个错误：
语法错误
有没有任何方法可以使用查询将json数据插入红移？
我希望将整个json对象插入查询中，而不是传递键和值。
浏览 5提问于2017-10-11得票数 0
我们使用的是Amazon Redshift集群，当然还有我们的预设源数据。有时我们需要运行组合Redshift和本地数据的查询。为了探索这两个源中的数据，我使用了DataGrip。
我知道SQL有像这样的函数，可以在同一事务中查询不同的DB源。我想知道DataGrip是否可以做到这一点，或者我可以如何尝试通过查询Redshift和on-premises来联系？
浏览 0提问于2018-04-17得票数 0
我在S3中有一个文件，其中包含以下数据：
name,age,gender
jill,30,f
jack,32,m
以及使用查询该数据的红移
create external table spectrum.customers (
"name" varchar(50),
"age" int,
"gender" varchar(1))
row format delimited
fields terminated by ','
lines terminated by \n'
stored as textfile
locat
浏览 0提问于2017-07-12得票数 4
回答已采纳
我是新来的Redhsift和迁移甲骨文到红移。
其中一个oracle表有大约60个索引。AWS建议使用大约6个复合排序键是一个很好的做法。
这60个甲骨文索引将如何转换为Redhsift排序键？我知道没有自动转换，或者不能把所有的60个作为复合排序键。我是新来的红移，我可以知道，通常这种转换是如何处理的。
在Oracle中，我们可以继续向同一个表添加索引，查询/报告可以使用它们。但是在Redshift中，更改排序键是通过重新创建表来实现的。如何使在同一表中使用不同筛选列和联接列的所有查询具有最佳性能？
谢谢
浏览 4提问于2017-10-06得票数 2
回答已采纳
我试图访问一个现有的AWS雅典娜桌兄弟会AWS红移。
我尝试在AWS Redshift控制台中创建外部模式(指向AWS Athena DB)。它成功地创建了外部模式，但没有显示雅典娜DB的表。下面是使用的代码。
CREATE EXTERNAL SCHEMA Ext_schema_1
FROM DATA CATALOG
DATABASE 'sample_poc'
REGION 'us-east-1'
IAM_ROLE 'arn:aws:iam::55276673986:role/sample_Redshift_Role';
少数观察.
即使我指
浏览 0提问于2019-04-30得票数 5
3回答
雅典娜对红移的拼花
、、、
我希望外面的人能帮我解决这个问题。我目前正在从事一个数据管道项目，我目前的两难处境是与雅典娜一起使用拼板，还是将其存储到Redshift。
2种情况:第一，
EVENTS --> STORE IT IN S3 AS JSON.GZ --> USE SPARK(EMR) TO CONVERT TO PARQUET --> STORE PARQUET BACK INTO S3 --> ATHENA FOR QUERY --> VIZ
第二,
EVENTS --> STORE IT IN S3 --> USE SPARK(EMR) TO STORE DATA
浏览 2提问于2019-03-08得票数 4
1回答
我有拼板文件，需要加载到红移使用复制命令。由于频谱扫描错误，命令失败。因此，如果有任何导致错误的情况，我希望忽略该文件。
是否有任何方法可以忽略记录/最大错误选项，在红移复制命令，为拼板文件加载？
COPY <targettablename> from '<s3 path>' iam_role 'arn:aws:iam::1232432' format as parquet maxerror 250
错误：-基于拼花的副本不支持MAXERROR参数
浏览 12提问于2022-04-10得票数 2
2回答
当我在雅典娜查询编辑器中运行这个查询时，它可以正常工作。
从“sam更进一步b”中选择*。“elb_logs”限制为10；
elb_logs表是根据官方教程生成的。当我试图在红移中使用频谱时，我可以看到所有列的所有"NULL“值。我使用以下命令创建athena_schema：
drop schema "athena_schema";
create external schema athena_schema from data catalog
database 'sampledb'
iam_role 'arn:aws:iam::94331X
浏览 1提问于2019-10-03得票数 3
回答已采纳
我有以下记录的Avro模式，我想向Redshift发出一份副本：
"fields": [{
"name": "id",
"type": "long"
}, {
"name": "date",
"type": {
"type": "record",
"name": "MyDateTime",
"namespace"
浏览 2提问于2018-09-25得票数 1
1回答
Athena有一些默认的，它可以帮助~ cap意外“失控”查询S3中的一个大数据湖的代价。它们不是很好(基于~时间，不是扫描的数据量)，但仍然有帮助。
那么红移谱呢？它提供了哪些机制可以很容易地用于、上限、成本、或减少“意外”扫描针对S3的单个失控查询中过多数据的风险？解决这个问题的好方法是什么？
浏览 0提问于2018-08-05得票数 3
回答已采纳
1回答
我在不使用爬虫的情况下使用AWS Glue创建了新的数据库和表结构，并且可以做同样的事情，我的意思是使用爬虫创建表结构。这不是问题，我想要的是基于AWS表元数据在AWS中创建相同的表结构。
我用Python手工完成了Django，得到了表的元数据，并创建了"CREATE table .“命令并执行。我已经有了另一种解决方案。--我们可以从AWS端或者使用AWS (如Boto3 )--来做这件事吗？我不需要表中的任何数据，只想在AWS红移中创建空表。这个是可能的吗？
我还检查了AWS红移光谱。如果我可以在AWS中创建这个表，那么我可以使用频谱命令从S3或任何其他资源中获取数据。所以我先要
浏览 4提问于2020-03-12得票数 2
回答已采纳
1回答
选择入红移
、、、
select * into table查询在红移中工作吗？当我尝试时，我会得到以下错误：
无法将JDBC Driver]com.amazon.dsi.dataengine.impl.DSISimpleRowCountResult转换为com.amazon.dsi.dataengine.interfaces.IResultSet SQL State=HY000 1语句失败。
浏览 3提问于2020-11-20得票数 0
回答已采纳
1回答
我有两个mysql数据库，每个都在它们自己的ec2实例上。每个数据库在模式“product”下都有一个表“report”。我使用爬虫将表模式放入名为db1的数据库中的aws glue data目录中。然后，我使用aws glue将表从ec2实例复制到s3存储桶中。然后我使用redshift来查询表。我在查询编辑器中使用下面的脚本从aws爬虫获取外部模式到redshift。我想将这两个表合并到一个表中，并添加一个‘source’列和一个标志来指示每个记录所来自的原始表。有没有人知道在etl过程中使用aws glue是否可能做到这一点？或者你能提出另一种解决方案吗？我知道我可以将它们与redsh
浏览 30提问于2019-06-20得票数 0
因此，我试图对红移光谱运行以下简单查询：
select * from company.vehicles where vehicle_id is not null
并返回0行(表中的所有行都为null)。但是，当我在雅典娜上运行相同的查询时，它可以很好地工作并返回结果。试过msck修复，但雅典娜和红移都使用相同的亚稳态，所以这不重要。我也没看到任何错误。
文件的格式是orc。
create表查询是：
CREATE EXTERNAL TABLE 'vehicles'(
'vehicle_id' bigint,
'parent_id' big
浏览 0提问于2018-08-30得票数 3
回答已采纳
1回答
我已经在一个私有子网中建立了一个红移群集。我可以成功地连接到红移群集，并通过DBeaver执行基本的SQL查询。
我还需要从s3上传一些文件到redshift，因此我在私有子网中设置了一个s3网关，并更新了专用子网的路由表，以添加所需的路由，如下所示：
Destination Target Status Propagated
192.168.0.0/16 local active No
pl-7ba54012 (com.amazonaws.us-east-2.s
浏览 3提问于2020-01-01得票数 0
1回答
我需要在S3上使用红移光谱的数据。然而，我有两个不同的文件夹(2018 / 2019)，我需要拿走。在“位置”部分，我该如何兼顾这两个问题？
现在我有：
create external table test_spectrum.full_events_test2
(
timestamp bigint,
device struct<locale:struct<country:varchar, language:varchar>, platform:struct<name:varchar>>,
)
row format serde 'org
浏览 1提问于2019-07-17得票数 1
回答已采纳
2回答
我正在尝试从S3 (拼花文件)中插入红移数据。通过SQLWorkbench完成它，600万行需要46秒。但通过连接器的火花红移，它需要大约7分钟。
我正在尝试使用更多的节点，并得到相同的结果。
有任何建议来改善使用火花红移的时间吗？
星火中的代码：
val df = spark.read.option("basePath", "s3a://parquet/items").parquet("s3a://parquet/items/Year=2017/Month=7/Day=15")
df.write
.format("com.
浏览 0提问于2018-02-07得票数 3
回答已采纳
3回答
我面临着一项任务，无法从Amazone Redshift中提取大量数据到另一个表。这肯定需要一种更有效的方法，但我对SQL和AWS并不熟悉，所以决定向这个聪明的社区征求意见。
这是我最初的SQL查询，它要花费很长时间：
-- STEP 1: CREATE A SAMPLE FOR ONE MONTH
SELECT DISTINCT at_id, utc_time, name
INTO my_new_table
FROM s3_db.table_x
WHERE type = 'create'
AND (dt BETWEEN '20181001' AND '
浏览 0提问于2019-01-12得票数 0
1回答
星火如何与红移互动？
、、、
我使用星火已经有几年了，我的新团队使用Redshift。我已经成功地绑定了Spark/Redhshift集群，并且可以通过Spark成功地执行红移查询，并将它们卸载到S3中。
如果我正确理解，当我在火花红移中生成数据时，实际的重物是由红移本身完成的，而不是由火花完成的。我在这两个平台上都运行了相同的查询，而在Spark中运行的查询所花费的时间大约是以前的两倍。由于在这两种情况下，查询本身都是由Redshift解决的，所以我认为额外的时间是网络I/O，从红移到火花集群。
星星之火实际上只是一个查询的收集器，它以方便的数据with的形式出现，然后我可以用它的库来并行机器学习方法。
这个描述有多准确
浏览 1提问于2016-12-09得票数 1
我正在寻找一个轻量级的SQL工具兼容亚马逊红移。
主要(目前唯一的)用例是调度对红移表执行聚合的查询，并将结果加载回其他红移表(通过创建新表或在现有表上执行INSERT INTO )。
一个具体的例子可能是“每天在表T1上执行SQL，并将结果行插入到表T2中，并附加一个日期列”。
这种类型的事情可以通过为每个所需查询设置cron作业来完成。但是，我希望该工具能够被非工程用户(但SQL精通)使用。因此，我正在寻找一些具有良好UI的东西，可能还有一个用于定义转换的拖放界面。
要明确的是，我不需要连接不同来源的数据(例如。将数据从SQL数据库加载到Redshift中；这种类型的事情似乎是很多工具所关
浏览 0提问于2016-02-18得票数 1
我正在尝试将数据从S3存储桶加载到红移表中，表中有一列作为源id，我想将源文件所在的文件夹名称存储到该列中。
实际上我在S3存储桶中有多个文件夹，在每个文件夹中我有一个文件，并且我使用redshift中的复制命令来移植同一个表中的所有文件，所以为了识别数据来自哪个文件夹，所以我需要将文件夹名和数据一起存储到Redshift表中，我在表中有单独的列作为源id。
有人能帮我吗？
浏览 0提问于2018-03-26得票数 0
1回答
我是talend的新手，对它的经验非常有限，我的任务需要在daliy的基础上执行每天从sql rds到redshift的增量更新，但是我的作业运行时传输速率非常慢，详细信息如下所示
我的sql rds查询是
SELECT
*
FROM
test.ankit2
WHERE
id > (SELECT COALESCE(max(id), 0) as id FROM test.stagetable)
ankit2是myrds中的表，stagetable是红移中的表，并使用tmap组件将组件从rds输入链接到红移输出组件请查看图像
请看一看，并提供您的建议，任何帮助将
浏览 0提问于2016-02-15得票数 0
在我的红移表中有一个最大尺寸为20,000的varchar列。大约60%的行将此列设置为空或空。在这种情况下，绩效的影响是什么？我从文档中读到：
由于Amazon非常有效地压缩列数据，因此创建比所需的列大得多的列对数据表的大小影响最小。但是，在处理复杂查询时，可能需要将中间查询结果存储在临时表中。由于临时表没有压缩，因此不必要的大列占用过多的内存和临时磁盘空间，这会影响查询性能。
因此，在这种情况下，这意味着查询性能可能很差。除了这一点之外，还有什么别的缺点吗？
浏览 4提问于2017-11-10得票数 0
我在红移中创建了一个(现代的)数据仓库。我们所有的基础设施都托管在亚马逊。到目前为止，我已经将DMS设置为从业务数据库的某些表( EC2上的Server，而不是RDS)中摄取数据(包括更改的数据)，并将其直接存储到S3。
现在，我必须从S3中转换和充实这些数据，然后才能将其写入Redshift。我们的DW有一些事实和维度表(星型模式)，因此，假设一个客户维度，它不仅应该包含客户基本信息，还应该包含地址信息、城市、州等。这些数据分布在我们的业务数据库中的几个表中。
因此，我的问题是，我不清楚如何查询S3暂存区域，以便连接这些表并将其写入红移DW。我想要使用AWS服务，如Glue，Kinesis等
浏览 1提问于2020-02-11得票数 2
回答已采纳
我想卸载数据文件从亚马逊红移到亚马逊S3的阿帕奇帕奎特格式，以便查询S3上的文件使用红移光谱。我已经探索了所有的地方，但是我找不到任何关于如何将文件从Amazon Redshift卸载到使用Parquet格式的S3的东西。这个功能是否还不受支持，或者我找不到任何关于它的文档。有没有做过这方面工作的人可以分享一些关于这方面的信息？谢谢。
浏览 0提问于2018-02-08得票数 10
1回答
问题
我有一个希望在本地运行的管道，它执行以下操作：
从Redshift下载表到S3桶(基本上是)
将表从S3桶复制到另一个Redshift (基本上是)
问题
是否可以使用QA红移，然后用LocalStack将这些文件复制到本地模拟的PosgreSQL，最后再使用模拟的PosgreSQL进行第二次红移？这种方法会有更多的利大于弊吗？
Note：我不想用LocalStack在本地嘲笑Redshift，因为很明显
红移服务仅模拟红移管理端点(创建集群等)而不是实际的查询引擎。
浏览 9提问于2022-03-16得票数 1
1回答
我必须将数以百万计的记录加载到redshift DB中(这是必须的)，这样做的最有效/最快的方法是什么？现在，我正在创建一个字典，在其中存储行块，这些行被抛到字符串中，这样我就可以将它们放在查询字符串中，然后使用Pandas这样的方法：
with psycopg2.connect(prs.rs_conection_params_psycopg2) as conn:
with conn.cursor() as c:
c.execute(query_create_empty_main_table)
for chunk in df_chunks.keys()
浏览 0提问于2020-04-22得票数 0
回答已采纳
1回答
我想在红移上创建一个枚举类型，但是不能。
CREATE TYPE status AS ENUM ('Yes', 'No');
错误是：
An error occurred when executing the SQL command:
CREATE TYPE status AS ENUM ('Yes', 'No')
ERROR: syntax error at or near "ENUM"
Position: 23
CREATE TYPE status AS ENUM ('Yes',
浏览 2提问于2018-04-02得票数 3
回答已采纳
1回答
红移文档将时间序列表确定为最佳实践：
但是，它没有解决以下任何问题：
一个联合视图中有多少个表--所有视图都是合理的--数百个？(未回答的)
任何向联合写入的方法-所有视图和红移将这些插入直接指向正确的底层表？(回答:否)
加载底层表的最有效方法？也许使用消防软管插入到一个暂存表中，然后定期地将这些行插入到联合所有视图中的适当表中(未回答的)
在查询联合-所有视图时，如果它们的日期范围超出了查询的条件，那么是否可以启用红移以消除一些底层分区(表)？(回答:否)
redshift是否支持删除旧表、添加新表和在事务中重建union-all视图？(unanswered)
浏览 1提问于2016-10-05得票数 9
2回答
我在AWS Redshift中维护了一个数据仓库。最近，数据量和速度都有所增加。一种选择是，以更高的成本，水平地继续扩展集群。我想知道是否有任何可用的归档选项，以便我可以像往常一样查询整个数据(可能会在查询时间上出现折中)，但成本低或没有额外成本？
一种选择是直接从S3中使用外部表和查询数据，但是用于实现这一目标的工具，比如雅典娜和Glue，也有自己的成本，这也是基于每次查询的。
浏览 2提问于2018-06-19得票数 0
回答已采纳
2回答
我们有一个数据仓库系统，需要将s3上以csv格式显示的数据加载到红移表中。唯一的限制是只有唯一的记录被插入红移。
为了实现这一点，我们将以以下方式使用暂存表。
创建一个临时表。
将S3文件复制到TEMOPRARY表中。
开始交易
插入到{主红移表} select从列上的{连接在暂存表和主红移表之间，该表应该是唯一的，以便记录是唯一的}
结束交易
select子查询中使用的联接返回那些存在于暂存表中的记录，但不返回主红移表中的记录。
是上述机制，没有竞争条件.
例如，考虑-
主红移表没有行，s3文件包含两个记录。
因此，当由两个不同的进程/请求加载相同的s3文件时。每个请求的select查询将主
浏览 2提问于2016-05-09得票数 0
我希望将Redshift表转换为JSON，以便可以从这个JSON自动生成sql查询。为此，我需要数据类型、列名( distkey )和排序键( sortkey )，它们在系统表中以某些或其他格式可用。有一件事我找不到，那就是如何提取红移列的默认值。
有人能帮我吗？
浏览 3提问于2015-12-04得票数 0
回答已采纳
2回答
我仍然是aws生态系统的新手，并且在AWS的某些组件上做POC。我必须将CSVs数据与红移表数据进行匹配。谁能告诉我在哪里我可以得到一个如何执行上面的想法。提前谢谢。
浏览 1提问于2020-06-28得票数 1
1回答
AWS数据湖
、、、、
您需要使用胶水摄取excel和其他专有格式吗?还是允许胶水在您的数据湖中爬行s3桶以使用这些数据格式？
我已经浏览过"“文档，我不得不绞尽脑汁地想要把数据输入湖里。我有一个数据提供程序，它以excel和access文件的形式存储在他们的系统中。
基于流程流，他们会将数据上载到提交s3桶中，这将引发一系列操作，但没有将数据转换为与其他工具一起工作的格式。
使用这些文件是否需要对在桶中提交的数据使用胶水，还是有其他方法使这些数据可用于其他工具，如雅典娜和红移光谱？
感谢你在这个话题上所能提供的任何启示。
-Guido
浏览 4提问于2017-09-21得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
