如何在用pg8000读取红移数据时避免字节引用的列标题
在使用pg8000读取红移数据时，避免字节引用的列标题可以通过以下步骤实现：
- 确保使用正确的字符编码：在连接到红移数据库之前，设置pg8000连接对象的charset属性为正确的字符编码，例如UTF-8。这可以通过在连接代码中添加以下行来完成：
conn.charset = 'utf8'- 使用合适的数据类型进行解码：在读取红移数据时，确保使用适当的数据类型进行解码，以避免字节引用的列标题。pg8000提供了
decode()方法，可以将字节字符串解码为Unicode字符串。例如，可以使用以下代码将列标题解码为Unicode字符串：
column_name = column_name.decode('utf-8')- 使用合适的参数化查询：在执行查询时，使用参数化查询可以避免字节引用的列标题。通过将查询参数作为参数传递给pg8000的
execute()方法，而不是直接将参数嵌入到查询字符串中，可以确保正确处理列标题。例如：
cursor.execute("SELECT * FROM table WHERE column = %s", (param,))- 避免直接拼接查询字符串：避免直接拼接查询字符串可以减少潜在的安全风险，并且可以避免字节引用的列标题。相反，使用参数化查询和占位符来构建查询语句，以确保正确处理列标题。
总结起来，为了在使用pg8000读取红移数据时避免字节引用的列标题，需要确保使用正确的字符编码、合适的数据类型进行解码、使用参数化查询和避免直接拼接查询字符串。这些步骤可以提高代码的可读性、安全性和可维护性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库 PostgreSQL：https://cloud.tencent.com/product/postgres
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
相关·内容
我正在通过pg8000在pandas中加载一些红移数据： >>>> df = pd.read_sql(sql_text, pg8000_cnx) pg8000_cnx是到红移数据库的连接对象。我总是得到带字节引号的列，例如： >>> df.columns
Index([b'column_',
b'column_2',
...
b'column_n'],
dtype='object', length=142) 我知道我可以使用.dec
浏览 20提问于2019-05-14得票数 1
回答已采纳
嗨，我正试着用胶水来查询aws中的一个表，红移成熊猫的数据。我使用pg8000进行连接(因为aws胶水不支持sqlalchemy )。
当我使用熊猫的read_sql或read_sql_query函数查询表时，我在dataframe中得到了额外的char，我猜这是pg8000 dbapi的问题。
conn = pg8000.connect(user = 'postgres', password = '*****', host =127.0.0.1, port = 5439, database = 'lifungdb')
cursor = co
浏览 0提问于2019-04-24得票数 1
回答已采纳
我试图使用红移中具有256位值的SHA2对数据进行散列，但结果与BigQuery中的SHA256不同。不确定它是否可以使用，因为我的用户正在使用BigQuery，但是我的团队正在使用Redshift。
这就是我在尝试的。
BigQuery
SELECT SHA256('testing')
z4DNiu1ILV0VJ9fccvzv+E5jJlkoSER9LcCw6H38mpA=
红移
SELECT SHA2('testing', 256)
Result: cf80cd8aed482d5d1527d7dc72fceff84e6326592848447d2dc0b
浏览 12提问于2022-11-07得票数 1
回答已采纳
3回答
我该怎么杀红移？
、、、
我用apt-get安装了红移。
我从一个终端窗口开始，然后不小心把终端给弄坏了。红移并没有停止自己的运行。我的屏幕肯定还在红移的影响下。
我打开Linux系统监视器，却找不到任何我认为是红移的东西。当然不是所谓的红移。
那我该怎么杀红移呢？
浏览 0提问于2017-10-04得票数 8
回答已采纳
因此，如果长度小于255，许多数据库将将varchar字段的长度前缀存储为1字节，如果长度大于255，则存储2字节。例如，MySQL文档说：
与CHAR不同，VARCHAR值存储为1字节或2字节长度前缀加数据。长度前缀表示值中的字节数。如果值不超过255个字节，列使用一个长度字节；如果值可能需要超过255个字节，则使用两个长度字节。
我想知道红移是否也是一样的？我已经搜过那些医生了，但却找不到它来救我！
顺便提一下，我问这个问题，是因为我们的同事在大多数字段中使用varchar(256)构建了整个数据仓库--所有短字段长度的限制，1字节长度存储的好处都没有(除非Redshift不考虑使用2字节
浏览 0提问于2015-05-01得票数 4
回答已采纳
1回答
在单个表上有一个不同的查询。
select distinct d, e, f, a, b, c from t where a = 1 and e = 2;
在cols a，b，c中的不同值的个数高(高列基数)，而cols d，e，f是低基数列。我的数据是S3格式的ORC格式，我在雅典娜和红移谱中有外部表指向同一个文件。
当上面的查询在雅典娜中运行时，它会在几秒内返回，而在红移谱中则需要几分钟。
但是当我移到选择列表的末尾时，它在红移光谱中也能很好地工作。这种情况只发生在这个特定的列中，我的意思是在结尾移动d或e不会有任何区别，即它们运行的时间更长。col和其他列一样是varchar列，该列的最
浏览 0提问于2019-04-05得票数 0
我想在睡觉前用红移来改变屏幕的颜色温度。
现在看起来红移需要我安装地质线索。但我不想安装那个包裹。此外，我还想指定手动更改屏幕颜色的时间。要么手动设置我的位置，要么简单地指定它应该开始和结束调光的时间。
有没有办法改变我的屏幕颜色温度，就像用其他工具，或者用一些技巧？我还感兴趣的是，为什么红移是不可能的，即使不管它是从地理线索位置数据获取数据，还是通过手动输入的数据。
我用Debian 9和KDE。
浏览 0提问于2017-09-17得票数 1
回答已采纳
1回答
星火如何与红移互动？
、、、
我使用星火已经有几年了，我的新团队使用Redshift。我已经成功地绑定了Spark/Redhshift集群，并且可以通过Spark成功地执行红移查询，并将它们卸载到S3中。
如果我正确理解，当我在火花红移中生成数据时，实际的重物是由红移本身完成的，而不是由火花完成的。我在这两个平台上都运行了相同的查询，而在Spark中运行的查询所花费的时间大约是以前的两倍。由于在这两种情况下，查询本身都是由Redshift解决的，所以我认为额外的时间是网络I/O，从红移到火花集群。
星星之火实际上只是一个查询的收集器，它以方便的数据with的形式出现，然后我可以用它的库来并行机器学习方法。
这个描述有多准确
浏览 1提问于2016-12-09得票数 1
2回答
红移-合并两列
、、、、
我有两个列，它们有客户名称和产品名称。我想将这两列合并为它们之间的“-”。
有人能告诉我怎么做吗。我在用红移。我尝试了concat和string_agg，但是我想看看是否有一种没有group by的替代方式。
customer_name, product_name, expected_output
Kev, Prod_A, Kev - Prod_A
浏览 0提问于2018-10-16得票数 4
回答已采纳
我创建了许多红移存储过程(15-20)，有些可以异步运行，而许多必须以同步方式运行。
我尝试使用Aws Eventbridge以异步和同步的方式对它们进行调度，但发现了许多限制(故障处理和编排)。
我开始使用AWS管理的气流。
我们如何在气流中进行红移群集连接？
这样我们就可以在气流场和存储过程中调用我们的存储过程。会在红移集群中运行吗？
是否存在用于连接的RedshiftOperator，或者我们可以使用气流菜单中的connection选项创建到Redshift集群的直接连接？
如果可能的话，我们是否可以使用AWS控制台实现所有这些，而不使用Aws
浏览 8提问于2021-12-21得票数 0
回答已采纳
我有一个字符串，当显示在Notepad++中时：
App.xEFxBFxBF35
tocken EFxBFxBF接缝是一些应用程序无法处理的UTF实体(对我来说，它的红移)。
在记事本中，字符串读为
App.35
如何从c#中的字符串中删除该实体？
编辑
在visual studio中，调试器中的字符串显示为
"App.\uffff35"
编辑1
最后发现，当我插入非拉丁文字符时，该列的大小需要加倍。
我通过查看sql server中列的字符长度来创建红移表，并将该数字直接用于红移中的列。这适用于拉丁语的语言，而非拉丁语的语言。
我通过这个红移查询找到了不同的长度。
selec
浏览 4提问于2017-07-18得票数 0
回答已采纳
1回答
红移文档将时间序列表确定为最佳实践：
但是，它没有解决以下任何问题：
一个联合视图中有多少个表--所有视图都是合理的--数百个？(未回答的)
任何向联合写入的方法-所有视图和红移将这些插入直接指向正确的底层表？(回答:否)
加载底层表的最有效方法？也许使用消防软管插入到一个暂存表中，然后定期地将这些行插入到联合所有视图中的适当表中(未回答的)
在查询联合-所有视图时，如果它们的日期范围超出了查询的条件，那么是否可以启用红移以消除一些底层分区(表)？(回答:否)
redshift是否支持删除旧表、添加新表和在事务中重建union-all视图？(unanswered)
浏览 1提问于2016-10-05得票数 9
1回答
我正在找出不同的方式吃红移从一个移动输送消防软管。我看到它需要Firehose +中介S3 + Redshift，并且我看到在S3的相同帐户中使用另一个帐户的S3是可能的。我的问题是: S3水桶和消防水管是否有可能在帐户A中，但从帐户B中摄取一个红移？
提前谢谢你。
浏览 13提问于2022-11-19得票数 0
2回答
我们有一个数据仓库系统，需要将s3上以csv格式显示的数据加载到红移表中。唯一的限制是只有唯一的记录被插入红移。
为了实现这一点，我们将以以下方式使用暂存表。
创建一个临时表。
将S3文件复制到TEMOPRARY表中。
开始交易
插入到{主红移表} select从列上的{连接在暂存表和主红移表之间，该表应该是唯一的，以便记录是唯一的}
结束交易
select子查询中使用的联接返回那些存在于暂存表中的记录，但不返回主红移表中的记录。
是上述机制，没有竞争条件.
例如，考虑-
主红移表没有行，s3文件包含两个记录。
因此，当由两个不同的进程/请求加载相同的s3文件时。每个请求的select查询将主
浏览 2提问于2016-05-09得票数 0
我们有一个红移集群，不是在VPC中的，我一直试图从VPC中的EMR集群(连接互联网网关)连接到它，到目前为止没有运气。我想知道是否有可能做到这一点。
注意-我已经尝试在VPC公共子网中启动一个新的红移群集，并且能够从同一个子网中的EMR连接到它。
浏览 0提问于2020-08-05得票数 0
回答已采纳
我是新来的Redhsift和迁移甲骨文到红移。
其中一个oracle表有大约60个索引。AWS建议使用大约6个复合排序键是一个很好的做法。
这60个甲骨文索引将如何转换为Redhsift排序键？我知道没有自动转换，或者不能把所有的60个作为复合排序键。我是新来的红移，我可以知道，通常这种转换是如何处理的。
在Oracle中，我们可以继续向同一个表添加索引，查询/报告可以使用它们。但是在Redshift中，更改排序键是通过重新创建表来实现的。如何使在同一表中使用不同筛选列和联接列的所有查询具有最佳性能？
谢谢
浏览 4提问于2017-10-06得票数 2
回答已采纳
2回答
在红移表中保存非常长的字符串(最大可达50KB)的列的最佳数据类型是什么？
默认情况下，文本由varchar(256)替换。目前我使用的是varchar(65535)，但我不确定这是否是正确的方式……
谢谢
浏览 1提问于2015-06-18得票数 21
1回答
我想在红移上创建一个枚举类型，但是不能。
CREATE TYPE status AS ENUM ('Yes', 'No');
错误是：
An error occurred when executing the SQL command:
CREATE TYPE status AS ENUM ('Yes', 'No')
ERROR: syntax error at or near "ENUM"
Position: 23
CREATE TYPE status AS ENUM ('Yes',
浏览 2提问于2018-04-02得票数 3
回答已采纳
我在s3中有一个‘s3’文件，其中包含大量的文本数据。我试图上传数据从s3到红移表，但我的数据是不一致的，它有很多特殊的字符。有些记录可能会被红移所否定。我想忽略这一记录，继续下一项记录。是否可以使用COPY命令忽略该记录？
我期待异常处理功能，同时使用复制命令上传数据从s3到Redshift。
浏览 4提问于2022-11-11得票数 0
4回答
当试图将RDS mysql迁移到红移时，当在目标连接中连接Redshift数据库时，它会抛出错误：
测试端点失败:应用程序-状态: 1020912，应用程序-消息: IN/A，应用程序-详细-消息: N/A
请帮忙解决..。
浏览 2提问于2018-10-16得票数 3
1回答
正在从快照恢复Amazon Redshift。使用不同的IP恢复了红移。有没有办法控制恢复相同IP的Redshift。问题是客户端没有意识到IP的变化，每次都需要为客户端修复IP，这真的很糟糕。
谢谢奥列格。
浏览 0提问于2017-12-14得票数 1
我试图将位于S3中的拼花文件复制到Redshift，但由于一列中有逗号分隔的数据，它失败了。有谁知道如何在地板文件中处理这样的场景吗？
文件中的Parquet数据示例
"column_1" : "data1"
"column_2" : "data2"
....
"column_16" : "test1, test2"
特定列中的数据以逗号分隔为"test1，test2“。
红移复制命令
COPY schema.table_name
FROM 's3://path/to/parquet
浏览 10提问于2022-11-29得票数 0
3回答
我写了一个程序，生成csv格式的数据，然后将数据上传到S3，最终得到副本到红移表。以下是代码
bucket2 = self.s3Conn.lookup('my-bucket')
k = Key(bucket2)
## Delete existing
key_del = bucket2.delete_key("test_file.csv")
## Create new key and upload file to s3
k.Key = "test_file.csv"
k.name = "t
浏览 2提问于2015-03-23得票数 0
3回答
我使用AWS红移作为我的桌面桌面的后端。AWS集群运行的是两个dc1.大节点和数据库表，我分析的是30 of (启用红移压缩)，为了性能问题，我选择了redshift而不是tableau提取，但是看起来红移实时连接比提取要慢得多。有什么建议我应该研究一下吗？
浏览 3提问于2016-11-16得票数 1
1回答
我们有S3桶，它是嵌套的文件夹结构，如TeamName/Year/Month/Day/<Parquet files 1 - n>。
我们正在尝试在S3文件夹上创建一个红移频谱(使用Glue数据目录)，并在Redshift中查询数据。到目前为止，我已经看到了所有的教程，它可以直接处理根文件夹下的文件。那么，如何使用嵌套文件夹在存储桶中看到红移中的多个文件呢？
此外，如果我们添加更多的文件或文件夹，例如Day2/ParquetFiles，频谱是否能够检测到这一点？有办法在根文件夹上创建频谱吗？所有文件的架构将是相同的。
浏览 12提问于2022-11-16得票数 0
回答已采纳
我们正在将Oracle表迁移到红移表。我们发现很少有表具有CLOB数据类型。在红移中，我们将CLOB转换为Varchar(65535)类型。在执行复制命令时，我们将
数据列investigation_process的长度大于表中定义的长度。表: 65000，数据: 90123。
我们需要使用哪种数据类型？请分享你的建议。
浏览 6提问于2022-02-08得票数 0
回答已采纳
我现在的物联网设计是iot > rule > kinesis firehose > redshift
我有很多规则
SELECT *, timestamp() AS timestamp FROM 'topic/#
我收到json的消息，如下所示
{
"deviceID": "device6",
"timestamp": 1480926222159
}
在我的红移表中有一个列eventtime as Timestamp
现在，我想将json时间戳值存储到事件列，但它会根据需要给出错误。
TIMEFOR
浏览 1提问于2016-12-05得票数 2
如果我有一个字符串，如'Picá‘在红移，我如何才能只提取'á'？
试图在一个充满字符串的列中获取外来字符的计数。
浏览 5提问于2017-11-02得票数 0
回答已采纳
我试图加载红移表，但在一个列上失败了--数据列‘column _description’的长度比表中定义的长度长。表: 65535，数据: 86555。
我试图在RS表中增加列的长度，看起来65535是RS支持的最大长度。
在Redshift中，我们有什么替代存储价值的方法吗？
浏览 5提问于2022-01-27得票数 0
2回答
我正在编写单元测试，在其中使用内存中的H2 DB来测试逻辑。实际代码运行在redshift上，因为redshift使用psql驱动程序，我选择了H2作为解决方案。
但我的红移表名包含点(".")接线员在里面。例子：
select * from emp.vikas;
在单元测试中，查询失败，说“模式'emp‘没有找到”。为了解决这个问题，我在查询中的表名中添加了双引号。
但是现在红移查询在运行实际代码时失败了。(不是单元测试)说“关系”emp.vikas不存在“
我的问题是，我们如何才能为红移查询提供一个运行的测试用例？
浏览 1提问于2018-12-12得票数 0
我有一个文本字段，在拼花文件最大长度141598。我正在加载拼花文件，以红移，并得到错误，而加载时，最大的一个varchar可以存储是65535。是否还有其他数据类型可供我使用或另一种选择？
加载时出错：
S3 Query Exception (Fetch). Task failed due to an internal error. The length of the data column friends is longer than the length defined in the table. Table: 65535, Data: 141598
浏览 1提问于2019-01-03得票数 2
我有我的数据在MySQL数据库中，并希望将其移动到红移。我可以使用数据库迁移服务(DMS)来完成此任务吗？还有别的选择吗？我是否应该简单地考虑使用Amazon Redshift Spectrum而不移动数据？
浏览 26提问于2020-06-15得票数 1
在我的红移表中有一个最大尺寸为20,000的varchar列。大约60%的行将此列设置为空或空。在这种情况下，绩效的影响是什么？我从文档中读到：
由于Amazon非常有效地压缩列数据，因此创建比所需的列大得多的列对数据表的大小影响最小。但是，在处理复杂查询时，可能需要将中间查询结果存储在临时表中。由于临时表没有压缩，因此不必要的大列占用过多的内存和临时磁盘空间，这会影响查询性能。
因此，在这种情况下，这意味着查询性能可能很差。除了这一点之外，还有什么别的缺点吗？
浏览 4提问于2017-11-10得票数 0
2回答
我正在尝试使用命令行将PostgreSQL数据文件导入Amazon。我确实导入了架构文件，但无法导入数据文件。亚马逊红移中的数据插入似乎有点不同。
我想知道使用命令行将数据文件导入红移的各种方法。
更新
我的数据文件看起来如下：
COPY actor (actor_id, first_name, last_name, last_update) FROM stdin;
0 Chad Murazik 2014-12-03 10:54:44
1 Nelle Sauer 2014-12-03 10:54:44
2 Damien Ritchie 2014-12-03 10:54:44
3 Casime
浏览 3提问于2015-05-15得票数 4
2回答
在从红移表中通过查询获取数据时，我面临一个问题。例如：
table name: test_users
column names: user_id, userName, userLastName
现在，在创建test_users表时，它将userName列的大写字母转换为username，并与将转换为userlastname的userLastName类似。
我已经找到了将所有列转换为大写或小写的方法，但不是按原样得到的。
浏览 0提问于2018-05-07得票数 3
我正在尝试创建一个AWS作业，其中输入在Redshift集群中，输出表在dynamoDB中。我已经映射了这些列，但是输入表中没有主键，但是dynamoDB需要一个主键。例如，输入表有列: owning_buyer、owner_code、business_name、owner_group_id、owner_group_status。
是否有方法为AWS Glue作业中的输出表创建随机主键值？还是必须事先编辑红移群集中的输入表？(可能将集群中的输入字段串接在一起，但我不确定这是否是有效的解决方案。)
浏览 5提问于2022-08-02得票数 0
回答已采纳
1回答
我抛出了一个红移表，并试图恢复它。但是，还原时会出现错误。我甚至尝试手动运行create命令，它会产生一个错误。我不知道是怎么回事。谢谢。
CREATE TABLE report (
experiment_id bigint,
offer_type character varying(50),
variant_id bigint,
variant_name character varying(256),
active_lapsed character varying(10),
active_lapsed_new character varying
浏览 1提问于2020-04-02得票数 0
回答已采纳
1回答
我有一个类似于BytesIO文件的对象，包含一个CSV.我想把它读到Pandas dataframe中，而不需要在中间写入磁盘。
米维
在我的用例中，我直接将文件下载到BytesIO中。对于这个MWE，我将在磁盘上有一个文件，将它读入BytesIO，然后读入Pandas。磁盘步骤只是为了制作一个MWE。
file.csv
a,b
1,2
3,4
剧本：
import pandas as pd
from io import BytesIO
bio = BytesIO()
with open('file.csv', 'rb') as f:
bio.write(
浏览 10提问于2020-05-09得票数 6
回答已采纳
1回答
虽然跨数据库查询(在基于ra3节点的集群中)和联合查询似乎单独工作，但它们似乎不能一起工作。我很可能漏掉了什么，所以问题就来了。详情如下：
RDS Aurora MySQL有一个数据库，DB1 红移集群说c1有数据库，比如RSDB1和RSDB2，我可以在RSDB1 say ext_mdb中将DB1配置为外部模式，并能够查询以及ex:如下所示
从ext_mdb.Table2选择计数(1)；从RSDB1.ext_mdb.Table2选择计数(1)；#这也有效
我还可以在连接到RSDB2时使用跨数据库查询模式RSDB1.public.Table1。当我尝试从RSDB2查询RSDB1.ext_mdb
浏览 7提问于2021-12-01得票数 0
回答已采纳
3回答
以下查询：
SELECT
CASE WHEN is_dog = 1 THEN COUNT(*) END AS dogs,
CASE WHEN is_cats = 1 THEN count(*) END as cats
FROM
animals
WHERE
birth_date >= '2018-01-01';
我知道这个错误：
无效操作:列"is_dog“必须出现在GROUP子句中或在聚合函数中使用
在这件事上我需要改变什么？我刚开始使用红移。
浏览 0提问于2018-11-29得票数 0
回答已采纳
2回答
我想写流数据从S3桶到红移通过火龙带，因为数据是实时的(每分钟600个文件)，我不想任何形式的数据损失。
如何将来自S3的数据放入中？
浏览 4提问于2017-08-14得票数 1
1回答
CREATE TABLE inventory (
id SERIAL PRIMARY KEY,
product VARCHAR,
quantity DECIMAL
);
INSERT INTO inventory
(product, quantity)
VALUES
('product_01', '800'),
('product_02', '300'),
('product_03', '200'),
('product_04', '500'
浏览 0提问于2021-03-30得票数 0
回答已采纳
2回答
我正在尝试从S3 (拼花文件)中插入红移数据。通过SQLWorkbench完成它，600万行需要46秒。但通过连接器的火花红移，它需要大约7分钟。
我正在尝试使用更多的节点，并得到相同的结果。
有任何建议来改善使用火花红移的时间吗？
星火中的代码：
val df = spark.read.option("basePath", "s3a://parquet/items").parquet("s3a://parquet/items/Year=2017/Month=7/Day=15")
df.write
.format("com.
浏览 0提问于2018-02-07得票数 3
回答已采纳
我有一个，它的记录我想用AWSGlu将其插入AWS红移，我创建了爬行器来将源表和目标表.They工作得很好。
当我使用目标作为红移时，当我将记录保存在S3上而不是红移.But上时，代码就会工作，我得到了错误。
不管怎么说我总是犯错误
"StreamingQueryException:在列表碎片时出错“
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.c
浏览 18提问于2022-05-06得票数 1
我正在用Redshift创建程序。我想在END语句之前添加一条select语句来验证结果，但它不起作用。 这可以很好地工作： CREATE OR REPLACE PROCEDURE my_procedure()
LANGUAGE plpgsql
AS $$
BEGIN (a whole bunch of select into statements)
commit;
END;
$$; 但是，当我在提交之后使用"select count(*) cnt from table“时，我得到一个错误，比如 “无法从在原子上下文中执行的过程调用COMMIT
浏览 27提问于2020-04-17得票数 0
1回答
我正在使用AWS红移频谱查询一些数据存储在地板格式。检查Glue中的类型，我可以看到数据是一个结构数组。考虑到我想解开这个数组，我找到了这个，昨天它运行得非常好。
SELECT JSON_PARSE(LOWER(array_col))
我应用json_parse将数组转换为SUPER，出于某些原因，它只适用于低约束字符串，因此使用了更低的字符串。
当我今天早上运行查询时，我得到了以下错误
ERROR: Spectrum Scan Error Detail:
error: Spectrum Scan Error code: 15001
context: File ...
我将svl_s3log
浏览 7提问于2021-10-28得票数 0
我正在使用一个EMR集群，其中包含1个主表(m5.2x大)和4个核心节点(c5.2xlarge)，并在其上运行一个PySpark作业，该作业将连接5个事实表、150个列和100k行，以及5个小维度表、10个列和少于100个记录的列。当我加入所有这些数据时，生成的dataframe将有650列和420 k记录(大约1.5GB的数据)。我需要在红移时将这个数据加载到一个大的事实表中。
数据文件的连接只需不到一分钟，但将此数据加载到S3或Redshift大约要花费6分钟，我认为这是相当高的。如果这个时间是正常的还是可以调整的话，需要专家的建议或指导吗？
我试着用分区、拼板文件加载，加载到HDFS中，
浏览 5提问于2020-05-16得票数 0
1回答
AWS数据湖
、、、、
您需要使用胶水摄取excel和其他专有格式吗?还是允许胶水在您的数据湖中爬行s3桶以使用这些数据格式？
我已经浏览过"“文档，我不得不绞尽脑汁地想要把数据输入湖里。我有一个数据提供程序，它以excel和access文件的形式存储在他们的系统中。
基于流程流，他们会将数据上载到提交s3桶中，这将引发一系列操作，但没有将数据转换为与其他工具一起工作的格式。
使用这些文件是否需要对在桶中提交的数据使用胶水，还是有其他方法使这些数据可用于其他工具，如雅典娜和红移光谱？
感谢你在这个话题上所能提供的任何启示。
-Guido
浏览 4提问于2017-09-21得票数 2
回答已采纳
4回答
红移频谱的性能问题
、、、
我使用的是红移频谱。我创建了一个外部表，并在S3上上传了一个包含大约550万条记录的csv数据文件。如果在这个外部表上执行查询，大约需要15秒，而如果我在Amazon redshift上运行相同的查询，我在大约2秒内就会得到相同的结果。当AWS声称它是非常高性能的平台时，这种性能滞后的原因可能是什么？请使用spectrum建议相同性能的解决方案。
浏览 24提问于2017-07-06得票数 2
回答已采纳
1回答
我们有一个气流MWAA集群和大量的数据在我们的红移数据仓库。我们目前直接用Redshift (w/ SQL)处理数据，但考虑到数据量，这给数据仓库带来了很大的压力，而且弹性越来越小。我们发现的一个潜在的解决方案是将数据存储(Redshift)与数据处理(Spark)分离开来，首先，您对这个解决方案有什么看法？要做到这一点，我们希望使用气流MWAA和SparkSQL：
将数据从红移转移到火花
处理以前在Redshift中完成的SQL脚本
将新创建的表从Spark转移到Redshift
这是这里有人已经投入生产的用例吗？
在你看来，与星团互动的最佳方式是什么？EmrAddSte
浏览 4提问于2022-11-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
