想要十进制结果Amazon Redshift
Amazon Redshift是亚马逊AWS提供的一种云数据仓库服务。它是一种高度可扩展的列式存储数据库，专为大规模数据分析而设计。以下是对于Amazon Redshift的完善且全面的答案：
概念： Amazon Redshift是一种云数据仓库服务，用于处理大规模数据分析工作负载。它基于列式存储架构，能够高效地存储和查询大量数据。Redshift使用分布式计算和列存储技术，以提供快速的查询性能和高度可扩展性。
分类： Amazon Redshift属于云数据仓库服务的范畴，主要用于大规模数据分析和数据仓库解决方案。
优势：
- 高性能：Redshift使用列存储技术和并行查询处理，能够快速执行复杂的分析查询。它还支持自动数据压缩和数据分区，以进一步提高查询性能。
- 可扩展性：Redshift是一个高度可扩展的服务，可以根据需求灵活地增加或减少计算和存储资源。这使得它能够适应不断增长的数据量和查询负载。
- 简便易用：Redshift提供了简单易用的管理控制台和命令行工具，使得创建、配置和监控数据仓库变得简单和方便。
- 安全性：Redshift提供了多种安全功能，包括数据加密、访问控制和网络隔离，以保护数据的机密性和完整性。
- 与AWS生态系统集成：Redshift与其他AWS服务紧密集成，如S3存储、Glue数据集成和Quicksight数据可视化工具，使得构建完整的数据分析解决方案更加便捷。
应用场景： Amazon Redshift适用于各种大规模数据分析场景，包括但不限于：
- 商业智能和数据仪表盘：通过将数据导入Redshift并使用SQL查询，可以轻松地创建和分析各种业务指标和数据报表。
- 数据挖掘和机器学习：Redshift可以处理大量的结构化和非结构化数据，用于数据挖掘和机器学习模型的训练和预测。
- 日志分析：通过将日志数据导入Redshift，可以进行实时或批量的日志分析，以了解系统性能、用户行为等信息。
- 市场调研和用户行为分析：通过对大规模数据集进行分析，可以洞察用户行为、市场趋势等，为业务决策提供支持。
推荐的腾讯云相关产品： 腾讯云提供了类似的云数据仓库服务，可以满足类似的需求。推荐的产品是腾讯云的TDSQL-C，它是一种高性能、高可用的云数据库产品，适用于大规模数据分析和数据仓库场景。TDSQL-C基于分布式架构和列存储技术，具有与Amazon Redshift类似的优势和功能。
产品介绍链接地址： 腾讯云TDSQL-C产品介绍：https://cloud.tencent.com/product/tdsqlc
相关·内容
我正在开发Springboot应用程序，需要使用Springboot-starter jpa将数据存储到红移中。
但是我无法理解红移和我的springboot应用程序之间的联系。
这里是我对pom.xml:的依赖
<dependency>
<groupId>com.amazon.redshift</groupId>
<artifactId>redshift-jdbc42</artifactId>
<version>1.2.43.1067</ve
浏览 0提问于2021-01-04得票数 1
在EMR集群上使用PySpark向Redshift写入数据时，我遇到了一个错误。
df.write.format("jdbc") \
.option("url", "jdbc:redshift://clustername.yyyyy.us-east-1.redshift.amazonaws.com:5439/db") \
.option("driver", "com.amazon.redshift.jdbc42.Driver") \
.option("dbtable", "
浏览 1提问于2021-05-26得票数 0
1回答
我正在使用talend在Amazon Redshift上插入数据到表中。java代码由talend生成，但Amazon Redshift不支持today()函数。
我正在尝试从Salesforce加载一个表，并使用talend将其放入Redshift中。当我从talend运行作业时，我有以下错误：
Exception in component tRedshiftOutput_1
java.sql.SQLException: [Amazon](500310) Invalid operation: function today() does not exist;
at com.amazon
浏览 23提问于2019-07-18得票数 0
我正在尝试在RHEL上设置ODBC连接以连接到redshift集群。我已经安装了最新的Redshift ODBC驱动程序，并修改了odbc.ini文件以包含必要的详细信息：
[ODBC Data Sources]
Redshift_Connection=Amazon Redshift (x64)
[Redshift_Connection]
Driver=/u01/redshift/lib/64/libamazonredshiftodbc64.so
#Driver=/u01/redshift/lib/32/libamazonredshiftodbc32.so
Description=Amazo
浏览 63提问于2021-02-23得票数 1
1回答
我在S3中加载了一个CSV平面文件，它偶尔会在以逗号分隔的列中有一个空值，例如："ColumnValue1,,ColumnValue3,...etc"将",,"标记为CSV中缺少的值。下面是使用S3组件从tDBBulkExec到Talend中的Redshift安装程序的基本步骤：
将列映射如下，并运行：
如果源文件中缺少这些值，则引发错误：
Exception in component tDBBulkExec_1 (tncretail_opportunity)
java.sql.SQLException: [Amazon](500310) I
浏览 1提问于2018-10-24得票数 1
回答已采纳
我正在尝试使用Amazon- data -Pipeline工具将数据从Amazon S3-Cloud传输到Amazon-Redshift。
在传输数据时，是否可以使用SQL语句来更改数据，以便只将SQL语句的结果作为Redshift的输入？
我只找到了这样的复制命令：
{
"id": "S3Input",
"type": "S3DataNode",
"schedule": {
"ref": "MySchedule"
},
"file
浏览 0提问于2014-08-14得票数 1
我正在使用spark-redshift，并使用pyspark查询红移数据进行处理。
如果我使用工作台etc.But在redshift上运行这个查询，那么spark-redshift将数据卸载到s3，然后检索它，当我运行它时，它抛出以下错误。
py4j.protocol.Py4JJavaError: An error occurred while calling o124.save.
: java.sql.SQLException: [Amazon](500310) Invalid operation: Assert
Details:
----------------------------
浏览 52提问于2017-12-27得票数 2
回答已采纳
在Amazon Redshift的中，数据从Amazon S3中提取，并使用SQLWorkbench/J加载到Amazon Redshift集群中。我想模拟连接到集群并使用将样本数据加载到集群中的相同过程。
然而，在Redshift的中，我找不到一种方法可以让我将数据上传到Amazon Redshift集群中。
我已经能够通过以下代码使用Boto3连接到Redshift：
client = boto3.client('redshift')
但我不确定什么方法可以让我像在中那样创建表格或将数据上传到Amazon Redshift。
浏览 5提问于2016-01-25得票数 18
回答已采纳
3回答
S3存储桶缺少红移火花
、、、
我尝试使用spark-redshift从redshift中读取数据，但遇到了这个错误。我已经在S3中创建了存储桶，并且我能够使用足够的凭据访问它。
java.sql.SQLException: Amazon Invalid operation: S3ServiceException:The specified bucket does not exist,Status 404,Error NoSuchBucket,Rid AA6E01BF9BCED7ED,ExtRid 7TQKPoWU5lMdJ9av3E0Ehzdgg+e0yRrNYaB5Q+WCef0JPm134XHeiSNk1mx4cdzp
浏览 1提问于2016-08-09得票数 0
1回答
无法创建红移连接
、、、
我正在尝试使用redshift jdbc驱动程序创建红移连接，这是我从AWS红移集群控制台下载的。异常以下
java.sql.SQLException: The connection attempt failed.
at com.amazon.redshift.util.RedshiftException.getSQLException(RedshiftException.java:48)
at com.amazon.redshift.Driver.connect(Driver.java:303)
at java.sql/java.sql.DriverManager.g
浏览 1提问于2021-05-17得票数 0
回答已采纳
1回答
自11月21日以来，Amazon Redshift引入了结果集的默认缓存。有没有办法在Redshift数据库上默认禁用缓存？目前似乎没有太多关于它的文档。
浏览 15提问于2017-12-06得票数 4
4回答
我使用以下命令在Amazon Redshift中创建一个表：
CREATE TABLE asmt.incorrect_question_pairs_unique
AS
SELECT question1,
question2,
occurrences,
occurrences / (SUM(occurrences)::FLOAT) OVER () AS prob_q1_q2
FROM (SELECT question1,
question2,
SUM(occurrences) AS occurrenc
浏览 5提问于2017-03-10得票数 5
回答已采纳
我正在尝试设置Redshift docker。每当我尝试使用我的java代码运行容器时，我都会得到以下异常： Caused by: java.sql.SQLException: [Amazon][JDBC](11380) Null pointer exception.
at com.amazon.redshift.client.PGClient.startSession(Unknown Source)
at com.amazon.redshift.client.PGClient.<init>(Unknown Source)
at com.amazon.re
浏览 24提问于2020-07-06得票数 0
以下准备好的陈述
String pattern = "[\\w\\-\\.]+@([\\w\\-]+\\.)+[\\w\\-]{2,4}";
PreparedStatement statement = conn.prepareStatement("SELECT sum(case when regexp_count(email, ?) > 0 then 1 else 0 end) AS email_1 FROM \"testschema\".\"test_table\"")
statement.setObject(1, pat
浏览 4提问于2020-05-27得票数 0
配置了VPC，秘密在秘密管理器中，并将正确的策略附加到Redshift集群中。
创建外部模式，使用
CREATE EXTERNAL SCHEMA schema_ext
FROM POSTGRES
DATABASE 'db' SCHEMA 'schema'
URI 'rds.some_symbols.eu-west-1.rds.amazonaws.com' PORT 5432
IAM_ROLE 'arn:aws:iam::999999999999:role/redshift-iam-role'
SECRET_ARN 'arn
浏览 21提问于2022-06-29得票数 2
回答已采纳
红移数据库连接问题每两周发生一次
java.sql.SQLException: [Amazon](500150) Error setting/closing connection: Not Connected.
at com.amazon.redshift.client.PGClient.isConnected(Unknown Source) ~[redshift-jdbc40-1.2.16.jar:na]
Exception is java.sql.SQLException: [Amazon](500150) Error setting/closing connecti
浏览 0提问于2019-08-13得票数 0
当使用JDBC函数将R连接到amazon (我使用的是windows 10)时，我得到以下错误：
Error in .jfindClass(as.character(driverClass)[1]) : class not found
我正在运行的代码是
install.packages("rJava")
install.packages("RJDBC")
library(rJava)
library(RJDBC)
download.file('http://s3.amazonaws.com/redshift-downloads/drivers/Red
浏览 2提问于2016-04-05得票数 4
回答已采纳
我试图使用PySpark将数据写入Redshift。当我创建会话时，我可以从Redshift和S3读取文件，这正是我想要的。然而，当我试图写回Redshift时，我犯了错误。你知道我应该在剧本里改什么吗？
下面是我如何定义会话的方法：
spark = SparkSession \
.builder \
.config("spark.jars.packages", "org.apache.hadoop:hadoop-aws:2.7.0") \
.config("spark.driver.extraClassPath", &#
浏览 1提问于2021-02-13得票数 1
我正在尝试在我的Spring Boot应用程序中建立与Redshift数据库的连接。我的属性文件中有以下条目。
spring.datasource.driver-class-name=com.amazon.redshift.jdbc41.Driver
spring.datasource.url=jdbc:redshift://redshift_url/db_name
spring.datasource.username=username
spring.datasource.password=password
spring.datasource.testWhileIdle = true
spr
浏览 155提问于2019-11-19得票数 0
我遇到了一个JDBC连接到Redshift的问题，我不能完全解决。使用文档中给出的示例，当用户使用纯密码时，我可以很容易地连接到Redshift集群，但当用户使用带有#字符的密码时，我会收到身份验证失败。我能够使用SQL Workbench/J使用这两组凭据连接到集群。当我使用下面的代码时，没有连接问题。
DriverManager.setLoginTimeout(60);
Properties props = new Properties();
props.setProperty("user", "johndoe"
浏览 0提问于2017-03-30得票数 1
使用psql (Postgres 12.3.1)，运行在Windows 2019上。这台服务器有64 GB的RAM，我试图在Amazon数据库上运行以下查询：
psql -h amazon-redshift-database.redshift.amazonaws.com -d DATABASE -U USER -p 5439 -a -c "select * from realy.large_table" -F ',' -o "D:\Program Files\PostgreSQL\12\data\amazon_redshift_download\real
浏览 0提问于2020-07-13得票数 0
回答已采纳
我正在尝试使用HikariCP和AWS Redshift来设置一个JDBC连接池，如下所示：
public class RedshiftConnector {
private static HikariDataSource dataSource;
private static int poolSize = 5;
public static void init() throws SQLException {
dataSource = new HikariDataSource();
dataSource.setDataSource(new com.amazon.redshif
浏览 0提问于2016-07-15得票数 2
回答已采纳
如何更改Amazon Redshift数据库中的列数据类型？
我无法更改Redshift中的列数据类型；有什么方法可以修改Amazon Redshift中的数据类型吗？
浏览 6提问于2013-06-14得票数 91
我目前正在尝试为我的公司评估Microsoft Azure ML。我尝试了一下离线数据，它看起来很有希望，但为了更好地评估，我想使用我们拥有的在线数据。我们的数据存储在Amazon Redshift服务中，我找不到一种方法将Redshift永久连接到Azure ML，这样它就会获取新数据，对其进行处理，并将结果存储回Redshift中。有什么方法可以使用Redshift作为Azure ML的数据源吗？当然，越简单越好。
浏览 0提问于2016-06-26得票数 2
1回答
当试图从最新的清算/清算库映像v4.17.0连接到Redshift时，Liquibase返回一个错误：
Unexpected error running Liquibase: Driver class was not specified and could not be determined from the url (jdbc:redshift://aaaa.aaaa.eu-west-2.redshift.amazonaws.com:dddd:/aaaa).
在Liquibase v4.17.0的命令行版本中没有出现这种情况，检测到Redshift驱动程序类，并且连接工作。
当指定驱动程序并
浏览 8提问于2022-10-19得票数 1
回答已采纳
当我尝试使用快照恢复群集时遇到问题。如果有任何建议，我将不胜感激。
使用的代码是：
var con = new AmazonRedshiftClient(acess_key_id, secret_acess_key, Amazon.RegionEndpoint.USWest2);
var restore = new Amazon.Redshift.Model.RestoreFromClusterSnapshotRequest()
{
ClusterIdentifier = clusterIdentifier,
S
浏览 17提问于2016-07-29得票数 2
我只想知道是否可以使用通过脚本触发的Amazon Redshift 命令获得加载/失败的Amazon Redshift记录的数量？
浏览 6提问于2016-10-10得票数 0
回答已采纳
1回答
你好，我想寻求您的帮助，因为我有困难，我的J仪表连接到我们的红移数据库。您的答复将不胜感激。提前谢谢你。
我做的步骤
本网站上的-Download红移jar文件
与J抄库中的复制
-Open Jmeter和添加JDBC配置
-Input数据库URL、JDBC驱动程序类、用户名和密码
-Add JDBC请求(插入SQL查询)
-Run千兆计
-Error发生
示例参数仅限
数据库网址: jdbc:redshift://redshift-db.company.com/company
JDBC驱动程序类: com.amazon.redshift.jdbc42.Driver
用户名：
密码：
截图：
浏览 4提问于2022-11-09得票数 0
回答已采纳
我是maven的新手，在将pom.xml中定义的依赖项下载到本地存储库时遇到了问题。正确下载pom.xml中定义的所有其他依赖项。此外，跨多个项目的其他依赖关系也工作得很好。我使用的是maven 3.5.2和aws sdk 1.11.86
导致问题的依赖项是aws redshift驱动程序，定义为-
<dependency>
<groupId> com.amazon.redshift</groupId>
<artifactId>redshift-jdbc42</artifactId>
<version&g
浏览 0提问于2020-04-01得票数 1
我正在尝试在spark应用程序中从红移中提取数据。我包含了一些依赖项，并且我能够在本地计算机上做到这一点。但是当我尝试在Amazon EMR上运行应用程序时，我得到了以下错误。以下是我正在尝试执行的命令：
spark-submit --class classname --packages com.databricks:spark-avro_2.11:3.0.0,com.databricks:spark-redshift_2.11:2.0.1,com.databricks:spark-csv_2.11:1.5.0,com.amazon.redshift:redshift-jdbc41:1.2.1
浏览 1提问于2017-02-13得票数 0
我正在尝试将Java应用程序连接到Redshift数据库。当我运行DriverManager.getConnection()时，它等待了很长时间(几分钟)，最后抛出了一个异常：
Exception in thread "main" java.sql.SQLException:
[Amazon](600001) The server closed the connection.
at com.amazon.support.channels.TLSSocketChannel.readBytes(Unknown Source)
at com.amazon.support.ch
浏览 0提问于2018-05-07得票数 0
1回答
我希望能够将Pig工作流(从EMR运行)的结果直接存储到Amazon Redshift中。有没有人这么做过？
浏览 0提问于2014-03-06得票数 0
操作系统: centos
火花:1.6.1
sbt: build.sbt
libraryDependencies ++= {
Seq(
"org.apache.spark" %% "spark-core" % "1.6.1" % "provided",
"com.amazonaws" % "aws-java-sdk" % "1.10.75",
"com.amazonaws" % "amazon-kinesis-client" %
浏览 2提问于2016-05-18得票数 1
回答已采纳
我正在将Spring Enterprise Java应用程序从Tomcat6迁移到Wildfly 16，但我还无法配置Amazon Redshift连接数据源。我得到了这样的信息： ERROR [org.jboss.as.controller.management-operation] (ServerService Thread Pool -- 42) WFLYCTL0013: Operation ("add") failed - address: ([
("subsystem" => "datasources"),
(&
浏览 78提问于2019-06-21得票数 0
我使用带有Redshift的spring类，当参数类型为List/Set且没有元素或只有一个元素( weir！)时，我有一个bug/崩溃。
_This是我的艺术品
<dependency>
<groupId>com.amazon.redshift</groupId>
<artifactId>redshift-jdbc42</artifactId>
<version>1.2.41.1065</version>
</dependency>
这是我的桌子脚本
CREATE TABL
浏览 5提问于2020-06-04得票数 1
我使用Tableau软件，我通过tableau连接到amazon redshift并创建了查询！这个查询结果(10,000,000个obs)如何从tableau导出到csv？
浏览 0提问于2017-10-19得票数 0
1回答
无法连接到aws红移
、、、
我在aws控制台中创建了一个红移。I转到创建的集群，根据在控制台中获得的信息，我在SQL /J中使用它们来设置sql /J，我使用了以下方法：
下面是我的设计：
现在，当我试图连接到它时，我得到以下信息：
你知道我怎么能修好它吗或者怎么回事？
更新
我还提供了VPC的入站安全组，我已经完全访问了我正在连接的IP地址和相同的问题。
这里还有完整的日志：
2018-01-18 16:39:36 ERROR Error connecting to the database using
URL=jdbc:redshift://hamedtest.cb1dy4xxxxxx
浏览 0提问于2018-01-18得票数 0
我正在尝试使用java SDK在AWS redshift中创建一个临时表。
// Redshift JDBC 4.1 driver: com.amazon.redshift.jdbc41.Driver
String command = "CREATE TABLE test (FirstName varchar(255));"
Class.forName("com.amazon.redshift.jdbc41.Driver");
conn = DriverManager.getConnection(dbURL, props);
stmt = conn.c
浏览 3提问于2017-12-07得票数 2
1回答
我正在尝试通过JDBC将RStudio连接到Amazon Redshift，以下是我尝试运行的内容：
driver <- JDBC("com.amazon.redshift.jdbc42.Driver", "~/Downloads/RedshiftJDBC42-1.2.1.1001.jar", identifier.quote="`")
# url <- "<JDBCURL>:<PORT>/<DBNAME>?user=<USER>&password=<PW>
浏览 0提问于2017-06-16得票数 0
1回答
我在使用sbt组装scala项目时遇到了问题。我有一个涉及aws依赖jars的合并冲突。
我看了一大堆帖子，我不明白为什么我的合并策略不起作用。
这是我的汇编错误：
[error] (*:assembly) deduplicate: different file contents found in the following:
[error] /Users/xxxx/.ivy2/cache/com.amazon.redshift/redshift-jdbc42/jars/redshift-jdbc42-1.2.27.1051.jar:com/amazonaws/auth/AWSCredenti
浏览 25提问于2020-02-20得票数 1
回答已采纳
我需要将增量数据从Amazon Aurora Postgres移动到Amazon Redshift。这将是一项日常工作。新的数据将被插入到Redshift中，如果现有数据有变化，它将被更新。对此有什么建议吗？
浏览 1提问于2020-06-16得票数 1
我正在尝试使用Amazon Redshift作为数据源运行quartz调度器。我在存储石英作业时遇到了Driver does not support this optional feature错误。
我的quartz数据源配置如下所示：
org.quartz.dataSource.quartzDataSource.driver=com.amazon.redshift.jdbc42.Driver org.quartz.dataSource.quartzDataSource.URL=jdbc:redshift://redshift.abcd:5439/abc?autoReconnect=
浏览 2提问于2019-02-13得票数 1
当我执行Get\ Select时，返回的唯一内容是'Amazon.Redshift.Model.Endpoint‘。如何使用PowerShell返回AWS的端点信息？
谢谢!
浏览 3提问于2022-07-30得票数 1
回答已采纳
我正在尝试从星火连接到红移(在上运行)
from pyspark.sql import SQLContext
sc._jsc.hadoopConfiguration().set("fs.s3n.awsAccessKeyId", ACCESS_KEY)
sc._jsc.hadoopConfiguration().set("fs.s3n.awsSecretAccessKey", SECRET_KEY)
# IP addresses from Redshift Security Group panel
IP_ADDRESSES_TO_ADD = ["1.2
浏览 0提问于2016-04-11得票数 3
我正在使用sql server，我们确实有一个while循环，它是我在存储过程中创建的。我正在评估redshift，并在redshift amazon中寻找等价物。以下是我正在尝试做的事情，我如何在amazon redshift中做到这一点：
Declare
@MaxId SmallInt,
@CurrId SmallInt
Set @CurrId = 0
Set @MaxId = 10
While @CurrId <= @MaxId
Select @CurrId
set @CurrId = @CurrId + 1
end
浏览 3提问于2014-03-02得票数 7
我在Amazon上保存SalesForce数据。我想在Redshift上创建一个函数，将SalesForce 15 Char转换为18 Char。
但是这些函数中没有一个在Redshift上工作，我不能使用它\在Amazon上创建一个类似的函数。(不得不说我是新来的。
有人能有一个在Redshift上工作的代码吗？
浏览 2提问于2018-08-22得票数 3
回答已采纳
1回答
我已经创建了一个包含公网和内网的私有网络。也有NAT网关，私有子网与NAT网关关联。私有子网中存在红移集群。存在与私有子网和公共子网都关联的lambda函数。下面是lambda函数中的代码，每次我运行它时它都会超时。 import json
import boto3
EVENT_TYPE = "REDSHIFT-EVENT-2000"
def hello(event=None, context=None):
print(event)
event = st = {'Records': [{'EventSour
浏览 16提问于2021-04-11得票数 0
1回答
我在Redshift中创建了一个表：
CREATE TABLE test_table1 (
id bigint NOT NULL,
longitude decimal(6,4)
);
并插入：
INSERT INTO test_table1 VALUES (1, 65.3695);
然而，查询数据库显示了(1, 65.37)
为什么没有结果：1, 65.3695
浏览 1提问于2016-10-07得票数 0
回答已采纳
2回答
我想使用JDBC连接数据并将数据插入到Amazon Redshift表中。我编写了以下代码，但在Class.forName行不断收到错误
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class RedShiftDataEmitter {
static final String redshiftUrl = "jdbc:re
浏览 1提问于2017-05-07得票数 3
回答已采纳
我正在使用连接到Amazon Redshift的Tableau Desktop 8.2创建提取并将数据源发布到tableau服务器是我的任务，但最近我遇到了一些问题，比如
"Data connection Lost Unable to create an Extract"
"Communication error while getting a tuple; Error fetching next row Unable to create extract"
我们增加了Amazon Redshift中的光标数量
我关心的是，假设要提取1600万条记录，提取到800
浏览 0提问于2014-08-20得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
