如何使用gpkafka更新和删除greenplum数据库中的数据？
使用gpkafka更新和删除Greenplum数据库中的数据的方法如下：
- 更新数据：
- 首先，你需要在Greenplum数据库中创建一个外部表，该外部表指向Kafka主题，可以使用如下SQL语句创建外部表：
- 首先，你需要在Greenplum数据库中创建一个外部表，该外部表指向Kafka主题，可以使用如下SQL语句创建外部表：
- 其中，
<kafka-broker>是Kafka broker的地址，<kafka-topic>是要读取的Kafka主题。 - 然后，通过INSERT语句将外部表中的数据插入到Greenplum的目标表中，可以使用如下SQL语句：
- 然后，通过INSERT语句将外部表中的数据插入到Greenplum的目标表中，可以使用如下SQL语句：
- 这将会将外部表中的数据插入到Greenplum的目标表中。
- 删除数据：
- 你可以使用DELETE语句删除Greenplum数据库中的数据，可以根据需要编写删除条件，例如：
- 你可以使用DELETE语句删除Greenplum数据库中的数据，可以根据需要编写删除条件，例如：
- 这将会删除目标表中id为1的记录。
需要注意的是，以上操作都需要先安装并配置好Greenplum数据库和相关的Kafka连接器。此外，具体的语法和操作可能会根据实际情况略有不同，请根据自己的需求和环境进行相应的调整。
推荐的腾讯云相关产品：腾讯云数据库Greenplum（链接地址：https://cloud.tencent.com/product/greenplum）。
请注意，以上答案是基于理论知识和一般性常识给出的，实际操作过程可能会因环境和具体情况而有所不同，建议在实际操作中参考相关文档和官方指南。
相关·内容
我已经在Greenplum中创建了一个数据库。
CREATE DATABASE production WITH OWNER = gpadmin TEMPLATE = template1 CONNECTION LIMIT = -1;
我已经将所有者分配给了gpadmin。gpadmin是默认用户。将所有者分配给Greenplum中的任何数据库的最佳做法是什么？
浏览 33提问于2017-08-10得票数 0
这个问题是的一个变体。以前我们有PostgreSQL，但现在它已更改为GreenPlum数据库。但PostgreSQL在Mule Studio中有原生支持，但在GreenPlum数据库中没有。
如何执行此插入操作？
浏览 1提问于2013-01-31得票数 0
回答已采纳
1回答
我在greenplum数据库中的一个过程被错误的代码替换。我想要该过程的旧版本和正确版本。是否可以在greenplum数据库中恢复代码？
greenplum数据库中是否有类似闪回的功能？
浏览 23提问于2017-03-25得票数 0
默认情况下，Greenplum是一个基于行的数据库，但声明数据可以以列的方式存储。如何在Greenplum中将数据从行形式更改为列形式？
浏览 0提问于2020-03-05得票数 0
1回答
Greenplum数据库
、、、、
Greenplum (GPDB)社区版与企业版之间的主要区别是什么？
与Greenplum数据库的社区版相比，我想了解更多关于企业版可用功能的详细信息。
浏览 12提问于2021-09-16得票数 0
我试图连接到Greenplum数据库，使用Spark读取表中的数据，并将其保存为HDFS上的文件。但我面对的障碍与司机或连接器，我正在使用。下面是我的build.sbt文件：
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.0.0" % "provided"
浏览 2提问于2019-01-07得票数 1
我当前已在服务器上安装并运行了Greenplum数据库。我已经附加了一个新硬盘，并简单地复制了主目录和所有段目录，因为我想让我的数据库指向新硬盘上的数据。
我已经将环境变量MASTER_DATA_DIRECTORY更改为指向新的主目录，但是我不知道如何指向新的段数据目录。如何指向新目录，以便在运行gpstart时，数据库开始指向新硬件上的数据？
谢谢
浏览 3提问于2014-11-01得票数 0
我在Greenplum中创建了一些表，执行insert、update和delete操作。我也经常做吸尘器手术。我发现里面有点肿。找到解决方案来消除臃肿的
但是，如果我截断该表并重新插入数据，则会消除膨胀。从表中截断数据是一种好的做法吗？
浏览 1提问于2017-09-06得票数 0
1回答
每天将1亿行加载到DWH
、、、、
有几个OLTP Postgres数据库，每天总共接收1亿行数据。此外，还有Greenplum DWH。如何加载这1亿行数据，每天只需对Greenplum进行少量转换？为此，我将使用Python。我敢肯定，用传统的方式(psycopg2 + cursor.execute("INSERT ...)，即使是批处理，也会花费大量的时间，并会在整个系统中造成瓶颈。
你有什么建议如何优化数据加载的过程吗？任何链接或书籍，可能有助于也欢迎。
浏览 1提问于2018-11-04得票数 0
4回答
我的公司已经决定使用Greenplum实现一个datamart，我的任务是弄清楚如何继续下去。要从现有DB2数据库传输到Greenplum数据库的数据量大概为2 TB。
我想知道: 1) Greenplum DB和vanilla PostgresSQL是一样的吗？(我在Postgres AS 8.3上工作过) 2)有没有(免费的)工具可以用来完成这项任务(提取和导入) 3)我对Python有一些了解。在合理的时间内做到这一点是可行的，甚至是容易的吗？
我不知道该怎么做。任何建议，提示和建议都将是非常受欢迎的。
浏览 1提问于2011-05-24得票数 0
通常，我使用JDBC连接和一些ETL工具将数据从一个数据库(即Teradata)移动到另一个数据库(即Greenplum)。 然而，这两个数据库都带有内置的实用程序，可以非常快地加载/导出大量数据，远远快于JDBC！但据我所知，它的缺点是它只能在文件中执行此操作。 所以，如果我想使用它们，我必须遵循这样的过程- Teradata -(快速导出)->文件-(Gploader)-> Greenplum 我想知道是否有可能跳过文件部分，并结合这两个实用程序。 Teradata -(FastExport& Gploader)--> Greenplum。 这样我就可以非常快地
浏览 21提问于2019-02-10得票数 0
我正在尝试为我的格林梅数据库4.2.1.0安装Postgresql (8.2.15) intarray和intagg。安装似乎是成功的；我遵循了教程，所有的文件都被复制到Green铅库-db-4.2.1.0/lib/postgresql/postgresql目录中。但是，当我试图执行我的java代码时，它会抛出一个“未定义的符号”错误：
org.postgresql.util.PSQLException: ERROR: could not load library "/usr/local/greenplum-db-4.2.1.0/lib/postgresql/_int.so"
浏览 10提问于2012-05-08得票数 0
回答已采纳
2回答
我需要在数据仓库中集成来自3个不同PostgreSQL数据库(OLTP应用程序后端)的数据。对于数据仓库本身，我考虑使用Citus或Greenplum。有一项要求，即来自应用程序的数据必须与数据仓库尽可能接近实时地同步(延迟3-5分钟以上的所有内容都是不可接受的，实时复制将是最好的)。在这方面，我有以下问题：
Postgres逻辑复制会与Citus一起工作吗？Citus是Postgres的扩展，你能把它当作一个普通的Postgres数据库吗？如果是，那么逻辑复制理论上应该工作，但是它如何处理分布式表呢？
格林梅利是一个Postgres叉子，那么Postgres逻辑复制会与它一起工作吗？我还读到
浏览 0提问于2021-02-04得票数 0
2回答
我是Greenplum数据库的新手。我有个问题。在基于行的分布情况下，在Greenplum中的列上创建索引后，表上的Cluster是强制的吗？
浏览 1提问于2018-03-01得票数 0
我正在将ms SQL server查询转换为Postgres SQL for Greenplum数据库，Greenplum/postgres中是否有ISDATE()的等效功能？
浏览 0提问于2017-08-28得票数 0
2回答
有没有Spring项目提供了用于插入或使用Greenplum的模板或实用程序？
据我所知，一种方法是使用Spring Batch，让一个微线程调用Greenplum gpload实用程序，该实用程序然后将指定的文件插入到数据库中。
然而，考虑到Spring Data和Spring XD项目的目标都是抽象数据访问和处理大数据需求，似乎应该为此需求定制一些东西。考虑到Pivotal现在与GreenPlum和Spring的关系非常密切，情况尤其如此。
如果有人有使用Spring和Greenplum的经验，并能提供任何建议或最佳实践，我们将不胜感激。
浏览 0提问于2014-01-06得票数 4
这种情况下的主要困难是Greenplum数据库出现磁盘空间不足错误。我们在Amazon Linux计算机上运行Greenplum Database 4.2.0.0。
调查结果如下：
1) Greenplum说我们的空间很小。我们运行gp_disk_free命令并获得以下结果。
0;" sdw1";" /dev/md126";2740872
1;" sdw1";" /dev/md127";1968592
2;" sdw2";" /dev/md126";1100
3;" sdw2";&#
浏览 4提问于2013-07-19得票数 1
回答已采纳
我正在尝试使用debezium、kafka和gpkafka将数据从mysql复制到greenplum。插入工作正常。但我无法在greenplum中更新和删除数据。请告诉我gpkafka实用程序是否支持更新和删除，以及gpkafka yaml文件中需要进行哪些配置。
浏览 25提问于2019-06-19得票数 0
可以在greenplum数据库中使用pandas吗?如果可以，如何使用？我在greenplum里面。我使用以下命令创建一个函数：
CREATE OR REPLACE FUNCTION myfunction() RETURNS
text AS $$
...
python code
...
rv = plpy.execute("SELECT * FROM mytable")
...
$$ LANGUAGE plpythonu;
SELECT public.myfunction()
命令rv = plpy.execute("SELECT * FROM mytable
浏览 1提问于2018-07-12得票数 1
1回答
我正在尝试从.net应用程序连接到greenplum数据库。Greenplum支持odbc和oledb，但我不确定connectionstring和all应该是怎样的。有人能帮上忙吗。
提前谢谢。
浏览 10提问于2012-10-08得票数 2
我创建了一个SSIS包，它将地理数据从Server数据库中提取出来，并将其复制到Greenplum Postgres数据库中的几何列中。
我是在一个迂回的方式，因为奇怪的错误与PGNP驱动程序时，尝试它的正常方式。因此，我要做的是在Server源代码上使用GeogColumn.STAsText()，并将其插入到Greenplum数据库中的文本列中，然后运行一个任务，使用新插入的文本更新Greenplum表中的几何图形列，例如，它应该看起来像POLYGON(-85 42, -86 43)。
问题是\000是在每个字符之后添加的，然后更新就不能工作了。看上去是这样的：
来源
目的地
浏览 0提问于2013-01-11得票数 2
回答已采纳
2回答
我知道这很尴尬，但是我找不到二进制程序包来在我的Centos机器上安装格林梅数据库，以便创建一个由4个节点组成的集群来测试这个数据库，
考虑到我有一个我没有的greenplum-db-5.4.0-rhel7-x86_64.bin包，遵循greenplum-db Github回购中的README
失败也是由于一些错误造成的：
“无法创建信号量:设备上没有空间(pg_sema.c:127)"，”失败的系统调用是semget(118，17,03600)“，”此错误并不意味着磁盘空间已用完。
我似乎无法建立一个成功的greenplum集群--任何帮助都是值得感谢的
浏览 3提问于2018-07-25得票数 0
回答已采纳
我在Greenplum DB中有数DB的结构化数据。我需要在我的数据上运行本质上是MapReduce作业的东西。
我发现自己至少重新实现了MapReduce的功能，以便这些数据可以放入内存中(以流式方式)。
然后我决定到其他地方寻找更完整的解决方案。
我考虑了Pivotal HD + Spark，因为我正在使用Scala，而Spark基准测试是一个令人惊叹的因素。但我认为这背后的数据存储区HDFS的效率将低于Greenplum。(请注意“我相信”。我很高兴知道我错了，但请提供一些证据。)
因此，为了与Greenplum存储层保持一致，我研究了Pivotal的HAWQ，它基本上是Greenplu
浏览 2提问于2015-09-12得票数 3
我已经在AWS上建立了一个具有两部分的绿梅分局。我有一个Postgres数据库，SQL转储，我想使用该更正重新创建格林梅上的数据库。我在Greenplum文档中看到的唯一选项是将数据库恢复到现有的数据库，或者从另一个使用相同数量的段设置的Greenplum中恢复。有人知道我会怎么做吗？
浏览 0提问于2019-04-02得票数 0
3回答
我有一个服务器和一个WebSphere数据库。我想让自由服务器连接格林梅利和SSL。
以下是我在server.xml中的设置：
<dataSource id="GreenplumDataSource" jndiName="jdbc/greenplum" type="javax.sql.DataSource">
<jdbcDriver libraryRef="GreenplumLib" javax.sql.DataSource="com.pivotal.jdbcx.GreenplumDataSour
浏览 5提问于2021-06-30得票数 0
回答已采纳
有没有办法找到在Greenplum中的函数/过程中运行的语句，就像我们使用"pg_stat_activity“来查看在Greenplum数据库中运行的查询一样？ pg_stat_activity仅显示正在运行/idle等的语句，但如果函数正在运行，则不显示在函数内部运行的语句。 Greenplum中是否有包含此信息的其他视图或表？
浏览 61提问于2021-05-07得票数 0
我正在尝试使用以下命令通过gprestore恢复greenplum中的数据库：
gprestore --backup-dir /data/greenplum/gpbackups/ --timestamp 20200511110837 --redirect-db restoredDB
但我面临以下错误：
restore status: Failure
restore error: Version string empty
有谁能告诉我这个问题的可能原因是什么？
版本信息：
gpbackup version 1.17.0+dev.45.g697096e
PostgreSQL
浏览 2提问于2020-05-11得票数 0
我想尝试使用mapreduce或sqoop将数据加载到Greenplum中。目前，从hdfs加载greenplum db的方法是，使用gphdfs创建一个扩展表，然后加载内部表。我想尝试使用sqoop或mapreduce将数据直接加载到greenplum中的解决方案。我需要一些关于我如何继续这件事的意见。你能帮帮我吗？
浏览 2提问于2015-04-28得票数 1
有没有办法可以通过网络从Greenplam数据库中的Singlestore数据库读取数据，而不需要物理地将数据从Greenplum复制到Singlestore。
浏览 3提问于2022-05-06得票数 0
在我的Kubernetes集群设置中，我有一个具有LoadBlanacer服务的Greenplum集群(一个主节点和8个段节点)。请参考下面的服务配置。
apiVersion: v1
kind: Service
metadata:
labels:
app: greenplum
greenplum-cluster: greenplum-cluster
name: greenplum
spec:
clusterIP: 10.101.251.127
clusterIPs:
- 10.101.251.127
externalIPs:
- 11.4.8.141
浏览 12提问于2022-03-13得票数 0
我试图读取卡夫卡的数据，并将其上传到格林梅利的数据库使用火花。我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我可以在网站上看到“连续ETL管道(流)”。
我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelationProvider“转换为.format(”数据源“)
val EventStream = spark.readStream
.format("kaf
浏览 0提问于2019-04-04得票数 0
回答已采纳
2回答
我刚开始使用格林梅利数据库，当时正在开发甲骨文数据库。从概念上讲，我理解列DB中的Greenplum，并且与Oracle有不同的工作方式。
我的问题是改变表列的长度。我创建了一个包含数据类型为character varying(50)的列的表。在这个表的顶部，我创建了一个视图，它总结了一些信息。后来，我想将列的长度更改为character varying(100)。在GP中是不允许的。
我必须删除视图，更改列长度，然后重新创建视图。我不认为甲骨文是这样的。不知道为什么GP必须这样做。
有人知道如何避免这种情况吗？
浏览 0提问于2017-06-01得票数 2
1回答
基于条件截断分区
、、、
我需要根据某个条件截断Greenplum中的分区。实现这一目标的最简单方法是什么？
示例：
ALTER TABLE PACKAGE_INFO TRUNCATE PARTITION FOR ('BOX');
对于特定的条件，我只需要在表PACKAGE_INFO中截断带有value - BOX的分区。仅适用于少数PACKAGE_IDs。
例如，截断包含PACKAGE_ID - 100,200,300的PACKAGE_TYPE数据的分区。我不倾向于delete，因为如果我使用DELETE，我将无法压缩表。
谢谢。
浏览 0提问于2015-04-29得票数 0
1回答
对于我的应用程序，我需要我的数据库在高峰时间每秒处理1000次更新，这不是太大的问题，我只需要正确的服务器。但是，如果此服务器宕机，我需要一个具有同步数据的备份来接管。如何将数据同步到另一个数据库？
在我的应用程序的单独部分中，我有一个主程序和一个从程序，从程序复制主程序，而从程序是只读的。我可以使用这个方法来解决我的问题吗？我已经研究了mysql集群，但到目前为止，阅读有关集群的内容只会让我更加困惑。
因此，简单地说，在宕机的情况下，我如何才能复制每秒1000次写入的数据库？
浏览 2提问于2014-08-14得票数 0
从CSV文件中复制数据时，如何在GreenPlum中插入记录。对于主键的给定值，CSV文件有多条记录。如果数据库中已经存在具有某个值的行，我希望更新该记录。否则，它应该追加一个新行。
浏览 9提问于2018-02-12得票数 1
回答已采纳
1回答
我应该如何重写我的insert语句？
CREATE TABLE test_table (
rate decimal(16,8)
);
INSERT INTO test_table VALUES (round(3884.90000000 / 0.00003696, 8));
例外：
ERROR: numeric field overflow
SQL state: 22003
Detail: A field with precision 16, scale 8 must round to an absolute value less than 10^8. Rounded overflo
浏览 153提问于2017-08-31得票数 3
回答已采纳
我使用的是windows移动服务。从门户，我创建了一个带有sql数据库的移动服务。我已成功地将数据插入到表中。但是我不能从sql数据库读取数据，也不能更新或删除。我在这个平台上很新。需要一个广泛的描述或一个示例项目文件，或者更好的一个关于插入、更新、删除、查询的视频教程。
浏览 5提问于2015-07-09得票数 2
回答已采纳
我在greenplum中有一个本地表XYZ。我正在使用来自其他5个表的数据填充该表(表XYZ只有很少的列，来自5个不同表的数据，由一些连接操作填充)。
这工作得很好。但我在这里面临的问题是：
1>我需要我的表XYZ有最新的数据。也就是说，如果5个表中有任何新条目(其中填充了XYZ )，则应该更新my表XYZ。
2>如果任何现有记录被修改，那么在这种情况下，表XYZ中的数据也应该被修改。我还有一个表History_of_XYZ，这个表包含了XYZ的所有数据(历史)。例如:假设他们是客户ABC的一个条目，因为他住在美国。但是现在ABC已经转移到了新的国家，比如说俄罗斯。然后，我的历史表
浏览 0提问于2015-07-18得票数 0
我正在尝试从将它们用作数据仓库的角度来评估Citus和Greenplum。一般的想法是，来自多个OLTP系统的数据将通过Kafka Connect实时集成在一个中央仓库中，以进行分析查询。 在这方面，Citus与Greenplum相比如何？我读到Citus有一些SQL限制，例如，如果关联不在分布列上，则不支持相关子查询，Greenplum是否有类似的SQL限制？如果将数据流式传输到Greenplum中(而不是批量更新)，Greenplum是否可以正常工作？我只是觉得Greenplum更专注于分析，可以牺牲一些OLTP特定的东西，这是Citus负担不起的，因为他们将自己定位为HTAP (而不是
浏览 163提问于2021-02-11得票数 1
如何将oracle时间戳转换为postgres时间戳，我们在oracle数据库中有一个值，
15-JUN-2014 01.00.00.0000 PM
我在postgres/Greenplum中存储为varchar。如何在postgres中强制转换为时间戳，
输出要求如下：
15-06-2014 13.00.00.0000
24小时格式。
浏览 0提问于2014-09-30得票数 0
2回答
我已经为我的一个类创建了一个数据库，模拟了一个酒店预订表单。
我尝试从数据库中获取值的数据库表名是tblNameRes，字段是fldName和pkEmail。我已经从数据库中获取了值，并将它们显示在下面的表中：
我想添加一个列，以便能够更新和删除这些记录，但我真的不明白如何做到这一点。我有这样的代码：
$updating = $db->prepare('UPDATE `tblNameRes` SET `name` = `name` + ? WHERE `id` = ?');
$updating->execute(array(20, $id));
但我希望能够单击一个
浏览 0提问于2012-12-10得票数 0
2回答
我首先要说的是，我在R和SQL方面比较称职，但对数据库连接/维护知之甚少。
在我的Windows计算机上，我有一个到SAS和Toad中的Greenplum数据库的连接，该连接工作正常，我希望在R中建立相同的连接。我的主要问题是确定我的驱动程序/服务器/数据库的实际名称。这是我到目前为止的“工作”：
# Install RODBC
install.packages(“RODBC”)
# Create connection to database
connect <- odbcDriverConnect(connection="driver=
浏览 2提问于2017-09-02得票数 0
我使用keycloak服务器进行授权。我在我的数据库和键盘斗篷中创建我的用户。现在，当用户被删除时，我需要删除我的数据库中的用户。我的服务器是用Java编写的。当用户在keycloak中被删除或更新时，我如何从keycloak获得事件到我的服务器？
浏览 2提问于2020-12-21得票数 3
回答已采纳
我想使用外部表将普通文件加载到Greenplum数据库中。我可以为时间戳/日期/时间字段指定输入格式吗？(如果你知道PostgreSQL的答案，也请回复)
例如，对于Oracle，我可以使用DATE_FORMAT日期掩码'YYYYMMDD‘来告知如何解析日期。对于Netezza，我可以指定DATESTYLE 'YMD‘。对于Greenplum，我找不到答案。我可以将字段描述为char，然后在加载过程中解析它们，但这是一个丑陋的变通方法。
以下是我的试探性代码：
CREATE EXTERNAL TABLE MY_TBL (X date, Y time, Z timestamp )
浏览 0提问于2012-11-05得票数 1
回答已采纳
此问题是为pivotal greenplum指定的。我被告知gpfdist可以将数据从内存(而不是文件)直接加载到greenplum中。还有更多的人知道这一点和如何知道吗？
浏览 2提问于2016-05-11得票数 0
我知道greenplum和postgresql非常相似；我还不能确定的是，我是否可以执行一个pg_dump，然后将整个数据库按原样导入greenplum服务器，还是需要手动完成？
我已经看到了切线相关的答案，它们似乎表明它需要多个步骤，这让我感到困惑，因为任何所需的数据转换都应该是确定性的，因此应该非常简单，对吗？
浏览 3提问于2014-04-19得票数 1
我想使用sqoop将数据从greenplum导入配置单元。
我能够成功地从greenplum for user的默认架构导入数据。
但是，我无法从greenplum的其他模式中存在的表中获取数据。
我尝试了各种方法。
你能帮帮忙吗？
提前谢谢。
浏览 4提问于2014-02-11得票数 0
我有一个包含大量数据的Oracle视图，我想将这些数据迁移到Greenplum数据库的一个表中。有没有办法在Postgresql中编写任何查询来获取Oracle视图数据？
如果不能在Postgresql中通过查询，请向我建议一些从Linux服务器访问Oracle视图方法，以便我可以从Oracle视图到Linux服务器创建数据文件，并通过gpfdist将该文件加载到Greenplum表。
注: Oracle视图来自第三方，我只能查看该数据(我有所有的连接信息)我可以通过SQL Developer访问该视图注:此处不能将数据从SQL Developer导出到我的本地计算机，因为数据非常大
谢谢，桑
浏览 2提问于2013-08-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
