Insert into表包含BigQuery中的重复记录
在 Google BigQuery 中插入数据时，如果你想避免插入重复记录，可以使用多种方法来实现这一目标。以下是几种常见的方法：
方法 1: 使用 MERGE 语句
MERGE 语句允许你根据某些条件合并数据，从而避免插入重复记录。假设你有一个目标表 target_table 和一个源表 source_table，并且你希望根据某个唯一键（例如 id）来避免重复记录。
MERGE target_table T
USING source_table S
ON T.id = S.id
WHEN MATCHED THEN
UPDATE SET T.column1 = S.column1, T.column2 = S.column2
WHEN NOT MATCHED THEN
INSERT (id, column1, column2) VALUES (S.id, S.column1, S.column2)方法 2: 使用 INSERT 和 SELECT 语句结合 DISTINCT
如果你只是想插入不重复的记录，可以使用 INSERT 和 SELECT 语句结合 DISTINCT 来实现。
INSERT INTO target_table (id, column1, column2)
SELECT DISTINCT id, column1, column2
FROM source_table方法 3: 使用 INSERT 和 SELECT 语句结合 EXCEPT
你可以使用 EXCEPT 子句来选择那些在目标表中不存在的记录。
INSERT INTO target_table (id, column1, column2)
SELECT id, column1, column2
FROM source_table
EXCEPT DISTINCT
SELECT id, column1, column2
FROM target_table方法 4: 使用 INSERT 和 SELECT 语句结合 LEFT JOIN
你可以使用 LEFT JOIN 来选择那些在目标表中不存在的记录。
INSERT INTO target_table (id, column1, column2)
SELECT S.id, S.column1, S.column2
FROM source_table S
LEFT JOIN target_table T
ON S.id = T.id
WHERE T.id IS NULL示例
假设你有以下两个表：
target_table：目标表，包含现有数据。source_table：源表，包含要插入的数据。
创建示例表
CREATE TABLE target_table (
id INT64,
column1 STRING,
column2 STRING
);
CREATE TABLE source_table (
id INT64,
column1 STRING,
column2 STRING
);插入示例数据
INSERT INTO target_table (id, column1, column2)
VALUES (1, 'A', 'B'), (2, 'C', 'D');
INSERT INTO source_table (id, column1, column2)
VALUES (2, 'C', 'D'), (3, 'E', 'F');使用 MERGE 语句避免重复记录
MERGE target_table T
USING source_table S
ON T.id = S.id
WHEN MATCHED THEN
UPDATE SET T.column1 = S.column1, T.column2 = S.column2
WHEN NOT MATCHED THEN
INSERT (id, column1, column2) VALUES (S.id, S.column1, S.column2);使用 INSERT 和 SELECT 语句结合 DISTINCT
INSERT INTO target_table (id, column1, column2)
SELECT DISTINCT id, column1, column2
FROM source_table;使用 INSERT 和 SELECT 语句结合 EXCEPT
INSERT INTO target_table (id, column1, column2)
SELECT id, column1, column2
FROM source_table
EXCEPT DISTINCT
SELECT id, column1, column2
FROM target_table;使用 INSERT 和 SELECT 语句结合 LEFT JOIN
INSERT INTO target_table (id, column1, column2)
SELECT S.id, S.column1, S.column2
FROM source_table S
LEFT JOIN target_table T
ON S.id = T.id
WHERE T.id IS NULL;相关·内容
4分34秒
MySQL教程-46-修改表中的数据
50
7分9秒
MySQL教程-47-删除表中的数据
10
5分18秒
20_尚硅谷_MySQL基础_查询表中的字段
420
38分52秒
129-表中添加索引的三种方式
390
10分43秒
11_尚硅谷_SSM面试题_MyBatis中当实体类中的属性名和表中的字....avi
3640
7分54秒
MySQL教程-09-查看表结构以及表中的数据
90
5分18秒
20_尚硅谷_MySQL基础_查询表中的字段.avi
3770
34分48秒
104-MySQL目录结构与表在文件系统中的表示
440
16分21秒
136_第十一章_Table API和SQL（四）_流处理中的表（一）_动态表和持续查询
420
15分2秒
138_第十一章_Table API和SQL（四）_流处理中的表（三）_动态表编码成数据流
380
5分15秒
53-尚硅谷-JDBC核心技术-使用QueryRunner查询表中特殊值的操作
420
5分15秒
53-尚硅谷-JDBC核心技术-使用QueryRunner查询表中特殊值的操作
350
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
