Snowflake外部表:添加新列
Snowflake外部表是Snowflake云数据平台中的一种数据表类型，它允许用户在Snowflake数据库中访问和查询存储在外部存储系统中的数据。外部存储系统可以是云存储服务（如亚马逊S3、Azure Blob存储、腾讯云对象存储等）或本地存储系统。
外部表的主要优势在于它们提供了一种无需将数据复制到Snowflake数据库中即可进行查询和分析的方式。这样可以节省存储成本，并且可以直接在外部存储系统中对数据进行更新，而无需同步到Snowflake数据库中。
外部表的应用场景包括但不限于以下几个方面：
- 数据湖：外部表可以用于访问和分析存储在数据湖中的数据，如存储在云存储服务中的原始数据文件。
- 数据集成：外部表可以用于将不同数据源中的数据集成到Snowflake数据库中，实现数据的统一管理和查询。
- 大数据分析：外部表可以用于对大规模数据集进行分析，而无需将数据复制到Snowflake数据库中，提高查询性能和降低成本。
- 实时数据处理：外部表可以用于实时数据处理场景，如流式数据分析和实时报表生成。
腾讯云提供了与Snowflake外部表相关的产品和服务，例如腾讯云对象存储（COS），它可以作为外部存储系统与Snowflake集成使用。通过腾讯云COS，用户可以将数据存储在云端，并通过Snowflake外部表功能直接访问和查询这些数据。腾讯云COS具有高可靠性、高可扩展性和低成本的特点，适用于各种规模的数据存储和分析需求。
更多关于腾讯云COS的信息和产品介绍，请访问以下链接： 腾讯云COS产品介绍：https://cloud.tencent.com/product/cos 腾讯云COS文档：https://cloud.tencent.com/document/product/436
相关·内容
1回答
我成功地创建了一个snowflake外部表，并且能够从s3加载数据。我想在这个外部表中添加一列。在Snowflake文档中，他们说-“使用以下ALTER TABLE语法更改现有的外部表以添加或删除列: add columns: ALTER TABLE…ADD COLUMN。remove columns: ALTER table…DROP COLUMN。 当我尝试向外部表添加列时，出现以下错误-“外部表列TEST_COL必须有一个定义表达式”。 我使用以下命令添加列- alter table number add column TEST_COL number； 这是我引用的雪花文档的链接- h
浏览 35提问于2020-01-08得票数 1
回答已采纳
我正在尝试将外部JSON文件从Azure Blob存储加载到Snowflake。我创建了表LOCATION_DETAILS，其中所有列都是Variant。当我尝试加载到表中时，我得到以下错误：
有人能在这方面帮我吗？
浏览 0提问于2020-08-06得票数 0
正在尝试使用复制到SELECT FROM阶段将CSV数据加载到Snowflake Table中。 目标表有一个额外的列来捕获加载日期时间，所以COPY语句被写成， 从(SELECT $1，$2，$3，$4，CURRENT_TIMESTAMP(0) FROM STAGE) FILE_FORMAT='TEST‘复制到测试中 $1-$4派生自文件列运行时，并生成select字符串。 现在假设我的文件添加了一列，现在字符串是$1-$5。Snowflake是否仍然能够使用之前的复制语句加载现有列。在这种情况下，MATCH_BY_COLUMN可以工作吗？
浏览 12提问于2021-08-11得票数 0
我通过Terraform管理雪花桌。
在现有表中添加新列时，我希望保留列顺序。默认的terraform行为是在DDL create表达式中追加新列。
举个例子:我首先创建一个表
resource "snowflake_table" "table" {
database = snowflake_schema.schema.database
schema = snowflake_schema.schema.name
name = "table"
colum
浏览 4提问于2022-11-07得票数 -1
我想修改表格并设置列的默认顺序，即identity。当我试着跑的时候 ALTER TABLE report.test_table MODIFY id set default test_table_seq.NEXTVAL; 它显示以下错误： [0A000][2] Unsupported feature 'Alter Column Set Default'. 下面是create table sql： create table report.test_table(
id int identity,
txt text
); 考虑到snowflake文档，列必须有一个
浏览 16提问于2020-01-29得票数 3
回答已采纳
3回答
基于一个整数ID，一个如何约束两个引用公共表的表，从而使另一个表中包含相同的元素？
假设创建了个人信息的基本表：
CREATE TABLE person (
id INTEGER PRIMARY KEY AUTOINCREMENT,
info VARCHAR(10)
);
然后创建两个引用person的表：
CREATE TABLE special (
id INTEGER PRIMARY KEY,
skill VARCHAR(10),
FOREIGN KEY (id) REFERENCES person(id)
);
CREATE TABLE sno
浏览 1提问于2018-03-02得票数 3
回答已采纳
1回答
我知道我们将无法在snowflake中使用GET_DDL函数获得外部表的DDL。有没有办法在snowflake中获取外部表的DDL( Create语句)？
浏览 7提问于2020-06-18得票数 0
我正在SQL Snowflake中创建一个视图，它是两个表的联合。这些表具有相同的列，它们只是来自两个不同的部门。有没有办法创建一个使用案例的新列，或者说“如果数据来自这个表，那么在新列中放入部门A”(反之亦然)，然后合并数据？
浏览 12提问于2021-11-15得票数 1
一旦数据被插入到雪花表中，我想要触发任何事件到任何事件桥和sns主题，这样我就可以同步python脚本，在数据之上做一些其他事情。snowflake是否支持事件桥、sns topic或kinesis队列的事件触发？
谢谢，迪皮卡
浏览 1提问于2021-11-12得票数 1
我需要从Salesforce查询Snowflake中的一个表，以便为客户提供实时数据。最好和最优化的方式是什么？
浏览 0提问于2019-10-24得票数 0
我有一个Alteryx工作流，它从snowflake表中选择所有内容，向表中添加RecordId列，然后使用新名称将结果上传回snowflake。
问题是: Snowflake不能识别RecordID列。
如果我使用SELECT * FROM NUMBERED_TABLE，它会成功读取整个表，显示每个字段，包括RecordID。
但是，如果我尝试使用SELECT RECORDID FROM NUMBERED_TABLE进行选择，则会得到消息SQL compilation error: error line 1 at position 7 invalid identifier 'RECO
浏览 15提问于2021-02-13得票数 1
回答已采纳
最近开始使用snowflake，任务是确保表和这些表顶部的视图在它们和列上有注释。
snowflake中有没有一个选项可以将底层表和列的注释导入到视图中，这样我就不必再次手动在视图和视图列上创建相同的注释？
如果没有更好的解决方法呢？
这些只是使用select * from the table的直接视图(原因是我们只向外部用户公开视图，而不是表)
浏览 0提问于2020-06-10得票数 1
我需要使用SQL获取多个Snowflake表和视图的列数据类型。SQL可以是Snowflake特定的。 我知道这个任务可以通过查询标准的INFORMATION_SCHEMA对象来完成。然而，从这样的查询返回的列数据类型是泛化的类型，如TEXT、NUMBER等。我正在尝试获得实际的Snowflake列数据类型，例如VARCHAR、DATETIME、SMALLINT等。 例如，在SQL Server中，这可以通过查询sys视图来完成。在Snowflake中是否有一组等价的对象可以查询？我还没能找到一个。 附加约束是，它应该是返回多个表的列类型的单个查询，而不是每个表或视图的一个查询。
浏览 27提问于2020-11-05得票数 0
回答已采纳
1回答
有一个关于Snowflake外部表的问题。因为我们现在的外部表格仍然是一个预览功能，仍然不是一个通用的可用的。因此，有没有人在你的生产环境中使用外部表，你看到什么问题了吗？Snowflake不建议在生产中使用预览功能。有什么想法吗？
浏览 21提问于2020-08-02得票数 0
正在尝试将数据从Teradata移动到Snowflake。我创建了一个进程，为每个表运行TPT脚本，为每个表生成文件。
在snowflake中运行COPY to时，还会拆分文件以实现并发。
需要了解将这些文件从Prem Linux计算机上移动到Azure ADLS的最佳方式。考虑in大小的文件。
Azure是否提供了任何机制来移动这些文件，或者我们可以从Teradata直接在ADLS上创建文件吗？
浏览 13提问于2021-06-03得票数 0
1回答
我有一张巨大的雪花桌。我想在桌面上做一些转换。我的雪花表有一个名为“快照”的列。我只想读取pyspark中的当前快照数据，并对过滤后的数据进行转换。
那么，是否有一种方法可以应用于在中读取雪花表时对行进行过滤(我不想在内存中读取整个雪花表，因为它没有效率)，还是需要读取整个雪花表(在中)，然后应用筛选器获取以下内容的最新快照？
SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"
snowflake_database="********"
snowflake_schema="********
浏览 2提问于2022-03-16得票数 0
回答已采纳
我们最近开始在我们的项目中使用Snowflake数据仓库，但遇到了一个问题。表和视图创建脚本被上传到Git repo，并通过Jenkins执行。对于snowflake中的表创建脚本的任何更新(列的添加或删除)，我们必须删除并重新创建snowflake中的表。这会导致表中的数据丢失，这是不希望的。 每次我们删除并重新创建表时，数据都会丢失，我们必须手动将所有数据加载到新创建的表中。这既耗费时间，又造成不必要的停机时间。我们的表创建脚本对所有环境都是通用的，并且以前是为HIVE设计的。同样的情况也扩展到了snowflake，我们只在对snowflake表进行任何模式更改时才会遇到问题。 当我们向
浏览 19提问于2019-01-17得票数 0
我想知道Snowflake是否可以直接连接到API并将数据加载到雪花模式表中？如果是的话，你能指导我这个过程吗？我是Snowflake的新手，请提供例子和解释。
提前感谢您的时间和努力！
浏览 5提问于2022-05-03得票数 0
回答已采纳
2回答
我必须创建一个应用程序，从雪花传输数据到postgres每天。postgres中的一些表在迁移前会被截断，并复制相应snowflake表中的所有数据。而对于其他表，postgres中最后一个时间戳之后的数据是从snowflake复制的。此作业必须在晚上运行，而不是在白天客户使用该服务时运行。做这件事最好的方法是什么？
浏览 0提问于2019-11-21得票数 0
我在S3上存储了每天的MySQL DB快照。这个每日数据库快照是数据库中1000个表的备份，使用mysqldump，大小约为每天300M (存储1年的快照，约为110G)。
现在，我们希望每天将这些快照加载到snowflake，以便进行报告。我们如何在snowflake中创建表格？我们要创建1000张表吗？snowflake能够处理这种情况吗？
欢迎所有评论。谢谢!
浏览 8提问于2020-12-06得票数 0
我正在将SAS代码转换为Snowflake，我得到了一个在Snowflake中实现"PROC TRANSPOSE“功能的场景。下面是我在snowflake中拥有的相同的表数据，我需要一次将行转置为列，将列转置为行。 输入数据示例： ? 输出数据示例： ?
浏览 4提问于2021-07-14得票数 0
如何遍历所有具有特定名称的表(比如‘%SP%’)，然后在snowflake过程中更新每个表的特定列值？我还必须显示每个表中有多少行更新，比如- table1 - xyz rows updated
浏览 4提问于2021-11-12得票数 1
1回答
尝试使用join in snowflake从三个视图中选择所有列。查询运行时间超过45分钟。所有三个基本视图都构建在一个json表的顶部。平面化的数据根据其类型在三个视图中分开。当尝试组合视图时，查询运行了很长时间
浏览 2提问于2021-07-12得票数 0
我在谷歌BigQuery表/视图中有数据，在谷歌云存储存储桶中。我已经为这个存储桶创建了一个集成和外部阶段，并且可以在Snowflake中查看存储桶中的文件。 现在如何将数据从谷歌BigQuery表加载到Snowflake表中？
浏览 13提问于2020-05-02得票数 0
import snowflake.connector
#create connection
conn=snowflake.connector.connect( user='', url = '',
password='',account='',warehouse='',database='',schema='')
#create cursor
CS = conn.cursor()
conn.cursor().execute("USE ROLE ")
#conn.c
浏览 5提问于2022-02-10得票数 0
1回答
目前，我们正在使用SQR在Exadata中生成PDF报告。我们正计划从Exadata迁移到snowflake，但想知道是否有类似SQR的实用程序或使用Snowflake生成PDF报告的任何其他功能？ 我将非常感谢您的宝贵意见。
浏览 14提问于2020-12-07得票数 1
我正在加载两个拼图文件，每个文件都有1行，在Snowflake上的一个表中有一个变量列。当我使用python读取这两个文件并打印字段时，我看到相同数量的字段(在本例中为30个)。当我将这两个拼图文件加载到雪花上的表的variant数据类型列中并查询该表时，我只看到一个文件中的29个字段和其他文件中的30个字段。
当我查看这个缺少的字段的python输出时，我看到一个文件有一个值(在本例中是13)，另一个文件的值是NaN。
由于某些原因，Snowflake不会显示具有空值的字段。
在加载到snowflake时，我是否需要做一些不同的事情，以不忽略在拼图文件中没有值的字段。
浏览 20提问于2020-06-06得票数 0
我已经设置了雪花-卡夫卡连接器。我在snowflake中设置了一个示例表(kafka_connector_test)，两个字段都是VARCHAR型的。字段为CUSTOMER_ID和PURCHASE_ID。 下面是我为连接器创建的配置 curl -X POST \
-H "Content-Type: application/json" \
--data '{
"name":"kafka_connector_test",
"config":{
"connector.class":"com.sn
浏览 4提问于2020-07-03得票数 0
回答已采纳
为了将数据从Ms sql server 2008传输到Snowflake，我使用了talend，但每次我得到的错误都是
java.io.IOException: net.snowflake.client.loader.Loader$ConnectionError: State: CREATE_TEMP_TABLE, SQL compilation error: error line 1 at position 68
invalid identifier '"columnname"'
at org.talend.components
浏览 27提问于2018-01-05得票数 1
1回答
我们正在使用DBT将表添加到snowflake。我们创建了一个表，其中包含一个模型silmilar，如下所示： {{
config(
materialized='table'
)
}}
select
NAME,
RIGHT(ADDRESS,6) AS PIN
FROM {{ source('PERSON','PERSON_DETAILS')}} 在创建表时，NAME的数据类型在snowflake中正确显示为varchar(50)，这是源列的数据类型。但是，PIN的数据类型是varchar(16777216)，这是雪花中varchar的最
浏览 14提问于2021-06-24得票数 1
回答已采纳
我在我的雪花实例上有一个数据库SFOPT_TEST。数据库有两个模式-- AUDITS和PARAMS。
模式AUDITS有一个使用SQLAlchemy declarative_base()创建的表-
class AccountUsageLoginHistory(Base):
'''
This model will store the account parameters of the customers instances.
'''
__tablename__ = constants.TABLE_ACC
浏览 4提问于2020-12-10得票数 2
2回答
我们使用BigQuery和SNOWFLAKE(Azure托管)，我们经常从大查询和导入导出数据到SNOWFLAKE，反之亦然。有没有简单的方法来集成这两个系统，比如自动将大查询表同步到SNOWFLAKE，而不是导出到文件并导入？
浏览 4提问于2021-10-22得票数 2
我已经在snowflake中加载了内部/names stage中的数据，现在想不断地将数据从内部stage复制到snowflake表中。我读到通过雪管的连续加载只支持外部阶段，而不支持内部阶段。那么从内部stage连续加载数据到雪花表的方法是什么呢？
提前谢谢。Amrita
浏览 2提问于2020-08-24得票数 1
我在snowflake中有一个表，我正在使用执行批量加载。表中的某一列是date，但在sql server上的源表中，date列中的值为null。 数据流如下： sql_server-->S3存储桶-->snowflake_table 我可以在EMR中执行sqoop作业，但不能将数据加载到snowflake表中，因为它不接受日期列中的空值。 错误是： Date '' is not recognized File 'schema_name/table_name/file1', line 2, character 18 Row 2,
column &
浏览 26提问于2021-10-06得票数 2
回答已采纳
在Snowflake kafka连接器中，我可以使用预定义的数据类型，因为在内部它使用雪花管道来加载数据。 我在这里试图实现的是，在将数据加载到阶段表时，从我的json msg中删除外部数组。
浏览 31提问于2020-08-11得票数 0
在Snowflake中有没有一种简单有效的方法来创建代理键？ ? 假设这个数据集将被选择到一个表中，在插入过程中添加了一个battery_id列，它是映射到代理键的battery_uuid列。在这种情况下，可以变成例如1,1,2,1,1,2,3。Snowflake中的序列不具有这种功能，因为它变成了例如1,2,3,4,5,6,7。如果这种映射是在插入过程中完成的，则最好是在插入过程中完成，但是，如果需要，也可以在插入之后完成。As context:添加此列是因为UUID上的联接不起作用。
浏览 21提问于2021-03-20得票数 1
我正在寻找雪花场景下的小帮助。 根据snowflake官方文档，很明显，外部表至少需要刷新一次(自动或手动)，以便其设置完成，并且查询应该能够获取行。 如果下划线路径和文件名没有更改，但我们正在用新数据替换文件，会发生什么情况。如果我们在不设置事件网格(执行刷新)或不执行手动刷新的情况下从snowflake查询外部表，则新数据是否可用。？ 例如。some_external_path/location/file_with_data.csv
浏览 21提问于2020-09-11得票数 1
我正面临一个问题，在使用pyspark将数据帧写入snowflake中的表时，我无法返回所有超过字符长度的列的列表。 我如何一次返回列的列表，而不是更新每一列，重新运行命令，然后在另一列上面临相同的问题，并重复该过程，直到所有列的长度固定。 (df.write \
.format(SNOWFLAKE_SOURCE_NAME)
.options(**sfWriteOptions)
.option("schema",schemaname)
.option("dbtable",targettable)
.mode(&#
浏览 54提问于2020-04-29得票数 0
作为一名数据建模师，我已经对我的数据模型进行了完整的注释，并希望使用列级注释创建我的雪花表。 我想使用snowflake_table资源创建一个包含列级注释的表。 从纯DDL的角度来看，我喜欢这样： CREATE TABLE MYDB.MYSCHEMA.MYTBL
(COL1 STRING comment 'hello'
, COL2 INT comment 'goodbye' )
COMMENT = 'test table' 在列的嵌套架构中准备Terraform DDL时受支持(因此)： resource "sno
浏览 16提问于2021-01-12得票数 0
在配置JDBC驱动程序以从Snowflake中提取元数据时，如表、列、视图-我应该使用哪些属性来提取表描述、列描述、与表关联的标记等。 另外，有没有一个地方我可以看到元数据属性的详尽列表。 当我在Collibra数据目录中配置snowflake JDBC驱动程序时，它只获取表名而不获取描述，获取列名而不获取描述。
浏览 26提问于2021-06-29得票数 0
1回答
我们需要将数据从oracle云存储移动到Azure云存储。 该需求基本上是将数据从Oracle ADW数据库(托管在Oracle云上)移动到Snowflake数据库(托管在Azure上)。 由于表中的数据量很大(有些包含60mil+记录)，我们不希望使用任何ETL工具，而是希望设置一个管道，如下所示。 Oracle ADW database Snowflake将数据存储在Oracle存储中-->使用雪花管道或类似的雪花实用程序将数据移动到Azure云存储-> Load to snowflake。 我应该如何进行这个实现呢？ 我们是否可以使用Oracle fastconnect和A
浏览 21提问于2021-08-27得票数 1
我有一个JSON文件，当我在Snowflake中创建一个外部表并查询它时，结果是每一行都是一条JSON记录。 在创建外部表时，我是否可以将结构展平，以将每个字段放入列和行格式？ 谢谢
浏览 11提问于2020-07-28得票数 0
我可以通过内部stage将CSV文件批量加载到Snowflake中，或者直接将数据加载到表中。 我遇到的问题是，文件名包含重要信息，必须包含在表中。 如何将CSV文件批量加载到Snowflake中，同时添加文件名作为附加列？ 例如： ?
浏览 12提问于2020-10-14得票数 1
回答已采纳
1回答
我想为Snowflake执行一些类似terraform的查询。使用角色管理员；alter账号设置类型= '{“证书”：“测试”，“测试”："<okta_snowflake_app_id>/sso/saml"，“saml_identity_provider”：“ssoUrl”}'；
浏览 2提问于2021-10-06得票数 1
我有一个从kafka摄取数据到Snowflake的要求。我想用snowflake kafka连接器来设计这个摄取。我的理解是，我的接收器需要是一个variant表，所以连接器会将kafka消息推送到variant列。一旦数据在variant列中，我将需要运行另一个进程来读取variant列，解析它并将数据存储到相应的目标表中。请让我知道这是否是摄取kafka数据的最佳方法 谢谢
浏览 33提问于2020-07-29得票数 0
回答已采纳
1回答
我有一个关于雪花的新功能-Infer模式表函数的问题。推断模式函数在拼图文件上执行得非常好，并返回正确的数据类型。但是，当对拼图文件进行分区并将其存储在S3中时，推断模式的功能与pyspark数据帧不同。
在DataFrames中，分区文件夹名和值被读取为最后一列；在Snowflake推断模式中，有没有办法实现同样的结果？
示例：
@GregPavlik -输入为结构化拼图格式。当地块文件存储在没有分区的S3中时，模式是完全派生出来的。
示例：{ "AGMT_GID"：1714844883，"AGMT_TRANS_GID"：640481290，"
浏览 0提问于2021-10-21得票数 5
2回答
如何在雪花中修改虚拟列
、、、
在snowflake中有一个包含虚拟列的表，如下所示： create table my_tbl(
key number,
name varchar(60),
owner varchar(60),
value number,
check_sum number as hash(key, name, value)
); 您能否告知此列是否已使用alter语句进行了修改？ 我试过smth就像 alter table my_tbl modify column check_sum number as hash(key, name, valu
浏览 26提问于2021-02-12得票数 2
我正在将下面的复制语句运行到雪花目标表中，并为现有的blob存储帐户预先创建了一个外部阶段。复制工作正常，然后可以在目标snowflake表中看到行。但是，清除azure blob存储区中的相应文件夹'D_CALENDER‘不会进行处理。没有错误，只是不能处理。也许你有什么想法？--中国政府、中国政府。
COPY INTO "STAGING"."D_CALENDAR"
FROM @STAGE/D_CALENDAR/
FILE_FORMAT = CSV_IMPORT ON_ERROR = CONTINUE PURGE = TRUE;
问候邮局
浏览 11提问于2019-11-06得票数 1
1回答
我有一大堆数据文件，其中一些具有不同的标题名称(即名字、FName、名字)和/或列顺序(一张表中的第二列是phone，另一张表中的第三列是phone)。
我正在尝试将所有这些文件放到Snowflake中，这样我就可以运行分析并享受数据的乐趣。
有没有Python脚本可以读取文件，并允许我将它们与Snowflake中的列进行匹配？
浏览 0提问于2020-01-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
