在同一任务中删除和重新加载雪花
是指在进行图像处理或视频编辑等多媒体处理任务时，需要对雪花（即图像或视频中的噪点）进行删除和重新加载的操作。
雪花是指图像或视频中的噪点，可能是由于信号干扰、传输错误或设备故障等原因导致的。删除和重新加载雪花可以提高图像或视频的质量和清晰度，使其更加适合观看和使用。
删除雪花的方法可以使用图像处理算法，例如使用滤波器或噪声消除算法来识别并去除图像中的噪点。对于视频，可以使用视频编辑软件或视频处理库来对每一帧进行处理，去除其中的雪花。
重新加载雪花的方法可以使用图像生成算法或视频特效技术，例如使用随机数生成器生成与原始图像或视频相似的雪花效果，并将其叠加在原始图像或视频上，以模拟雪花的效果。
这种操作在多媒体处理、图像处理、视频编辑等领域中广泛应用。例如，在电影制作中，为了营造冬季场景或增加艺术效果，可以在特定场景中添加雪花效果。在监控系统中，为了提高图像质量和识别能力，可以去除图像中的噪点。
腾讯云提供了一系列与多媒体处理相关的产品和服务，包括图像处理、视频处理、音视频直播等。其中，图像处理服务可以用于去除图像中的噪点，视频处理服务可以用于对视频进行编辑和特效处理。您可以通过以下链接了解更多关于腾讯云多媒体处理相关产品和服务的信息：
相关·内容
2回答
Problem我在同一个S3桶中有多个文件。当我试图加载一个文件到雪花，我会得到一个“访问拒绝”错误。当我尝试一个不同的文件(在同一个桶中)时，我可以成功地加载到雪花中。
高亮显示的文件不会加载到雪花中。
这是错误
使用不同的文件，但在同一个桶，我可以成功地加载到雪花。
已知的不同之处：(不工作的文件)是由生成的。可以加载到雪花中的文件由AWS生成，保存到本地，然后重新上传到桶中。
唯一的区别是我把它带到了我的本地机器上。
问题：对拼花文件是否有已知的文件权限？为什么当我下载并上传到同一个桶时，这种行为就会消失。
这不可能是S3桶问题。必须是拼花文件上的一些编码
浏览 3提问于2021-08-26得票数 0
回答已采纳
作为整个流程的一部分，数据将从流入DB和SQL DB中导入Azure blob，其思想过程是使用雪花查询/SP将数据从blob加载到雪花中(批处理)。思想过程是使用任务调度和编排执行使用雪花脚本。很少有问题，
可以创建并执行基于配置表-Ex的动态查询:一个副本命令，指定从.加载数据的确切路径和文件，作为雪花脚本的一部分，如果理解存储在配置DB中的一系列步骤(查询/ SP)，则可以执行相应的步骤(查询/SP)，以便通过加载到表中发送错误记录的电子邮件通知。是否应该使用Azure数据工厂/逻辑应用程序在数据加载过程之后在雪花之外处理这一问题。
上述方法是否可行，使用上述方式是否有任何限制？是否有任
浏览 5提问于2022-04-21得票数 0
回答已采纳
前任：
资料来源：S3
计划更新：2次/天
目标：雪花桌
流：否
在第0天，我在雪花数据库中创建并加载了一个customer表。S3文件每天更新2次，它们也需要在雪花表中反映出来。
我想想出一个解决方案，这样就可以在没有流媒体或消息技术的情况下，每天处理2次以下3例病例。
插入-新记录更新-现有记录删除-现有记录
浏览 0提问于2020-05-25得票数 0
我将csv文件从亚马逊S3加载到雪花，首先加载到雪花外部阶段，指向亚马逊S3，然后使用复制命令。据我所知，一旦移动完成，清除功能将清除或保持舞台完好无损。我正在对相同性质的后续调用使用相同的阶段，禁用清除将创建重复并继续堆叠在相同的阶段中。remove调用似乎清除了舞台，也清除了我的S3文件。
有没有一种方法可以在保持s3文件完好无损的同时清除舞台？
浏览 2提问于2020-09-03得票数 0
我想知道如何在雪花云数据库中创建和加载类型2(缓变)维度表。在大多数情况下，此表的加载涉及每天更新和插入多达1-50条记录。如果我们遵循传统的方法，那么雪花存储将在快照时间内显着增长，因为每一个小的变化都会为每个负载创建一个单独的存储。
浏览 0提问于2020-01-10得票数 0
1回答
我正在重新设计DWH解决方案，以前是基于Teradata的，有很多BTEQ脚本在从源DB加载的镜像表上执行转换。新的解决方案将基于雪花，并作为一套转换工具的SQL (雪花)脚本正在准备。
是一种正确的方法，可以在ETL脚本中使用DDL语句，这些语句可以创建临时表，这些表比脚本的末尾被删除？
在我看来，应该在运行这个脚本之前创建这样的表，而不是在脚本中动态创建它。一个参数选择雪花上的DDL语句提交事务，这就是为什么我希望在转换脚本中避免DDL语句。请帮助我找到在ETL过程中使用DDL语句的利弊，并支持我认为我是对的，或者让我相信我错了。
浏览 4提问于2020-05-27得票数 0
在雪花中，有一个名为斯诺管道的概念，它将自动将数据加载到来自不同数据源的配置表中。
我们正在努力做正常化，而加载到雪花通过雪管。
Table A:
Id & EmployerName
Table B:
Id, Employeename & EmployerID
文件中的值
Name, EmployerName
Raj, Google
Kumar, Microsoft
我们无法在同一个管道中填充表A和表B，因为管道只有一个副本语句。
是否有类似于依赖管道的概念&其他方法可以先加载查找表并从示例文件加载主表？
注：
如果有两个管道，则无法指定依赖项。
浏览 6提问于2019-12-13得票数 3
1回答
我们正在利用雪花作为仓库平台。在将数据加载到雪花时，我们使用了一些降创建逻辑来填充雪花中的数据。我们没有使用临时表或临时表，而是意外地利用了永久表，这导致了作为时间旅行存储的一部分的巨大存储大小(接近140 tb)。
因为我们已经删除了永久表，所以它们没有列出雪花模式。希望检查是否有任何方法可以更改已删除表的保留期()，以便释放这些已删除表所使用的时间旅行存储。
事先非常感谢，
普拉珊
浏览 6提问于2020-04-02得票数 1
回答已采纳
1回答
相反，在使用斯诺管道时，我想通过编程方式构建雪管。
i)斯诺管道自动检查文件并将其加载到暂存区域。我使用复制命令复制json文件s3桶并加载到暂存区域。
( ii)斯诺管道还检查文件是否已更新或新文件是否已到达S3。我怎么才能在蟒蛇身上做到这一点？
(三)雪管也避免了重复。如何实现同样的目标
我需要检查S3桶上一次编辑的时间，然后将它加载到暂存雪花中吗？
致以敬意，
于
浏览 2提问于2022-01-12得票数 0
1回答
我尝试将一些XML数据加载到雪花中，这些数据的结构基本如下：
<Data>
<Details About the Data>
</Details About the Data>
<Employees>
<Employee> (there are thousands of these with many properties)
</Employee>
</Employees>
</Data>
当试图将这些数据上传到雪花时，我发现除非我基本
浏览 1提问于2022-02-03得票数 0
1回答
如何在雪花中删除4层数据-父母，孩子，孙子，曾孙？
我有4个表，当在父表中删除数据时，数据将被删除。由于雪花中没有级联删除，我们如何在自动化过程中实现这一点？
浏览 5提问于2020-11-09得票数 0
我们使用DMS从SQL Server中获取数据并将其加载到S3存储桶中，之后数据最终使用Snowpipe加载到Snowflake DB中进行完整加载。
现在，为了让雪花管道知道S3存储桶中有新的数据，文件名需要与上一个不同。我尝试了所有可用的任务设置选项(DROP_AND_CREATE、DO_NOTHING、TRUNCATE)，以使文件名不同，但仍然不起作用。它将文件名加载为LOAD00000001.csv
在文档中，它显示文件名将是递增的(例如，LOAD00000001.csv，LOAD00000002.csv.以此类推)，但这并没有发生。这就是为什么雪管无法注册更改的原因。
有人能帮帮忙
浏览 0提问于2018-08-16得票数 1
1回答
我需要进行一次历史数据加载，然后每10分钟进行一次增量加载。 有没有办法将雪花任务参数化，以便首先运行历史负载，然后更改参数以执行增量负载？如果没有，您是否可以建议一种更好的方法来通过任务处理历史(一次性)和增量负载 注意:雪花流的底层表包含历史记录，执行流/任务后的任何新数据都被视为增量。
浏览 66提问于2021-11-13得票数 2
回答已采纳
来源:3- 说-
“雪花”为每个加载数据的表维护详细的元数据.此加载元数据在64天后到期.“然后是对LOAD_UNCERTAIN_FILES复制选项的解释。此选项告诉雪花是否要加载其元数据已超过64天的文件已被清除。
3 #2 - 说-
“雪花保留历史数据，以便复制到在过去14天内执行的命令.使用LOAD_HISTORY信息架构视图检索加载到表中的数据历史，使用复制到命令”
3 #3 - 说-
“”此帐户使用视图可用于查询过去365天(1年)的雪花数据加载历史。该视图显示使用斯诺管道复制到语句和连续加载数据的加载活动。该视图避免了LOAD_HISTORY视图的10,000行限制。
问题
浏览 2提问于2021-10-27得票数 0
回答已采纳
我使用Spring数据流创建一个自定义流，将数据加载到雪花中。我编写了一个自定义接收器，使用雪花的JDBC驱动程序将数据加载到雪花中。我使用的方法类似于使用以下步骤的任何数据库更新：
connection.Using 创建连接池(使用HikariCP)以获得雪花数据库的准备语句，创建一批行以一次性提交。使用预定的计时器将批提交到雪花。
这时，我注意到雪花中的批处理更新得非常慢--即一次更新一两条记录，在雪花表(使用XS仓库)中更新一批8K行花费了超过45分钟的时间。
我的问题是:是否有更好的/另一种/推荐的方法将数据流到雪花中？我知道卡夫卡连接到雪花和雪管(使用内部/外部阶段)，但这些不是我们
浏览 7提问于2020-10-23得票数 0
在有关AWS S3批量装载的雪花文档中，他们说：
--您可以直接从桶加载，但是雪花建议创建一个引用桶的外部阶段，并使用外部阶段。
因此，我的第一个问题是:为什么雪花推荐创建一个外部舞台，而不是直接从桶中装载？这有什么原因吗？或者如果你有任何解释原因的文件，请告诉我。:)
我的第二个问题是:在从本地文件系统批量加载的体系结构图中，有从数据文件到阶段的箭头(➡)，但是在从Amazon批量加载的情况下，没有从数据文件到外部阶段的箭头。有箭头和没有箭头有什么区别？
从Amazon S3：批量装载
从本地文件系统批量加载：
浏览 5提问于2021-03-10得票数 1
2回答
我们一直通过ETL工具将数据加载到雪花表，但是当我在雪花中执行“显示阶段”命令时，它没有返回定义的任何阶段。我不认为我们中的任何人已经创造了外部阶段，但我期待至少看到雪花管理内部阶段的结果。
会不会是我的出入问题？还是其他事情发生了？在加载数据时，我们通过ODBC驱动程序连接到雪花。
谢谢
浏览 5提问于2020-06-01得票数 0
回答已采纳
我对雪花还不熟悉，我们正在研制一台POC。场景是我们从ERP系统中获得大约100个(.txt)文件，并在一夜之间上传到S3桶中。我们需要将这些文件加载到暂存表中，然后加载到DW表中，并在雪花中应用数据转换。我们正在考虑使用雪管将数据从S3加载到暂存表，因为来自ERP的文件到达是没有计划的，并且可以在4个小时的窗口内随时到达。每天的文件都有时间戳，每天都会有完整的数据。因此，在摄入当天的文件之前，我们需要每天截断暂存表。
但是雪管定义不允许截断/创建语句。
请分享你对此的想法。我们应该继续考虑雪管吗？还是尝试使用“复制”命令作为一个“任务”，以固定的时间间隔运行，比如每15分钟运行一次？
浏览 2提问于2022-02-02得票数 1
我有一个斯诺管道，它正在从t1加载到一个表S3中，并且工作非常好。但是，现在我必须在每次将新文件加载到S3中时删除和重新加载该表。
为了解决这个问题，我的想法如下
1. Create a new table t1_load.
2. create a Snowpipe and load into new table.
3. Create a Stream and load into table t1 and before loading delete the table.
，但是我不知道如何使用Stream删除表
这是否是适当的方法，因为我们有90个表，它意味着90个新的加载表，或者有一个更好的
浏览 2提问于2021-05-20得票数 0
我有一个用例，将XML文件从Windows文件共享传输到Azure Blob存储，然后将数据加载到雪花表。我正在利用马蒂尔利来实现这一点。
获得压缩的XML文件，其中包含.xml和.xml.chk文件。我正在使用Matillion的组件将.xml文件复制到雪花表，并设置have = True，以便在之后删除它们。
在从Blob存储容器中删除剩余的.xml.chk文件时，我需要帮助。而且，一旦数据加载完成，我想从中删除压缩的文件。
谢了，Shivroopa
浏览 3提问于2022-02-16得票数 0
我使用雪花管道从AWS S3检索数据到雪花，但在我的示例中，它并不像预期的那样工作。有时文件没有处理成雪花。
是否有其他方法可供选择？
浏览 4提问于2019-12-13得票数 0
回答已采纳
1回答
我正在构建一条管道，它将数据从雪花发送到S3，然后从S3返回到雪花(在Sag迈上通过生产ML模型运行它之后)。我是数据工程的新手，所以我想从社区中了解推荐的路径是什么。管道要求如下：
我想安排一个月的工作。我是在AWS中还是在雪花边指定这样的？每月拉动应该得到最后一个完整的月份(因为这应该是一个月的管道)。
所有每月数据拉出应该存储在自己的S3子文件夹，如这个query_01012020,query_01022020,query_01032020等。
从S3 (query_01012020,query_01022020,query_01032020)返回到指定的雪花表的数据加载应该在ML模型成
浏览 0提问于2020-06-14得票数 0
我想知道在一系列任务完成后是否有一种运行任务的方法。据我所知，雪花只支持一个前辈的任务，不多。
我的情况是，在完成所有维度之后，我必须加载一个事实表。
浏览 8提问于2022-03-05得票数 1
回答已采纳
1回答
在过去的几天里，我花了很多时间努力在我们的Azure Blob存储和雪花之间创建一个自动化的斯诺管道。我的存储集成工作，但我的问题是自动摄取和通知集成。
在雪花端，我设置了通知集成、外部阶段、管道和表，所有这些都是根据关于如何的雪花文档创建的。
在Azure方面，雪花企业应用程序用户拥有所需的存储队列权限。我还配置了Azure中的事件和消息队列，这样当一个新blob被上传到容器时，就可以在队列中成功地创建消息。
但是，当我将blob放入云存储中时，会创建一条消息，但blob不会自动进入我的表中。如果手动刷新管道，就会加载文件。我确实看到一个雪花似乎引用了这个问题，我按照步骤重新配置Azure端
浏览 16提问于2022-02-28得票数 0
回答已采纳
雪花专家，
我正在尝试创建带有Serverless选项的雪花任务。基本上，我指定了下面的选项"USER_TASK_MANAGED_INITIAL_WAREHOUSE_SIZE"='SMALL'，，当任务运行时，我得到了下面的错误消息。
雪花建议指定雪花提供的仓库大小，它可以是小的，中等的，大的。
我的角色拥有运行任务所需的所有特权，如数据库上的使用权限、架构、帐户上的执行任务和任务所有者
带有消息的雪花无服务器任务错误不能执行任务，必须将任务仓库上的使用权限授予所有者角色
任何提示为什么在我使用无服务器选项运行任务时会出现此错误？
浏览 3提问于2022-03-16得票数 1
回答已采纳
1回答
我们正在雪花中创建DataWarehouse的过程中，基本上我们的开发人员所做的是通过使用缝合他们已经转移了所有现有的数据到雪花中的数据库，然后每天都在进一步更新。
现在，我正在将表格结构格式化为便于PowerBI和第三方使用的易读内容，这并不是问题。我已经为我想要的表和/或视图创建了所有必要的SQL，并插入了现有数据这个新结构。
然而，我的问题是，我该如何更新出现的任何新数据？
例如，dev有一个名为SN_BARCODE的表，其中包含所有产品的所有条形码，该表中的字段为：
APNS (VARCHAR)
, BARCODEID (NUMBER)
, DATECREATED (TIME
浏览 0提问于2020-02-14得票数 0
我们已经安排了任务，使用复制到语句将数据从s3加载到雪花表。然而，由于以下原因，我们注意到数据计数不一致：
在少数表的情况下，在s3中覆盖某些日期的数据。雪花中的更改后的数据再次加载，但仍然存在旧数据。
我们如何解决这个问题呢？任何帮助都是非常感谢的。谢谢!
浏览 1提问于2020-12-29得票数 0
我正试图使用ODBC连接从ssis到雪花加载大约2000万条记录，这个负载需要花费很长时间才能完成。我有比ODBC更快的方法吗？我可以考虑把它加载到平面文件，然后使用平面文件加载到雪花，但确定如何做。
Update:我使用bcp生成了一个文本文件，然后使用ODBC连接将该文件放置在雪花中，然后使用copy命令将数据加载到表中。
问题:生成的txt文件是一个2.5gb的文件，ODBC很难将文件发送到雪花阶段，这部分有帮助吗？？
浏览 6提问于2019-11-05得票数 1
回答已采纳
2回答
在我的用例中，我的计划工作读取CSV并写入雪花。
当我计划这个从CSV读，并写到雪花每小时，我看到多个副本在雪花。尽管我的ID是主键( (column1) )，但这仍然存在。
据我所知，雪花支持定义和维护约束，但不强制它们，除非非空约束，这些约束总是被强制执行的。我需要帮助来解决这个问题.
为了详细说明，让我们考虑一下场景：
步骤1:上午9点将数据从CSV插入到雪花
步骤2:在晚上10点，我得到了另外一行，因此我的CSV是
预计在雪花
我得到的是如下所示的
浏览 3提问于2020-04-24得票数 0
一旦数据被插入到雪花表中，我想要触发任何事件到任何事件桥和sns主题，这样我就可以同步python脚本，在数据之上做一些其他事情。snowflake是否支持事件桥、sns topic或kinesis队列的事件触发？
谢谢，迪皮卡
浏览 1提问于2021-11-12得票数 1
1回答
是否有一种方法可以在通过Fivetran加载数据之后启动雪花数据加载任务不需要创建每x分钟运行一次的任务，轮询Fivetran的元数据以验证是否继续？
浏览 1提问于2020-01-09得票数 0
回答已采纳
我必须做一个概念的证明(POC)与雪花和我是新的雪花和寻求建议。
用例：
必须从(前提)加载7个表(5个维度表和2个事实表)的数据到雪花
有两张桌子很大，有超过1.5亿张记录。
一旦数据加载到雪花，就必须在雪花中创建大约7个表中的星型模式模型
使用SSRS、Power或Excel从雪花读取数据。
需要衡量：
将数据从源加载到雪花所需的时间(时间、资源利用等)
阅读性能如何？
行级安全性:区域经理浏览Power报告，应该只查看他的数据，而不是其他区域经理的数据
请有人解释一下实现上述目标所涉及的步骤？如果你能提供一些支持性的链接和脚本，那就太好了。
我
浏览 8提问于2019-11-12得票数 0
我们正在尝试从亚马逊网络服务S3 (外部阶段)获取数据，并将其加载到雪花内部阶段。Snowflake应该作为我们的数据湖，可以减少我们从AWS使用的存储量。有没有内置的功能可以从外部stage -->内部stage传输数据？ 目标是将数据加载到内部Snowflake阶段，然后从AWS中删除数据。我们希望Snowflake成为数据湖。
浏览 49提问于2020-07-28得票数 0
我想探索“服务帐户”在雪花。我不需要像这样的细节：
->服务帐户如何与我们在雪花中创建的普通帐户不同？->如何在雪花中创建和配置“服务帐户”。很少有“服务帐户”的例子。->任何在雪花文档中设置的“服务帐户”的例子，如果存在，可以查看。
浏览 5提问于2021-12-14得票数 1
1)如果数据来自外部源，如何将数据加载到雪花中；2)我感到困惑，在雪花中，数据存储在哪里3)如果是AWS，s3存储桶会出现在哪里
浏览 5提问于2021-07-21得票数 0
1回答
我们想把我们的源表从s3外部阶段摄取到雪花中。为此，我们必须考虑到达s3桶中的新文件、现有文件中的更新以及在某些情况下行删除。
到目前为止，我们正在评估三种方法：
表的完整删除和复制(简单但较少的performant)copy命令，它将捕获新的和更新的文件，然后执行合并查询，根据特定的用例去重复甚至删除行(可以解决，但我们需要维护更复杂的合并和删除逻辑)在外部s3阶段之上使用外部表，并在外部表之上物化视图，以提高查询性能。(不确定这是否是建议的摄入机制)。
从所有这三种方法来看，外部表&物化视图似乎是以一种更加免费/更少维护的方式使所有表与源保持最新。但与此同时，我们还没有看到这被认为
浏览 10提问于2022-05-18得票数 1
我们正在实现雪花数据仓库和蔚蓝数据容器()之间的数据自动摄取。
基于雪花文档，我们创建了一个Azure存储帐户，一个将每晚下载blob的容器，一个队列并添加了事件订阅，其端点是筛选blob创建的事件的存储队列。下面是Azure事件订阅的屏幕截图。
我们使用逻辑应用程序连接到客户端FTP站点，将文件下载到存储容器中。一个简单的FTP作业触发器当一个新的文件被添加，获取文件内容使用路径和创建blob.屏幕截图
然而，我们已经看到的是，对于某些文件，数据摄取在blob提交到存储容器之前就开始了。这会导致加载数据失败。在支持雪花和解决问题之后，似乎在提交blob之前就触发了blob
浏览 5提问于2022-09-15得票数 0
4回答
在每天都有新JSON文件转储的s3桶中，我必须创建解决方案，在它到达时选择最新的文件，解析JSON并将其加载到雪花数据仓库。请有人分享你的想法，我们怎样才能实现？
浏览 2提问于2019-01-15得票数 2
回答已采纳
我希望在雪花仓库中触发一个过程，从azure blob存储中加载文件，因为我已经将雪花连接器作为一个蔚蓝功能来实现，并且它运行在消费计划(dynamic)上。但是消费计划的默认超时时间是5分钟，最大超时时间可以是10分钟。但是我的数据大概是50 GB，需要20分钟的时间才能得到中等大小的雪花集群。那么，还有其他方法来实现这一点吗？
浏览 0提问于2020-02-21得票数 1
回答已采纳
我已经在snowflake中加载了内部/names stage中的数据，现在想不断地将数据从内部stage复制到snowflake表中。我读到通过雪管的连续加载只支持外部阶段，而不支持内部阶段。那么从内部stage连续加载数据到雪花表的方法是什么呢？
提前谢谢。Amrita
浏览 2提问于2020-08-24得票数 1
2回答
我正在构建一条管道，它将数据从雪花发送到S3，然后从S3返回到雪花(在Sag迈上通过生产ML模型运行它之后)。我是数据工程的新手，所以我想从社区中了解推荐的路径是什么。管道要求如下：
我想安排一个月的工作。我是在AWS中还是在雪花端指定这样的数据呢？作为初始拉力，我想从雪花查询12个月的数据。然而，对于任何后续的拉，我只需要最后一个月，因为这应该是一个月的管道。所有每月提取的数据都应存储在自己的S3子文件夹中，如query_01012020,query_01022020,query_01032020等。在ML模型成功地在Sagemaker中对数据进行评分之后，应该触发从S3返回到指定雪花表的数
浏览 1提问于2020-06-13得票数 0
回答已采纳
我想在Snowflake DB中执行有记录限制的DELETE操作，我的要求是批量执行DELETE操作，比如先删除前1000条记录，然后再删除下1000条记录等。 在SQL Server中，我们可以使用如下查询： DELETE TOP (1000) FROM TABLE_NAME; 我正在为雪花DB寻找类似的查询，我通过雪花文档删除- https://docs.snowflake.com/en/sql-reference/sql/delete.html，但我没有找到与TOP或LIMIT匹配的语法。
浏览 33提问于2020-08-21得票数 0
1回答
我是雪花新手，只是想了解雪花中的数据加载。
假设我在Azure ADLS或Amazon S3中有一些文件。我使用python读取这些文件，进行一些转换，并使用Pandas 'to_sql‘函数将数据加载到雪花表。雪花是否使用任何暂存区域先加载数据，然后将数据移动到表中？还是直接将数据加载到表中？
浏览 4提问于2022-08-20得票数 1
回答已采纳
日安。我需要帮助。我希望将雪花中的数据从暂存表自动传输到事实表，当数据在舞台表中可用时。在将数据从暂存表移到事实表时，我在每一列和每一行上都有几个自定义验证。你知道怎么在雪花里这样做吗。如果有人知道你能建议我.！提前谢谢.！
浏览 0提问于2019-12-06得票数 0
1回答
我正在尝试以增量的方式将文件从Azure blob加载到雪花表。之后，在雪花中，我将流放到那个表上，并将数据加载到目标表中。
我无法完成从Azure到雪花的增量负载。我试过很多方法，但没有起作用。我是附加我的两个不同的方式(管道)的图像来做同样的事情。
在这个管道中，我只是在我的水槽中添加了3根我想要的额外的列。
在这个管道中，我尝试创建条件拆分。
这两种情况都没有得到解决。请给我建议一下该怎么做。
浏览 7提问于2021-10-13得票数 2
回答已采纳
创建一个jar文件并将其用作函数。我为功能和雪花阶段创建了相同的用户角色。使用斯诺the将jar文件上传到舞台上。
当我在雪花ui (browser)中运行以下命令时，它可以工作。
ls @~/stage_name
但是，当我使用具有类似于使用DBeaver的角色的服务帐户时。它不起作用。它是空的。
与该函数相同的是，它在雪花UI中工作，但在DBeaver中不起作用。请注意，两个用户都有相同的角色。另外，向我希望它们使用的角色添加"all特权“和"usage”(它们都是其中的一部分)。但同样，这是行不通的。它显示了下面的错误
**> SQL 91016:远程文件‘sta
浏览 11提问于2022-02-07得票数 0
我需要基于雪花事件的任务调度的例子，而不是基于时间的任务调度。我在雪花文件里找不到这些例子。
提前感谢
浏览 3提问于2020-04-21得票数 0
回答已采纳
我试图在雪花DWH中记录表刷新的详细信息，包括以下批次日期、源表名称、目标表名、加载的行数、时间戳、状态、err.Message。
是否有任何标准的SQL\Snowflake存储过程可以作为通用存储过程，用于整个DWH跟踪\audit表刷新详细信息并将其记录到单个表中。
我有捕获批处理日期、目标表名、源表名称等的变量……如果我得到的标准存储过程可以记录活动的开始和结束，那真的很有帮助。
问候你，斯里尼瓦斯
浏览 1提问于2020-06-05得票数 0
在Snowflake kafka连接器中，我可以使用预定义的数据类型，因为在内部它使用雪花管道来加载数据。 我在这里试图实现的是，在将数据加载到阶段表时，从我的json msg中删除外部数组。
浏览 31提问于2020-08-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
