1回答
我是数据工程的新手，所以我想从社区中了解推荐的路径是什么。管道要求如下：
我想安排一个月的工作。我是在AWS中还是在雪花边指定这样的？每月拉动应该得到最后一个完整的月份(因为这应该是一个月的管道)。所有每月数据拉出应该存储在自己的S3子文件夹，如这个query_01012020,query_01022020,query_01032020等。从S3 (query_01012020,query_01022020,query_01032020)返回到指定的雪
浏览 0提问于2020-06-14得票数 0
我们需要将这些文件加载到暂存表中，然后加载到DW表中，并在雪花中应用数据转换。我们正在考虑使用雪管将数据从S3加载到暂存表，因为来自ERP的文件到达是没有计划的，并且可以在4个小时的窗口内随时到达。每天的文件都有时间戳，每天都会有完整的数据。因此，在摄入当天的文件之前，我们需要每天截断暂存表。请分享你对此的想法。我们应该继续考虑雪管吗？还是尝试使用“复
浏览 2提问于2022-02-02得票数 1
我正在尝试建立可伸缩的雪管基础设施。我有一个AWS函数，它可以拖动数据并将原始的json文件放入它们下面的对应文件夹中。生活在leads文件夹中的leads json文件现在被管道传输到雪花中的leads_json表中。生活在机会文件夹中的机会json文件现在被管道传输到雪花中的opportunitie
浏览 0提问于2020-01-29得票数 1
回答已采纳
我很困惑，因为雪花文件说，雪管可以暂停和恢复。所以我应该把它当作真的..。谁能帮我得出结论，比如暂停和暂停，他们在雪花中是相似的，还是不同的？
浏览 5提问于2021-10-01得票数 1
回答已采纳
1回答
一个任务可以在单个事务中同时执行多个SQL吗？我知道存储过程是这样做的，但我想看看我们是否可以在任务中启动事务并执行多个SQL
浏览 15提问于2020-10-22得票数 0
回答已采纳
1回答
我在雪花中放置表，在那里我使用雪管从AWS S3复制数据。其中一些记录是一种创建事件和多个更新的类型。对于同一事件，将有一个创建和多个更新事件的时间顺序。我想将这些记录移到另一个表中(所以create事件应该将一个记录插入到一个表中，多个更新事件应该相应地更新这些记录。)我试图使用“合并”概念雪花，但是它不适合我的用例，就好像我的目标表没有记录一样，它为每个创建和更新创建一个新记录。
浏览 0提问于2019-12-16得票数 0
1回答
我有一个SQL脚本来转换雪花中各种表的数据。我需要每天运行这段SQL代码，并希望以某种方式实现它的自动化。我以为我可以用雪花中的“任务”来自动化SQL，但是“任务”不能运行一个以上的SQL语句，而且我的代码包含了大量的SQL语句。有人有什么想法吗？任何帮助都是非常感谢的。
浏览 10提问于2021-02-22得票数 1
回答已采纳
关于Python中的SnowPark有几个问题。
既然我们已经有了雪花蟒蛇连接器(免费)，可以用雪花DW连接到python jupyter，为什么我们需要斯诺帕克呢？它是使用我们的本地机器计算能力还是雪花计算能力?如果它是我们的本地机器计算能力，我们如何使用雪花计算能力来运行ml模型？
浏览 9提问于2022-06-25得票数 0
回答已采纳
我能够从SnowFlake上的本地配置文件中读取参数(使用SnowSQL )。但是在生产环境中，SQL将以自动化的方式运行(使用SnowFlake任务)。我在雪花中创建了一个任务，它调用一个存储过程。存储过程只需要从配置文件中读取几个参数。这样，相同的存储过程就可以用于多个类似的用例。虽然上面写着“注意任务不支持帐户或用户参数”，但。
浏览 5提问于2020-01-29得票数 1
回答已采纳
我试图在雪花中创建一个存储过程，用于生成雪管道，我有所需的sql，我现在遇到的问题是在一个我们可以调用和传递值(如db名称和表名)的过程中封装这个sql。当我试图将这些值传递到过程中时，我会得到一个错误："Uncaught : db_name不是在EXECUTE_SQL_COMMAND中定义的“create or replace procedureexecute_sql_command(db_na
浏览 7提问于2022-09-23得票数 0
回答已采纳
由于时间和技术的限制，我对Snowflake on Azure有以下ETL要求，并希望实现最简单的解决方案。在Snowflake本身中转换上面加载的数据，其中转换仅限于几个连接和聚合，以获得一些度量。最后，将这些数据放入同一个Snowflake DB中的Datamart中的最终表中。最后，使用调度或使用基于事件的触发器(即，在文件到达Blob Store时立即启动的步骤)自动执行上述流水线。 约束条件： 我们不能使用Azure数据工厂来实现这个最简单的
浏览 23提问于2020-12-08得票数 0
2回答
我已经设置了一个桶，其中包含了许多小型XML文件，以便用雪斗加载到雪花中。但是，我有大约500万个小文件(每行一个文件)，需要加载到雪花中。我有一个清单，这些文件需要加载到雪花。我意识到这不是一个最理想的情况，但是，如果有什么我可以让这个更好的呢？从计费的角度来看，运行500万拷贝命令意味着什么？我能做些什么来降低这里的成本？也许把XML预处理成一个文件？从节省的角度来说，值得吗？
浏览 1提问于2020-06-18得票数 1
回答已采纳
我很弱的雪sql，我想列出所有的任务，造成高信用使用从WH，信用配额从雪花WH。准备雪地有什么帮助吗？
浏览 10提问于2022-04-03得票数 0
回答已采纳
我在我们的雪花数据库中有20多个任务，它们的名称都以类似的模式以一个数字结尾(例如: TSK_x，其中x= 1,2，...,27)。我试图在雪花中编写一个过程或匿名块(不使用Javascript存储的proc)来生成降序任务号语句，并在过程中执行它们，如下所示：ALTER TASKALTER TASK TSK_1 RESUME;作为背景
浏览 3提问于2022-06-14得票数 0
2回答
有没有办法在雪花中创建一个任务来调用多个存储过程？
例如，我有三个存储过程来检查多个表上的重复信息，我想通过任务调用这三个过程，而不必创建一个新的SP来遍历它们。
浏览 0提问于2021-03-08得票数 2
回答已采纳
我把数据放进了蓝色水珠的仓库里。根据雪花文档，我很困惑，是否应该使用下面的sql查询来创建雪花的任务特性：还是我应该用雪管
浏览 0提问于2021-11-28得票数 1
回答已采纳
有什么聪明的方法可以让我的数据从mysql数据库变成雪花呢？到目前为止，我发现了两种可能的方法：对我来说，首先将每个表转换为csv似乎很奇怪。我不能直接将sql转储文件推送到雪花中吗？我还可以在雪花中安排一些重新加载任务，这样就可以自动触发option1或2吗？
最佳NicBeC24
浏览 3提问于2020-10-19得票数 4
我使用Spring数据流创建一个自定义流，将数据加载到雪花中。我编写了一个自定义接收器，使用雪花的JDBC驱动程序将数据加载到雪花中。我使用的方法类似于使用以下步骤的任何数据库更新：这时，我注意到雪花中的批处理更新得非常慢--即一次更新一两条记录，在雪花表(使用XS仓库)中更新一批
浏览 7提问于2020-10-23得票数 0
SQL编译错误:错误行0在位置-1无效的物化视图定义。视图定义中引用的多个表 BEGIN END test_sp_orcl;
我们使用多个表在但是同样的方法在雪花中</em
浏览 8提问于2022-09-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
