腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
ADF集成运行时限制并发作业
azure-data-factory-2
、
azure-data-factory-pipeline
我们开发了一个包含get元数据和每个
活动
的管道。在每个程序的内部,很少有像查找、
存储
过程和删除这样的
活动
。如果我们能增加
并行
工作,还是只会限制
并行
工作,会有什么改善吗?
浏览 5
提问于2022-03-17
得票数 0
1
回答
数据工厂.复制
活动
.大XML的设置
xml
、
azure-data-factory
我在Azure Database V2中构建了一个复制
活动
,其中数据源是一个包含多个XML
文件
的SFTP
文件
夹,Sink是一个Azure数据库。 数据源的选择是否相关?
浏览 6
提问于2022-03-19
得票数 1
2
回答
带有数据加载和延迟的Android Splash屏幕
android
、
android-asynctask
、
synchronization
、
handler
、
splash-screen
我得到了一个
活动
,它应该
并行
地做两件事情,作为SplashScreen
活动
:
活动
实现初始延迟(task1)由处理程序和
文件
副本问题:这个
活动
的延迟应该是两个任务都完成,然后开始下一个
活动
。我应该注意到,这两个任务在后台
并行
运行,每次复制
文件
的时间可能不同(有的比1.5秒长,有的短一些)。换句话说,启动下一个<e
浏览 2
提问于2014-01-17
得票数 0
回答已采纳
1
回答
如何
并行
执行sql server查询语句?
sql-server
、
stored-procedures
、
pyspark
、
azure-data-factory
我有一个场景,在我的Azure Data管道中有一个
活动
。此
活动
将数据从历史表复制到存档表。一个历史表可以有多达6亿条记录。此
活动
中有一个SQL Server
存储
过程(SP),它使用which循环执行三个子SPs: exec procSPs将历史表中的数据复制到SQL此
活动
对于600个管道来说是常见的,不同的
活动
复制不同数量的表。 但是,虽然循环逐个执行子SPs。我试图寻找一种将3 SPs
并行
化的方法,但在
浏览 3
提问于2022-08-18
得票数 0
2
回答
在什么工作负载下需要
并行
(网络)
文件
系统?
storage
、
nfs
、
storage-area-network
、
network-attached-storage
、
network-storage
对于计算机集群上运行平均HPC中心作业的工作负载(例如同时运行HPC中心作业的
活动
用户),任何硬数字或规则都会使
并行
网络共享
文件
系统(如Lustre、GPFS、Ibrix或Panasas )成为需求?...that是,什么时候NFS共享SAN
存储
还不够,您需要某种
并行
NAS吗? 编辑:在"SAN“之前添加"NFS共享”。
浏览 0
提问于2011-09-13
得票数 1
1
回答
在Azure数据工厂中的单个HDinsight集群上运行多个管道和/或作业
azure-hdinsight
、
azure-data-factory
、
cortana-intelligence
建议使用HDInsight集群为Azure Data中的自定义
活动
运行管道的方法是什么。我们可以使用单个HDInsght集群来处理多个Azure数据工厂作业和多个同时运行的管道吗?
浏览 4
提问于2016-02-23
得票数 1
回答已采纳
1
回答
可以使用Azure Data
并行
地从Rest端点下载100万个
文件
到Blob中吗?
azure
、
azure-data-factory
、
azure-data-factory-2
、
azure-blob-storage
、
azure-data-factory-pipeline
我对Azure相当陌生,我手头有一项任务是利用任何Azure服务(或集成在一起的azure服务组)从第三方Rest端点
并行
下载100万个
文件
,该端点每次使用Azure Data返回一个
文件
到Blob
存储
中我所研究的:
并行
运行数百万次--为此,我推断Azure批处理将是一个很好的选择,因为它允许在VM上
并行
运行大量任务(它使用这个概念来绘制图形化进程或机器学习任务),保存响应从Rest到Blob
存储
:我发现Azure Dat
浏览 1
提问于2020-07-24
得票数 1
1
回答
如何
并行
化数据工厂自定义
活动
?
c#
、
azure-data-factory
我有600个
文件
在grib (二进制)格式,我需要转换为csv格式。最初,它是一次性转换,但稍后我们将收到每日
文件
,因此我实现了一个自定义C#
活动
以在数据工厂中运行。当我第一次使用D14 v2 VM的批处理帐户运行此
活动
时,它一次转换一个
文件
,每个
文件
需要20-25分钟才能转换。这加起来超过了一周,如果我们出于某种原因需要重新运行转换,那么这个时间就太长了。有没有什么好的方法来
并行
化这个转换? 输入和输出
文件
都
存储
在blob
存
浏览 0
提问于2017-05-18
得票数 0
3
回答
在Android中
活动
结束后保存对象
android
是否可以在关闭
活动
时
存储
对象,然后在再次启动
活动
时检索该对象?所以在连接之后,我有了一个连接对象。我想知道当我关闭应用程序时是否可以
存储
这个对象,然后当应用程序再次运行时,我检查这个对象是否存在,
浏览 2
提问于2012-08-06
得票数 0
回答已采纳
1
回答
将多个
文件
从Blob
存储
复制到Azure SQL数据库
azure-data-factory-2
我在几个地方读到,在复制多个
文件
的同时,我们可以在每个
活动
中使用这些
文件
,这些
活动
并行
地复制所有
文件
。我想了解它是否真的会
并行
地复制
文件
,因为我的理解是,对于每一个
活动
,首先选择一个
文件
加载它,然后移动到第二个
文件
进行复制。谢谢,
浏览 1
提问于2021-07-08
得票数 1
回答已采纳
1
回答
ADF按顺序运行Blob创建事件
azure
、
azure-data-factory
、
azure-data-factory-2
在创建blob时触发ADF
活动
(BlobEventsTrigger)。如果我将6个
文件
加在一起,那么该
活动
将
并行
运行6次。在这种情况下,我只希望
活动
运行一次。或者它应该按顺序执行(而不是
并行
执行)。
浏览 0
提问于2021-02-26
得票数 0
1
回答
使用PAF调用另一个
活动
内部的
活动
ipaf
、
paceautomationframework
我正在尝试将一个
活动
包含在另一个
活动
中。是否可以使用Pace自动化框架调用另一个activity中的activity?
浏览 12
提问于2021-10-05
得票数 0
1
回答
429尝试从Azure数据工厂内为每个
活动
访问API时出错
azure-data-factory
我们正在尝试将从API读取数据并将其
存储
在blob中的概念验证组合在一起。我们有一个For Each
活动
,它循环遍历一个
文件
,该
文件
具有在API调用中使用的参数。我们正试图
并行
地做这件事。
浏览 27
提问于2021-11-16
得票数 0
1
回答
Azure数据工厂:不支持在SQL DB中查找用于写入另一个SQL DB - ByteArray的脚本
活动
中的var二进制列。
sql-server
、
azure-data-factory
我将它们从查找
活动
中输入到ForEach
活动
中。这些
文件
中的每一个都有大约180行(有50个
文件
并行
地输入到管道的一个新实例中)。 我知道,
存储
文件
的公认
浏览 8
提问于2022-11-28
得票数 0
回答已采纳
2
回答
Camel :迭代标题中的元素,
并行
处理它。
java
、
apache-camel
、
spring-camel
我将url的列表
存储
在Apache骆驼头中,下面是代码,supplierHotelRefs.add(supplierHotelRefs.add("c.com");现在我需要迭代标题中的列表并调用url,这应该是
并行
的
活动
我试着用split(.)如果我们将列表
存储
在正文中,这是很好的,但是由于一些限制
浏览 0
提问于2018-09-25
得票数 0
回答已采纳
1
回答
Azure数据工厂:具有batchCount和item()属性的foreach循环
foreach
、
azure-data-factory
我有一个带有ForEach循环的数据工厂管道,其中有两个
活动
:一个是调用HTTP端点来检索
文件
,另一个是将该
文件
存储
到Azure
存储
帐户中。我已将批次计数设置为5,以便能够加快处理速度。我在for each的
活动
中使用了"item()“属性。据我所知,当有
并行
执行时,item()属性听起来并不重要,因为同时存在混合执行,并且item()属性可能会被for each循环的另一个分支修改。我正在寻找的是在"for each“循环的第一步中读取item()
浏览 1
提问于2021-01-23
得票数 0
1
回答
pyspark MLUtils保存saveaslibsvm仅保存在_temporary下,不保存在主机上
python
、
apache-spark
、
pyspark
、
libsvm
、
svmlight
它可以工作,但会将该
文件
保存在/_temporary/下的所有工作节点中。 没有抛出错误,我希望将
文件
保存在适当的
文件
夹中,并且最好将所有输出保存到一个将位于节点或主服务器上的libsvm
文件
中。也许写
文件
的时候出了问题?
浏览 24
提问于2017-08-01
得票数 1
回答已采纳
1
回答
如何
并行
运行SQL Server
存储
过程的多个实例
sql-server
、
azure-sql-database
、
azure-data-factory-2
、
azure-sql-server
、
azure-sql-managed-instance
我每次都需要使用不同的参数运行
存储
过程-没有数据重叠,但在过程中创建和删除了一些临时表。 我通过在for each循环中调用的ADF
存储
过程
活动
来调用它。现在-我按顺序运行它,但我想在没有任何冲突的情况下加速它-因此想要
并行
化它。 如何保持它符合ACID (非重叠事务),同时
并行
运行它的多个实例?如果是的话..如何在不影响其他
并行
运行情况下,确保一个proc的整个运行是一个在事务内创建n个删除临时表的单个事务?
浏览 35
提问于2021-04-25
得票数 1
1
回答
并行
从AWS S3桶下载
文件
amazon-web-services
、
amazon-s3
我想从S3桶下载上百万个
文件
,这将需要一个多星期的时间逐个下载--任何方式/任何命令都可以使用shell脚本
并行
下载这些
文件
吗? 谢谢,
浏览 2
提问于2020-10-04
得票数 0
1
回答
将大量数据从Server传输到Azure SQL Server的最佳方法。Azure数据工厂、HDInsight等
apache-spark
、
hadoop
、
azure-sql-database
、
azure-hdinsight
、
azure-data-factory-2
然后我们运行许多提取器
存储
过程,通过将这些源表连接在一起,将这些源表中的数据插入到阶段表中,例如,源A连接到源B。 目前,S4上的复制时间约为12小时,提取时间为4小时。
浏览 4
提问于2018-12-17
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
开工大吉:Oracle 18c已经发布及新特性介绍
分布式文件存储 Cephfs 与相关系统比较及使用技巧
|2023全球华人新春手机摄影大赛火热进行时
2018保密展瀚高展位亮点,抢先剧透
面向高性能计算的层次式混合文件系统
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券