我正在尝试使用ADF将数据从REST客户端复制到azure数据湖。我正在使用复制活动和HTTP链接服务。下载一个文件大约需要15秒。这非常慢。 我增加了DTU，但对数据传输没有影响。
浏览 24提问于2019-01-31得票数 0
1回答
我正在与一起从FTP站点复制.txt文件。我正在使用一种利用二进制格式的二进制传输方法，但是ADF的吞吐量(90‘t/s)非常慢，传输一个4GB文件也需要几个小时，而这个文件并不特别大。FTP站点在美国，ADF位于欧洲，但我可以从同一个欧洲数据中心的VM下载文件，并在几分钟内从FTP检索文件。似乎有些事情不太好，知道为什么ADF不能检索一个4GB
浏览 8提问于2022-02-28得票数 -1
我想从google仪表板获取数据，并使用azure数据工厂将其加载到azure数据仓库。我有什么方法可以使用azure数据工厂将数据加载到数据仓库中吗？
浏览 16提问于2019-12-20得票数 0
1回答
其目的是使用ADF连接到公共REST api。这是我第一次尝试用ADF向REST api发送请求。这是在英国的Companies House ('CH')政府网站的API。显然，这是基本身份验证，用户名是API密钥，密码将被忽略()
我想浏览“搜索全部”接口()的内容，并想将结果复制到Blob Storage。因此，我将链接的服务设置为使用<e
浏览 1提问于2020-01-23得票数 0
record reader buffer: ClassCastException: class java.lang.Integer cannot be cast to class parquet.io.api.Binary(java.lang.Integer is in module java.base of loader 'bootstrap'; parquet.io.api.Binary is in unnamedmodule of loader 'app')
外部表中的负载只适用于varchar
浏览 6提问于2020-10-16得票数 0
我已经建立了从REST中获取数据并将其放入ADLS存储gen1的管道，我也看到了生成的文件。REST > ADF管道(获取承载令牌+复制活动)> ADLS我需要提供什么有动力的行动吗？有人能帮我找到正确的方向吗。
注意:我可以看到文件中<e
浏览 3提问于2020-04-12得票数 0
1回答
OpenTSDB是超级快的。KairosDB被称为OpenTSDB的重写，并声称它甚至比OpenTSDB ()更快。然而，我在我的VirtualBox (5GBRAM，3核)上对OpenTSDB的伪分布式集群(1主，1从，本地)和KairosDB的1节点集群进行了一些测试。OpenTSDB和KairosDB的插入速度分别约为100,000条/秒和30,000条/秒。我是不是配置了错误的KairosDB，或者Open
浏览 2提问于2015-07-01得票数 3
外面的azure专家
我有一个特殊的要求，就是能够将数据推送到Azure data管道作为源。我理解常见的模式是让ADF管道按计划从源REST中提取数据，并像Blob存储那样将数据推送到Sink。REST ( source )<-- ADF -> Blob ( sink ) - ADF主动从源中提取并推入接收器的常见模式(按计划触发数据</em
浏览 1提问于2022-11-07得票数 0
*这里的数据新手*
目前，要对从Dynamic365中提取的数据运行分析报告，我使用Power。问题是，Power处理大数据的速度非常慢。我执行了许多转换步骤(例如合并、连接、删除或重命名列等)。因此，作为解决方案，我决定使用Azure Data (ADF)。其计划是使用ADF从CRM (即Dynamic365)中提取数据，执行转换并发布
浏览 6提问于2020-05-18得票数 0
回答已采纳
假设我将一个10 GB的文件复制到一个ADLS位置，这个位置被Azure事件触发器监视。事件触发器将等待完整的10 GB文件被复制以触发事件或在文件开始复制时立即触发管道？如果一旦文件开始复制，管道就会被启动，我们如何才能延迟它，以便管道能够等待完整的文件被复制？
浏览 6提问于2021-05-11得票数 0
回答已采纳
1回答
我想在ADF中对我的输入数据执行一些验证检查，并且任何验证失败都想要捕获到Azure日志分析中。 谁能指导我如何通过Azure Data Factory将自定义日志捕获到日志分析中。任何示例数据流/流水线都会非常有帮助。 谢谢，库马尔
浏览 28提问于2021-07-08得票数 0
我试图通过传递一组标记从Stack 读取所有与AAD相关的问题和答案，因为我们试图从2019年7月1日开始获取数据。我们的ADF管道一直处于节流状态，即使我们将等待时间设置为1分钟，而我们的ETL非常慢，它也将永远运行。目前的做法(非常缓慢)
是
浏览 10提问于2020-10-21得票数 0
在post中由webapi处理的管道活动登录。(200或400)
活动1如何检测400错误？我需要实现.net CustomActivity吗？
浏览 0提问于2017-10-24得票数 1
回答已采纳
我有一个REST数据源，在那里我需要传入多个参数来构建Azure data Factory V2中的数据集。 我需要传递大约500个参数，所以我不想单独传递这些参数。我可以手动将这些数据放在一个列表中(我不需要链接到另一个数据源来获取这些数据)。参数应该类似于a123、d345、e678 我在UI中工作。我使用ADF中的复制数据功能来完成此操作。 接收器将是Azure blob中的
浏览 10提问于2019-06-21得票数 1
回答已采纳
1回答
对于我们的一个客户，我们试图从一个有点老式的REST API中提取数据，该API返回一个XML响应。我们已经发现REST API连接器不能用于此目的，因为它只能处理JSON响应。因此，我们切换到HTTP连接器，该连接器返回数据，然后我们可以将这些数据写入Azure SQL DB接收器。奇怪的是，尽管API响应是XML，但ADF输出始终是JSON格式。如果返回多个记
浏览 17提问于2021-09-21得票数 0
回答已采纳
1回答
我使用ADF从REST中检索数据并加载到SQL中。我遇到的问题是，API中的端点每页最多返回50个记录。我试图通过使用QueryParameters设置分页规则、{偏移量}使用范围和最大值来使用ADF中的内建分页。@conca
浏览 2提问于2022-05-24得票数 0
我正在使用带有HttpPut的Apache DefaultHttpClient通过REST API上传文件。从windows运行时速度非常慢，发送速度为240 kb/秒。但当我从MAC运行相同的文件时，它会发送950 kb/秒有人能帮我解决这个问题吗？我的代码：
HttpPut putRequest = n
浏览 1提问于2013-12-12得票数 3
1回答
我对ADF非常陌生，需要一些关于如何最好地为查询/视图中的每个记录使用ADF活动的指导。我有一个系统，我们需要增加新的用户每天。我构建了一个查询，返回新用户的内容，我想调用rest在其他系统中添加他们的帐户。今天，我在一个java程序中完成了这个任务，在这个程序中，我们得到一个结果集，然后遍历每一行并调用API。我试图在ADF中复制这一点，但是遇到了无法理解如何实现这一目
浏览 4提问于2020-04-15得票数 0
1回答
备份ADLS gen2
、、、
备份ADLS gen2数据的最佳方法是什么？
从数据损坏的角度来看，我想备份原始的摄入的数据。这可以在定期的基础上逐步完成，少量的数据。从PROD可用性的角度来看，在复杂的PROD迁移之前，我想备份所有的5-10 TBs。是的，数据可以从原始数据中获得，但可能需要几天甚至一周的</
浏览 0提问于2020-11-05得票数 1
1回答
我刚开始使用Azure Database，我目前正在从事一个项目，将数据从Dynamic365BusinessCentralAPI复制到Azure SQL数据库。我已经阅读了REST上的docs和OData连接器，因为说它的API是REST，所以我选择了REST连接器。我想要做的是将数据从公司的业务中心数据库复制到Azure S
浏览 9提问于2022-05-31得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号