如何使用GetMetadata活动递归获取所有文件和文件夹

文章/答案/技术大牛

发布

1回答

azure-data-factory-2

我需要删除许多带有例外列表的文件夹，其中包含不应该删除的文件夹和文件列表。所以我尝试了delete activity，并尝试使用Add dynamic content的if函数来检查文件或文件夹名是否与指定的名称相同。但是我没有应该是@if()的参数。换句话说，要使用这些函数，我们如何获取文件名或文件夹名？

浏览 12提问于2020-10-03得票数 0

1回答

获取子文件夹中的所有文件名，Azure数据工厂

azure、azure-data-factory

我在数据湖中有一个文件夹结构，我想从我的.csv目录的所有子文件夹中获取所有的ParentFolder文件名。我所有的文件都是.csv文件，有一种使用元数据活动的简单方法。

浏览 0提问于2020-10-23得票数 1

1回答

如何列出Azure date 2中的所有路径，最后一次修改日期在Azure data中进行过滤？

azure、azure-blob-storage、azure-data-factory、azure-data-lake-gen2

这些文件存储在文件夹结构中，而不是基于加载时间的文件。现在，我们需要使用Azure Data检索所有新的JSON文件，因为我们上次运行管道。由于get元数据活动不允许递归检索文件和文件夹，所以我一直在研究其他选项。我知道使用Azure函数是可能的，但理想情况下，我们希望使用低/无代码解决方案。我可以使用使用或列出给定容器中的所有

浏览 5提问于2022-04-15得票数 1

2回答

在文件夹中获取最新添加的文件[Azure ]

azure、azure-data-factory、azure-data-lake、last-modified

在Data中，我们有一个文件夹，它基本上包含每天由外部源推送的文件。但是，我们只想处理该文件夹中最新添加的文件。有没有办法用Azure数据工厂来实现这一点？

浏览 3提问于2020-03-06得票数 4

回答已采纳

2回答

获取Azure数据工厂中的完整文件目录的GetMetadata

azure-data-factory、azure-data-factory-2

我正在研究一个用例，希望将加载到Azure数据库中的所有文件夹名称加载到不同的“控件”表中，但在正确使用GetMetadata活动时遇到了问题。此用例的目的是跳过所有旧文件夹(已经加载)，只关注新文件夹并获取".gz“文件并将其加载到Azure数据库中。哦，我想我应该使用GetMetadata活动将所有文件夹名发送到存

浏览 3提问于2019-12-27得票数 3

回答已采纳

1回答

Azure DataFactory ForEach复制活动不是遍历，而是拉取blob中的所有文件。为什么？

json、azure、foreach、iterator、azure-data-factory

我在DF2中有一个管道，它必须查看blob中的文件夹，并将145个文件中的每个文件顺序处理到一个数据库表中。在网上看起来，我感觉好像我已经尝试了"Get MetaData"，"For Each"，"LookUp“和"Assign Variable”激活的每一个组合，但由于某些原因，我的复制数据仍然会同时拾取所有文件并运行最近我在网上找到了一个博客，我跟随它使用了“分配变量”，因为它对多个文件位

浏览 0提问于2019-05-21得票数 0

2回答

如何使用ADF复制活动隔离blob存储中的文件

azure、azure-data-factory、azure-data-factory-pipeline

我在ADF中有一个复制数据活动，我希望根据文件类型将文件隔离到一个不同的容器中。我最初的想法是使用“如果条件”和“或”语句，但看起来我的方法行不通。如果你能给我一些投入，我会很感激的。

浏览 5提问于2021-12-03得票数 0

回答已采纳

1回答

如何在复制数据时排除azure数据工厂管道中具有特定前缀的文件

azure、azure-data-factory、azure-data-factory-2、azure-data-factory-pipeline、azure-adf

我想在将.mp4文件从Azure Storage (blob)复制到Sftp时排除它。以下是我的源设置 ? 

浏览 18提问于2021-09-20得票数 0

1回答

ADF V2必需的Blob缺少通配符文件夹路径和通配符文件名。

azure-blob-storage、azure-data-factory、azure-data-factory-2

我正在尝试使用一个由get元数据和foreach提供的通配符文件夹路径。这些文件夹中的实际文件名以_Problem_1.csv结尾，但是我得到以下错误。有人能告诉我我哪里出错了吗？文件夹路径:客户端-上载/{\“名称\”：\“A 001\”、\“类型\”：\“文件夹”}、{\“名称”：\“A 002\”、\“类型\”：\“文件夹”}、{\“名称\”、\“类型”：\“文件夹”}、{\“名称”：\“文件夹”}、

浏览 5提问于2020-02-21得票数 0

1回答

如何使用azure数据工厂加载已准备好的csv文件

azure、azure-data-factory

我在一个文件夹中的azure文件共享中有一个filename.ready和filename.csv。使用azure数据工厂，我需要检查准备好的文件，如果准备好的文件存在，我需要将csv文件加载到azure数据湖容器中，我需要根据文件的名称将文件放入特定的文件夹名称中，在datalake容器中将有许多文件夹，因此我需要放置以检查文件名是否等于文件夹名，然后将

浏览 3提问于2021-04-13得票数 1

1回答

通过Azure数据工厂将数据复制到Azure数据湖之前的文件检查

python、azure、pipeline、azure-data-factory、azure-data-lake

目前我正在构建一个数据管道，我想通过Azure数据工厂将数据从一个blob存储复制到Azure数据湖，但在创建数据管道之前，我希望有一个文件检查类的东西，即它应该检查目录是否找到文件，例如:我有一个csv文件，如果文件存在，则开始复制到adls，否则通过一个错误文件未找到。我知道我们可以在python中做到这一点，但是在adf中如何在管道中添加它。任何帮助都将不胜感激。

浏览 13提问于2020-05-06得票数 0

回答已采纳

1回答

使用adf中的复制活动将带有时间戳的文件归档到adf中

azure-data-lake、azure-data-factory-2

我的要求是使用复制活动将基于通配符的特定文件从datalake中的容器/文件夹复制到azure数据库，然后将文件复制到另一个文件夹中，并在文件末尾加上时间戳。我使用getmetadata和filter活动从datalake/blob文件夹中获取特定的文件名，作为loaded.But将活动复制到数据库，但带有时

浏览 17提问于2020-02-04得票数 0

1回答

使用ADF v2将‘'GET’活动输出到SQL表中。

azure、azure-devops

我在我的管道中使用'GetMetadata‘活动来获取所有的文件夹、子项和项类型。但是这个活动提供了JSON格式的输出，我无法将值存储到变量中，这样我就可以遍历它们。我需要将文件夹元数据存储在sql表中 "executionDuratio

浏览 15提问于2019-07-05得票数 1

2回答

使用一次复制活动复制不同格式的文件

format、copy、azure-data-factory

我是Azure Data Factory的新手，我正在尝试解决将文件从ftp复制到azure存储帐户时遇到的特定问题。我必须将文件从源文件夹复制到目标文件夹。源文件夹中的文件具有不同的格式(csv、txt、xml)，当我执行管道时，所有文件都以.txt扩展名进行复制。有什么帮助吗？注意:我认为问题出在我没有在输出数据集中指定的输出文件名，但是当我通过将

浏览 3提问于2021-08-26得票数 0

2回答

在复制数据活动中检索blob文件名

azure-data-factory、azure-data-factory-2

我从web API下载json文件，并使用复制数据活动和二进制复制将它们存储在blob存储中。接下来，我想使用另一个复制数据活动从blob容器中的每个json文件中提取一个值，并将该值及其ID一起存储在一个数据库中。ID是文件名的一部分，但是有什么方法可以提取文件名吗？

浏览 7提问于2018-12-13得票数 1

2回答

从ADF中的Get Metadata获取文件结构

azure-data-factory-2

我想要获取拼图文件的列名。我在我的管道中有一个Get Metadata模块，它正在使用一个只有根文件夹提供的parquet数据集。因为只提供了文件夹，所以ADF不允许我获取包含列名的文件结构。未提供文件名，因为该文件名可能会更改。有没有人能就如何实现这一点提供一些建议？

浏览 28提问于2021-09-04得票数 1

1回答

Azure data Factory中使用筛选器活动筛选数据时出现的问题

azure-pipelines、etl、azure-data-factory

我正在尝试使用筛选活动筛选以下文件夹，并仅从整个blob容器中选择最新日期。 ? 文件夹名称示例: 2020-04-21,2021-08-11,2020-01-07 我需要选择2021-08-11 我正在使用Get metadata (ChildItems)活动来获取文件夹名称，并使用以下逻辑在filter活动中对其进行过滤。@greater(max(array(int(replace(item().name,

浏览 24提问于2021-10-15得票数 0

回答已采纳

1回答

DropNet返回根文件夹的元数据未请求文件夹

dropnet

问题:我需要的文件夹的GetMetaData返回根文件夹元数据。实际上发生的是一个无穷无尽的循环。应用程序(不正确)获取根文件夹元数据，遍历目录直到到达我需要的目录，然后开始遍历根目录，因为这是它接收的

浏览 4提问于2015-08-07得票数 0

回答已采纳

1回答

当有多个子文件夹时，如何识别和复制Azure Data Factory中最近添加的文件？

azure、azure-pipelines、azure-data-factory

在DF中构建文件夹的方式类似于： Parentfolder/Subfolder1/Subfolder12/Subfolder13/File1 Parentfolder/Subfolder2/Subfolder22/Subfolder23/File2 Parentfolder/Subfolder3/Subfolder32/Subfolder33/File3 目标是创建一个管道，该管道可以识别最近在create文件夹下添加的文件</em

浏览 24提问于2021-05-02得票数 0

2回答

如何将文件夹从数据湖存储区作为参数传递给管道？

azure、azure-data-factory

在数据工厂中，我知道您可以在管道的开头传递一个参数，然后使用@管道()访问它。如果我在数据湖存储中有一个文件夹，我如何将它作为参数传递并在以后访问它(假设我想在其中的每个文件上循环一个for-每个)。是否将路径传递到文件夹？我是把它当作物体传递吗？

浏览 0提问于2018-06-27得票数 1

回答已采纳

点击加载更多