在光束管道中访问文件名和类型中的信息(元数据)
在光束管道中访问文件名和类型中的信息(元数据)，可以通过使用文件系统的相关命令或API来实现。元数据是描述文件属性的数据，包括文件名、文件类型、文件大小、创建时间、修改时间等信息。
在云计算领域，可以使用对象存储服务来存储和管理文件，并通过相关的API来访问文件的元数据。以下是一个完善且全面的答案：
概念： 在光束管道中访问文件名和类型中的信息(元数据)是指通过文件系统的相关命令或API来获取文件的属性信息，包括文件名、文件类型等。
分类： 元数据可以分为两类：基本元数据和扩展元数据。
- 基本元数据：包括文件名、文件类型、文件大小、创建时间、修改时间等。
- 扩展元数据：包括文件所有者、访问权限、文件标签等。
优势： 通过访问文件的元数据，可以快速获取文件的属性信息，方便进行文件管理和操作。同时，元数据的获取不需要读取整个文件内容，可以提高效率和性能。
应用场景：
- 文件管理：通过获取文件的元数据，可以方便地进行文件的分类、排序和搜索。
- 文件权限控制：通过元数据中的访问权限信息，可以进行文件的权限管理，确保文件的安全性。
- 文件备份和恢复：通过元数据中的创建时间和修改时间等信息，可以进行文件的备份和恢复操作。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了对象存储服务 COS（Cloud Object Storage），可以用于存储和管理文件，并提供了相关的API来访问文件的元数据。
产品介绍链接地址：https://cloud.tencent.com/product/cos
通过腾讯云 COS，您可以使用以下 API 来获取文件的元数据：
- ListObjects：列举存储桶中的文件列表，并返回每个文件的元数据信息。
- HeadObject：获取指定文件的元数据信息，包括文件名、文件类型等。
使用腾讯云 COS，您可以轻松地在光束管道中访问文件名和类型中的信息(元数据)，并进行相应的文件管理和操作。
相关·内容
我在我的azure门户中有一个file_storage，大致如下： - 01_file.txt
- 02_file.txt
- 03_file.txt 在azure data studio中，我有一个链接到此文件存储的数据集。 如果可能的话，我想遍历这个目录并获得我的ETL Pipeline中所有文件名的列表。 我已经查看了For Each和look up，但我不知道如何将其应用于目录。 最终结果将是一个file_names列表，然后我将在将数据摄入到azure之前执行一些进一步的过程。 我目前的工作是创建一个JSON文件，当我将数据加载到文件存储中并使用look up和For Each解析
浏览 13提问于2019-10-03得票数 1
回答已采纳
我有一个运行在Flink runner上的光束管道，如下所示： ? 光束中的整个管道都被捆绑到这个区块中。为什么Flink用这种方式来说明它？ ? 当然，管道步骤中的不同pardo应该由不同的块和工作者来表示(就像在Google的数据流中一样)。是否需要在Flink运行器中设置某些内容以显示更细粒度的任务，或者Flink UI是否仅为原生Flink代码构建，而这正是该UI处理Apache光束管道的方式？
浏览 24提问于2021-07-05得票数 1
我正在从批处理管道中的有界源csv文件读取数据，并希望根据存储为csv文件中列的数据为元素分配一个时间戳。我如何在Apache光束管道中做到这一点？
浏览 0提问于2019-02-01得票数 2
我有Apache光束模型来实时处理多个时间序列。部署在GCP DataFlow上，它将多个时间序列组合到窗口中，并计算聚合等。我现在需要对历史数据(相同(多个)时间序列数据)执行相同的操作，直到2017年。如何使用Apache beam来实现这一点？
我知道我需要使用Apache光束的窗口属性来计算聚合等，但它应该接受2年前的数据
实际上，我需要数据，如果我部署了相同的管道两年就会有数据。这是测试/模型训练目的所必需的
浏览 2提问于2019-06-21得票数 0
我正在尝试构建一个web应用程序，它可以做到以下几点: 1.通过web应用程序，用户选择他机器的文件系统上的一些文件。2. Web应用程序然后提取所选文件的元数据，如文件名、大小、文件类型，并将其存储在服务器的数据库中。
所以我需要两件事- 1。web应用程序应该能够访问用户的文件系统和2。web应用程序应该能够提取选定文件的元数据。
有可能做到这一点吗？
谢谢!
浏览 1提问于2012-04-06得票数 0
1回答
我在blob中有10个文件，需要在其中设置匹配文件字符串名称的一部分，如果匹配，那么变量应该设置为true。我将从“获取元数据阶段”获取子文件名和文件名。
如何使用Azure数据工厂来实现这一点？
是否可以通过使用“获取元数据阶段”获取元数据来匹配使用Databricks Notebook的模式？
浏览 3提问于2022-07-12得票数 0
大家好，关于这个问题我需要你的建议。
将图像数据库实现为服务，与在客户机-服务器体系结构中直接提供对数据库的访问。
哪一个是最好的考虑到安全，性能和其他因素。
图像和音频剪辑最好存储在文件系统中，而不是数据库中。我该怎么打电话。客户端-->web服务--数据库-->文件系统(有图像和音频)是进行呼叫的好方法，或者任何人都可以提出更好的方法。
浏览 1提问于2012-02-07得票数 0
1回答
是否有可能使用当前版本的Apache光束来开发一个接收HTTP消息中的数据的无限源？我的意图是运行一个HTTP服务器，并将接收到的消息注入到光束管道中。如果可能的话，可以用现有的源代码来完成吗？
浏览 27提问于2021-04-16得票数 1
我创建了一个简单的Apache光束流管道，它从Kafka读取数据，进行一些处理，并通过调用一些外部服务的API来持久化结果。我希望确保在管道重启或失败期间不会丢失数据，因此我希望在特定doFun执行结束时成功调用接口后，手动将记录偏移量提交给Kafka。 在我之前的Kafka经验中，我知道通过使用Kafka Consumer的below接口，我可以手动将记录偏移量提交给Kafka。 consumer.commitSync(currentOffsets); 在KafkaIO设置中有关闭自动提交的设置，但是我没有找到任何有效的解决方案来手动提交偏移量，因为似乎没有办法在doFun中访问消费者。
浏览 10提问于2021-09-21得票数 1
回答已采纳
我需要在现场数据源中运行文件复制活动。我需要检查文件大小，如果文件大小大于0，则复制它们。如果文件大小为0，我将发送通知，以便管理员检查源。
问题是，在Get元数据活动中，字段列表中的参数不包括大小。此外，验证活动也不查找size属性。有什么建议吗？同样，这些文件是在现场直播的.。
我在Get元数据活动之后添加了If条件，并使用了表达式：
@greaterOrEquals(activity('Get-metadata-source').output.size,0)
它会产生以下错误：
表达式'greaterOrEquals(activity('Get-metad
浏览 3提问于2020-12-05得票数 1
回答已采纳
我知道Server中的数据存储在数据页中，但我不知道表结构存储在哪里。我偶然发现一条关于截断的声明
“pages.TRUNCATE通过释放数据删除表中的所有行来删除数据，但是表结构和列仍然是”
这使我意识到，表结构、列信息存储在页面之外(尤其是数据页)。那么，表结构(而不是数据)是如何/在哪里存储在SQL server中的呢？
谢谢。
浏览 9提问于2016-11-02得票数 1
回答已采纳
我读过很多教程，它们都解释了transform的输出是apache光束中的一个集合。有没有人能告诉我，Pcollection到底是如何存储的，如果我们应用任何转换，它会返回什么数据类型？它是python字典、元组、列表吗？
浏览 3提问于2021-09-06得票数 0
我是新手阿帕奇光束和太空火花，我想配置火花流道的光束管道。文档中提到的内容我不清楚。
浏览 1提问于2020-04-18得票数 0
1回答
我正在尝试从Apache光束读取Pubsub消息的时间戳值。 p.apply("Read PubSub messages", PubsubIO.readMessagesWithAttributes()
.withIdAttribute("msg_id")
.withTimestampAttribute("timestamp")
.fromSubscription(options.getPubsubSubscription())) 但不幸的是，我得到了下面的错误，这真的让我很惊讶，因为我认为每条消息都有一个默认的时间戳。
浏览 29提问于2019-05-14得票数 0
回答已采纳
我有一些关于Python的工作知识，但对Apache光束来说还是个新手。我遇到了一个来自Apache光束的例子，是关于一个简单的字数统计程序。让我感到困惑的代码片段如下所示： pipeline_options = PipelineOptions(pipeline_args)
pipeline_options.view_as(SetupOptions).save_main_session = save_main_session
with beam.Pipeline(options=pipeline_options) as p:
# Read the text file[p
浏览 12提问于2020-12-31得票数 0
回答已采纳
我有每天上传到onprem文件夹中的文件，从那里有一条管道将其拖到blob存储容器(输入)，从那里我有另一条从blob (输入)到blob (输出)的管道，下面是这两个blob之间的数据流。最后，我的输出链接到sql。但是，我希望blob到blob管道只提取当天上传的文件，并在数据流中运行。按照我设置的方式，每次管道运行时，它都会使我的文件加倍。我附上了下面的图片
请告诉我，如果还有什么事情可以使这一点更清楚：
浏览 10提问于2022-11-30得票数 0
回答已采纳
我是新来的阿帕奇光束。到目前为止，我的理解是，apache beam只不过是ETL处理的工具。Runner可以被称为CPU、内存和存储的集合。 我的问题是，我可以在单束python代码中使用两种或更多类型的runner吗？ 例如，一个runner用于数据流，另一个用于spark，第三个用于directrunner，像这样？
浏览 29提问于2020-06-29得票数 1
我试图复制文件夹及其文件从ftp到一个蔚蓝数据存储，通过循环通过文件夹和为每个文件夹复制内容到一个容器有文件夹的名称。为此，我为每个和复制数据组件使用了元数据。现在，我能够将所有文件夹复制到同一个容器中，但我希望有多个容器以输出中的文件夹命名，每个容器都包含来自ftp的文件。
ps :我还是新来的天蓝色数据工厂。
(欢迎任何建议或帮助:)
浏览 5提问于2021-08-19得票数 0
回答已采纳
我在ADF中有两个获取元数据阶段，它从两个不同的文件夹中获取文件名，我需要在databricks笔记本中使用这些输出进行文件名比较，如果所有文件都存在，则返回true。
如何将Get元数据阶段的输出传递给databricks，并执行字符串比较，如果所有文件都存在，则返回true；如果缺少一个文件，则返回false
如何做到这一点？
浏览 9提问于2022-07-13得票数 0
我需要延迟处理或发布文件名(文件)。我在找最好的选择。
目前，我有两个阿帕奇光束数据流和PubSub之间。第一个数据流从源文件读取文件名，并将这些文件名推送到PubSub主题。另一个数据流读取并处理它们。但是，我的用例是在源代码中创建实际文件后至少1小时开始处理/读取这些文件。
所以我有两个选择：
1)延迟发布消息，以便立即处理它，但要在好的/预期的时刻进行处理
2)延迟处理检索到的文件
就像上面提到的，我正在寻找最好的解决方案。我不确定是否应该在Apache光束中使用芭乐重试机制？还有其他想法吗？
浏览 0提问于2018-12-21得票数 0
在Azure blob存储中，我有一个容器，其中有4个文件夹中的4个文件。
当所有这4个文件都被覆盖时，我想触发一个Azure管道，只有(4个同名的文件添加了新的数据)。
这个管道需要所有这4个文件，所以我只想在这4个文件被4个新文件替换时触发。
我该怎么做呢？我知道我有一个存储事件来触发ADF中的管道，但不知道如何处理多个文件
-下面是更新的
我找到了这个解释，但真的不知道如何做第二步和第三步：
1) Setup a Storage event triggered pipeline on first destination i.e. container/folder1/file1.c
浏览 5提问于2022-04-14得票数 1
我有许多JSON文件位于我的数据湖中，它们的格式都相同，如下所示：
[
{
"AzureContainer": "someContainer",
"AzureFolderName": "someFolder",
"AzureFilename": "myFilename",
"Timestamp: "123123213",
"ItemName": "myItem",
"Value"
浏览 0提问于2021-08-26得票数 0
从elasticsearch > 2开始，没有_timestamp字段。我们必须显式填充时间字段，如created_on和updated_on
我知道填充这些字段的一种方法是检查要填充的项已经存在于使用uid的数据库中(假设uid是在客户端使用某些项属性生成的)。如果数据库中存在item，则更新除created_on之外的所有字段。如果item不存在，则使用等于当前时间的item和created_on在数据库中创建条目。
我的问题是：
*每次创建/更新时检查不是多余的吗?？
*有没有更好的方法在客户端实现created_on和updated_on逻辑而不冗余(不查询elasticsear
浏览 0提问于2018-07-16得票数 0
我愿意使用Apache光束从URL而不是文件中获取数据输入。我找不到它的一些内置方法。有什么办法可以做到吗？
浏览 12提问于2020-03-04得票数 0
回答已采纳
我想根据blob中的一些行值和主管道中的值数组来保存一个文件。
例如，如果我的文件有行a、b和c，而数组有值1和2。管道应该生成文件名为：a1、a2、b1、b2、c1、c2
目前，这是我迄今所做的，但没有取得任何成功：
主流水线
定义主管道的参数和变量
我的Set Variable和Execute pipeline在我的ForEach活动中。Execute pipeline正在指向我的子管道。
子管道
在子管道中，我定义了变量。Lookup将查看我的数据集，它指向我的blob。ForEach设置具有项值@activity('Look up IATA code')
浏览 1提问于2022-10-30得票数 0
2回答
我希望实现增量加载/处理，并在处理它们之后使用Azure Data将它们存储在不同的位置，例如：
外部数据源(数据是结构化的) -> ADLS (原始数据) -> ADLS (处理) -> SQL DB
因此，我需要从源中提取原始数据的示例，基于当前日期，将它们存储在ADLS容器中，然后处理相同的示例数据，将它们存储在另一个ADLS容器中，最后将处理的结果附加到SQL 中。
ADLS生料
2022-03-01.txt
2022-03-02.txt
ADLS处理
2022-03-01-processed.txt
2022-03-02-processed.txt
SQL DB
A
浏览 2提问于2022-03-04得票数 1
回答已采纳
1回答
Azure突触获取元数据
、、、
我正在尝试获取包含get元数据活动的文件夹中所有文件的列表。将此列表传递给for-每个活动，后者依次执行一个记事本。
我有一个二进制数据集，字段列表被设置为子项。
每次管道崩溃时都会出现以下错误：
{
"errorCode": "2011",
"message": "Blob operation Failed. ContainerName: tmp, path: /tmp/folder/folder1/.",
"failureType": "UserError",
&
浏览 1提问于2021-12-20得票数 0
我在从本地机器向我们的云平台提交Apache光束示例时遇到了问题。
但是当我尝试运行python wordcount示例时，我得到了以下错误：
IOError: Could not upload to GCS path gs://my_bucket/tmp: access denied.
Please verify that credentials are valid and that you have write access
to the specified path.
浏览 0提问于2017-05-25得票数 8
我的文件名包含我在管道中需要的信息，例如，我的数据点的标识符是文件名的一部分，而不是数据中的字段。例如，每个风力涡轮机都会生成一个文件-loc-001-007.csv。例如，我需要管道中的loc数据。
浏览 32提问于2019-01-31得票数 1
1回答
我正在使用阿帕奇光束DirectRunner从卡夫卡主题加载数据。我的代码如下：
conf={'bootstrap.servers':'localhost:9092'}
with beam.Pipeline() as pipeline:
(pipeline
| ReadFromKafka(consumer_config=conf,topics=['topic1'])
)
我使用下面的命令来运行这段代码：
python3 topic_to_gcs --runner DirectRunne
浏览 1提问于2020-07-08得票数 1
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
我正在尝试理解数据流/光束是如何管理状态的。例如，当使用kafka streams时，可以停止并重新启动应用程序，然后从最后一个状态继续。 波束/数据流是否也有类似的可能性？
浏览 11提问于2019-01-16得票数 1
回答已采纳
1回答
我正在用Apache光束编写一个数据验证脚本。无论何时将新文件上传到Google Cloud Storage，此脚本都会收到来自PubSub的消息，下载该文件，并对该文件运行一系列预定义的测试。在这些测试结束时，我需要通过电子邮件发送所有未通过测试的行的日志。 为了不多次发送电子邮件，我做了一些阅读，并相信我可以使用光束中的状态和计时器构造发送一次电子邮件。然而，每个文件都有不同的错误数量，那么我如何设置它，使文件发送在发送电子邮件之前需要X个元素，其中每个元素都是错误，而不是硬编码的数字。 我尝试使用一个带有COUNT_STATE的DoFn来计算传递给它的元素的数量，但是我得到了一个不同的
浏览 19提问于2019-05-23得票数 0
回答已采纳
3回答
我有一条阿帕奇光束管道工作得很好。我过去经常从cmd行运行它，并将它提交到Dataflow，它工作得很好。
现在，我想为我的管道创建一个模板。我成功地使用以下cmd创建了模板：
python main.py --runner DataflowRunner --region europe-west3 --project X --temp_location gs://X/tmp --staging_location gs://X/staging --template_location gs://X/templates/ft_mc_etl --paramA "defaultA" -
浏览 3提问于2022-01-24得票数 0
我的s3文件中有自定义元数据属性，如：
x-amz-meta-custom1："testvalue"x-amz-meta-custom2：“呜呼”
当这些文件加载到SnowFLake中时，如何访问与这些文件关联的自定义属性。谷歌和SnowFlake的文档还没有发现任何宝石。
浏览 3提问于2021-06-29得票数 1
1回答
我目前正在做作业，但我不明白‘元数据’是什么意思
我的XML架构中的一个元素必须是：
最后更新条目的时间:日期和时间(元数据)
我知道用于日期和时间的类型可能类似于
xsi:dateTime，但我不知道元数据是什么意思。
这是什么意思？
浏览 0提问于2012-09-18得票数 0
回答已采纳
我想这问题以前可能曾提过，但我未能找到一个清晰而清晰的答案，以恰当地处理有关情况。考虑到这个操作必须有多普遍的可能性，我不得不感到必须有一个好的方法来做到这一点，而不需要层层的复杂性。
场景:我有一个存储帐户容器，应用程序在其中以不同的速率发送数据文件。如果应用程序正在经历需求，它可以每分钟将数据文件推入该容器一次。如果应用程序不需要，数据文件可能每隔几分钟写一次。在任何极端情况下，文件的元数据都是事实的来源:我需要处理的最新文件在元数据中的最新修改时间最多。
我所看到的“获取”最新文件的模式都要求您获取容器的metadata.childitems，然后将其链接到一个foreach，它将依次获
浏览 0提问于2021-03-06得票数 0
回答已采纳
2回答
我仍然是Azure的新手，我正在尝试将每天转储在我的S3文件夹/桶中的文件移到Azure blob中。我已经在datasets中创建了数据集(用于源和接收器)和链接服务。
但是，由于我的S3桶每天都收到新文件，所以我想知道如何每天在S3 (比如东部时间凌晨5点)中移动--最新的文件--。我在网上查阅了大多数答案，比如、、和。但是，没有人解释如何找出S3中的最新文件(可能是基于上次修改的日期/时间的，或者通过匹配类似于“my_report_YYYYMMDD.csv.gz”的文件名模式)，而只将该文件复制到目标blob。
提前谢谢你的帮助/回答！
浏览 0提问于2019-04-08得票数 3
令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：from apache_beam.options.pipeline_options然而，如果我使用google-cloud-dataflow，我会得到错误：no module named 'options'，结果我应该使用from apache_beam.utils.pipel
浏览 1提问于2017-06-16得票数 3
当将文件从S3复制到AzureBlobStorage时，除了源文件名之外，我还想添加日期和时间字符串。
本质上，S3文件夹结构看起来像这样的数据/yyyy/mm/dd/file *yyyy=2019-2022，mm=01-12，dd=01-31
当将它们复制到Blob时，我们希望将它们存储在下面的文件夹结构中。数据/年=yyyy/月=mm/日=dd/file
附件是S3存储桶的文件夹结构的图片，以及我们希望通过Blob实现的文件夹结构。
我手动重命名了Blob中的所有照片文件夹，但是有数千个文件，这需要时间，所以我想要自动这样做。
我是使用"GetMetadata“还是"For
浏览 4提问于2022-07-07得票数 0
回答已采纳
1回答
我在Server中的DateTime类型列中有一些列，需要使用SSIS以时间格式和日期格式将它们导出到csv。我可以使用格式和强制转换使它们在查询中显示为时间和日期，如列“开始时间”、“结束时间”、“截止日期”、“结束日期”中所列结果的右侧部分所示。
,BEGIN_TIM [Start DTTime] --datetime
,END_TIM [End DTTime] --datetime
,BEGIN_DTE [Start DTDate] --datetime
,END_DTE [End DTDate] --datetime
,FORMAT(BEGIN_TIM,
浏览 17提问于2022-05-03得票数 0
回答已采纳
我正在寻找一种创建工件的方法，可以将其附加到只包含在触发此构建的提交中更改的文件的部署管道上。
我所拥有的是一个具有数据库对象更改脚本的repo，因此我只想打包最后一次提交到zip文件中的更改脚本，并将其附加到构建输出。这样我就可以获取zip文件并将每个文件应用到数据库之上，这将在稍后的不同步骤中完成，现在我只是尝试获取所有已更改的文件。
编辑了我已经根据下面的注释在YAML文件中创建了以下步骤
- powershell: |
#get the changed template
echo "git diff-tree --no-commit-id --name-only
浏览 7提问于2020-06-16得票数 0
1回答
Android波束意图过滤器
、、、、
我正在创建一个捕捉android光束的应用程序，并启动我的应用程序，而不是指定的应用程序。例如:发送一个网页，但我的应用程序会启动。
我尝试使用NDEF意图过滤器设置清单，但它似乎没有捕捉到光束并启动我的活动。
<intent-filter>
<action android:name="android.nfc.action.NDEF_DISCOVERED" />
</intent-filter>
任何帮助都是非常感谢的。谢谢!
浏览 2提问于2013-07-23得票数 1
回答已采纳
1回答
我的数据湖文件夹中没有几组月度文件，我希望将它们复制到数据湖中的另一个文件夹中，在将数据复制到目标数据湖文件夹时，我希望创建一个YYYY格式的文件夹(Ex: 2022-11)，并且我希望复制该文件夹中的文件。
在下个月，我将再次获得新的数据集，并希望将它们复制到(2022-12)文件夹，等等。
我想每个月运行管道，因为我们将获得每月负载的数据。
浏览 7提问于2022-11-23得票数 0
我创建了AWS爬虫来读取s3 (csv)中的数据，并将输出配置作为目录表。当我运行爬虫时，我可以看到从csv文件中填充到目录表中的数据和元数据。
是否有方法只将元数据信息填充到目录表中？请告知，因为我是新来的AWS世界
浏览 13提问于2022-11-16得票数 0
回答已采纳
假设我有一个从存储文件加载数据的管道，并将其加载到一个大查询表中。在这个管道完成之前，我可以运行另一个管道，在相同的文件和表上执行相同的操作吗？
我的假设是它应该失败。另外，我们如何能够触发第二个管道呢？(我在Eclipse中运行Apache光束代码；当一个类正在运行时，它不允许第二次执行)我们可以使用CLI运行吗？
浏览 1提问于2018-05-02得票数 1
给定3个Azure DevOps管道(可能还有更多管道)，如下所示：
构建，单元测试，发布工件
部署阶段，集成测试
部署生产，烟雾测试
如何确保管道3下载管道1中发布的特定工件？
我所看到的挑战是，TaskDownloadPipelineArtifact@2仅提供了一种方法，如果工件来自前面的管道。通过使用以下管道任务：
- task: DownloadPipelineArtifact@2
inputs:
buildType: 'specific'
project: '$(System.TeamProjectId)'
浏览 10提问于2019-10-13得票数 4
我想知道是否有可能有一个自定义的阿帕奇光束Python版本运行在谷歌数据流。在公共存储库中不可用的版本(在撰写本文时: 0.6.0和2.0.0)。例如，来自Apache Beam官方存储库的HEAD版本，或与此相关的特定标签。
我知道打包定制包(例如私有的本地包)的可能性，正如官方中所描述的那样。这里有关于如何为其他一些脚本做这件事的答案是。这上面甚至有一个GIST的。
但我还没有设法得到当前的Apache光束开发版本(或标记的版本)，该版本可在其官方存储库的主分支中获得，以便打包并将我的脚本发送到Google Dataflow。例如，对于最新的可用标记，其PiP处理的链接将是：git+htt
浏览 16提问于2017-07-27得票数 4
回答已采纳
1回答
我正在使用雪花中的示例程序，使用Python将数据摄取到目标表。
因此，基本上，我必须执行put命令将数据加载到内部阶段，然后运行Python程序通知snowpipe将数据摄取到表中。
我就是这样创建内部舞台和管道的：
create or replace stage exampledb.dbschema.example_stage;
create or replace pipe exampledb.dbschema.example_pipe
as copy into exampledb.dbschema.example_table
from
(
select
浏览 2提问于2021-09-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
