所以我在airflow上运行这个运算符 src='/Users/john/Documents/tmp',
浏览 8提问于2018-09-07得票数 2
回答已采纳
在DAG中，我使用了python操作符。在操作符my中，我在python列表中获取一些数据。现在，我想将列表中的数据保存在google云存储桶中的txt文件中，我该怎么做呢？import subprocess
li= list(output.split(&qu
浏览 9提问于2021-12-16得票数 1
我使用了参数files ="abc.txt“。我从气流文件里拿到的信息...https://airflow.readthedocs.io/en/stable/_modules/airflow/operators/email_operator.html但我得到的错误是找不到该文件。我的问题是，这股气流将从哪里挑选我的文件。它是来自composer环境中的GCS Bucket<
浏览 17提问于2020-01-09得票数 2
我正在尝试将本地计算机上的文件上传到GCS，并且我正在使用LocalFilesystemToGCSOperator。我正在关注这个howto https://airflow.readthedocs.io/en/latest/howto/operator/google/transfer/local。这是DAG代码： import os
from airflow i
浏览 10提问于2020-11-10得票数 0
有一个气流操作符可以将一个文件从GCS桶复制到本地文件系统。但是它只支持一个文件，并且不可能为给定的前缀复制多个文件。有一个反向操作符允许将许多文件从本地文件系统复制到桶中，您只需使用路径"/*“中的星号即可。
您知道在气流中通过前缀将文件从桶复制到<em
浏览 6提问于2022-03-10得票数 0
回答已采纳
2回答
我试图将结果保存到另一个桶(而不是气流桶)中的文件中。我可以保存到'/home/airflow/gcs/data/test.json‘中的一个文件，然后使用gcs_hook.GoogleCloudStorageHook复制到另一个桶中。(source_bucket, source_object)我们可以直接写到目标桶上的文件吗？gcs_hook我试着使用<em
浏览 2提问于2019-12-16得票数 2
回答已采纳
1回答
我试图使用我在Flask (python)上构建的API将一个文件上传到google云存储中，但我不想在本地保存该文件。直接从请求中获取文件并将其上传到云存储中。上传到GCS方法 """ Upload data to
浏览 2提问于2021-11-25得票数 1
我必须检查从DAG (eg: sample.txt)生成的文件是否从存储桶中移动(在我的情况下，当其他系统拾取时，我生成的文件将从存储桶中移出，然后存储桶中将不会有此输出文件。从存储桶中删除文件可能需要几分钟时间) 如何在同一个DAG中添加一个任务，该任务会等待/退出，直到文件从存储桶中移走，并且当sample.txt文件被移走时，再继续下一个任务。
浏览 26提问于2021-04-14得票数 2
回答已采纳
我在google composer (airflow)中有一个导入的DAG："ImportError:没有名为sensors.base_sensor_operator的模块“from datetime
浏览 5提问于2018-08-23得票数 1
1回答
我知道有一种方法可以在本地系统中从python环境中调用文档AI。在该过程中，需要将本地文件上传到GCS存储桶，以便文档AI可以从那里访问该文件。有没有什么方法可以让我们使用python直接访问本地文件访问文档AI (即，不将文件上传到GCS bucket)？请注意，这是我必须在本地系统中运行
浏览 7提问于2021-07-21得票数 0
我正在尝试使用BashOperator通过Airflow向API发出POST请求。有没有可能直接从S3加
浏览 0提问于2021-10-11得票数 0
我需要从Google Cloud Storage上的存储桶中打开一个.xlsx文件，问题是我在/api/ficha-excel中得到了:FileNotFoundError
Errno 2没有这样的文件或目录
浏览 2提问于2021-10-23得票数 1
我有一个文件的URL (https://example.com/myfile.txt)，我想把它上传到Google上的桶(gs://my-sample-bucket)。我目前所做的是：
有什么办法可以直接上传文件</
浏览 2提问于2019-10-24得票数 3
我想下载一个从http url接收到的文件，直接下载到亚马逊的s3桶中，而不是本地系统。我在64位windows操作系统上运行python。在文件提取过程中，我尝试提供Amazon 3的bucket url作为python的url检索函数的第二个参数。urllib.request.urlretrieve(url, amazon s3 bucket url)
我希望它能直接将
浏览 2提问于2019-04-03得票数 0
回答已采纳
2回答
我有一个spacy模型，我正尝试使用以下格式将其保存到gcs存储桶中但每次运行此命令时，我都会收到以下错误消息FileNotFoundError: [Errno 2] No such file or directory: 'gs:/{bucket-name}/model'
另外，当我创建kubeflow持久卷并将模型保存在那里时，我可以使用tra
浏览 16提问于2020-11-30得票数 0
目前我们在Kubernetes上使用的是我们自己安装的Airflow版本，但我们的想法是迁移到Cloud Composer上。我们使用Airflow通过自定义版本的DataFlowJavaOperator (使用插件)来运行数据流作业，因为我们需要执行jar中不是自包含的java应用程序。因此，我们基本上运行了一个bash脚本来启动命令：所有jar依赖项都存储在所有worker
浏览 1提问于2018-06-08得票数 2
1回答
在气流中，我们有Postgres到GCS和S3操作符，它们都使用SQL获取结果并将其导出到目标。
但是对于大型表，最好使用COPY方法。
浏览 10提问于2020-10-16得票数 1
我是GCP和Airflow的新手，正在尝试通过Python3通过一个简单的PYODBC连接来运行我的python管道。然而，我相信我已经找到了需要在机器上安装的东西，但是我不确定在GCP中的哪里可以运行这些命令。servername;DATABASE=dbname;UID=username;PWD=password')
当我在环境中打开我的gcloud shell并运行Microsoft下载时，它就会中止，当我下载SDK并从本地下载连接到项目时有没有人能给我一些简单的指示，告诉我从</e
浏览 3提问于2020-02-22得票数 3
我使用GoogleCloudStoragePrefixSensor操作符来检测某个对象是否存在于GCS桶中。但是，我注意到，如果情况不同，传感器无法检测对象。
浏览 1提问于2022-06-22得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号