首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

从Google Cloud上传文件的Crontab (gsutil)

要从Google Cloud Storage (GCS) 使用 gsutil 上传文件并通过 crontab 定时执行,您需要按照以下步骤操作:

  1. 安装 gsutil 如果您尚未安装 gsutil,请按照 gsutil 安装指南进行安装。
  2. 设置认证 请确保您已经设置了Google Cloud的身份验证。您可以通过以下命令设置环境变量: export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/credentials.json" 其中 /path/to/your/credentials.json 是您的 Google Cloud 服务帐户密钥文件路径。
  3. 编写上传脚本 创建一个脚本文件,例如 upload_to_gcs.sh,并在其中编写上传文件的命令。例如: #!/bin/bash gsutil cp /path/to/local/file.txt gs://your-bucket-name/file.txt 其中 /path/to/local/file.txt 是您要上传的本地文件路径,gs://your-bucket-name/file.txt 是您要上传到的 GCS 存储桶中的文件路径。
  4. 设置文件权限 为了使脚本可执行,请运行以下命令: chmod +x upload_to_gcs.sh
  5. 创建 crontab 条目 打开终端并输入 crontab -e 来编辑您的 crontab 文件。添加以下条目以按指定时间间隔执行上传脚本: */5 * * * * /path/to/upload_to_gcs.sh 这个条目表示每5分钟执行一次 upload_to_gcs.sh 脚本。您可以根据需要调整时间间隔。
  6. 保存并退出 保存 crontab 文件并退出编辑器。

现在,您的 gsutil 上传任务已经通过 crontab 设置为定时执行。您可以通过检查 GCS 存储桶中的文件来验证上传是否成功。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Python实现GCS bucket断点续传功能,分块上传文件

我有一个关于使用断点续传到Google Cloud Storage的上传速度的问题。我已经编写了一个Python客户端,用于将大文件上传到GCS(它具有一些特殊功能,这就是为什么gsutil对我公司不适用的原因)。在大约2个月前运行的测试中,它很好地利用了可用的连接带宽,其中25Mbps连接中大约有20Mbps。该项目被冻结了将近2个月,现在,当重新打开该项目时,同一客户端以非常慢的速度上载,速度约为25Mbps的1.4Mbps。我已经编写了简单的Python脚本来检查它是否也会遇到相同的问题,并且速度稍快一些,但仍约为2Mbps。Gsutil工具的执行效果几乎与我的Python脚本相同。我还以超过50Mbps的上传速度在不同的网络基础架构上运行了该测试,效果非常好。

02
  • 领券