我正在用NiFi从Kafka中读取数据,并想使用python脚本将数据上传到GCS中。到目前为止,我们一直在NiFi中使用PutGCS对象处理器,但希望避免使用GCP Controller服务,因为当GCP服务帐户密钥发生变化时,我们必须禁用并再次启用它们(我们已经通过python实现了自动化)。 因此,我们正在考虑使用python脚本来获取NiFi流文件中的数据,并将其写入GCS。问题是,我们不希望将数据写入本地文件,然后再将其推送到GCS。有没有办法把python变量中的数据直接写到GCS文件中? 我们正在寻找类似于node.js可用的东西,如下所示: How to upload an
我正在从我的App Engine Standard Python3应用程序访问Google Cloud Storage中的一个对象,将该对象下载到/tmp文件夹,对其进行编辑,然后将编辑后的对象上传回Google Storage: from google.cloud import storage
def download_blob(bucket_name, source_blob_name, destination_file_name):
"""Downloads a blob from the bucket."""
# bu
我正面临一个经典的“模块没有发现错误”。然而,我不能用已经张贴的问题解决我的问题。
我正在尝试使用Google,以便将一些数据从一个公共的google.cloud存储库下载到本地的linux服务器上。
下面是我在木星服务器中使用的说明:
# Upgrading pip
!/usr/bin/python3.8 -m pip install --upgrade pip
# Installing the Google cloud storage API
!pip3 install google
!pip3 install google-cloud-storage
Defaulting to user
目前,我正在使用Google软件包直接将一个文件上传到Google。这需要一些技巧,因为我只有图像的base64编码字符串。我必须:
解码字符串
将其保存为文件
将文件路径发送到下面的脚本以上载到
删除本地文件
我希望完全避免将文件存储在文件系统中,因为我使用的是Google,而且如果删除操作由于任何原因无法工作,我不想重载文件系统/将垃圾文件留在文件系统中。这就是我的上传脚本现在的样子:
// Convert the base64 string back to an image to upload into the Google Cloud Storage bucke
我试图使用python脚本自动将文件从AWS s3下载到我的本地机器。python脚本本身托管在ubuntu (AWS ec2实例)上,因此它无法识别本地机器上的目录。
这是我的密码:
import os
import boto3
from boto3.session import Session
print("this script downloads the file from s3 to local machine")
s3 = boto3.resource('s3')
BUCKET_NAME = 'sfbucket.myBucket'
我试图在python2.7中使用signUrl签名过程生成v4,因为给定的是链接上给出的代码:
def generate_singed_url(bucket_name, blob_name):
"""Generates a v4 signed URL for downloading a blob.
Note that this method requires a service account key file. You can not use
this if you are using Application Default Credenti
我知道如何将保存到文本文件中的字符串上载到Google :使用下面的upload_blob函数():
from google.cloud import storage
def upload_blob(bucket_name, source_file_name, destination_blob_name):
"""Uploads a file to the bucket."""
# The ID of your GCS bucket
# bucket_name = "your-bucket-name"
我正在开发一个Flask应用程序,它使用python客户端库与Google云存储通信。目前,在本地开发中,我使用一个服务帐户来验证应用程序并进行交互。
我计划构建应用程序的docker镜像,并将其部署在kubernetes集群上。我担心的是,我应该如何提供Google凭据?
这里我可能错了,当我在虚拟机上运行这个python文件时,它能够在不需要凭据或服务帐户的情况下创建一个新的存储桶。
# Imports the Google Cloud client library
from google.cloud import storage
# Instantiates a client
stor