从源容器复制blob并异步上传到目标容器
基础概念
在云存储服务中，Blob（Binary Large Object）是一种用于存储大量非结构化数据（如文本、图像、视频等）的对象。源容器和目标容器都是存储Blob的逻辑单元。复制Blob并异步上传到另一个容器是一个常见的操作，通常用于数据迁移、备份或数据共享。
相关优势
- 数据冗余：通过复制Blob到另一个容器，可以提高数据的可用性和可靠性。
- 负载均衡：将Blob分散到不同的容器或存储节点上，可以平衡存储系统的负载。
- 灵活性：异步上传允许在不影响源系统性能的情况下进行数据传输。
类型
- 同步复制：数据在源容器和目标容器之间实时同步。
- 异步复制：数据在源容器和目标容器之间延迟同步，适用于对实时性要求不高的场景。
应用场景
- 数据备份：定期将重要数据复制到另一个容器，以防数据丢失。
- 数据迁移：将数据从一个存储系统迁移到另一个存储系统。
- 数据共享：将数据复制到共享容器，供多个用户或系统访问。
问题及解决方案
问题1：Blob复制失败
原因：
- 网络问题导致数据传输中断。
- 源容器或目标容器的权限设置不正确。
- Blob大小超过传输限制。
解决方案：
- 检查网络连接，确保源容器和目标容器之间的网络通畅。
- 确认源容器和目标容器的权限设置正确，确保有足够的权限进行数据传输。
- 如果Blob大小超过传输限制，可以尝试分块传输或增加传输限制。
问题2：异步上传延迟
原因：
- 网络带宽不足。
- 目标容器的处理能力不足。
- 异步任务队列过长。
解决方案：
- 增加网络带宽，提高数据传输速度。
- 优化目标容器的处理能力，例如增加计算资源或优化代码。
- 监控异步任务队列，及时处理积压的任务。
示例代码
以下是一个使用Python和Azure Blob Storage SDK进行Blob异步上传的示例代码：
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient
import asyncio
async def upload_blob_async(source_blob_client, target_blob_client):
blob_data = source_blob_client.download_blob()
await target_blob_client.upload_blob(blob_data.content_as_bytes(), overwrite=True)
async def main():
source_connection_string = "your_source_connection_string"
target_connection_string = "your_target_connection_string"
source_container_name = "your_source_container_name"
target_container_name = "your_target_container_name"
blob_name = "your_blob_name"
source_blob_service_client = BlobServiceClient.from_connection_string(source_connection_string)
target_blob_service_client = BlobServiceClient.from_connection_string(target_connection_string)
source_container_client = source_blob_service_client.get_container_client(source_container_name)
target_container_client = target_blob_service_client.get_container_client(target_container_name)
source_blob_client = source_container_client.get_blob_client(blob_name)
target_blob_client = target_container_client.get_blob_client(blob_name)
await upload_blob_async(source_blob_client, target_blob_client)
if __name__ == "__main__":
asyncio.run(main())参考链接
请注意，以上示例代码和参考链接是基于Azure Blob Storage的，如果你使用的是其他云存储服务，可能需要调整代码和参考链接。
相关·内容
1回答
我正在尝试使用azure.storage.blob.aio将一个容器中的blobs上传到另一个容器，但如果函数按预期工作，我会一直收到警告消息： Unclosed client session target_container_cl
浏览 66提问于2020-10-14得票数 3
回答已采纳
当我将blob上传到容器时，我会使用event触发一个'BlobCreated‘事件，然后由一个函数来获取。
我创建我的源和目标blob &容器客户机，然后创建目标容器。blob客户端，并启动了副本
浏览 7提问于2021-01-24得票数 0
回答已采纳
2回答
我不能把天蓝色的储存标准
、、、
我需要把天蓝色水珠的储存从标准转移到高级azcopy.exe copy [source with SAS] [destination with SAS] --recursiveRESPONSE Status: 404 The specified blob does not exist.Content-Type: [application/xml] Server: [Windows-Azure-Blob</
浏览 8提问于2019-10-08得票数 0
回答已采纳
我想在Azure容器中复制一个文件，而不使用az拷贝实用程序。请帮助编写脚本(Spring或.net示例)。下面的代码运行良好。我现在只需要远程拷贝。using Azure.Storage.Blobs;using Microsoft.Azure.Storage.Blob;
usingcon
浏览 5提问于2020-06-26得票数 0
我已经有了一个node.js服务，它应该从azure加载文件，处理它，并且当它完成时-将它移动到同一个容器中的"done“子文件夹中。我已经在文档中挖掘了一个多小时，无法找到任何方法来复制或重命名blob，因为如果我从一开始就创建它，它将在子文件夹中直观地呈现它，所以重命名可能也会起作用(我知道它是如何工作的，我也很好，我通过忽略所有包含do /它们的名字的人来过滤blob)。唯一足够接近的是startCopyFromURL，它是"blob“类的成员，但是我
浏览 0提问于2019-07-24得票数 1
回答已采纳
我试图使用.net API startCopy将一个存储帐户中的页面blob复制到另一个存储帐户。这两个存储帐户都是标准类型，blob存在于源位置。我希望startcopy可以从帐户复制到另一个帐户。有谁能帮我找出这里的问题吗？1 cmd, IRetryPolicy policy, OperationContext operationContext)
at Microsoft.WindowsAzure.Storage.Blob.CloudBlob.StartCop
浏览 3提问于2016-10-14得票数 0
回答已采纳
正在尝试将bla.docx从源(blob容器)/screenshots(文件夹)/bla.docx复制到目标(blob容器)/screenshots(文件夹)。 但目标容器中不存在截图文件夹。
浏览 8提问于2020-04-08得票数 1
回答已采纳
我想用powershell将Blob 从"Azure存储“复制到我的”本地存储“(模拟器)。它在"Azure“到"Azure"存储之间运行良好。但是对于"Azure“到”本地“(仿真器)存储，blobs被复制，但只有0字节。创建Blobs是因为我可以在存储资源管理器中看到它们。在Azure存储资源管理器中，我具有以下属性：
在复制</em
浏览 0提问于2017-09-10得票数 0
回答已采纳
在blob存储中，我有两个容器-- Source和Target。我需要将文件夹从Source复制到target，但有一个条件是，在将文件夹复制到Target容器之前，需要对它们进行压缩。我已经成功地复制了文件夹，但我还没有找到压缩它们的方法。blob_service_client = BlobServiceClient(account_url='https://blob_storage.blob<
浏览 7提问于2022-02-24得票数 0
回答已采纳
1回答
图像被上传到blob容器，这些容器是从代码动态创建的，在上传图像时使用POST请求给定的名称。Azure中还部署了一个斑点触发器函数，用于为给定的斑点容器上传的每个图像创建调整大小的低质量图像。需要为创建的每个新容器复制此图像调整大小函数app。如果重复，则需要将新的容器名称绑定为image-resize函数app的新实例的源容器和目标容器，并将其部署在与第一个函
浏览 8提问于2020-04-02得票数 0
回答已采纳
1回答
重命名blob，然后保存新的
、、、、
在重命名上一张图片后，我尝试使用Xamarin Blob来保存新版本的图像。例如，我的旧图像位于名为"imagecontainer“的容器中，Id名为"xama_452”3- then save the new image in "imagecontainer"
我尝试了一些代码，我可以上传一个图像/
浏览 0提问于2018-11-11得票数 1
回答已采纳
拥有后端的sasquerystring和image，如何从REST控制台进行图像上传？
浏览 0提问于2015-07-07得票数 0
回答已采纳
我试图将一些blob文件从一个存储帐户复制到另一个。为了实现这个目标，我使用了AzCopy。AzCopy /Source:https://<storage_account1>.blob.core.windows.net/<container_name1>/<path_to_desired_
浏览 0提问于2016-04-01得票数 5
我希望使用Rest和PHP将blob从一个存储帐户复制到同一个订阅中的另一个存储帐户。我可以使用下面的代码在同一个存储帐户中从一个容器复制一个blob到另一个容器echo curl_error($ch);
echo &
浏览 3提问于2017-04-19得票数 0
回答已采纳
我正在将数据从一个Azure Cosmos数据库复制到另一个Azure Cosmos数据库。在源和目标上设置的RU分别为800和15000，我正在复制的容器有3 3GB数据和400万个文档。当通过Azure数据工厂直接从源复制到目标时，它永远需要花费时间，所以我添加了staging (Azure blob存储)，并将DTUI和并行化设置为自动。复制到Blob存储很快，但是当
浏览 2提问于2019-11-25得票数 0
我们为每个客户端创建了一个存储帐户(安全性是首要考虑因素)，并为每个系统区域创建了容器，例如车辆、工作等
在做了进一步的阅读后，似乎有一个建议是，我们应该为所有客户使用一个帐户。每个客户端都应该有一个容器(这样我们就可以通过编程方式创建它)，然后我们就可以保护它。那么文件应该只使用“虚拟”文件夹结构，例如叫做"Client A“的容器。有没有什么工具可以让我们轻松地将一个账户的内容复制到另一个容器账户？我理解我们可能不能在帐户之间移动文件(因为我们在很久以前就设置了它们，所以不能使用本地
浏览 0提问于2013-01-24得票数 2
回答已采纳
2回答
当满足条件时，我试图为用户重命名容器名称。我做了一些研究，发现在蓝色的blob存储容器没有重命名功能。但是有一种方法可以通过复制文件并在复制后删除文件来实现这一点。下面是我做的代码。当我也尝试"blobNew.StartCopyAsync(blobOriginal)“时，代码只会通过，但是当我在蔚蓝中检查容器时，就没有创建容器了。你觉得问题出在哪里？update I更新我的代码，并能够将文件从其他文件复制到容器</
浏览 3提问于2019-12-02得票数 0
回答已采纳
通常，我需要用java创建一个应用程序，它将在天蓝色存储上执行一些操作，如上传文件、附加到文件、重命名、检查是否存在等等。重要的是，它必须与DFS端点通信。但我遇到了一些问题：
com.azure.storage.blob.models.BlobStorageException例如，BlobContainerClient ()方法内部使用并通过blob端点执行调用。如果我的案子被禁止了呢。endpoint，端点(字符串
浏览 3提问于2021-10-25得票数 0
我试图从本地导出的bacpac文件中创建一个新的SQL数据库，并将其作为BLOB上传到存储帐户容器中。当我选择SQL服务器上的并选择使用上载的bacpac作为导入源时，导入失败，错误是“存储URI无效”。
怎么了？
浏览 5提问于2021-01-22得票数 2
回答已采纳
目标：我们希望使用Azure函数(python)将blob从源容器复制到目标容器，一旦blob到达目的地容器。我们希望blob创建的事件触发ADF管道。如果我手动将文件复制到目标容器，触发器按预期触发，并且ADF管道成功执行，则问题。但是，如果文件是由Azure函数创建的，则触发器不会触发。copied_blob_client
浏览 15提问于2022-09-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
