迁移上云的时候,会有迁移上腾讯云对象存储(cos)的需求,目前的迁移方案有两种:1、cos提供的COS Migration工具;2、客户自己利用友商和cos的api实现文件的下载和上传。前者需要自己部署,迁移过程中出现问题,难以排查,后者需要自己研发、测试、部署运行,需要投入研发人力和机器成本。总结了一下迁移上到cos的过程中存在的一下几个需求:
1、迁移源的多样性(oss,s3,ucloud,七牛云,百度bos等)或着是cdn上。
2、迁移进度的实时反馈。目前的方案大部分都是靠手动的方式查询迁移的进度。
3、迁移失败的文件能够记录和重试。
4、在保证业务平稳的情况下,能够快速的迁移。单个cos的账号下载和上传限制800qps。
5、迁移的成本要低。目前对象存储的成本主要有:存储空间费用、请求费用、数据取回费用、流量费用。数据通过外网进行迁移的时候会产生一定的费用。
6、能够对cos存储的文件支持自定义设置。比如对文件存储类型和header的自定义设置。
迁移服务平台(msp)的快速迁移对象存储的工具(文件迁移)可以解决以上问题。https://console.cloud.tencent.com/msp/tools
下面是控制台的操作指引:
1、 在控制台https://console.cloud.tencent.com/msp/tools上选择腾讯云文件迁移工具。
2、填写试用信息:行业类型、业务阶段、迁移源、迁移源地域。填写完之后提交审核。
3、审核通过之后就能进入到文件迁移的控制台。
4、 创建迁移任务
4.1迁移源为阿里云oss、UCloud Ufile、百度云 BOS、腾讯云COS、AWS S3(需要单独申请)
填写任务名称、迁移源信息:AccessKey、SecretKey(如何获取请参考各产品的控制台)、迁移源桶名称、文件的存储方式、header迁移方式、迁移规则(全量、或者指定前缀)、执行时间、并发数(用于控制迁移速度,有的产品会有此限制)
填写迁移目标信息:SecretId、SecretKey、迁移桶名称、
填写完成之后勾选我已了解可能的迁移时间以及可能产生的相关成本,即可启动迁移任务。然后可以在控制台列表查看当前任务的迁移进度https://console.cloud.tencent.com/msp/tools_file_migration。
4.2迁移源来自cdn或者是url链接的形式,可以使用url列表迁移。
准备迁移的文件url列表,以文本的形式存储,每行一条数据。
在控制台上传url列表文件、选择任务执行的时间、迁移速度,可以在指定的时间段内选择合适的带宽进行迁移,超过任务执行时间,任务会自动终止,用户可以指定闲时迁移。
输入迁移目标信息,SecretId、SecretKey、迁移桶名称。启动任务即可。可以在控制台随时查看迁移任务状态。
迁移完成之后,还可以对迁移失败的文件导出和重试操作,迁移服务平台的文件迁移工具可以快速的实现用户迁移上cos的需求。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。