腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
AWS是否与
s3
同步
进行
数据
完整性检查?
、
、
、
我一直在研究如何使用AWS进行
数据
完整性检查,以验证备份是否已从
Linux
文件服务器正确地传输到AWS
s3
。同样,当将文件从备份还原
到
它也正确传输的
Linux
文件服务器时,我想验证一
下
。我检查了与
S3
上的对象一起存储的etag,因为它似乎是一个md5sum。但是,如果文件在大文件情况下作为多部分传输,则etag不再有效。但是,在我进一步尝试对每次刚刚
同步
到
S3
的内容做一个
S3
之前,这真的有必要这样
浏览 0
提问于2020-01-17
得票数 6
1
回答
使用当前工作目录作为AWS Cli的路径
、
、
、
、
我正在尝试使用Windows上的AWS从我的本地目录
同步
我的桶。我倾向于将路径名替换为更短的内容,或者只是将其与桶关联起来。我试过chdir和cd。
浏览 4
提问于2016-12-08
得票数 0
回答已采纳
1
回答
将
S3
的问题
同步
到
EC2:无法定位凭据
、
、
我当时正在做一个电子商务项目(为了学习),我想把我的网络文件从
S3
同步
到
EC2。我在
Linux
会话中使用了以下命令: sudo aws
s3
sync
s3
://deg-s3bucketwebfiles /我检查了一个目录/var/www/html,但不知怎么的,这些文件不能
同步
到
E
浏览 5
提问于2022-11-16
得票数 1
1
回答
将大量
数据
同步
到
s3
(aws)
、
、
我需要在AWS中将2.5TB的
数据
从文件系统
同步
到
s3
。我将使用AWS CLI命令:此命令将将当前文件夹
同步
到
一个名为MyBucket的桶(
s3
中)。我的问题是:2)考虑
到
数据
量,我期望的限制/问题是什么?
浏览 2
提问于2016-01-13
得票数 1
回答已采纳
4
回答
aws cli
s3
同步
,排除不起作用
、
、
我正在尝试使用排除选项将
数据
从ec2
同步
到
s3
存储桶f1 f2 f3 root@ir:aws
s3
sync /data/
s3</em
浏览 6
提问于2016-04-22
得票数 5
2
回答
复制
到
大型目录时,亚马逊网络服务
S3
同步
非常慢
、
、
、
当使用AWS-CLI将
数据
同步
到
S3
中的空目录时,几乎是瞬间完成的。但是,当
同步
到
一个大目录(几百万个文件夹)时,甚至需要很长时间才能开始上传/
同步
文件。 有没有其他方法?看起来它试图在
同步
之前考虑
到
S3
目录中的所有文件-我不需要这样做,并且在不事先检查的情况
下
上传
数据
就可以了。
浏览 59
提问于2017-01-25
得票数 18
回答已采纳
1
回答
在从
Linux
同步
AWS
S3
桶时保留所有者和文件权限信息
、
、
、
、
我正在从
Linux
服务器
同步
一个目录到AWS
S3
进行备份。rsync -a --exclude 'cache' /path/live /path/backupaws
s3
sync
s3
:/&
浏览 3
提问于2016-12-25
得票数 8
回答已采纳
1
回答
AWS
S3
CLI
同步
命令释放定义时间段配置
、
、
我在.bat文件中调用AWS命令:它将本地
数据
同步
到
一个
S3
桶中。然后,我为这个.bat文件创建了一个,每天2300小时,.bat文件开始运行,并将本地
数据
同步
到
S3
桶。 有一段时间,备份文件中有大
数据
。因此,我想给出运行aws
s3
sync的特定时间段(例如,
同步<
浏览 4
提问于2015-09-16
得票数 0
回答已采纳
1
回答
只将新对象从
S3
复制
到
前提服务器
、
、
、
、
我有一个
S3
桶,每天从salesforce生成对象。我想将这些对象从
S3
桶复制
到
本地的
Linux
服务器上。应用程序将在该
Linux
服务器上运行,该服务器将引用这些对象来生成新文件。我不能使用
S3
-
同步
,因为
S3
桶中将有数十万个对象。由于这些对象将在每天的基础上生成,
同步
将增加大量成本。我只希望新创建的对象被复制
到
本地服务器。我正在考虑使用S3FS或JuiceFS在本地安装
S3
桶。但是我听说将<em
浏览 15
提问于2022-08-19
得票数 0
1
回答
获得Nexus OSS 3
数据
和二进制文件的完整备份
、
、
、
我已经在Amazon
Linux
ec2实例上配置了Nexus OSS3。我想对
数据
库进行定期备份,并将备份存储在
S3
存储桶中。为此,我在我的
S3
实例上挂载了
Linux
存储桶。在运行该任务后,我看到5个不同的.bak文件在本地创建并
同步
到
S3
存储桶中,但.bak文件的大小非常小。其中,由于blob-store的大小为250 GB,因此.bak文件的大小仅为45MB(分量)。如果没有,如何包含整个
数据
、二进制文件和配置?一个额外的信息是
浏览 26
提问于2019-03-29
得票数 0
2
回答
如何通过命令行将文件夹上载到
s3
?
、
、
、
我试图将当前文件夹复制
到
桶中:但是当我再次使用 aws
s3
sync
s3
://bucket/NewFolder/ /home
浏览 2
提问于2020-01-18
得票数 3
回答已采纳
2
回答
在没有aws-cli的情况
下
通过shell脚本上传到
S3
,可能吗?
、
、
、
、
正如标题所说,可以在没有aws-cli-tools的情况
下
通过shell脚本上传到
S3
吗?但我希望能够覆盖文件中的任何内容(这只是一个数字)。Fadi
浏览 1
提问于2015-10-14
得票数 5
回答已采纳
1
回答
当我将文件夹上传到AWS冰川时,请将它们压缩
、
、
我目前使用aws
同步
将我的大型
数据
存储库
同步
到
Glacier。aws
s3
sync .
s3
://backup --storage-class DEEP_ARCHIVE你会用什么方法来解决这个问题? 谢谢
浏览 1
提问于2019-07-19
得票数 0
回答已采纳
1
回答
有效地将大型对象
同步
到
S3
、
、
我需要将大约30 git的git存储库
同步
到
S3
。这些repos可能包含一些非常大的包文件,大致顺序为2GB。 我知道
S3
最近增加了对大型对象的支持,并且有了新的API,允许将对象作为几个并行块上载。是否有一个很好的
Linux
命令行工具,允许我以类似于
S3
的方式有效地
同步
大型对象和s3sync?
浏览 0
提问于2011-02-04
得票数 0
回答已采纳
1
回答
如何将批量大文件上载到AWS
S3
?
、
我想备份一个拥有1.4TB
数据
的
Linux
文件服务器
到
AWS
S3
Standard。有些文件很大,超过100 MB,我读到应该使用多部分。我如何在命令行上这样做,以便它进行
同步
,但自动处理较大的文件? 例如,我想递归备份所有的/home和/root。
浏览 0
提问于2019-12-24
得票数 0
回答已采纳
1
回答
如何通过电子邮件发送AWS CLI
数据
同步
失败通知?
、
、
我的.bat文件中有调用AWS sync命令的文件:它将本地
数据
同步
到
一个
S3
桶中。然后,我为这个.bat文件创建了一个Windows,每天2300小时,.bat文件运行并将本地
数据
同步
到
S3
桶。如果在本地PC (例如:网络失败/
S3
身份验证失败)或远程
S3
服务器的
浏览 4
提问于2015-09-16
得票数 0
1
回答
Goodsync (gsync)
linux
总是将文件覆盖
到
S3
(无法识别相似性)
、
、
我一直在使用
Linux
gsync,如下所述,方法是在OSX (本地dir
到
S3
)中创建作业,然后导出tix文件。这似乎是可行的。但是--
Linux
日志上的gsync显示了一条消息,即它不能在
S3
端标记时间戳。因此,运行的每个备份都会再次用“旧版本覆盖更新版本”的消息覆盖每个文件。问题--即有一个
linux
开关命令,告诉gsync忽略时间戳,只使用文件大小。或者,如果文件存在,只需忽略覆盖文件。或另一种解决办法:Dgsync job-update /?
浏览 0
提问于2017-06-14
得票数 0
1
回答
S3
一致性问题
、
如果在使用新
数据
更新
S3
位置之后立即进行读取,则无法完全从
s3
读取
数据
我正在使用
S3
以拼图文件格式存储一些
数据
。这些
数据
每天更新(覆盖)几个小时后。问题在于,当
s3
位置正在使用新
数据
更新时发生读取操作时,读取操作会提供部分
数据
。我尝试填充不同的
S3
密钥,然后使用
s3
同步
命令
同步
实时
s3
位置,但如果在
s3
<em
浏览 0
提问于2019-05-22
得票数 0
3
回答
` `aws
s3
sync`如何判断文件是否被更新?
、
、
当我在终端中背靠背运行该命令时,它不会在第二次
同步
。这太棒了!但是,如果我运行我的构建过程并以编程方式背靠背地运行aws
s3
sync,它会
同步
两次所有的文件,就好像我的构建过程第二次改变了一些不同的东西一样。 不知道会发生什么。有什么想法吗?
浏览 0
提问于2017-04-21
得票数 26
回答已采纳
2
回答
将现有Marklogic Application Server从
Linux
迁移到AWS
、
、
、
、
我想将Marklogic 7 Application Server从
Linux
环境迁移到AWS。有多个集群。
浏览 4
提问于2014-02-25
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux下如何实现与Internet时间同步
linux下ntp时钟同步的搭建和使用
Oracle数据同步到Kafka
利用Kettle进行数据同步(下)
RHEL 7下rsync定时同步数据
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券