开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >s3 -比较两个桶之间的文件

问s3 -比较两个桶之间的文件
EN

Stack Overflow用户

提问于 2018-04-01 07:04:04

回答 1查看 8K关注 0票数 3

我想比较两个S3兼容的存储桶的文件内容，并识别丢失或不同的文件。

我应该用校验和来代替吗？

amazon-web-services

EN

回答 1

Stack Overflow用户

发布于 2018-04-04 03:46:40

您的要求似乎是比较两个Amazon的内容，并识别缺少或不同的S3存储桶之间的文件。

要做到这一点，您可以使用：

对象名：(当然，这将有助于查找丢失的文件)
对象大小：--不同的大小表示不同的内容，并且在每个桶列表中给出大小。
eTag : An eTag是对象内容的MD5校验和。如果同一个文件有不同的eTag，那么内容就不同了。
创建日期：--这实际上不是识别差异的可靠方法，但可以与其他元数据一起使用，以确定是否要更新文件。例如，如果两个文件不同--目标桶中的对象具有比源桶中的对象更新的日期，那么您可能不需要将文件复制到另一个位置。但是，如果源文件在目标文件之后被修改，那么它很可能是重新复制的候选文件。

您也可以使用AWS命令线接口(CLI)，而不是自己执行上述所有逻辑。它有一个aws s3 sync命令，它将比较来自源和目标的文件，然后复制修改或丢失的文件。

票数 2

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49599399

复制

相关文章

git比较两个版本之间的区别

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/113106.html原文链接：https://javaforall.cn

全栈程序员站长

2022/07/07

1.3K0

比较git commit 两个版本之间次数

#!/bin/bash f1="$1*" f2="$2*" echo "第一个版本："$f1 echo "第二个版本："$f2 git log | grep "commit [0-9a-zA-Z]\{40\}"|awk 'BEGIN{count=0;} {commit[count]=$2;count++;} END{for(i=0;i<NR;i++) print i,commit[i]}' | grep -E "$f1|$f2" > result LineNum=`awk 'END {print NR}

千往

2018/01/24

9980

python比较两个文件的差异

使用python脚本比较两个文件的差异内容并输出到html文档中，可以通过浏览器打开查看。

py3study

2020/01/07

4.6K0

[Linux] 使用awk比较两个文件的内容

编程算法 linux unix

当需要比较A , B两个文件 , A文件中存在 , 并且把也在B文件中存在的行去除掉 , 可以使用这个awk的用法来

唯一Chat

2019/12/26

2.9K0

比较两个vcf文件的多种实现方法

r 语言 linux https 网络安全

可以看到，新的vcf文件的突变位点数量远大于旧的vcf文件。仔细查看新vcf文件，**发现是没有做基本过滤，比如测序深度大于20等等指标。**所以我就顺便把它过滤一波，代码如下：

生信技能树

2020/07/16

2.9K0

比较两个vcf文件的多种实现方法

python 快速比较两个文件的不同

import difflib a = open('./1.txt', 'U').readlines() b = open('./2.txt', 'U').readlines() diff = difflib.ndiff(a, b) print(diff) for i in diff: print(i) # if i.startswith('+'): # print(i) #or print(set(b)-set(a))

周小董

2019/03/25

3.4K0

StarRocks支持元数据加速桶配置（S3协议）

emr 对象存储

注，本次使用腾讯云EMR的 StarRocks-V1.1.0 ，starrocks-2.2.2

王旭平

2023/01/16

1.5K0

python比较两个list之间的差异、相同（差集、交集、并集）

difference intersection set union 数据

初始化数据 listA = [‘zhangsan’, ‘lisi’, ‘wangwu’] listB = [‘zhangsan’, ‘lisi’, ‘zhaoliu’] 1、取差集 1.1、listA对应listB的差集 set(listA).difference(set(listB)) —– set([‘wangwu’]) 1.2、listB对应listB的差集

kirin

2021/04/19

6.6K0

为什么说两个 Integer 数值之间不建议使用 “==” 进行比较

众所周知阿里巴巴开发手册里面有一条强制的规则，说的是在包装类对象之间的值比较的时候需要使用 equals 方法，在 -128 和 127 之间的数值比较可以使用 ==，如下图所示。具体的原因相信大家都知道，虽然规则中提到 -128 和 127 之间的数值比较可以使用 ==，但是阿粉强烈建议你还是不要这样，包装类统一使用 equals，特别是如果有些数值是通过 API 或者 RPC 接口过来的，一定要注意。

Java极客技术

2022/12/02

7350

为什么说两个 Integer 数值之间不建议使用 “==” 进行比较

.NET 下最快比较两个文件内容是否相同

解决方案数组算法优化字符串

为了选出最优的解决方案,我搭建了一个简单的命令行工程,准备了两个大小为912MB的文件,并且这两个文件内容完全相同.在本文的最后,你可以看到该工程的Main方法的代码.

郑子铭

2023/08/30

3480

.NET 下最快比较两个文件内容是否相同

警钟长鸣：S3存储桶数据泄露情况研究

云镜（主机安全）https 网络安全腾讯云测试服务

存储桶(Bucket)是对象的载体，可理解为存放对象的“容器”，且该“容器”无容量上限、对象以扁平化结构存放在存储桶中，无文件夹和目录的概念，用户可选择将对象存放到单个或多个存储桶中[1]。由于存储桶具有扩展性高、存储速度快、访问权限可自由配置等优势，如今已纳入各大公有云厂商的关键基础设施中。

绿盟科技研究通讯

2021/12/26

4K0

警钟长鸣：S3存储桶数据泄露情况研究

Python对象之间的比较，你Ok吗？

面向对象编程 python

Python中对象之间的比较，可以用 ==，也可以用 is. 在实际使用时，该如何选用。

double

2019/10/24

2.1K0

linux比较两个目录的差异

原文链接:https://rumenz.com/rumenbiji/linux-compare-dir.html

入门笔记

2021/11/28

3K0

Scala实现两个对象的比较

compare implicit object 泛型继承

使用隐式对象 implicit object 继承 Ordering[T]类，重写compare方法实现

静谧星空TEL

2021/04/27

1.8K0

linux比较两个目录的差异

diff 给定两个目录，如何找出哪些文件因内容不同 > diff --brief --recursive dir1/ dir2/ --brief仅显示有无差异或者使用 > diff -qr dir1/ dir2/ -q 仅显示有无差异，不显示详细的信息 -r 比较子目录中的文件 git > git diff --no-index dir1/ dir2/ 可以显示颜色差异 rsync > rsync -rvn -i --delete dir1/ dir2 | sed -n '2,/^$/{/^$/

入门笔记

2022/06/02

2.4K0

【python】---- 查找两个数之间的【可逆素数】

例如： 1009是一个素数，把它倒过来9001也是一个素数，所以我们就说1009是一个可逆素数（同理9001也是一个可逆素数）。

Rattenking

2022/01/06

2.2K0

【python】---- 查找两个数之间的【可逆素数】

Java获取两个日期之间的日期

https 网络安全

/** * 获取两个日期之间的日期 * @param start 开始日期 * @param end 结束日期 * @return 日期集合 */ private List<Date> getBetweenDates(Date start, Date end) { List<Date> result = new ArrayList<Date>(); Calendar tempStart = Calendar.g

水煮麥楽雞

2022/11/20

6.1K0

RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总

原文地址：https://blog.csdn.net/linsongbin1/article/details/47781187

wuweixiang

2018/08/14

8010

RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总

列存储、行存储之间的关系和比较

php 编程算法存储数据库数据挖掘

Sybase在2004年左右就推出了列存储的Sybase IQ数据库系统,主要用于在线分析、数据挖掘等查询密集型应用。列存储，缩写为DSM，相对于NSM(N-ary storage model)，其主要区别在于：

全栈程序员站长

2022/09/15

6.7K0

列存储、行存储之间的关系和比较

点击加载更多

相似问题

比较两个S3存储桶

18

aws s3桶在桶之间复制文件

13

两个桶之间的S3移动模式无法捕获文件

11

如何在两个S3存储桶之间获取文件差异？

32

在不同的S3桶之间移动文件

10

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例