文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

警钟长鸣：S3存储桶数据泄露情况研究

那么，究竟是什么原因引发了S3存储桶的数据泄露事件呢？S3存储桶的数据泄露问题如今是否仍然存在呢？...表1 近五年S3存储桶数据泄露事件示例 在表1所展示的12个数据泄露事件中，可以发现有10个事件涉及到的S3存储桶是公开访问的。...首先从图1中可以看到，在S3存储桶创建过程中，系统有明确的权限配置环节，且默认替用户勾选了“阻止全部公共访问权限”选项。...总之，S3存储桶数据泄露风险的主要原因是人为错误配置导致的某些存储桶中的某些敏感信息被公开。...四、S3存储桶敏感信息发现 正常情况下，存储桶所有者在给某一文件配置为可以公开获取的前提是所有者期望其他人去访问这些信息且其中不包含敏感信息。但实际情况是这样么？

5.3K30

Ozone-适用于各种工作负载的灵活高效的存储系统

Apache Ozone 通过在元数据命名空间服务器中引入存储桶类型，通过使用一些新颖的架构选择来实现这一重要功能。...这允许单个 Ozone 集群通过有效地存储文件、目录、对象和存储桶来同时具备 Hadoop 核心文件系统 (HCFS) 和对象存储（如 Amazon S3）功能的功能。...Bucket类型 Apache Ozone 对象存储最近在HDDS-5672中实现了多协议感知存储桶布局功能，可在 CDP-7.1.8 发布版本中使用。...此外，bucket 类型的概念在架构上以可扩展的方式设计，以支持未来的 NFS、CSI 等多协议。 Ranger策略 Ranger 策略启用对 Ozone 资源（卷、存储桶和密钥）的授权访问。...借助此功能，用户可以将其数据存储到单个 Ozone 集群中，并使用不同的协议（Ozone S3 API*、Ozone FS）为各种用例访问相同的数据，从而消除数据复制的需要，从而降低风险并优化资源利用率

3.3K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    保护 Amazon S3 中托管数据的 10 个技巧

    1 – 阻止对整个组织的 S3 存储桶的公共访问 默认情况下，存储桶是私有的，只能由我们帐户的用户使用，只要他们正确建立了权限即可。...此外，存储桶具有“ S3 阻止公共访问”选项，可防止存储桶被视为公开。可以在 AWS 账户中按每个存储桶打开或关闭此选项。...4 – 启用 GuardDuty 以检测 S3 存储桶中的可疑活动 GuardDuty 服务实时监控我们的存储桶以发现潜在的安全事件。...最后，我们可以使用“客户端加密”来自己加密和解密我们的数据，然后再上传或下载到 S3 7-保护您的数据不被意外删除 在标准存储的情况下，亚马逊提供了 99.999999999% 的对象的持久性，标准存储至少存储在...AWS 提供跨区域复制 CRR功能，我们可以将存储桶完全复制到另一个区域。如果源存储桶中的对象被删除，我们会将对象保留在目标存储桶中。

    2.8K20

    这款可视化的对象存储服务真香！

    在我们平时做项目的时候，文件存储是个很常见的需求。这时候我们就会用到对象存储服务，平时我们可能会选择OSS、AWS S3这类第三方服务。...先来看下上一代的MinIO Browser，基本只支持存储桶及文件的管理功能； 再来看下MinIO Console，不仅支持了存储桶、文件的管理，还增加了用户、权限、日志等管理功能，强了不少； 在存储文件之前...，我们首先得创建一个存储桶； 创建成功后，再上传一个文件； 上传成功后如果你想从外部访问文件的话，需要把访问策略设置为公开，这里的策略只有公开和私有两种，感觉不太灵活； 之后把地址改为外网访问地址即可访问图片...比如说一个直播的回放功能，需要对象存储来存储回放的视频，由于MinIO兼容AWS S3的大多数API，我们可以直接拿它当AWS S3来使用。...，此时访问链接就可以直接查看图片了； 如果你想修改存储桶的访问权限的话直接通过Permissions标签修改即可，是不是比MinIO Console灵活多了。

    3.2K20

    AWS S3 对象存储攻防

    说到对象存储就不得不提 Amazon，Amazon S3 (Simple Storage Service) 简单存储服务，是 Amazon 的公开云存储服务，与之对应的协议被称为 S3 协议，目前 S3...在 Amazon S3 标准下中，对象存储中可以有多个桶（Bucket），然后把对象（Object）放在桶里，对象又包含了三个部分：Key、Data 和 Metadata Key 是指存储桶中的唯一标识符...就是 Key Data 就很容易理解，就是存储的数据本体 Metadata 即元数据，可以简单的理解成数据的标签、描述之类的信息，这点不同于传统的文件存储，在传统的文件存储中这类信息是直接封装在文件里的...0x01 Bucket 公开访问 在 Bucket 的 ACL 处，可以选择允许那些人访问 如果设置为所有人可列出对象，那么只要知道 URL 链接就能访问，对于设置为私有的情况下，则需要有签名信息才能访问...0x03 Bucket Object 遍历 在 s3 中如果在 Bucket 策略处，设置了 s3:ListBucket 的策略，就会导致 Bucket Object 遍历 在使用 MinIO 的时候

    4.4K40

    S3命令行工具：s3cmd与s5cmd的实用指南

    你可以在 S3 控制台的 S3 服务页面上找到存储桶所在的区域。 确认配置信息。配置向导将显示你输入的信息，让你确认是否正确。 测试配置。配置向导将尝试连接到 S3 存储，并列出你的存储桶。...基础操作 列出 S3 存储桶和对象 s5cmd ls 命令用于列出指定 S3 存储桶中的内容。可以按需列出不同层级的文件对象。...与管理控制台功能一致：提供与 AWS Management Console 相同的功能，可通过命令行实现基础设施即服务（IaaS）的管理和访问。方便用户在不使用图形界面的情况下进行云资源管理。...功能特点： S3 存储桶挂载为文件系统：允许将 S3 存储桶挂载为文件系统，使用户可以像操作本地文件系统一样操作 S3 存储桶中的数据。...适用场景： 开发环境和数据分析：适用于一些开发环境中，需要将 S3 存储桶作为文件系统来使用。例如，在进行数据分析时，可以将数据存储在 S3 中，然后通过 goofys 挂载到本地进行处理。

    4.4K11

    S3 简单使用

    amazon (S3) 是一个公开的服务，Web 应用程序开发人员可以使用它存储数字资产，包括图片、视频、音乐和文档。S3 提供一个 RESTful API 以编程方式实现与该服务的交互。...但是，从技术上讲，Amazon 的架构有一些不同。您通过 S3 存储和检索的资产被称为对象。对象存储在存储桶（bucket）中。您可以用硬盘进行类比：对象就像是文件，存储桶就像是文件夹（或目录）。...与硬盘一样，对象和存储段也可以通过统一资源标识符（Uniform Resource Identifier，URI）查找。 Amazon S3将数据作为对象存储在存储区中。...二、相关概念介绍 存储桶(bucket） 数据都是存储在AWS 的存储桶中，可以把桶理解为磁盘分区，不过它是由一个桶名（字符串）唯一标识，即你不能创建别人已经创建过的桶。...对象 (1)对象键在存储桶中唯一标识对象。(Key) (2)对象元数据是一组名称值对。可以在上传对象元数据时对其进行设置。上传对象后，将无法修改对象元数据。

    4K30

    云安全工具反映了不同供应商的观点

    现在，亚马逊的最新举措旨在保护客户免于自己的错误。 云安全和用户威胁 关于云安全问题的故事在新闻层出不穷，AWS公司首当其冲。...在过去的一年里，像Verizon和道琼斯公司这样的客户他们把敏感数据保存在亚马逊简单存储服务(S3桶中，而这些数据桶在公共互联网上对外公开。...这些备受瞩目的案例，还有更多的案例是由于用户错误和错误配置的S3存储桶而造成的，而且云计算供应商无能为力。...调研机构451 Research公司分析师Fernando Montenegro表示：“这就像敞开了大门，让他人猜猜是什么?其结果是东西被偷走了，或者在这种情况下被抄袭了。”...这些规则包括新的AWS 配置规则，以便用户可以标记公开的存储桶，通过电子邮件向客户发送有关潜在漏洞的警报，以及称为Macie的基于机器学习的服务，以检测客户S3存储桶中的异常情况。

    1.4K70

    S3上传工具 | 对象存储上传工具，支持复制访问链接

    雨云的对象存储很早就支持S3协议了，夜梦也很早就想使用雨云的对象存储来存放东西了。但不好的是，夜梦一直使用的picgo里面的S3插件似乎有点问题，夜梦怎么配置都不能成功上传，自然也没有办法获取链接。...所以趁着这段时间的空闲，夜梦借助chatgpt和claude和deepseek等一众AI工具，用python写了一个自用的S3通用上传工具，目前在雨云测试是一切正常，不知道在其他s3协议平台能不能正常使用...工具已经开源在GitHub，地址：yemengstar/s3_object_storage: 基于S3协议的对象存储上传工具。...如果连接成功，会自行加载空间中的存储桶名称（你也可以手动填写存储桶名称）。...路径前缀就是存储桶中的路径，比如填写upload，那么最终的路径就是（格式类似）https://bucket.cn-nb1.rains3.com/upload/yourPicture.jpg 上传完毕以后会自动复制上传链接

    28710

    浅谈云安全和用户威胁

    现在，亚马逊的最新举措旨在保护客户免于自己的错误。 云安全和用户威胁 关于云安全问题的故事在新闻层出不穷，AWS公司首当其冲。...在过去的一年里，像Verizon和道琼斯公司这样的客户他们把敏感数据保存在亚马逊简单存储服务(S3桶中，而这些数据桶在公共互联网上对外公开。...这些备受瞩目的案例，还有更多的案例是由于用户错误和错误配置的S3存储桶而造成的，而且云计算供应商无能为力。...调研机构451 Research公司分析师Fernando Montenegro表示：“这就像敞开了大门，让他人猜猜是什么?其结果是东西被偷走了，或者在这种情况下被抄袭了。”...这些规则包括新的AWS 配置规则，以便用户可以标记公开的存储桶，通过电子邮件向客户发送有关潜在漏洞的警报，以及称为Macie的基于机器学习的服务，以检测客户S3存储桶中的异常情况。

    1.6K80

    快速上手Thanos：高可用的 Prometheus

    通过这种方式，我们可以在少量本地存储上节省成本，并将其他所有存储都集中在一个地方(S3)。...10901 上）并从 S3 存储桶（配置存储）中获取远程数据。...让我们深入了解实现细节： 第一阶段是在每个集群中实现kube-prometheus和 Thanos sidecar。 第二阶段是在“聚合”集群中实现kube-thanos 。...它将负责从集群中收集所有集群的实时数据，并从发送到 S3 存储桶（ObjectStore）的保留数据中收集数据。 听起来很棒，那么我们实际上如何做到这一点呢？...Prometheus pod，一方面通过GRPC将抓取的数据发送到清单，另一方面，相同的 sidecar 发送（大约 2 小时后）数据到S3存储桶（配置存储）。

    2.8K10

    两全其美：S3与并行文件系统性能相结合

    首先，应用程序并不是孤立存在的，它们在工作流中串联在一起，对于存储的要求在不同阶段有所不同。...与附加软件或存储网关解决方案不同，在Hammerspace中，对象与文件是真正平等的。任何共享或目录都可以作为S3存储桶公开，使用S3创建的存储桶和对象可以通过标准NFS和SMB共享被视为目录和文件。...同样，当包含文件的现有共享或目录作为S3存储桶公开时，文件将显示为对象，其名称反映了文件名，如果位于子目录中，则反映了路径。通过S3创建的存储桶将成为文件系统中的目录，位于指定的存储桶根目录。...由于用户和访问密钥之间存在这种1:1对应关系，如果目录作为S3存储桶公开，则之前在目录上建立的所有访问控制将继续适用。...简化多数据中心配置 现在，借助Hammerspace的S3接口和对象存储能力，共享存储桶可以托管在本地Hammerspace全局数据环境中，这使得设置多数据中心配置变得更加容易。

    33210

    不仅有史上最详细Docker 安装Minio Client，还附带解决如何设置永久访问和永久下载链接！！（详图）绝对值得收藏的哈！！！！

    （默认不指定版本，拉取是拉取最新的）。...S3 endpoint,access key和secret key是你的云存储服务提供的。...生成用于共享的URL cp 拷贝文件和对象 mirror 给存储桶和文件夹做镜像 find 基于参数查找文件 diff 对两个文件夹或者存储桶比较差异 rm 删除文件和对象 events 管理对象通知...、官方文档 七、设置公开访问 永久访问链接 mc policy set public minio/commons # 将minio 下 commons 桶设置为 公开的 可以永久访问 mc policy...但是如果是什么私密的项目，为了安全的话还是不建议这样子。 注意：外部访问的链接不需要再用minio的API生成，需要自己拼接出来。

    7K42

    【微服务架构】让我们谈谈“拥有”他们的数据的微服务

    今天我可能会在 Couchbase 中保存数据，明天在 Redis 中，下周我会将其移动到 S3。如果我改变实现，消费者不需要知道任何事情。...一天它可以是内存中的 HashMap，另一天它可以是 DynamoDB 中的一个表，第三天开发人员可以决定将它存储在 S3 中，因为它太大而且太贵了。...只要您和您的消费者同意这是公开的公共数据，您就不能在不通知消费者的情况下引入重大更改。您甚至可以想象一个使用 2 个 Couchbase 存储桶的服务——一个用于内部数据，一个用于公开数据。...如果一切都严格通过您的服务进行，则意味着您的开发人员将需要在他们自己的服务中重写这些技术的功能，或者只是在逻辑上降级数据存储的真正底层功能。 总结 您需要在内部和共享之间逻辑划分数据。...这完全取决于您的用例，以及向消费者公开数据以优化使用数据的最佳方式是什么。

    76630

    怎么在云中实现最小权限?

    怎么在云中实现最小权限? 根据云计算权威组织云安全联盟(CSA)对241位行业专家的最新调查，云计算资源配置错误是导致组织数据泄露的主要原因。 云计算.jpg 那么造成这种风险的主要原因是什么?...随着时间的推移，这个问题变得越来越严重，因为很多组织在没有建立有效分配和管理权限的能力的情况下扩展了他们的云计算规模。...、亚洲和南太平洋地区的军事行动，它配置了三个AWS S3云存储桶，允许任何经过AWS全球认证的用户浏览和下载内容，而这种类型的AWS帐户可以通过免费注册获得。...通过不断地重新检查环境并删除未使用的权限，组织可以随着时间的推移在云中获得最少的特权。 但是，在复杂的云计算环境中确定每个应用程序所需的精确权限所需的工作可能既费力又昂贵。...以及如何在不中断其他可能同时使用第二个更高权限角色的应用程序的情况下限制应用程序的权限? 一种称为Access Advisor的AWS工具允许管理员调查给定角色访问的服务列表，并验证其使用方式。

    1.9K00

    S3 老态已显

    值得注意的是，S3 缺少比较并交换（compare-and-swap，CAS）操作，而其他竞争对手均支持该操作。它还缺少多区域桶和对象追加功能。甚至连 S3 Express 的表现也难以尽如人意。...客户端可能希望仅在对象不存在时才写入对象，或者仅在客户端上次读取对象后未更改的情况下才更新对象。CAS 使这一切能够得以实现。这种操作通常用于分布式系统中的锁和事务。...开发人员被迫使用单独的事务性存储 (如 DynamoDB) 来执行事务操作。在 DynamoDB 和 S3 之间构建两阶段写入在技术上并不困难，但它很令人烦躁，而且会导致丑陋的抽象。...另一种方法是将元数据存储在 S3 之外的事务性存储中。 一旦开启了单独的元数据平面，你就会发现它的其他使用场景。...认识到 S3 是一个对象存储而不是文件系统，这是进入启蒙斜坡（在新技术或新思想出现后，人们逐渐认识到其价值和应用，开始广泛采用的过程。——译者注）的必经之路。

    1.4K10

    S3接口访问Ceph对象存储的基本过程以及实现数据的加密和解密

    相比之下，Swift和NFS通常是在本地或私有网络中使用，其规模和可扩展性较有限。丰富的功能和服务：S3接口提供了许多丰富的功能和服务，例如存储桶管理、访问控制、数据加密、数据备份和恢复等。...在使用S3接口访问对象存储时，可以通过以下方式实现数据的加密和解密：使用服务器端加密（SSE - Server-Side Encryption）：S3提供了在服务器端加密数据的功能。...在上传对象时，客户端需要提供加密密钥，并指定加密方式。下载对象时，客户端需要先解密数据。使用存储桶策略进行加密：S3还可以通过存储桶策略来强制加密存储在存储桶中的所有对象。...通过在存储桶策略中配置要求加密，可以确保所有上传到存储桶中的对象都会自动进行加密操作。需要注意的是，无论是服务器端加密还是客户端加密，都需要妥善管理好加密密钥，确保密钥的安全性和保密性，以免数据泄露。...以上是使用S3接口实现数据的加密和解密的方式。具体使用方式可以参考S3的开发文档或相关教程。

    2.7K32

    Minio 小技巧 | 通过编码设置桶策略，实现永久访问和下载

    你好，我是博主宁在春 之前其实也写过一篇关于Minio设置桶策略的文章，但是是为了解决通过永久访问的问题。...后来在百度上搜了一下Minio策略，才知道用的是Minio的桶策略是基于访问策略语言规范（Access Policy Language specification）的解析和验证存储桶访问策略 –Amazon...在存储桶策略中，委托人是作为此权限接收者的用户、账户、服务或其他实体。 Condition– 政策生效的条件。...Resource– 存储桶、对象、访问点和作业是您可以允许或拒绝权限的 Amazon S3 资源。在策略中，您使用 Amazon 资源名称 (ARN) 来标识资源。...s3:ListBucketMultipartUploads s3:ListMultipartUploadParts 2.2、实现 我写的这个是对那个桶内的资源实现可读可写。

    8.7K30

    Ceph RADOS Gateway安装

    对象存储的桶概念 在对象存储系统中，"桶"（Bucket）是一种容器，用于组织和管理存储的对象。每个桶都有一个唯一的名称，用于区分存储在同一对象存储系统中的其他桶。...你可以将桶看作是一个逻辑上的存储区域，可以在其中存储、列举和删除对象。 对象存储系统的用户可以创建一个或多个桶，并将对象上传到这些桶中。...每个对象都有一个与其所在桶相关联的唯一键，可以用这个键在桶中定位对象。 这里需要注意的是，桶并不等同于传统文件系统的文件夹。...在文件系统中，文件夹可以嵌套，形成一个层级结构，但在对象存储中，桶并不能嵌套。每个桶都是平等且独立的，它们只是一种组织对象的方式。 另外，每个桶可以有其自己的配置，如访问权限和生命周期管理规则。...RGW 的主要功能包括： 提供 S3 或 Swift 兼容的 API，使得你可以在 Ceph 上存储和检索数据，而不需要知道底层的 RADOS 协议。

    1.6K40
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券