具有写权限和预定义元数据的GCP存储file.getSignedUrl - 腾讯云开发者社区

文章/答案/技术大牛

发布

云环境中的横向移动技术与场景剖析

这种方法并不会授予威胁行为者针对目标实例上运行时环境的访问权限（包括内存中的数据和实例云元数据服务中可用的数据，如IAM凭据等），但却允许威胁行为者访问存储在目标实例磁盘上的数据。...：在云环境中，存储在主机虚拟块设备中的数据是可访问的，此时就需要使用IAM凭证和云服务提供商API的强大功能和权限来实现了。...此时，威胁行为者就可以使用SSH密钥和云令牌进行横向移动，并渗透到其他开发环境，下图显示的是该示例的事件执行链流程图： GCP：基于元数据的SSH密钥如果配置不当，GCP也将存在等效的横向移动技术。...只要不使用OS Login服务，威胁行为者就可以将计算引擎实例配置为将其SSH密钥存储在实例元数据中。这些SSH密钥存储在实例元数据中，便于访问各个实例。...与EC2实例连接技术相比，这种方法具有更大的限制，因为它需要使用用户密码或其他功能（如SysRq）对实例的操作系统进行预配置。

1.6K1 0

AI阅读APP的技术方案

技术挑战与考量：流畅的阅读体验：高效的文本渲染、翻页动画、字体调整、夜间模式等。富文本编辑（笔记功能）：集成或自定义富文本编辑器。...数据库：关系型数据库（存储结构化数据）： PostgreSQL / MySQL（用户数据、内容元数据、订单数据等）。...数据源: 用户阅读历史、偏好、评分、点赞、停留时间、书籍/文章的元数据、主题标签。...数据加密：传输层加密（HTTPS/SSL/TLS），数据存储加密（数据库加密，对象存储加密）。隐私保护：遵循GDPR、CCPA等数据隐私法规，明确数据收集和使用政策。...通过采用微服务架构、选择合适的AI模型和云服务，并注重性能、安全和用户体验，可以构建一个功能强大、具有竞争力的AI阅读产品。

7881 0

您找到你想要的搜索结果了吗？

是的

没有找到

GCP渗透测试实战指南：从控制项检测到Top 10漏洞

对于许多组织而言，保护在第三方管理环境中驻留和运行的数据和应用程序是一个主要问题，这使得云安全成为一个重要议题。通过采用稳健的云安全策略并执行例行安全评估，组织可以保护其在云中的数据和应用。...以下是GCP渗透测试期间应优先考虑的4大控制项：访问级别控制入站端口配置存储桶权限日志记录与监控执行GCP渗透测试的最佳工具有几种工具可用于GCP的渗透测试。...十大常见漏洞不安全的云存储桶undefined利用方式：未经授权访问公开可访问或配置错误的存储桶，导致数据泄露或未经授权的修改。...过度许可的身份与访问管理（IAM）角色undefined利用方式：为用户分配过多权限，使其能够执行非预期操作、访问敏感数据或破坏资源。...GCP应用中的服务端请求伪造（SSRF）undefined利用方式：利用Web应用或API中的漏洞执行未经授权的请求，可能访问敏感的內部资源或元数据。

731 0

GCP 上的人工智能实用指南：第三、四部分

如果将多个元图定义连接到同名资产，则仅保留第一个版本。每个 SavedModel 元图必须用反映元图功能和特定于案例的用户标签的标签标注。...加载功能包括用于恢复图形描述和变量的会话，用于定义默认加载元图的标签以及 SavedModel 的位置。特定元图定义中提供的变量和资产的子集将还原到加载时提供的会话。...此外，我们需要提供区域和默认存储类，并在 GCP 中创建存储桶时定义访问级别（可以访问存储桶的用户组和用户）。...但是，如果您正在使用自定义预测例程，并且需要在模型版本中具有一组不同的权限，则可以添加另一个服务帐户以供使用。...例如，如果您的模型版本需要从特定的 Google Cloud 项目访问云存储存储桶，则可以定义具有该存储桶读取权限的服务帐户。

9.4K1 0

Google Workspace全域委派功能的关键安全问题剖析

根据研究人员的发现，一个具有必要权限的GCP角色可以为委派用户生成访问令牌，恶意内部攻击者或窃取到凭证数据的外部攻击者将能够使用此访问令牌来冒充 Google Workspace用户，从而授予对目标数据未经授权的访问权限...通过在适当的范围利用API访问权限，内部人员可以访问和检索Google Workspace的敏感数据，从而可能会泄露存储在Google Workspace中的电子邮件、文档和其他敏感信息。...如果在同一项目中存在具有全域委派权限的服务帐号，这可能会导致攻击者冒充委派的服务帐号并基于GCP实现横向移动，并获取对目标Google Workspace环境的访问权限。...具体可使用的功能和可访问的数据需要取决于策略定义的范围。...全域委派存在的安全风险和影响一旦将全域委派权限授予了GCP服务账户，具有必要权限的GCP角色就可以为委派用户生成访问令牌，恶意内部攻击者或窃取到凭证数据的外部攻击者将能够使用此访问令牌来冒充 Google

2.3K1 0

GCP 上的人工智能实用指南：第一、二部分

项目具有各种属性，元数据，资源和访问控制。项目边界内的资源根据区域和区域限制相互连接，并与内部网络进行通信。但是，跨项目的资源可能会通过外部网络进行通信。...默认情况下，存储在 Bigtable 中的所有数据都是加密的，并且可以使用访问控制为用户提供适当的访问权限。...默认情况下，存储在数据存储区中的所有数据都是加密的，并且可以使用访问控制为用户提供适当的访问权限。...默认情况下，Firestore 中存储的所有数据都是加密的，并且可以使用访问控制为用户提供适当的访问权限。...可以使用大多数 GCP 计算和处理服务以及外部 GCP（具有正确的权限集）访问 Cloud Spanner 实例。最快的方法之一是使用 Google Cloud Shell 快速访问它。

20.5K1 0

AI聊天机器人授权开发指南：元数据过滤与行级安全实战

在AI聊天机器人场景中特别有效，可以确保只有授权用户才能基于预定义的元数据规则访问特定数据。...元数据过滤的挑战：预过滤与后过滤图：向量数据库中的预过滤与后过滤（来源：Pinecone.io）应用元数据过滤时，通常使用两种传统方法：预过滤和后过滤。...Supabase行级安全（RLS）通过定义基于用户属性或使用外部数据包装器（FDW）的外部权限系统在行级别实施精细权限的策略来实现这一点。...强制RLS，用于精细数据访问复杂性使用元数据标签简单实现需要在Postgres中配置策略和规则性能针对具有快速搜索时间的大数据集进行了优化如果应用复杂的RLS策略，对于大型数据集可能较慢与外部系统集成不适用支持外部数据包装器...例如，标记为"机密"的财务报告可以限制给财务员工，而外部审计员可能基于预配置规则具有有限访问权限。

3451 0

在TPU上运行PyTorch的技巧总结

但是Kaggle和谷歌在它的一些比赛中分发了免费的TPU时间，并且一个人不会简单地改变他最喜欢的框架，所以这是一个关于我在GCP上用TPU训练PyTorch模型的经验的备忘录(大部分是成功的)。 ?...https://github.com/pytorch/xla 设置这里有两种方法可以获得TPU的使用权 GCP计算引擎虚拟机与预构建的PyTorch/XLA映像并按照PyTorch/XLA github...，我还使用github存储库将数据和代码从我的本地机器传输到GCP虚拟机，然后再返回。...因此，每个历元在小于100%的样本下运行，剩余部分被忽略。对于数据集变换，这对于训练循环来说不是大问题，但对于推理来说却是个问题。如前所述，我只能使用单核运行进行推理。...具体地说张量形状在迭代之间是相同的，这也限制了mask的使用。应避免步骤之间具有不同迭代次数的循环。不遵循准则会导致（严重）性能下降。不幸的是，在损失函数中，我需要同时使用掩码和循环。

3.7K1 0

Apache Hudi 0.11.0版本重磅发布！

多模式索引在 0.11.0 中，我们默认为 Spark writer 启用具有同步更新的元数据表和基于元数据表的file listing，以提高在大型 Hudi 表上的分区和文件 listing 的性能...有关升级和部署的详细说明[1]，请参阅元数据表指南。...使用元数据表进行data skipping 随着在元数据表中增加了对列统计的支持，数据跳过现在依赖于元数据表的列统计索引 (CSI)，而不是其自己的定制索引实现（与 0.10.0 中添加的空间曲线相比）...要从数据跳过中受益，请确保同时为写入器和读取器设置hoodie.enable.data.skipping=true，并在元数据表中启用元数据表和列统计索引。...保存点和恢复灾难恢复是任何生产部署中的关键特性。尤其是在涉及存储数据的系统中。Hudi 从一开始就为 COW 表提供了保存点和恢复功能。在 0.11.0 中，我们添加了对 MOR 表的支持。

4.7K4 0

Kubernetes 镜像拉取认证完全指南：8 种实战方法解决私有仓库访问难题

核心概念:imagePullSecrets：Kubernetes 中用于存储镜像仓库认证凭据的 Secret 对象，通过名称引用到 Pod 或 ServiceAccount。...下面将列举镜像拉取认证的 8 种方式:1、宿主机预配置认证在 Node 宿主机上直接配置 Docker 或 Containerd 的认证文件（如 ~/.docker/config.json）。...实现步骤：开发 Webhook：监听 Pod 创建事件，根据镜像地址匹配预定义规则，注入对应 Secret。...Webhook复杂多仓库环境全自动化开发成本高匿名访问公开镜像无需配置受速率限制10、总结与最佳实践10.1 核心原则最小权限：仅授予 Pod 访问所需镜像仓库的权限。...通过合理选择镜像拉取认证方案，可以显著提升 Kubernetes 集群的安全性和运维效率。

7223 0

Google Compute Engine 安全公告全集：CPU漏洞与云安全防护详解

漏洞CVE-2025-2884允许具有vTPM接口访问权限的本地攻击者发送恶意命令。这些命令利用不匹配，读取越界（OOB）vTPM内存。此操作可能暴露敏感数据。...如果您创建了使用xz-utils包5.6.0和5.6.1版本的自定义镜像，则可能面临风险，例如以下操作系统：Fedora 41和Fedora Rawhide、Debian testing/unstable...在易受攻击的VM上运行的本地攻击者可能利用此漏洞间接泄露vTPM上下文中的有限数据。...GCP-2021-001发布时间： 2021-01-28描述严重性备注最近在Linux实用程序sudo中发现了漏洞，描述为CVE-2021-3156，可能允许在安装了sudo的系统上具有未授权本地shell...访问权限的攻击者将其权限提升到系统上的root。

2271 0

蜂窝架构：一种云端高可用性架构

然后，我们有一些用于“单元引导”和“GCP 单元引导”的目标，因为我们可以部署到 AWS 单元或 GCP 单元。...我们不需要这些东西，所以只需将数据以 JSON 的形式存储在 S3 中。...假设你的应用程序组件的代码都位于一个 git 存储库中，那么，根据上述构建块，引导新单元的逻辑就可以像下面这样简单：使用单元注册表查找我们在此单元中所需的元数据（例如，AWS 帐户 ID、DNS 配置等...它是一个“元”管道，负责为每个应用程序组件创建单独的管道。图 13：管道的管道这个存储库作为我们所有部署逻辑的单一事实来源。每当开发人员需要更改部署基础设施的内容时，都可以在这里完成。...例如，在单元账户内定义了“只读”和“单元操作员”等角色，授予不同级别的权限。

8621 0

不要以平台治理牺牲开发者体验

无论是 AWS 的身份和访问管理(IAM)角色的复杂性，GCP 的网络规则还是 Azure 的存储配置，魔鬼总是藏在细节中。这种复杂性使我们的团队无法专注于提供核心业务价值。...这个列表包括 API、存储桶和执行单元等资源，以及在云端配置它们所需的必要信息。该资源规范清楚地定义了应用程序的部署和运行需求，这使得我们可以生成与项目一同存在的资源图和文档。...例如发布主题或读/写存储桶。部署提供商使用 Pulumi 部署代码设置 S3 存储桶的代码可能如下所示。代码遍历资源规范，收集建立存储桶资源所需的必要细节。...此外，它还鼓励模块和模板的重用，加快和标准化部署。这种模块化方法本质上具有未来适应性，允许在资源配置、预配工具选择甚至未来的云目标方面提供灵活性。...提供商用 Go 语言编写，使用为 AWS、GCP 和 Azure 打包的 Pulumi 自动化引擎，遵循最佳实践。

5101 0

关于Alluxio中元数据同步的设计、实现和优化

元数据同步为什么在Alluxio中很重要在Alluxio中，元数据指的是Alluxio文件系统中文件和目录的信息，包括它们的所有者、组、权限、创建以及修改时间等信息。...元数据独立于其内容——即使文件或目录是空的，但它仍然具有关联的元数据。 Alluxio维护文件系统或底层存储系统的对象存储命名空间的副本。...这意味着存储不足的路径不存在或具有与Alluxio不同的元数据，这部分是使用RPC线程完成的; 步骤1填充到同步队列中，我们循环访问同步队列，并从单独的线程池处理工作线程中的每个路径。...并行性和执行器将在并行性部分中更详细地讨论。此部分由同步线程执行，并使用存储不足的预取线程读取存储不足的信息。这样做的原因是与计算的通信重叠。...缓存结果有三种类型的不同缓存，在元数据同步过程中具有不同的目标和用途。以下是所有这些内容的快速总结。 AbsentCache 是负缓存，用于避免检查那些已知不存在的路径的存储不足。

1.4K3 0

云端迁移 - Evernote 基于Google 云平台的架构设计和技术转型（上）

同时还在考虑如何更好地利用GCP的全球足迹来提高访问Evernote服务时的用户延迟。在这一点上，我们已经定义了需求，并做出了一些战略决策。现在需要的是进入具体的工程。...然而，正如人们想象的，使多个Reco服务器定期轮询每个NoteStore服务器可能会导致NoteStores和支持它们的资源数据存储器的显着开销。...但是，GCP Compute Engine网络不支持多播。因此，我们将应用程序重新设计为具有不同的通信体系结构。...用户附件存储 (从多个 WebDavs 到 Google 云存储) 我们有120亿个用户附件和元数据文件，可以从原始的WebDavs复制到Google云端存储中的新家。...将应用升级并迁移至GCS 最后，我们需要考虑如何更新我们的应用程序代码，以使用GCS读取和写入资源，而不是WebDav。我们决定添加多个开关，允许打开和关闭特定的GCS读/写功能。

3.1K11 0

Tekton Chains｜供应链的安全性变得很容易

Tekton Chains 安全地捕获 CI/CD 流水线执行的元数据。...这个“观察者”可以在单独的信任域中运行，并在存储所有捕获的元数据时对其进行加密签名，从而留下一个防篡改的活动分类账。这种技术被称为“可验证构建”。...你可以将 Chains 安装到任何启用 Tekton 的集群中，并将其配置为为你的构建生成此加密签名的供应链元数据。Chains 支持 PGP、x509 和 Cloud KMS 等可插接签名系统。...密封性构建和 Chains 对齐得很好，因为密封性构建属性包含在 Chains 捕获的完整构建来源中。Chains 可以生成并验证指定构建的哪个部分具有网络访问权限的元数据。...这意味着可以准确地定义哪些构建工具可以访问网络，哪些不能。此元数据可以在构建时在策略中使用（禁止具有安全漏洞的编译器），也可以在部署时被策略引擎存储和使用（只允许代码审查和验证构建的容器运行）。

1K2 0

时序数据库 InfluxDB（四）

所有数据先写入到 WAL（ Write Ahead Log ）预写日志文件，并同步到 Cache 缓存中，当 Cache 缓存的数据达到了一定的大小，或者达到一定的时间间隔之后，数据会被写入到 TSM...为了更高效的存储大量数据，存储引擎会将数据进行压缩处理，压缩的输入和输出都是 TSM 文件，因此为了以原子方式替换以及删除 TSM 文件，存储引擎由 FileStore 负责调节对所有 TSM 文件的访问权限...Compactor 压缩器则负责具体的 Compression 压缩工作。为了处理文件，存储引擎通过 Writers/Readers 处理数据的写和读。...存储引擎的组成部分： In-Memory Index ：跨分片的共享内存索引，并不是存储引擎本身特有的，存储引擎只是用到了它。 WAL ：预写日志。...对于元数据，诸如 database name、measurement、tag key、tag value、field key 都只会存储一次，只有 field value 和 timestamp 每个点都存储

2.1K3 0

【云存储前沿技术报告】-25.5

Azure Files 标准文件上的预配 v2 2: 新的预配模型，提供按使用付费的定价和可预测的成本，允许独立扩展大小、IOPS和吞吐量。...通过为Filestore提供强大的CSI驱动程序，GCP简化了在GKE中运行的应用程序的共享持久文件存储的预配和管理。...此外，诸如Filestore自定义性能 16 和对SAP工作负载的持续支持（例如，使用GCS快照进行SAP HANA二级站点初始化 18）等功能表明，GCP持续关注满足企业应用程序的特定需求。...2025年5月 GCP Filestore 自定义性能正式发布文件存储 (性能) 提供对Filestore实例性能特征的更精细控制。 2025年4月 III....它有助于了解各主要国内云提供商在不同领域的侧重点（例如，AI集成存储、数据库相关存储优化、数据保护）和市场竞争定位。这对于在中国市场运营或评估解决方案的专业人士具有参考价值。

6941 0

UC伯克利发布Vicuna v1.5，支持4K和16K上下文，刷新SOTA，LeCun转赞

新智元报道编辑：桃子【新智元导读】UC伯克利发布了新版Vicuna v1.5，基于Llama 2微调而来，支持4K和16K上下文。 GPT-4最强平替更新了！...它在文本预言方面可以达到ChatGPT的90%。在视觉感知方面，研究人员还使用了与BLIP-2相同的预训练视觉组件。其中组件由EVA-CLIP的ViT-G/14和Q-Former组成。...它在Torch Hub、TensorFlow Hub和HuggingFace等三个大型机器学习库的数据集上进行了训练。...Gorilla还可以快速添加新的领域知识，包括Kubernetes、GCP、AWS、OpenAPI等。在零样本的情况下，Gorilla的表现优于GPT-4、ChatGPT和Claude等模型。...ToolLLaMA 地址：https://github.com/OpenBMB/ToolBench ToolLLM这个项目，是为了构建开源、大规模、高质量的指令调优SFT数据集，以促进构建具有通用工具使用能力的强大语言模型

7672 0

出版社资源管理系统的技术架构

这种模式具有良好的分离性，易于开发和维护。...数据层 (Data Layer):负责数据的存储和管理，包括结构化数据（如元数据、用户信息）和非结构化数据（如资源文件本身）。...技术选型: 关系型数据库 (RDBMS): PostgreSQL, MySQL, SQL Server 等。用于存储用户、权限、元数据结构定义、工作流状态等结构化数据。...PostgreSQL 通常因其强大的功能和扩展性而受到青睐。 NoSQL 数据库 (可选): MongoDB 等文档数据库，适用于存储灵活的元数据，特别是当资源类型多样且元数据结构差异较大时。...元数据模型的灵活性: 设计可扩展的元数据模型，以适应不同类型资源和未来需求的变更。文件处理和预览: 需要能够处理各种文件格式的上传、预览和转换。

3741 0

点击加载更多

云环境中的横向移动技术与场景剖析

AI阅读APP的技术方案

GCP渗透测试实战指南：从控制项检测到Top 10漏洞

GCP 上的人工智能实用指南：第三、四部分

Google Workspace全域委派功能的关键安全问题剖析

GCP 上的人工智能实用指南：第一、二部分

AI聊天机器人授权开发指南：元数据过滤与行级安全实战

在TPU上运行PyTorch的技巧总结

Apache Hudi 0.11.0版本重磅发布！

Kubernetes 镜像拉取认证完全指南：8 种实战方法解决私有仓库访问难题

Google Compute Engine 安全公告全集：CPU漏洞与云安全防护详解

蜂窝架构：一种云端高可用性架构

不要以平台治理牺牲开发者体验

关于Alluxio中元数据同步的设计、实现和优化

云端迁移 - Evernote 基于Google 云平台的架构设计和技术转型（上）

Tekton Chains｜供应链的安全性变得很容易

时序数据库 InfluxDB（四）

【云存储前沿技术报告】-25.5

UC伯克利发布Vicuna v1.5，支持4K和16K上下文，刷新SOTA，LeCun转赞

出版社资源管理系统的技术架构

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐