首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

打破“上云”顾虑:AutoMQ 云服务最佳实践

基于 OSS,无需数据复制,就可以以共享存储的形式直接从 OSS 上打开只读副本,提供极具扩展性的高扇出能力。...当出现 ECS 宕机、网络分区、甚至 AZ 级故障时,AutoMQ 的 Failover 能力才会生效,通过 ESSD 和 OSS 提供的能力做进一步主动的容灾。...同时,ESSD 也是共享存储的形态,ESSD 卷可以在 ECS 故障时,挂载至其他节点继续提供读写服务。...云盘本身支持在卸载后重新挂载到其他节点用于恢复,但当原挂载节点出现 ECS Hang 等类型的故障时,云盘的卸载耗时比较不可控,所以可以依赖 ESSD 提供的多重挂载能力,可以做到不进行云盘的卸载,直接多重挂载到另一个...在共享挂载方面,支持 Region 内 ECS 跨可用区挂载以及多可用区共享挂载,支持抢占式的 IO Fencing 和 NVMe PR 锁形式的 IO Fencing。

10310
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ClickHouse 冷热分离存储在得物的实践

    Hot盘选用ESSD PL1盘挂载宿主机,磁盘名称为hot;Cold选用ESSD PL0盘挂载宿主机,磁盘名称为cold;Arch我们最终选择直接挂载OSS文件系统(因为中间我们还调研过JuiceFS,...图片 可见 JuiceFS 支持将对象存储挂载ECS 上,通过文件系统做本地盘访问,同时支持读缓存来加速文件读取,我们也做了测试,确实读写性能还不错。...写测试,move数据从hot盘到OSS。 图片 OSS 写入可以到7Gb/s。 b. 重启集群也能很快启动。 图片 该方案架构简单可靠,便于运维,最终我们选择了直接挂载 OSS 。...日志平台目前已经陆续有日志满足归档策略开始迁移,相信会节省很大的一笔费用。 5....因为 ClickHouse 本身不具备自动化 reblance 的能力,我们可以先给较多低配节点,后期随着业务量上升进行 ECS 的垂直升配即可; 基于低成本对象存储 OSS,存储不访问或者访问量极少的归档数据

    2.1K20

    浅谈块存储的安全配置

    介绍 我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题,比如Bucket的权限管理,上传文件的xss问题、AK\SK的保护。...阿里云EBS是指为ECS云服务器提供的块设备,高性能、低时延,满足随机读写,可以像使用物理硬盘一样格式化、创建文件系统,可用于云硬盘、快照、模板。...Bishop Fox的高级安全分析师Ben Morris显示了公共EBS卷可能公开未加密公共暴露给外部客户,通过任意加载快照即可暴露磁盘内容,有点像本地C盘开启了共享,然后被攻击者以net use的方式挂载磁盘一样泄露安全信息...这个快照功能类似于操作系统共有镜像功能,市场中共享镜像就是ECS实例系统盘某一时刻的快照,这个安全问题只是数据盘里可能有敏感信息而已。...ecs AttachDisk --RegionId default --InstanceId InstanceId --DiskId DiskId即可绑定实例挂载云盘,当然该磁盘的状态必须为待挂载(Available

    3K30

    网站“动静分离”分析及实战

    该架构优势十分明显: 降低Web服务器负载,静态文件访问负载全部通过CDN; 存储费用最低,OSS的存储费用仅为ECS磁盘费用的50%; 海量存储空间,无需考虑存储架构升级; 流量费用低,相比直接通过OSS...第二步: 进入到OSS控制台,点击“CDN加速OSS”。 选择新建Bucket。...根据你ECS所在的区域选择Bucket所在区域,权限选择“公共读”,Bucket名称与ECS上新建的目录的名称对应,比如”acar-image-bucket“,选择下一步; 输入“image.acar.com...把您在第一步中建立在ECS上的Images目录下的所有图片文件上传到这里(acar-image-bucket下),您可以使用OSS客户端工具更加方便灵活的完成图片的上传(OSS客户端工具Windwos版本...第五步: 在原本ECS系统中,找到原本访问静态文件的代码,把访问URL修改为加速访问的地址。 大功告成,以后用户访问您的网站的静态文件就全部通过OSS+CDN的方式访问,不再占用您ECS的资源。

    4.3K30

    高性能负载均衡是如何架构的?

    我们的高性能负载均衡使用LVS和Tengine,在一个region区分不同的机房,每个机房都有LVS集群和Tengine集群,对于用户配置的四层监听,LVS后面会直接挂载用户ECS,七层用户监听ECS挂载在...Tengine上,四层监听的流量直接由LVS转发到ECS,而7层监听的流量会经过LVS到Tenigine再到用户ECS。...看到的是客户端真实的源地址,我们需要在用户ECS上配置路由,将到ECS的默认路由指向LVS上,这对用户场景也做了限制。...Tengine具备灵活的调度能力,可以帮助我们应对更多的复杂情况;另外,Tengine也有很多高级的特性,比如基于cookie的会话保持、基于域名/URL的转发规则、HTTP2、Websocket等功能;目前...总结 目前,高性能负载均衡应用主要在几个方面: 作为公有云基础组件,为公有云网站、游戏客户、APP提供负载均衡功能,也针对政府、金融等安全性高的客户提供专有云支持; 为阿里云内部云产品RDS、OSS、高防等提供了负载均衡的功能

    1.7K30

    ECS误删文件后恢复数据

    所以,以只读模式挂载磁盘可以尽量降低数据块中数据被覆盖的风险,提高恢复数据成功的几率。...本教程适用的对象是: 磁盘中文件误删除的用户,且未对磁盘进行过写入等操作 网站访问量小、少量ECS实例的用户 需安装的软件及版本:e2fsprogs-devel、e2fsprogs、gcc-c++、...使用开源工具Extundelete快速恢复被误删的数据的操作步骤如下: 步骤一:部署extundelete工具 运行以下命令,部署extundelete工具: wget  http://zy-res.oss-cn-hangzhou.aliyuncs.com...步骤二:使用extundelete模拟数据误删除后恢复的过程 完成以下操作,使用extundelete模拟数据误删除后恢复的过程: 检查ECS现有的磁盘和可用分区,并对/dev/vdb进行分区和格式化。...将分区后的磁盘挂载到/zhuyun目录下,然后在/zhuyun下新建测试文件hello,并写入内容test。

    8.8K10

    404星链计划 | 大动作!好多优秀新项目都来加入我们了~

    当获取到 AK 的时候,一般最想知道的就是这个 AK 有什么权限、我能做什么,通过 CF 可以一键获取当前 AK 的权限,一下子就让蒙住的眼睛明亮了起来 知道 AK 的权限后,最普遍的做法就是看看 OSS...上的文件,要不就是在 ECS 实例上执行个命令,但有了 CF 可以做更多,比如一键下载 OSS 所有资源、一键获取所有 ECS 实例上的临时访问凭证从而进行下一步的云上内网横向、一键为所有 ECS 实例执行三要素命令从而方便...HW CF 它还能做更多,比如一键列出当前 AK 下的云服务资源(目前已支持OSSECS、RDS)、一键创建后门管理员用户从而接管控制台、一键为 ECS 实例反弹 Shell 等等,使用 CF 可以让你的云上渗透效率提升到新的高度...Linux 侧参考 Elkeid/tracee,基于 eBPF/NCP 方式做事件审计;Windows 提供基于 etw 和内核态两种采集模式,带有局部 edr 和异常行为检测等,目前项目整体还在开发整合中...项目特点、亮点 跨平台支持:目前 Hades 支持 Windows/Linux 双平台,各平台工具支持独立化 运行稳定性:Linux 部分基于 eBPF driver 插件做到内核级别数据采集,低内核版本采用

    87520

    CF 云环境利用框架更新至 v0.4.0 版本

    perm 一键接管控制台 cf alibaba console 一键列出当前访问凭证的云服务资源 cf alibaba ls 查看 CF 为实例执行命令的操作的帮助信息 cf alibaba ecs...exec -h 一键为所有实例执行三要素,方便 HVV cf alibaba ecs exec -b 一键获取实例中的临时访问凭证数据 cf alibaba ecs exec -m 一键下载 OSS...对象存储数据 cf alibaba oss obj get 一键升级 CF 版本 cf upgrade 版本更新 截止 2022 年 9 月 8 号,CF 已更新至 v0.4.0 版本,更新功能如下...: 新增功能 增加对已有的访问凭证修改功能 增加控制台接管历史记录查看功能 增加接管控制台指定用户名功能 功能优化 优化阿里云 OSS 相关功能 全面优化配置访问凭证功能 全面优化程序缓存功能 值得注意的是

    1.3K20

    【高效笔记】云开发者HCCDA-Cloud Euler认证快速通关解析

    任务2:按题目要求创建ECS,并选定Euler OS为镜像模板。 注意: 镜像Euler OS目前只有2.0版本,题目需求为1.0版本。可选择2.0使用。...进入web Porta管理界面,找到ECS服务器添加新的网卡。 任务2:增加15G的硬盘,进入web porta管理界面购买磁盘并挂载ECS(磁盘规格配置参考题目需求)。...注意事项:EVS硬盘需要和ECS在同一可用分区下,当购买完EVS磁盘后,在EVS管理界面点击挂载选择ECS服务器。...进入ECS使用命令行挂载 fdisk /dev/vdb n 回车 回车 回车 w fdisk -l /dev/vdb #查看磁盘信息 注意事项:一定要按需求中提到的验证命令来验证,否则不会得分。...#-v $PWD/data:/data : 将主机中当前目录下的data挂载到容器的/data。

    1.2K20

    Explosion 开发笔记 (二)

    然后就是工程建设方面的,差不多这段时间把这些东西搞起来了: CI (GitHub Action) 三方库 Git SubModule 支持 README / WiKi 单元测试框架本来想加上,但想到目前也只有...我目前的想法是先按照 Vulkan 的概念简单封装后搭建 Driver 的公共接口,这样上面的 RPI 和游戏逻辑框架也可以先写起来了,日后再慢慢补充 DX12Driver 和 MetalDriver。...目前 VulkanDriver 已经基本实现完全了,争取不再往上面放太多精力,先关注上面那些没做的东西,等到 DX12 和 Metal 也添加进来后,再慢慢开始写 RHI 线程管理、内存管理、 CommandQueue...,一个 GameObject 可以挂载各种 Component 来实现不同的功能。...但是很明显,老朋友 GameObject 的有点在于好用,我甚至可以在任意 GameObject 上挂载一个脚本,然后用这个脚本去影响 World 中的一分一毫,基本可以说是毫无规则可言。

    37810

    如何设置宝塔面板优化 php 服务器性能

    而且很多人用 avada、The 7、newspaper、Enfold、Betheme、 Richer 等耗费系统资源的 wordpress 模板,如果不做额外优化真的打开很慢,比如一个朋友使用阿里云 ECS...宝塔面板是我们再熟悉不过的国产 Linux 面板了,目前在国内可以说是风声水起,用户量不断上涨。有关宝塔面板的安装使用在魏艾斯博客里面已经写过很多了,不再啰嗦。...关于宝塔面板的入门基础知识: 宝塔 Linux 面板 4.X 版本安装教程(宝塔面板无论什么版本安装方法都是一样的) 阿里云 ECS 安装好宝塔 但访问不了面板的解决办法 宝塔 Linux 面板 3.X...8、像本文开头提到的群友网站高清图片较多的,如果达到几千张且还要不停增加的话,建议在购买阿里云 ECS 云服务器的基础上搭配阿里云存储 OSS,把图片分流到 OSS 存储空间上去,ECS 只放程序部分,

    11K40

    如何通过数据仓库实现湖仓一体数据分析?

    ADB PG继承了PG的外表(Foreign Table)功能,目前ADB PG的湖仓一体能力主要是基于外表打造的。...ADB PG的湖仓一体分析能力目前已经支持OSS、MaxCompute、Hadoop、RDS PG、Oracle、RDS MySQL等多种数据源的分析或者写入。...目前ADB PG已经完美支持OSS外表分析的各项功能,除建表语句不同外,用户可以像访问本地表一样访问OSS外表。支持并发读取和写入,支持CSV、ORC、Parquet等常见数据格式。...我们测试采用的机器是阿里云ECS d1ne.4xlarge机型,单机配置16个Intel Xeon E5-2682v4核心、64GB内存,每台ECS配置4块HDD本地磁盘,每块盘读写速度约200MB/s...测试一共用了4台ECS,两台用于做Master节点、4台用于做Segment节点,共部署16个segment。本次测试使用的是TPCH查询,使用了官方工具生成的1TB数据集。

    1.2K40

    每秒处理1000万用户请求…云上架构如何实现高性能和高可用

    从图中可以看到不同的应用使用的服务器数量不同,这里所有的服务都被部署到ECS上,ECS挂载在SLB后面,另外其中还有OCS数据缓存,用户请求的数据如果无法从缓存中获取到,就从数据库中读取。...数据库的设计同样也非常复杂,首先它实现了一套读写分离,其次有一个DRDS分布式关系型数据库,能够挂载多个RDS实例,所有的请求都会发送给DRDS,而DRDS则相当于中间的路由代理,它会根据请求从不同的RDS...就能满足业务量增长; - 自我修复设计:内建容错及检查能力,应用能够在部分组件失效时自我修复继续工作; - 松耦合设计:耦合度越小,扩展性越好,容错能力越强 多可用区设计 在SLB实例下绑定不同可用区的ECS...多可用区的云数据库RDS可以实现同城的数据灾备,OSS存储的数据默认会保存在多个不同可用区中。...健康检查自我修复 如果某台ECS实例不健康,导致健康中实例数低于最小值,弹性伸缩就会自动创建健康的ECS实例代替不健康的实例。

    1.7K10

    Logtail从入门到精通(二):开启日志采集之旅

    各概念间关系 image.png 安装配置流程 Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。...日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。...安装Logtail ECS安装 购买一台ECS 根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南) 例如华东1的经典网络,使用wget http://logtail-release.oss-cn...表示安装成功 image.png 自建主机安装 选择任意公网Logtail安装脚本(参见Logtail安装指南) 例如选择华东1公网安装,使用wget http://logtail-release.oss-cn...image.png 机器组配置页面中选择IP地址类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json查看

    1.9K20

    数栈技术分享:OTS数据迁移——我们不生产数据,我们是大数据的搬运工

    但由于部分数据表的数据量较大,无法在指定的时间窗口内完成全量迁移,且目前DataX只能针对主键值进行范围查询,暂不支持按照属性列范围抽取数据。...2) 执行datax任务 登录datax所在ECS后,进入datax所在路径 在对应的工具机分别执行pre_transfer.sh脚本,即可开始专有域OTS到专有云OTS的数据迁移,具体命令如下: sh...若采用hive统计行数会耗时太久,所以对于这个表使用datax将OTS数据导入oss的方式进行内容统计,具体操作如下: 进入脚本所在路径 登录上述表格对应的ECS,进入datax所在路径; 执行内容校验...a、执行check_table.sh脚本,即可将源环境内OTS数据表导出到OSS; sh check_table.sh check_table.sh脚本内容如下: #!.../bin/bash nohup python datax.py table.json --jvm="-Xms8G -Xmx8G">ots2oss01.log & b、获取OSS object的ETAG值

    1.4K40

    在混合云下,我们将Kubernetes与Fluid结合后性能提升了30%

    比如阿里云的 ECI 只支持自身存储(OSS,CPFS,NAS),但无法与 PoleFs 对接。...刚开始 fluid 只支持静态挂载 dataset,一旦集群启动好就无法挂载别的路径,这样势必会影响我们新业务、新集群的接入,因此我们开发了自动挂载的功能,并提交给了 Fluid 社区。...为了平滑迁移用户作业,我们想在不改动用户作业的情况下将机器学习作业迁移到 Kubernetes 上,这时由于我们的 pole-fs 已经挂载了一层目录,导致我们再用 alluxio 挂载时会多一层目录。...后来,我们通过在 dataset 设置挂载点根路径特性实现了将 pole-fs 的 pvc 挂载到了 alluxio 的根上,这样解决了我们平滑迁移的问题。...原因最开始云上缓存选择了不同 ECS 类型,而有些 ECS 的磁盘和网络 IO 性能不是很好,这个时候需要我们能够把缓存节点调度到同种类型的 ECS 上。

    77330
    领券