扩容： 1、磁盘分区 [root@ecs-7837 ~]# fdisk /dev/vda
自建 Redis 系统是得物 DBA 团队自研高性能分布式 KV 缓存系统，目前管理的 ECS 内存总容量超过数十TB，数百多个 Redis 缓存集群实例，数万多个 Redis 数据节点，其中内存规格超过 1T 的大容量集群多个。
所谓动静分离就是通过nginx（或apache等）来处理用户端请求的静态页面，tomcat（或weblogic）处理动态页面，从而达到动静页面访问时通过不同的容器来处理。 0x01网站“动静分离”分
经过上次redis超时排查，并联系云服务商解决之后，redis超时的现象好了一阵子，但是最近又有超时现象报出，但与上次不同的是，这次超时的现象发生在业务高峰期，在简单看过服务器的各项指标以后，发现只有cpu的使用率在高峰期略高，我们是8核cpu，高峰期能达到90%的使用率，其余指标都相对正常。
阿里云K8S集群的一个重要特性，是集群的节点可以动态的增加或减少。有了这个特性，集群才能在计算资源不足的情况下扩容新的节点，同时也可以在资源利用率降低的时候，释放节点以节省费用。
内容概况 云计算的特点是开箱即用，可以随时的扩缩容，不用考虑硬件的损坏问题，也有丰富的云服务和云平台供我们选择。在本次演讲中，黎山通过实际应用场景为我们讲述了基础设施及代码的重要性，以及在云计算的运维
Photo by Oscar Ivan Esquivel Arteaga on Unsplash
Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了. 附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.增加节点 当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了 通过如下命令可以查看各节点情况磁盘容量等 > hadoop dfsadm
EDAS支持语言Java，C++，PHP。EDAS支持Idea，Eclipse；Eclipse插件安装等编译工具。EDAS初级版仅支持应用的部署管理，不支持HSF功能。EDAS基础版不支持RPC框架。 EDAS提供高性能的RPC框架，能构建高可用的分布式系统，考虑各个应用之间的分布式服务发现、服务路由、服务调用以及服务安全等细节。EDAS能单独部署到公司内网（轻量配置中心）。 EDAS HSF服务框架保证用户每次分布式调用的稳定与安全。在服务注册、服务订阅以及服务调用等环节都进行严格的服务鉴权。 HSF设置超时时间 : 通过HSF标签methodSpecials和clientTimeout进行配置，优先级由高到低是 : 客户端methodSpecials>客户端clientTimeout>服务端methodSpecials>服务端clientTimeout EDAS控制台域名 : https://edas.console.aliyun.com EDAS控制台提供日志浏览功能，可查看服务器上所部署的应用运行日志。收敛日志用于将单个应用中类似格式的日志合并和排序。收敛日志配置后需要等待大概5分钟才能生效。 EDAS安装轻量配置中心 : 启动配置中心将会占用此台机器的8080和9600端口，需要在hosts中添加 {轻量配置中心公网 ip} jmenv.tbsite.net。如果此台机器是多网卡的，可启动脚本startup.bat或startup.sh中添加启动参数: -Daddress.server.ip={指定的 IP 地址}；通过 -Dhsf.server.ip参数指定要注册服务的IP。 EDAS 服务限流的限流规则(限流规则仅适用于服务提供者)能够从QPS和线程两个维度进行配置。可进行HSF限流和HTTP限流。 EDAS 提供了从响应时间维度对降级规则(降级规则仅仅适合服务消费者)的配置。 EDAS 鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问。主要包括应用拓扑(可查看调用拓扑和流量QPS)，调用链查询(可查看慢业务和出错业务)，调用链详情(基于TraceId查询)。 EDAS 提供报警功能，但目前只有短信与邮件通知的方式，报警联系人只能是主账号或者子账号。 EDAS 的应用主要分为两种类型：中间件服务化应用(JAR/WAR包类型的普通应用和Docker应用)和 Kubernetes 应用。Kubernetes应用只支持VPC网络。 EDAS 的应用部署类型有两种 : ECS独占实例(在一台独立的ECS机器上，仅允许部署单独一个应用)，Docker实例(单个应用在同一ECS上只能部署一个实例)，所以一台ECS可以部署多个实例。 EDAS 能够针对应用的服务调用情况，对服务的QPS、响应时间(RT)和出错率进行全方面的监控。 EDAS 能够针对应用的运行状态，对机器的CPU、内存、负载(Load)、网络和磁盘等基础指标进行详细的监控。EDAS还提供容器监控功能(应用诊断)。基础监控(可提供以应用为维度的数据)面向的是机器，容器监控面向是应用所在的容器。基础监控存在时延，容器监控基本是实时的。 EDAS 提供弹性伸缩功能来根据集群内服务器的CPU、RT和Load三个指标实现自动的扩容或者缩容。 EDAS 对应用的生命周期管理，包括创建、部署、启动/停止和删除(应用删除不可恢复)。可设置JVM参数，Tomcat参数，可对应用的实例分组(可按分组部署应用，添加实例到分组)，可配置负载均衡。可配置健康检测URL。 EDAS 包含两种集群：Swarm(部署普通应用和Docker应用)和Kubernetes集群(部署Kubernetes应用)。 EDAS 的配置推送分为全局配置推送和应用内部的配置推送。全局配置推送能操作该用户的所有配置信息，应用内的配置推送只能操作该应用所属的配置信息。一个配置信息由三元组（group、DataId、Content）组成。 EDAS 提供主子账号体系，付费账号都是主账号(拥有EDAS所有资源，所有权限)，但不是所有的主账号都是付费账号。1个付费账号最多能绑定5个主账号。RAM子账号由主账号在RAM系统中创建，子账号名要在主账号内唯一。RAM账号有两种授权方式 : RAM授权，EDAS授权(两种方式互斥，有了RAM授权，那么就不能在EDAS中授权)，主账号可以对绑定的子账号(用户)进行权限分配、资源分配等。应用的授权只能是主账号对子账号进行授权。 EDAS 的资源主要是指云服务器ECS(Elastic Compute Service)、负载均衡SLB（Server Load Balancer）、专有网络VPC（Virtual Private Cloud）这三类。 VPC环境调用链和监控数据需要有访问请求流量才会产生，如果无客户访问网站，
本文主要描述ThinkSNS Plus服务端系统性能、服务端高性能部署方案及优化措施、服务端系统持续优化及升级策略。本文未涉及前端（PC站点、H5站点、Android、IOS）性能方案。
业务同学反馈有个服务在部署容器后不间断收到积压告警，该服务对积压敏感，影响派单的时效性。原来部署到ECS上的服务没有积压情况，准备往容器迁移。下面是业务同学做的排除测试，另外容器当前在J/K可用区部署，而MQ集群部署在B/G/F区。
EdgeCluster实现了合并回源，对于某一路流，不管有多少客户端播放，EdgeServer都只会从OriginServer取一路流，这样可以通过扩展EdgeCluster来增加支持的播放能力，也就是CDN网络具备的重要能力：高并发。
Terway是阿里云开源的基于专有网络VPC的容器网络接口CNI（Container Network Interface）插件，支持基于Kubernetes标准的网络策略来定义容器间的访问策略。可以通过使用Terway网络插件实现Kubernetes集群内部的网络互通
网友说自己的小型网站部署服务器上，随着网站数据增多、访问量变大后，用什么办法解决大流量访问，扩容增配置还是动静分离呢？这个问题对于很多站长来说是一个挺纠结的问题。业务在高速增长中，传统的方法是扩容增配，CPU/内存/带宽等等都是扩容的对象。那么现在随着云服务器的普及率越来越高，也可以利用动静分离的办法来解决这个问题。本文中魏艾斯博客说一下整体思路，有了思路再去操作就容易很多了。
服务器大家都不陌生了，那么我们购买一台服务器之后，是否真的了解它机器的配置以及性能？包括：cpu、内存、磁盘、是否解锁流媒体，以及网络的线路等。 今天介绍一个github上的服务器测评项目，作者很贴心的把各个测评脚本都融合了，傻瓜式操作。对于我们小白很友好。 我打算以我买的一台便宜服务器作为测评演示的例子
注意事项：EVS硬盘需要和ECS在同一可用分区下，当购买完EVS磁盘后，在EVS管理界面点击挂载选择ECS服务器。
疫情初期某地政府决定发放一批免费口罩面向该市市民，该市市民均可免费预约领取，预约时间为早上9点-12点，因此该场景为限时抢购类型场景，会面临非常大的定时超大流量超大并发问题，在该项目的落地过程中，涉及的架构演变，做了一些记录和思考。
初始化Linux数据盘(fdisk)TkV南京数据恢复-西数科技: 硬盘/手机/SSD数据恢复专家. 025-83608636 18913825606
我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题，比如Bucket的权限管理，上传文件的xss问题、AK\SK的保护。如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。在底层所承载的分布式存储系统是盘古系统，技术实现类似于HDFS，分为Master、Client、Chunk Server，基本的产品矩阵如下：
序言 传统软件项目交付中，各个角色分工明确，也暴露了很多软件交付中的很多问题。 DevOps的工作方式恰如其分的解决了其中一些问题，那么如何从传统交付流程迁移到具有伸缩性，灵活性，以及快速响应的持续交付中来，这种新的交付部署方式会给团队带来哪些变革，以及如何在大规模团队中落地。大规模团队将如何标准化的进行持续交付，以及它带来的便利和下一阶段的挑战是什么？ 本文的五个部分： 传统流程交付模式； 持续集成的交付模式； 微服务下的持续集成交付模式； 标准化的演进案例； 下一阶段的挑战。 (一)传统流程交付模式 首
云服务器是一种简单高效、处理能力可弹性伸缩的计算服务，帮助用户快速构建更稳定、安全的应用，提升运维效率，降低 IT 成本，使用户更专注于核心业务创新。
得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展，日志场景逐步产生了一些新需求，主要表现在：应用数量逐步增多，研发需要打印更多的日志定位业务问题，安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛，我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse，以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估，本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
数字化已成为驱动金融的重要力量。通过新科技提升金融服务效率、提升服务质量是大势所趋。但尽管如此,各家券商在科技金融领域的布局存在较大差异。有积极布局者,有旁观犹豫者,也有不为所动者。
PolarDB Serverless脱胎于 PolarDB 团队发表在SIGMOD 2021的论文，是选取其中成熟的技术最终产品化的结果。我们借助两大核心技术，高性能全局一致性SCC和热备无感秒切，无论在跨机扩展还是跨机切换，都达到了业界领先的能力。PolarDB MySQL Serverless于去年底正式上线，目前已经有1000+用户开始上手使用。本文期望从实践角度，演示如何测试PolarDB Serverless的弹性能力。
近日，AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka，所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势，再结合 Serverless 弹性技术，实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度，来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
近年来，公有云、混合云等技术在全球迅速发展，云的普及度越来越高，Docker、Kubernetes、DevOps、Service Mesh 等云原生技术蓬勃发展。但在“上云”之后，企业却往往发现“用云”并没有那么容易。
就像N年前企业需要自建机房部署服务器，当阿里云等云厂商兴起之后，大家都开始“上云”了，既方便快捷稳定，又免去了运维人员的开销。
Kubernetes解决了应用的编排、生命周期、自我健康检查和恢复等问题，随着应用容器化（云原生化）的不断完善和落地，方方面面需要考虑的问题也就随之而来
【本文正在参与 “100%有奖 | 我的Serverless 实战”征稿活动】活动链接
作者：李志勇 来源： http://www.csdn.net/article/2016-03-21/2826611 偶然在网上看到游族网络运维总监李志勇先生进行的一次分享，作为一个运维人，对其中的运维
4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis
作者 | 温芳 360 系统部数据开发高级工程师 一年前，360 系统部开始研究云舟项目——打破传统存算一体结构、保持近实时的弹性，云原生计算存储分离类似 Snowflake 的 DaaS 数仓平台，并支撑公司日益增多的机器学习任务 。 我们遇到的第一个挑战就是线下存储如何与云上的计算资源适配，数据依然存储到云下的 PoleFS 存储中，无法对接云上的 Serverless 弹性容器实例。我们倾向于使用 serverless 容器，因为它简单易用、极致弹性、最优成本、按需付费；但同时 Serverless
在10g之前,传统的导出和导入分别使用EXP工具和IMP工具,从10g开始,不仅保留了原有的EXP和IMP工具,还提供了数据泵导出导入工具EXPDP和IMPDP.使用EXPDP和IMPDP时应该注意的事项：
本文档主要以CentOS7操作系统为例，介绍如何使用开源工具Extundelete快速恢复被误删除掉的数据。
本文主要讲述 kubernetes-operator 的开发过程，kubernetes-operator 已经开发了一个多月，其核心功能已经实现，其中的架构以及功能设计主要来自于一些生产环境的经验以及自己从事 kubernetes 运维开发两年多的一些工作经验，如有问题望指正。
线上的机器是使用的ECS，磁盘空间只有40G，而journal日志就占了5G左右，所以要限制其大小和保存时间。
虚拟私有云使用限制如表1所示。以上配额说明针对单租户情况。一个网络ACL单方向拥有的规则数量最好不超过20条，否则可能引起网络ACL性能下降。二层网关连接在公测期间默认只能创建1个二层连接网关。默认情况下，一个用户可以创建100个安全组。默认情况下，一个安全组最多只允许拥有50条安全组规则。默认情况下，一个云服务器或扩展网卡建议选择安全组
一开始觉得 oom 是一个常见问题，应该没有什么大问题，反正 k8s 集群会调度的，但其实它造成的连锁反应很恐怖。
使用ECS的过程中，会遇到磁盘空间不够用的情况，遇到这种情况时我们需要单独去购买一台数据盘，在购买完成后，我们需要进行分区格式化等操作
很多朋友经历了昨晚阿里云3小时左右的故障，我司的业务也受到了一定影响，技术的同事一起熬夜奋战，最终观察服务稳定运行了两个多小时，直到凌晨五六点多才逐渐登出VPN。
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
数据库部署架构是从容量、可用性、性能、成本等多方面权衡的结果，网商银行基础架构从建行之初满足快速业务响应的分布式架构，到单元化架构的落地，再到云原生时代，其中伴随着业务的快速发展，数据库的部署架构也经过多个版本的迭代发展。 容灾方面，从最初的“两地三中心”，具备机房级容灾，不具备全部的城市级容灾，经过扩容建设发展到现在的“三地五中心”。具体部署方式如图3-1-1所示，采用3-2-1的部署方式，任意一个城市的故障，通过选主（选择主库）实现主库的切换完成容灾。 图3-1-1 “三地五中心”架构 分布式业务
组件：nova-api负责接受和响应终端用户有关虚拟机和云硬盘的请求，nova-api是整个nova 的入口。它接受用户请求，将指令发送至消息队列，由相应的服务执行相关的指令消息。
本节阿森将和你一起深入浅出的学习简单几条指令，快速上手在linux写代码，同时更好的理解指令记忆
操作系统版本：CentOS Linux release 7.7.1908 (Core)
性能无疑是服务器的核心能力，几乎每个开源服务器的介绍都是”高性能XXX服务器“。视频服务器由于业务的超复杂度，特别是WebRTC服务器，要做到高性能是非常有挑战的难点。 为何性能很重要？完备的功能需要用性能交换，安全性需要用性能交换，成本需要用性能交换，产品体验需要用性能交换，甚至系统弹性都需要性能交换。有了基础性能，就有了竞争力的资本；基础性能若有问题，举步维艰，想要干点啥都不容易，就像天生羸弱的身子板。 SRS虽然是单进程单线程模型，性能一直都很高，比如： •单进程能跑满千兆或万兆网卡，一般的场景完全能
阿里云数据库在没备案，涉及大量IO操作时会自动启动阿里云盾这个服务，会导致服务器变得很卡
输入：fdisk /dev/sdb回车后，再次输入m，回车，查看fdisk的使用文档 输入n，回车，代表新增分区 接下来设置分区序号，分区大小，一般情况下默认即可，三次回车 最后输入w，回车保存 w保存后，最好再次使用lsblk命令检查一下磁盘和分区情况，确保刚才我们新增的分区成功了
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
