硬件基础 分布式存储系统是运行在通用计算机硬件体系结构上的底层系统，熟悉各种硬件的性能，能帮助我们更好的调整架构，最大限度地发挥硬件的价值。 基础参数 常见硬件的大致性能参数如下： 类别性能访问L1 Cache0.5ns分支预测失败5ns访问L2 Cache7nsMutex加锁/解锁100ns内存访问100ns千兆网络每秒100MB从内存顺序读取数据每秒4GB(同机房)网络来回RTT0.5ms(同城跨机房)网络来回RTT1~2ms(不同城跨机房)网络来回RTT300~100msSATA磁盘寻道10msSAT
问题导读 1.如何判断数据增量？ 2.QPS如何计算？ 3.存储空间需要考虑哪些因素？ 4.内存估算和哪些因素有关？ 我们在实际工作，或者面试中，经常会遇到这么一个问题，集群该如何规划，一台机器多少磁盘，多少内存，多少core等。
服务端软件开发时，通常会把数据存储在DB。而服务端系统遇到的第一个性能瓶颈，往往发生在访问DB时。 这时大部分开发会拿出“缓存”，通过使用Redis在DB前提供一层缓存数据，缓解DB压力，提升服务端性能。
网址短链接就是一些长链接的别名，比如 bit.ly, goo.gl, qlink.me，输入这些链接会跳转到对应的长链接。
日常工作中，业务端会反馈给后端一个在线用户数/活跃用户数，要求做架构规划时，需要用多少台服务器，这个问题如何下手？同样，要部署一个WEB应用类或数据库类，具体要用什么样的服务器和带宽，我们是凭感觉进行，还是有根据的规划？下面就学习《运维架构实践》过程中的知识点进行总结。
在上一期《统计信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的统计信息记录表，本期我们将为大家带来系列第五篇《优化器成本记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！
制定线程池的长度并不是一门精密的科学，需要做的仅仅是避免“过大”和“过小”者两个极端情况。如果一个线程池过大，那么线程对稀缺的CPU和内存资源的竞争，会导致内存的高使用量，还可能耗尽资源。如果过小，由于存在很多可用的处理器资源却未在工作，会对吞吐量造成损失。
如果是老项目优化，可考虑是否存有历史测试方案，如果有可以参考，或许可以省事很多。
今天分享一下如何设计一个类 Pastebin 的 web 服务，用户可以存储纯文本，然后获得一个随机生成的 URL，其他人可以通过这个 URL 来访问文本内容，这很像一个在线共享粘贴板的服务，如果你还没有使用过，可以访问 pastebin.com 来试用。
一般来说，企业用户都希望为使用云做好准备，也就是他们不必为没有使用过的资源支付费用。本文所介绍的这些小贴士可以有助于用户正确估算他们的云实例并避免云资源的过度配置。 虽然云供应商为用户提供了在任意时间使用他们所需确切数量资源的能力，但是有些挑战依然存在。例如，对未使用云资源的过度配置和超支现象是一个可以影响到企业底线的一个常见问题。 一种解决方案就是“正确估算”公共云实例，即在确保支持应用正常运行的同时防止云资源浪费。专家们表示，在云用户中存在的一个潜在问题就是资源的过度配置，但还是有一些能够有所裨益的做法
拿到一堆数据，去做架构也好，设计也好，可行性分析也好，工程上需要的是严谨。但是也有很多场景，比如即时的问题争辩和讨论，我们往往需要的是快速、直接的估算，这样的数据显然不需要非常精确，甚至可以说它一定会非常粗略，我们的目标往往只停留在 “量级” 的级别，但是我们依然可以对方案有一个具体的、量化的认知，这比像 “海量”、“高吞吐”、“低延迟” 这类感性的、描述性的表述还是要清晰和有力得多。
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记，本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。
假设通过性能测试需求分析，我们需要创建一个性能测试场景，并发500个web虚拟用户，这时我们需要考虑： 1）选用什么样软硬件配置的的机器作为测试机？ 2）500个并发用户需要多少台测试机才够用？ 在性能测试执行之前，一定要把上面的问题搞清楚，主要是为了避免将来性能测试执行时瓶颈出现在客户端，客户端承载了太多的压力，而没有真正的提交到服务器上去。这种情况下，我们会看到客户端CPU利用率居高不下，响应速度十分缓慢，甚至出现宕机的情形。 实际上，针对特定的性能测试需求，建立多大规模的性能测试机群才算合理，与多
在大数据处理中，精确计数唯一元素（如网站的独立访客数、用户行为分析中的唯一操作次数等）常常会面临存储和性能的双重挑战。传统的计数方法，如使用集合（Set）存储每个唯一元素，虽然能提供精确的结果，但在处理海量数据时会消耗大量的内存资源。这时，HyperLogLog 算法便展现出了其独特的优势。Redis 自版本 2.8.9 起，引入了 HyperLogLog 数据结构，为近似计数唯一元素提供了高效且节省内存的解决方案。本文将深入探讨 Redis HyperLogLog 的工作原理、使用方法及实战案例，帮助你理解并掌握这一强大的数据结构。
优化服务器之前, 需要先对问题的规模做合理的预估, 然后对关键的数据做采样, 做对比, 看和自己的预估是否一致, 误差大在什么地方, 是预估的不对, 还是系统实现有问题.
我们知道，负载均衡算法有很多，比如轮询、随机、加权轮询等。那如何才能实现一个会话粘滞（session sticky）的负载均衡算法呢？也就是说，我们需要在同一个客户端上，在一次会话中的所有请求都路由到同一个服务器上。
先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节
在数据库管理系统中，查询优化器是一个至关重要的组件，它负责将用户提交的SQL查询转换为高效的执行计划。在MySQL中，查询优化器使用了一个称为“成本模型”的机制来评估不同执行计划的优劣，并选择其中成本最低的那个。本文将深入探讨MySQL的成本模型，以及如何利用这一知识来优化查询性能。
16核32G服务器，可以抗住4万多用于负载均衡的并发，最多可以抗住5-6万，跑满文件描述符。
今天我们来聊一下数据库的性能优化，第一部分简单介绍一下性能优化的通用的方法，第二部分我们讲一个实际案例。
Mesos超配特性是基于Google的Heracles系统，是解决低实际使用率问题的方案。
任何新的业务系统在上线以前都需要去估算服务器配置和 JVM 的内存参数，这个容量与资源规划并不仅仅是系统架构师的随意估算的，需要根据系统所在业务场景去估算，推断出来一个系统运行模型，评估 JVM 性能和 GC 频率等等指标。
线程的使用目的是提高运行速度，提高运行的速度是要充分提用CPU和I/O 的利用率。
无论是网站的运作还是手机游戏的开发，都会需要服务器的配置，但对于初步尝试建站的用户，难免会对如何选择云服务器配置等方面的问题不够了解，担心选配的参数不能符合到使用的需求。因此一般在云服务产品供应行列都会将一些常规的配置分类成不同的型号，以便于市场用户选择和参考，比如网站、电商、小程序、手机游戏、数据库等，分别都有4核、8核、16核甚至84核的配置。
我们知道，“高并发”是现在系统架构设计的核心关键词。一个架构师如果设计、开发的系统不支持高并发，那简直不好意思跟同行讨论。但事实上，在架构设计领域，高并发的历史非常短暂，这一架构特性是随着互联网，特别是移动互联网的发展才逐渐变得重要起来的。
".... ksmtuned .... read-only system ....."
MySQL的査询优化器会通过两个API来了解存储引擎的索引值的分布信息,以决定如何使用索引。第一个API是 records_in_range()，通过向存储引擎传入两个边界值获取在这个范围大概有多少条记录。对于某些存储引擎，该接口返回精确值，例如MyISAM；但对于另一些存储引擎则是一个估算值，例如 InnoDB。 第二个API是info()，该接口返回各种类型的数据，包括索引的基数(每个键值有多少条记录)。 如果存储引擎向优化器提供的扫描行数信息是不准确的数据，或者执行计划本身太复杂以致无法准确地获取各个阶段匹配的行数，那么优化器会使用索引统计信息来估算扫描行数。 MySQL优化器使用的是基于成本的模型，而衡量成本的主要指标就是一个查询需要扫描多少行。如果表没有统计信息，或者统计信息不准确，优化器就很有可能做出错误的决定。可以通过运行ANALYZE TABLE来重新生成统计信息解决这个问题。 每种存储引擎实现索引统计信息的方式不同，所以需要进行ANALYZE TABLE的频率也因不同的引擎而不同，每次运行的成本也不同：
最近，谷歌云发布ARM主机的消息传来，推出采用Ampere处理器的Tau T2A实例。至此，前几大公有云厂商都推出了ARM云主机。
突然有一天，领导说：“小王，今天把996福报系统压一下，下班前把压测报告发我邮箱。”
这不是一篇关于应用开发、测试过程中遇到重重困难的吐槽文章，甚至无关于开发测试。本文聚焦在应用开发者“提出服务器资源申请”到“服务器资源被提供”这个期间，“透明”的运维人员所要完成的“透明”工作。
对网络安全有过一定了解的人肯定都听过DDOS攻击和CC攻击，DDOS主要针对IP攻击，CC攻击主要是用来攻击网页的，两者都是通过控制大量僵尸网络肉鸡流量对目标发起攻击的，对于没有高防服务的企业来说简直就是灭顶之灾。而且这两种攻击方式还在不断“进化”，让防御变得越来越困难。今天墨者安全就来说说CC攻击的一个变异品种--慢速攻击。
一、私有云服务器的网口一般单机在7个以上，主要是为了保障专网专用、以及相应的冗余。
在估算之前我们必须清楚这台数据库服务器的配置是什么情况，正常情况下我们需要摸清楚以下几点因素：
某公司新开发了一款大IP手游。上线之后不久，发现几十个人上线之后服务器就崩溃了。一开始还能用大量预算来购买服务器用以支撑，但几天之后由于宣传火爆，随着用户的增多，这才发现单纯增加服务器的成本实在太高了。玩家开始逐渐骂服务器垃圾，各种掉线、卡顿、crash。本想领先竞品抢先进入市场，结果收获的却是满怀期待玩家们的流失。为什么！因为没有做压力测试！
本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。
在日常工作中，经常会遇到一些大促场景，需要评估系统的资源是否充足，是否需要增加资源，增加多少。
CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作大部分的状况是CPU Loading 100%，CPU要读/写I/O(硬盘/内存)，I/O在很短的时间就可以完成，而CPU还有许多运算要处理，CPU Loading很高。
不管是散列还是哈希，这都是中文翻译的差别，英文其实就是 “Hash” 。所以，我们常听到有人把 “散列表 ” 叫作 “哈希表”“Hash 表 ” ，把 “哈希算法 ” 叫作 “Hash 算法” 或者 “散列算法 ” 键转换成索引,同时键通过哈希函数得到的索引分布越均匀越好。
功能测试（Functional Test）是在规定的一段时间内运行软件系统的所有功能，以验证这个软件系统有无严重错误。
《Redis设计与实现》读书笔记（二十四） ——Redis主从复制原理 （原创内容，转载请注明来源，谢谢） 一、概述 redis中，可以用slaveof命令，或者在配置中设置slaveof选项，让一个服务器去复制另一个服务器。去复制的服务器称为从服务器（slave），被复制的称为主服务器（master）。 主服务器的增删改，在从服务器中都会一并有改动。 redis2.8之前（不含2.8）的版本（下称旧版），和之后（含2.8）的版本（下称新版），对于复制的做法有所不同，
Amazon EKS（Amazon Elastic Kubernetes Service）是一项托管服务，允许您在 AWS 云上运行 Kubernetes，而无需设置、管理或维护自己的控制平面和节点。
腾讯云4核8g10M轻量应用服务器支持多少人同时在线？企业型-4核8G-100G-1500G，1500GB月流量，系统盘为100GB SSD盘，10M公网带宽，下载速度峰值为1280KB/s，即1.25M/秒，假设网站内页平均大小为60KB，则支持21人同时在线。腾讯云百科来详细说下4核8g10M配置轻量应用服务器支持多少人同时在线及计算方法：
为了加快程序处理速度，我们会将问题分解成若干个并发执行的任务。并且创建线程池，将任务委派给线程池中的线程，以便使它们可以并发地执行。在高并发的情况下采用线程池，可以有效降低线程创建释放的时间花销及资源开销，如不使用线程池，有可能造成系统创建大量线程而导致消耗完系统内存以及“过度切换”（在JVM中采用的处理机制为时间片轮转，减少了线程间的相互切换） 。
性能测试中有很多非常重要的概念，如吞吐量、最大并发用户数、最大在线用户数等。有很多读者也非常关心，如何针对自身的系统确定当前系统，在什么情况下就可以满足系统吞吐量、并发用户数等指标要求呢？
我们经常都可以看一些网游新闻，动不动就说某某游戏数十万、上百万玩家同时在线，这里面的水分有多少呢。今天是六一儿童节，我们的话题讨论的是一个加减乘除的数学问题：如何估算网游的真实玩家在线人数。 许多玩家都习惯在评论中去反驳某某游戏的最高在线人数，而反驳的依据是什么呢？一般有个惯例，游戏公司宣布这些在线人数高点通常都是指游戏中某个时段的最高在线，而这个时段通常都是玩家集中进入游戏的时候，大都在周末，尤其集中在晚上7点到9点间。而所谓的这个最高人数在线，也未必是真实的，总会有些喜欢虚报数目的规则存在，从中国的
上周知识星球的同学在阿里云技术面终面的时候被问到这么一个问题：假设一个每天100w次登陆请求的平台，一个服务节点 8G 内存，该如何设置JVM参数？ 觉得回答的不太理想，过来找我复盘。
腾讯云轻量应用服务器性能评测，CPU内存计算性能、公网带宽和系统盘详解来看值得买，轻量价格这么便宜是不是性能不行？还真不是，CPU内存计算性能和标准型云服务器差不多，只是轻量服务器限制月流量，从CPU内存计算性能、公网带宽（限制流量）和系统盘三方面来详细说明轻量应用服务器到底值不值得买。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
