今天介绍两个重要的工具：stress和stress-ng，用于Linux系统下进行压力测试：
转载随意，文章会持续修订，请注明来源地址：https://zhenbianshu.github.io 。
现代计算机体系中，硬盘是数据存储的持久化介质，硬盘的访问速度相比内存存在数量级的差距，因此有效的调度能更好利用资源，优化响应。 和CPU调度算法相似,调度的本质是对请求排序。在Linux系统中，这由I/O调度层负责。 在I/O调度之前，如果多个I/O在同一个sector中，或者是相邻sector。Linux可以把多个请求合并为一个来减少请求数量。这是在Block层处理的，可以设置开启或关闭。
编辑手记：本文主要讲解Linux IO调度层的三种模式：cfp、deadline和noop，并给出各自的优化和适用场景建议。 作者简介： 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
MySQL的优化指的是一个很大的系统，面试的时候我之前是从sql的语句优化方面去说的，这种优化也有作用，不过是从逻辑方面去优化。但是当所有的逻辑层面已经无可优化，所有的索引都已经加好，表结构也设计的合理，但是遇到高并发的时候，为什么MySQL还是扛不住呢。当然可以通过其他的方面去缓解MySQL的压力，这里我们暂且不谈。对于MySQL而言，我们要尽最大的可能去压榨机器的性能，让所有的计算资源都不浪费，都可以为我们服务。MySQL运行在服务器上，这里特指Linux服务器。那么服务器的硬盘、CPU,内存，网络都有影响到MySQL的性能。MySQl是非常耗费内存的，线上服务器的MySQL内存要吃到80%左右，内存过小，其他的优化空间其实很小。
NetCat，在网络工具中有“瑞士军刀”美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩减版甚至更小）、功能实用，被设计为一个简单、可靠的网络工具，可通过TCP或UDP协议传输读写数据。同时，它还是一个网络应用Debug分析器，因为它可以根据需要创建各种不同类型的网络连接。
1. 什么是linux服务器load average？ Load是用来度量服务器工作量的大小，即计算机cpu任务执行队列的长度，值越大，表明包括正在运行和待运行的进程数越多。 参考资料：http://en.wikipedia.org/wiki/Load_average
要理解第一个问题，得先从ACPI（高级配置与电源接口）说起，ACPI是一种规范（包含软件与硬件），用来供操作系统应用程序管理所有电源接口。
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址，所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试：见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
这次分享是腾讯后端面经，面试接近 1 小时，问了非常多的问题，涵盖Linux、数据库、C++、操作系统、计算机网络。
可以看到，当前节点内存碎片率为226893824/209522728≈1.08，使用的内存分配器是jemalloc。
insmod命令用于将给定的模块加载到内核中。Linux有许多功能是通过模块的方式，在需要时才载入kernel。如此可使kernel较为精简，进而提高效率，以及保有较大的弹性。这类可载入的模块通常是设备驱动程序。
回望整个过年期间真的是躺的平平的，每天学习的时间和平时比起来差的不是一星半点。今天就复工了，也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快，只需要往工位上一坐下，我就能进入复工状态了。
我们在管理微信公众号中使用较多的是微擎管理平台，虽然老蒋没有正式使用过这个产品，但是确实看到有不少的网友在使用。从前面几篇文章中也亲自体验过这个管理软件的强悍之处。有帮助几个网友配置过微擎管理平台以及解决过微擎服务器相关的问题，在这篇文章中打算分享关于微擎服务器选择配置以及可能遇到的问题做一个梳理总结。
未修补和不受监控的Windows桌面是一个开放的大门，可以让病毒和木马潜入您的网络。除了恶意软件，这些桌面还可以作为恶意用户窃取或删除关键公司数据的窗口。如果怀有恶意的黑客可以访问您的计算机，他们将尝试不同的选项来窃取公司数据或借助您的网络以寻找更大的收获。
本篇主要梳理AOF持久化方式 AOF的工作原理是以独立日志的方式记录每次写命令, 重启时再重新执行 AOF 文件中的命令达到恢复数据的目的。
续 上一篇引起了大家的讨论，看着讨论我是比较晕的，这也怪我没有说清楚，所以再补一个续把问题说清楚吧。 笔记本配置 CPU：Core 2 7250 2.0G 内存：4G，其中2G设置成了虚拟硬盘，虚拟硬盘的软件：Ramdisk。读取：5.5G，写入：3.5G。 硬盘：160G，平均读取：70M/s。写入：不详，估计没有读取快。 （内存的读取速度是硬盘的读取速度的785倍。） 这里是我的笔记本的测试：http://www.cnblogs.com/jyk/archive/2009/05/10/145355
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
于是，秒杀系统一般会引入MQ、Redis、MySQL、Nginx等中间件，需要对每个中间件进行高性能、高并发、高可用的分析。
主引导分区（Master Boot Record，缩写：MBR），又叫做主引导扇区，是计算机开机后访问硬盘时所必须要读取的首个扇区。
已经有一个多月没有看Android的知识了，之前在杭州时就买了邓凡平的《深入理解Android卷I 》一直没来得及研究。后来因为公司要求，要为新的项目做准备，做各种业务的KT和技术的training,虽然新技术本身的难度不大，但是业务知识很是复杂，搞的头大，到现在终于有了一些头绪。趁现在有时间来研究下Android的源码。之前没有接触过Linux系统，我的本本现在用的是Windows系统，已经用习惯了。所以先安装虚拟机VMWare8.0，在虚拟机上安装的Ubuntu10.04（32）。安装过程相对简单，一般不会出现什么问题，真的不行删掉重新安装，我就安装了两次Ubuntu，没什么大不了的。接下来说重点，Ubuntu上下载Android源码。
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
当应用程序向文件写入数据时，内核通常先将数据复制到内核缓冲区中，然后排入队列，然后由内核决定何时写入硬盘。
虚拟硬盘：就是把内存当作硬盘来用，比如有2G的内存，那么可以拿出来1G的内存当作硬盘来用。 自从知道了“虚拟硬盘”这个东东，我就一直在想如何才能把这个虚拟硬盘发挥到极致，上一篇也写了一些简单的应用，当然提高的效率并不多，并不是很理想。我最想提高的是提高数据库的读取速度，也就是提高分页效率。一开始是想把数据库文件放到虚拟硬盘里面，这样读取速度不就快乐吗？但是当我把一个250万条记录的数据库放在了虚拟硬盘上做测试后，发现效果并不理想。 250万条记录，利用主键排序（聚集索引）
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
Basic Input Output System的缩写，翻译过来就是“基本输入输出系统”，是一种业界标准的固件接口，第一次出现在1975年，是计算机启动时加载的第一个程序，主要功能是检测和设置计算机硬件，引导系统启动。
一般在访问某些网站或者我们在做本地测试的时候，服务器突然返回502 Bad Gateway Nginx，
比如进程的代码段、映射的文件都是file-backed，而进程的堆、栈都是不与文件相对应的、就属于匿名页。
大量TimeoutException，说明当前redis服务节点上已经堆积了大量的连接查询，超出redis服务能力，再次尝试连接的客户端，redis 服务节点直接拒绝，抛出错误。
线上的Redis服务经经常有业务反馈响应慢的问题，针对这类问题，最好的分析方法是确定一个Redis的基准性能，然后去分析究竟什么原因导致的Redis变慢。
注册中心：没有必要将数据持久化到数据库中，可以持久化到本地硬盘。（需要在 注册中心的 server-addr 指定 nacos 的服务，可以指定多个）
skip-inodb 不加载INODB数据引擎驱动，如果项目不使用INNODB引擎，可以关闭，以节省系统内存 innodb-file-per-table 设置以后，为每个新数据表分别创建一个表空间tablespace文件，默认情况下都放在一个文件里，这样有弊端，以后我在自己博文中将单独对这个地方进行说明。 innodb_buffer_pool_size innodb的缓冲区大小，用来存放数据和索引,Innodb在线的文档表示要设置为机器内存的50%-80%来做这个缓冲区！ 这个可以说是Innodb引擎下配置选项中最关键的参数选项了，对性能的影响也是最大的。 innodb_log_buffer_size InnoDB事务日志文件缓冲区大小，默认8M innodb_flush_method Innodb日志文件同步刷新的方法，取值有两个 fdatasync ,O_DSYNC,只是Uinx和linux系统下两个不同的调用函数区别。 innodb_additional_mem_pool_size innodb用于内部管理的各种数据结果分配的缓冲区大小，默认1M innodb_data_home_dir InnoDB数据文件的主目录 innodb_data_file_path Innodb 数据文件配置方式 innodb_log_files_in_group Innodb使用多少个日志文件，默认2 innodb_log_file_size Innodb日志文件最大限制尺寸，默认5M innodb_lock_wait_timeout 等待数据锁的超时时间，可以避免死锁，超过这个时间没有获取结果，就ROOLBACK回滚放弃。 innodb_flush_log_at_trx_commit Innodb日志提交的方式，0，1，2可供取值，0表示每间隔一秒就写一次日志并进行同步，减少了硬盘写操作次数，可以提高性能，1表示每执行完COMMIT就写一次日志并进行同步，默认值，2表示每执行完一次COMMIT写一次日志，每间隔一秒进行一次同步，这个参数在Innodb里同样是关键参数，对性能影响较大。 innodb_force_recovery 在Innodb的自动恢复失败后，从Crash中强制启动
“ hdparm ”（即硬盘参数）是Linux的命令行程序之一，用于处理磁盘设备和硬盘。借助此命令，您可以获得有关硬盘，更改写入间隔，声学管理和DMA设置的统计信息。它还可以设置与驱动器高速缓存，睡眠模式，电源管理，声学管理和DMA设置相关的参数。
今日在使用 Nginx 的时候出现 500 错误，就搜索了一下错误代码，分享给大家。
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
撸代码这么久，从之前简单的脚本，到单体应用，到最后的微服务，我们的应用总会因为各种奇奇怪怪的原因罢工，有些错误显而易见，而有些错误也会让人一时摸不到头脑。究其原因，还是需要加强自己的修养，多多总结，就能做到防患于未然。
之所以写这篇文章也是因为前几天出的一个问题，当时业务感觉到卡顿，并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加，部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见，系统的硬件环境对数据库整体性能的影响也是非常大的，MySQL在运行环境中并不是孤立存在的，它的整体性能往往受限于系统最薄弱的环节，今天想和大家分享下，都有哪些系统指标会对数据库的整体性能产生影响，我们又如何进行分析。
缓存地址URL： 无论动态页面还是静态页面，匹配成功后会被强制缓存。 是否忽略大小写： 是否忽略 URL 中的大小写。默认设定：忽略。 URL匹配规则： URL匹配规则：通配符，正则表达式，精确匹配 。 超时周期（缓存周期）： 设定缓存周期，例如：1天，1小时，30分钟等。缓存页面一旦过期，将会重新向源站询问这个缓存页面是否被“修改过（Modified）”，并重新计算缓存周期。 忽略Set-Cookie： 在页面缓存时，舍弃源站返回 HTTP 头中的 Set-Cookie 字段。默认设定：忽略。 开放权限： 支持三种页面缓存开放权限，说明如下：
了解一个系统的启动过程，对于一位系统管理员 and 运维是非常重要的。了解系统启动方式对于在系统出现故障时进行有效的故障排除非常重要。当系统启动并在几分钟后知道我们到了登录提示阶段。我们是否试图找出启动序列的所有阶段已经正常通过，以及系统启动期间这些场景背后发生了什么。下面我们就来熟悉一下Centos6系统的启动流程。
FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差，因为每次HTTP服务器遇到动态程序时都需要重新启动脚本解析器来执行解析，然后结果被返回给HTTP服务器。这在处理高并发访问时，几乎是不可用的。另外传统的CGI接口方式安全性也很差，现在已经很少被使用了。
有个同事帮他朋友问我一个问题，用Windows自定义镜像买机器，创建机器很快，但是进系统很慢，需要十几分钟。
在前期文章中讲解了服务端压力测试的方法及分布式平台搭建，但是对于压力测试结果的分析没有一个系统的思路，在压力测试结果不符合性能指标时无从下手，也无法向开发提出有效的优化性能的方法。在对多个项目分析后，总结出一个通用的分析思路，可以快速定位性能瓶颈。
需要本机提前装有gcc, sdl, gtk+, libxrandr软件包，否则make编译时会报错
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
