最近发现知识付费泛滥成灾，很多人买了很多课程，但是真正能看完的没有几个课程，比如大数据从业人员，工具还没用熟，就去学习数据结构，机器学习等，不是瞧不起你的学习能力，人的精力有限，而且成长也要稳扎稳打，大数据都是培训入门的，没有两三年的积累，根本就是一坨屎，还想着贪多，最后肯定是一塌糊涂，不要只着眼于眼前。
Magic SysRq 组合键是一串能直接与 Linux 内核沟通的组合键，允许使用者就算在系统进入死循环濒临崩溃时，直接呼叫系统底层将数据写入档案系统或重新开机，避免尚未写入档案系统与硬盘的数据在开机后消失。在 Linux 系统中，推荐尽量使用 Magic SysRq 组合键而不是直接硬关机。
我们在cpu篇就提到，iowait高一般代表硬盘到瓶颈了。wait的意思，就是等，就像等正在化妆的女朋友，总是带着一丝焦躁。本篇是《荒岛余生》系列第四篇，I/O篇，计算机中最慢的那一环。其余参见：
一、通常服务器的性能会卡在三个地方： cpu 网络IO 磁盘IO 二、在优化性能的时候，首先要判断性能的瓶颈在上述的哪个地方。然后对症下药，按照下面的方法来优化： 1、提高CPU性能的方法 并发。利用多线程、进程。老的线程库效率太低，需要升级用nptl 。进（线）程数不要大于cpu个数 （请参考：http://www.ibm.com/developerworks/cn/linux/l-threading.html） 谨慎用锁。改善架构，尽量不用锁。 慎用字符串操作，比如sprintf,snprintf，因为
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时，会发现内存使用一直处于较高的水平，即使此时系统并没有运行多少软件。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时，会发现内存使用一直处于较高的水平，即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别，乍一看，Linux系统吃掉我们的内存（Linux ate my ram），但其实这也正是其内存管理的特点。
基本上来说，在分布式系统中最耗性能的地方就是最后端的数据库了。一般来说，只要小心维护好，数据库四种操作（select、update、insert 和 delete）中的三个写操作 insert、update 和 delete 不太会出现性能问题（insert 一般不会有性能问题，update 和 delete 一般会有主键，所以也不会太慢）。除非索引建得太多，而数据库里的数据又太多，这三个操作才会变慢。
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
前一阵子在公司移植Linux2.6到一块ARM11的开发板上，下面粗略讲讲移植Linux的一般过程。
命令：ps -mp pid -o THREAD,tid,time 或者 ps -Lfp pid
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
这段代码非常简单，就是先用mmap的方式，为该进程分配10GiB的虚拟内存，然后再用page写的方式，让操作系统为这10GiB虚拟内存，分配对应的物理内存，最后sleep，等待我们测试。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
我在多年的工程生涯中发现很多工程师碰到一个共性的问题：Linux工程师很多，甚至有很多有多年工作经验，但是对一些关键概念的理解非常模糊，比如不理解CPU、内存资源等的真正分布，具体的工作机制，这使得他们对很多问题的分析都摸不到方向。比如进程的调度延时是多少？Linux能否硬实时？多核下多线程如何执行？系统的内存究竟耗到哪里去了？我写的应用程序究竟耗了多少内存？什么是内存泄漏，如何判定内存是否真的泄漏？CPU速度、内存大小和系统性能的关联究竟是什么？内存和I/O存在着怎样的千丝万缕的联系？
有一个生产系统的Redis实例内存使用超限引发报警，需要查看各个key所使用的内存分布情况，以便采取进一步的措施。
首先关于生成器的那些事： 1.通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 它可以是mylist = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 *它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 2.生成器是可以迭代的，但只可以读取它一次。因为用的时候才生成。比如 mygenerator = (x*
首先关于生成器的那些事： 1.通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 它可以是mylist = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 *它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 2.生成器是可以迭代的，但只可以读取它一次。因为用的时候才生成。比如 mygenerator = (x*x for x in range(3))，注意这里用到了()，它就不是数组，而上面的例子是[]。 3.生成器(generator)能够迭代的关键是它有一个next()方法，工作原理就是通过重复调用next()方法，直到捕获一个异常。
Netty3出现了太多的内存垃圾，创建了过多对象，在大的服务端压力下会表现比较糟糕，做了太多的内存拷贝，在堆上创建对象，堆缓冲区，当往socket写内容时就需要做内存拷贝，拷贝到直接内存，然后交给socket所以做了太多内存拷贝。
4、选择安装的系统类型，系统为32位的就选32位的（redhat enterprise linux 7），系统为64位的就安装64位的
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我
背景 参考了狂神老师的 Docker 教程，非常棒！ https://www.bilibili.com/video/BV1og4y1q7M4?p=16 es 前言 es 暴露的端口很多 es 十分耗内
Linux释放内存的命令： sync echo 1 > /proc/sys/vm/drop_caches
https://gitee.com/yaukie/x-smart-kettle-server
以前的电脑上安装过vmware+redhat，但是奈何电脑太老，配置太低，打开的时候超级卡，没法用。换了电脑后，再装上玩玩，故此记录一下安装过程。需要安装的小伙伴可以在此获取包然后按此步骤安装。
根据报警信息可知，只要获取主机信息的耗时超过了阈值HOST_NAME_RESOLVE_THRESHOLD=200ms，就会提示这个信息。很明显，我们的耗时已经超过5s。同时，如果为 Mac 系统，还会贴心地提示在/etc/hosts文件中配置本地dns。
文章目录 大数据服务器之CM安装架构及目录 大数据服务器之CDH框架安装细节 大数据服务器之CM安装架构及目录 针对整个物流项目来说，1台虚拟机安装部署大数据环境：基于CM6.2.1安装CDH6.2.1。 关于CM功能及CM安装，不再过多赘述，项目还是要注重于业务及数据和实现。 提供虚拟机【node2.itcast.cn】解压后，导入VMWare 软件中，启动虚拟机即可（选择我已移动该虚拟机） 1）、启动之前，设置node2.itcast.cn内存：4GB或者6GB或者8GB即可 2）
Redis持久化的取舍和选择 持久化的作用 什么是持久化 redis所有数据保持在内存中,对数据的更新将异步地保存到磁盘上。 持久化的实现方式 快照(eg. Mysql Dump、Redis Rdb) 写日志(eg. Mysql Binlog、Hbase Hlog、Redis AOF) RDB 什么是RDB RDB是Redis内存到硬盘的快照 ,用于持久化。 redis内存数据通过创建RDB文件到硬盘(二进制) redis启动时硬盘中的RDB文件(二进制)载入到内存 触发机制-主要三种方式 sav
Linux Cgroups（Linux Control Group）是 Linux 内核中用来为进程设置资源限制的一个功能。它最主要的作用就是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等。此外，Cgroups 还能够对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。
nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具，相对于其它一些系统资源监控工具来说，nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且能输出结果到文件中，然后通过nmon_analyzer工具产生数据文件与图形化结果。 nmon所记录的数据包含以下一些方面： ● cpu占用率 ● 内存使用情况 ● 磁盘I/O速度、传输和读写比率 ● 文件系统的使用率 ● 网络I/O速度、传输和读写比率、错误统计率与传输包的大小 ● 消耗资源最多的进程 ● 计算机详细信息和资源 ● 页面空间和页面I/O速度 ● 用户自定义的磁盘组 ● 网络文件系统
PG是一个广泛应用的开源数据库，从财务管理、地理信息、水务系统到气象服务等等。可部署在本地，也可以部署在云上。PG不仅在事务处理中有强大能力，也支持分析型的复杂查询语句。随着用户群的快速增长，PG受到的压力超出了最初的设计目标，导致需要大规模扩展PG。本文讨论了Memhive如何结合PM对扩展PG。
创业公司由于时间、人员、资金等各方面的限制，系统需要的各个组件优先选择第三方服务，而不是自己搭建。一个创业开发项目都需要服务器操作系统、开发语言、web服务器、开发框架、数据库、缓存、静态文件存储、日志系统、业务监控、持续集成、代码管理、发布部署系统、文档管理等。现在按这些方面展开来讲。
前言 前段时间给公司的小伙伴们进行了关于app性能优化的技术分享，这里我稍微整理一下也给大家分享一下，关于性能优化这个话题很大，涉及面可以很广，也可以很深入，本人能力有限，不会给大家讲特别难懂，特别底层的东西，都是我们开发能着手去做的点，大家都在讲性能优化，但对于项目经验不够丰富的朋友很难有一个概念，做优化的时候也会比较茫然，这里我就给大家指明方向。 从何讲起？ 笔者在做产品开发的时候，也遇到性能瓶颈，测试工程师反馈了一些比较明显的问题，比如UI界面的过度绘制，列表滑动有明显卡顿，比较耗内存等等，但以往的都
电流通过导体时，会在导体的周围会产生感应磁场。感应磁场的磁极随电流方向的改变而改变。
本文作者 / spikehe(何诚) 爱好acg，小甲师兄的首席大弟子~ 在大佬中夹缝求生的实习boy 最近跟着小甲师兄优化Ceph块存储缓存，涉及IO映射和磁盘空间分配，想到Ceph Bluestore就是绕过标准文件系统，直接对裸盘空间进行管理的，因此学习了一下以做参考，同时结合源码对Bluestore整体做一个了解。 Ceph存储引擎简介 Ceph整体的存储层框架可以从图1中看到， IO请求在RBD等客户端发出，在Message层统一解析后会被OSD层分发到各个PG，每个PG都拥有一个队列，线
我们在对接Linux平台RTSP播放模块的时候，遇到这样的技术需求，开发者需要把Linux RTSP播放器拉取的数据，除了实时播放外，还要投递给python，用于视觉算法分析。
结合上面的异常信息，我们可以知道dispatcher的默认配置值为all（AllChannelHandler来处理消息请求），因为测试环境上部署了好几个应用，如果每个应用都占用了500个线程，那Linux机器中默认配置的线程数是不够用的，所以就导致java.lang.OutOfMemoryError: unable to create new native thread
平时在开发学习中，经常会接触到Linux系统，需要在Linux系统中搭建环境，但我们总不能把自己的电脑重装为Linux，或者买一台服务器来学习，这样的代价是很昂贵的，我们可以在windows系统下使用虚拟机，不过启动虚拟机是比较耗内存的，但好在win10下包含了Linux子系统，我们可以不用安装VMware或者VirtualBox，就可以在win10下跑Linux了，不过，目前支持Ubuntu，Centos我还不清楚。
它是一个Java解析excel文件的工具，今天来实现一个easyexcel向磁盘中写入excel的简单代码
性能调优是找出系统瓶颈并消除这些瓶颈的过程。 很多系统管理员认为性能调优仅仅是调整一下内核的参数即可解决问题， 事实上情况并不是这样。 性能调优是实现操作系统的各个子系统之间的平衡性，这些子系统包括：
如果想自定义内存中数据的数量，可以使用new SXSSFWorkbook ( 数量 )
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址，所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试：见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
https://www.cnblogs.com/poloyy/category/1746599.html
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
