redis是一个基于内存的键值对数据库，通常用作缓存数据库，减少对mysql等基于磁盘的数据库的访问次数，提高响应效率。
经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。
由于某些原因，你可能经常需要查找端口名称和端口号。如果是这样，你很幸运。今天，在这个简短的教程中，我们将看到在 Linux 系统中最简单、最快捷的查找服务端口号的方法。可能有很多方法可以做到，但我目前只知道以下三种方法。请继续阅读。
大家好！我是老码农，一个喜欢技术、爱分享的同学，从今天开始和大家持续分享JVM调优方面的经验。
Remoting：网络通信框架，提供对多种 NIO 框架抽象封装，包括“同步转异步”和“请求-响应”模式的信息交换方式。
作者简介 本文由携程技术中心框架研发部吴其敏、王兴朝，技术保障中心高峻、王潇俊、陈劼联合撰写。 作为国内最大的OTA公司，携程为数以亿计的海内外用户提供优质的旅游产品及服务。2014年底携程技术中心的框架、系统和运维团队共同启动了架构改造项目，历时2年，涉及所有业务线。本文回顾了携程在整个技术架构改造过程中的一些实践和收获。 一、写在前面 随着携程业务量迅速增长、业务变化越来越敏捷，对于应用交付的效率也提出了更高的要求。根据统计，截止2014年底携程总应用数在5000个左右，平均每周约有3000次以上的发布
WEB应用的本质 1、用户请求远程资源 2、浏览器查找远程资源，打包用户请求并发送 3、服务器根据请求，通过逻辑计算，回复结果给浏览器 4、浏览器解析结果，呈现给用户 过程： 1、根据URL查找服务器地址：逐级查找（浏览器缓存》系统缓存》路由器缓存》ISP DNS缓存》根服务器） 2、建立TCP/IP连接（三次握手），打包并发送请求 3、服务器收到请求，交给相关进程处理 4、服务器处理请求并响应，发送结果给浏览器（状态码：304，本地有缓存的资源请求服务器时，服务器判断若没有修改，返回状态码，不再发送数据）
我们都知道,当数据量大了的时候,我们都会选择使用多台服务器共存数据,通过 取模方式进行随机分配服务器存储.
通俗的讲，Web服务器传送(serves)页面使浏览器可以浏览，然而应用程序服务器提供的是客户端应用程序可以调用(call)的方法(methods)。确切一点，你可以说：Web服务器专门处理HTTP请求(request)，但是应用程序服务器是通过很多协议来为应用程序提供(serves)商业逻辑(business logic)。 下面让我们来细细道来： Web服务器(Web Server) Web服务器可以解析(handles)HTTP协议。当Web服务器接收到一个HTTP请求(request)，会返回一
日常生活中网络是最普遍的存在，平时上网就需要获得网址或者是IP地址，才能够使用浏览器加载，IP事实上就相当于一份协议，只要互联网通信之间通过IP地址，就可以连接世界上的网络，实现互联互通。但前提是得有IP地址，所以关于如何查看服务器登陆ip的相关问题可以看看以下内容。
面向服务的架构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。
今天安装了9台Linux服务器，型号完全不一样（有DELL、HP和IBM服务器），又懒得去对清单，如何在Linux下cpu的个数和核数呢？另外，nginx的cpu工作模式也需要确切的知道linux服务器到底有多少个逻辑cpu，不过现在服务器那是相当的彪悍，直接上worker_processes 8吧。
2015年初，我们建立了一个微服务来负责这项任务：地理围栏查找（geofence lookups），结果完成很出色。如今已过一年，这项技术在Uber数以百计的生产应用中脱颖而出，成为了每秒查询量最高（QPS）的服务。本文讲述了我们建立这个服务的原因，还有近来Go语言对构建和扩展该服务速度的贡献。 背景 在Uber，地理围栏指的是地面上由人为定义的地理区域（或几何术语中的多边形），广泛用于地理位置的配置中。向用户展示在指定位置上有哪些产品可用，根据特定需求（比如机场）定义区域，在同时有多人请求搭车的周边区
平常的工作中，在衡量服务器的性能时，经常会涉及到几个指标，load、cpu、mem、qps、rt，其中load、cpu、mem来衡量机器性能，qps、rt来衡量应用性能。
python socket模块提供了一个底层的C API，可以使用BSD套接字接口实现网络通信。
前三个数字分别表示：1、5、15分钟的系统负载（或者叫平均进程数）， 第四个类似分数形势的分别表示正在运行的进程数和系统当前总的进程数，最后一个数字表示的最近一个运行进程的ID。
在两天前第一次遇到自己的程序出现死锁， 我一直非常的小心使用锁，了解死锁导致的各种可能性， 这次的经历让我未来会更加小心，下面来回顾一下死锁发生的过程与代码演进的过程吧。
对于一般公司普通测试工程师来说，可能性能测试做的并不是很复杂，可能只是编写下脚本，做个压测，然后输出报告结果，瓶颈分析和调优的事都丢给开发去做。
高性能网络编程 - The C10K problem 以及 网络编程技术角度的解决思路
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
[root@host /]# cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
Twitter是最大的社交网络服务之一，用户可以在其中共享照片、新闻和基于文本的消息。在本章中，我们将设计一个可以存储和搜索用户推文的服务。类似的问题：推特搜索。
来源 | siye1982.github.io/2016/02/25/linux-list/
注意：ClickHouse并非无所不能，查询语句需要不断的调优，可能与查询条件有关，不同的查询条件表是左join还是右join也是很有讲究的
最近遇到了机器特别卡，请求发到服务器收不到响应的情况，总结了下 vmstat 定位系统性能问题的用法
思路：现象是阻塞，通常是 CPU 彪高，导致业务线程分配不到 CPU 时间片，或者内存吃紧，频繁 GC 导致的 STW。登录到目标服务器，由于 ES 的用户不是 LZ，因此找运维要了 root 权限，登录到服务器。sudo -i 切到 root，使用 ps -ef | grep Elasticsearch 找到该用户，然后 su - es 切到 es 用户（不切是无法处理 es 用户的 Java 进程的，例如打印 jstack 日志）。 top 查看服务器状态，发现 pid 4335 进程的 CPU 占用达到 180%，查看 CPU 核数：cat /proc/cpuinfo| grep “processor”| wc -l， 核数为 4，根据经验，通常是 C2 编译器，或者 GC 线程，最后是业务代码导致。因此需要定位该线程。使用 top -Hp 4335，得到线程号 30785，使用 printf "%x" 得到 16 进制数字 7841，方便在 jstack 日志查找线程。使用 jstack -l 4335 > jstacklog.txt 打印日志，然后找线程，vim jstacklog.txt, 开始查找，gg，/7841，enter，n， 找到 "Concurrent Mark-Sweep GC Thread" os_prio=0 tid=0x00007fd380063800 nid=0x7841 runnable 这个 CMS GC 线程，看来是内存不够了。 使用 jps -l 找到 es 启动类名称，然后使用 ps aux | grep Elasticsearch 找到启动详细信息，发现启动配置为 -Xmx2g -Xms2g, -XX:CMSInitiatingOccupancyFraction=50 ，这里为了防止串行 FGC，让 CMS 在 old 区达到 50% 时就开始 GC，所以 CMS 非常繁忙。为了验证此问题，使用 jstat -gcutil 4335 1000 查看 gc 状态，发现 fgc 频繁(5 秒一次)，ygc 正常（3 秒一次） ，这里说一下，CMS 的 fgc 此时和我们想象的不一样，CMS GC 只工作在老年代，每次 GC 会对 FGC 次数加 2，一次是 init mark，一次是 remark，这两个阶段会影响暂停应用，其他的清理阶段是并行清理的，对业务线程无影响，所以，当使用 CMS GC ，如果 jstat 看到 FGC 次数很多，不用在意。但当 CMS 出现 concurrent mode failure（CMS GC 的速度赶不上对象晋升到 old 区的速度），则会使用备用收集器 Serial，开始串行 GC，此时将会彻底 STW。 因此，这个 ES 将 CMS 的阈值调的很低，就是为了防止出现 concurrent mode failure。
swpd: 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器；
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
JNDI的主要作用是作为一种服务定位机制，能够将用户抽象出来的服务名称映射到具体的服务实现对象。就好像一个电话簿，用户知道了联系人的名字（服务名称），电话簿可以帮助找到该联系人的电话号码（服务对象）。
画架构图是为了知道请求是从哪里到哪里，做性能分析一定先画个图，脑子里就会有路径的概念了。
CentOS默认安装了MariaDB数据库,这是属于mysql的一个分支,安装之前需要将相应的依赖包进行删除干净,否者否出现各种异常
点击关注公众号，Java干货及时送达 来源：siye1982.github.io/2016/02/25/linux-list/ 虽然平时大部分工作都是和Java相关的开发, 但是每天都会接触Linux系统, 尤其是使用了Mac之后, 每天都是工作在黑色背景的命令行环境中. 自己记忆力不好, 很多有用的Linux命令不能很好的记忆, 现在逐渐总结一下, 以便后续查看. 基本操作 Linux关机,重启 # 关机 shutdown -h now # 重启 shutdown -r now 查看系统,CPU信息
WEB服务器、应用程序服务器、HTTP服务器有何区别？IIS、Apache、Tomcat、Weblogic、WebSphere都各属于哪种服务器，这些问题困惑了很久，今天终于梳理清楚了：
虽然平时大部分工作都是和Java相关的开发, 但是每天都会接触Linux系统, 尤其是使用了Mac之后, 每天都是工作在黑色背景的命令行环境中. 自己记忆力不好, 很多有用的Linux命令不能很好的记忆, 现在逐渐总结一下, 以便后续查看.
这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。这些数据可以让我们对系统资源使用有一个宏观的了解。
WEB服务器、应用程序服务器、HTTP服务器有何区别？IIS、Apache、Tomcat、Weblogic、WebSphere 都各属于哪种服务器？这些问题困惑了很久，今天终于梳理清楚了：
据Bleeping Computer报道，邮件巨头Zimbra某些版本的高严重性漏洞的技术细节已经浮出水面，通过利用该漏洞，黑客可以在没有身份验证或用户交互的情况下窃取登录信息，这意味着黑客无需账号密码即可登录用户的邮箱。 该漏洞编号为CVE-2022-27924，目前已经被收录至CNNVD，编号为CNNVD-202204-3913，受影响的Zimbra主要是开源和商业版本8.x和9.x。自2022年5月10日起，Zimbra 版本ZCS 9.0.0 的补丁24.1，以及ZCS 8.8.15的补丁31.1
起因是：前几年我在老家郑州实习面试(那个时候还没有毕业)的时候遇到面试官提问；面试官来于百度总部的工程师6年java开发经验+3年多的PHP开发经验，我在他的面前基本就是弟弟中的弟弟，虽然勉强通过入职了，但是却被运维无情地嘲笑，就因为组长让我上机看下redis的基础情况，我不会，问了运维。一怒之下，我当天晚上就恶补了一波......，到现在都还记着
记得刚入行的时候，有一个需求通过用户每次来获取一个固定商品的信息，而我的实现是直接从库中查出再转成对象，然后返回给用户，突然某一天用户量增加了好几百倍，直接把库拉挂了...后面直接用上了缓存，解决了该问题...
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
登录远程服务器，shh 用户名@IP地址，例如 ssh huangy@10.111.32.21。登录之后，如果想退出，可以使用logout退出。 常用参数： （1）-p : 指定远程服务器的端口
在实际的性能测试中，会遇到各种各样的问题，比如 TPS 压不上去等，导致这种现象的原因有很多，测试人员应配合开发人员进行分析，尽快找出瓶颈所在。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
当你想使用 JNDI 查询定位各种服务时，便可考虑该模式。 由于为某个服务查找 JNDI 的代价很高，服务定位器模式（后文简称为 SLP）充分利用了缓存技术。在首次请求某服务时，服务定位器在 JNDI 中查找服务，并缓存该服务对象。当再次请求相同服务时，服务定位器会在它的缓存中查找，便可极大提高应用程序的性能。
我们日常经常会提及系统资源的使用状况，那么系统资源具体是指什么呢？其实系统资源主要分为两种，运行资源和存储资源
数据分区（也称为分片）是一种将大型数据库（DB）分解为许多较小部分的技术。它是跨多台计算机拆分一个DB/表的过程，以提高应用程序的可管理性、性能、可用性和负载平衡。
一般方式也是最基本的方法是按照一定的规则压并发，看日志。专业一点的说法可以说“分段排除法“，或者按照以下顺序查找瓶颈。
服务器性能测试是一项非常重要而且必要的工作，本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略，通过定位问题，分析原因以及解决问题，实现对服务器进行更有针对性的优化，提升服务器的性能。
监控Linux服务器的工具、组件和程序网上有很多，但是一台服务器上会有很多进程同时运行，特别是做性能测试的时候，可能一台服务器上部署多个服务，如果只监控整个服务器的CPU和内存，当某个服务出现性能问题时，并不能有效准确的定位出（当然通过其他工具也可以实现），因此，很有必要只监控指定的进程。需求明确了，于是动手撸了一个性能监控脚本。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
