首先，DPDK和内核网络协议栈不是对等的概念。 DPDK只是单纯的从驱动拿数据，然后组织成数据块给人用，跑在用户态。功能相当于linux的设备无关接口层，处于socket之下，驱动之上。只不过linux协议栈的这部分在核心态。 你说的包处理器，很多时候是不用linux内核协议栈的，而是用专用包处理程序，类似于DPDK加上层应用处理。通常会有些硬件加速器，包处理效率更高些。缺点是一旦用不上某些功能，那些加速器就白费了。而纯软件处理就非常灵活，不过代价就是功耗和性能。 纯DPDK性能非常高，intel自己给出的数据是，处理一个包80时钟周期。一个3.6Ghz的单核双线程至强，64字节小包，纯转发能力超过90Mpps，也就是每秒9千万包。 不知你有没有看出来，80周期是一个非常惊人的数字？正常情况下，处理器访问一下ddr3内存都需要200个周期，而包处理程序所需要操作的数据，是从pcie设备送到ddr内存的，然后再由处理器读出来，也就是说，通常至少需要200周期。为啥现在80周期就能完成所有处理？我查了下文档，发现原因是使用了stashing或者叫direct cache access技术，对于PCIe网卡发过来的包，会存在一个特殊字段。x86的pcie控制器看到这个字段后，会把包头自动塞到处理器的缓存，无序处理器来干预。由于包头肯定是会被读取的，这样相当于提前预测，访问的时间大大缩短。 如果加上linux socket协议栈，比如跑个纯http包反弹，那么根据我的测量，会掉到3000-4000周期处理一个包，单核双线程在2.4Mpps，每秒两百四十万包，性能差40倍。 性能高在哪？关键一点，DPDK并没有做socket层的协议处理，当然快。其他的，主要是使用轮询替代中断，还有避免核心态到用户态拷贝，并绑定核，避免线程切换开销，还有避免进入系统调用的开销，使用巨页等。 还有很关键的一点，当线程数大于12的时候，使用linux协议栈会遇到互斥的瓶颈，用性能工具看的话，你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket，改写内核协议栈，使包始终在一个核上处理，避免竞争等。缺点是需要经常自己改协议栈，且应用程序兼容性不够。 另外一个方法是使用虚拟机，每个特征流只在一个核处理，并用虚拟机隔绝竞争，底层用dpdk做转发，上层用虚拟机做包处理，这样保证了原生的linux协议栈被调用，做到完全兼容应用程序。不过这种方法好像还没有人做成开源的，最近似的是dpdk+虚拟交换机ovs的一个项目。 如果你只想要dpdk的高性能加tcp/ip/udp的处理，不考虑兼容性，那么还可以去买商业代码，我看了下供应商的网站介绍，纯转发性能大概在500-1000周期左右一个包。
压测过程中很重要的一点是观察cpu的各项指标，比如说cpu idel、user、cpu.load等，这些指标也间接反映了一个系统的抗压能力（容量）。 在linux内核中，每个进程都会被分配一个固定的时间片，默认是10ms，在这10ms中，该进程享有cpu的使用权，如果该进程用完了10ms,或者有其他优先级高的进程发出请求，系统会触发一个中断，内核重新接管cpu，内核分配cpu给其他进程。 cpu的使用时主要分为用户态、内核态，对于使用率来说主要分为用户态、系统态、空闲态。
「404星链计划」是知道创宇404实验室于2020年8月提出的开源项目收集计划，这个计划的初衷是将404实验室内部一些工具通过开源的方式发挥其更大的价值，也就是“404星链计划1.0”，这里面有为大家熟知的Pocsuite3、ksubdomain等等，很快我们就收到了许多不错的反馈。2020年11月，我们将目光投向了整个安全圈，以星链计划成员为核心，筛选优质、有意义、有趣、坚持维护的开源安全项目，为立足于不同安全领域的安全研究人员指明方向，也就是“404星链计划2.0”。为了更清晰地展示和管理星链计划的开源项目，2021年11月22日我们将1.0和2.0整合，推出改版后的「404星链计划」。
最近用华为鲲鹏跑了一段时间服务后，出现了系统负载40多居高不下的情况，一排查发现是kworker进程占用CPU很高，而且还杀不掉。
文章主要介绍了通过Linux命令查看系统平均负载的方法,对于服务器管理员来说非常有用接下来是小编为大家收集的Linux命令查看系统平均负载的方法，欢迎大家阅读：
最近忙于做实验，经常在逸夫楼一待就是一天，测出来的东西也是稀奇古怪的，难以摸透，因此Linux和Python的推文可能会晚一点；不过，我最近有看一个Machine learning的课程，是国立台湾大学李宏毅教授开设的课程，讲解的非常清楚，非常适合我这种新手小白，而且课程是公开的，中文版本是他自己讲解的，英文版本是他们自己搞的机器英文配音（我用自己的课程给自己的课程配了音），课程B站就可以搜到。
Arch Linux 2020年12月更新Kernel到5.10版本以后，我的AR5B22网卡的蓝牙无法正常工作，于是我尝试降级内核到5.9以后蓝牙又可以正常工作了，于是可以判定问题是存在于内核上。为了解决这个问题我重新编译了内核。这篇文章将记录如何使用ABS(Arch Build System)编译ArchLinux的内核(Kernel)。蓝牙问题将在记录在下一篇文章。Arch的wiki已经非常完善了，大多数问题都可以在archwiki中找到相关的解决方案，遇到问题建议多查wiki。
作为互联网的幕后英雄，Linux运维工程师长期隐匿在大众认知范围之外，关于运维的讨论仍旧是一片无人涉足的荒漠。在某知名行业研究调查结果中，非互联网从业者对于运维相关问题的回复有三个高频词汇是：不知道、没听过、网管。当调查人员告诉他们科幻电影中展示黑客高超技巧时的命令行界面正是大多数运维工程师每日工作环境时，他们发出极其一致的惊叹。
昨天的文章详细的介绍了mock，今天补充一个mock服务的实际使用场景——高并发性能测试时的依赖服务mock；
在Kubernetes中，对资源（CPU、内存等）的限制，需要定义在yaml中，以Deployment举例：
Linux服务器配置文档找不到，你还在为查询Linux服务器硬件信息发愁吗？学会这些命令，让你轻松查看Linux服务器的CPU，内存，硬盘，SN序列号等信息，根本就不用去机房。
看了不少朋友圈里推荐的Python爬虫文章，都觉得太小儿科，处理内容本来就是PHP的强项，Python唯一的好处估计也就天生的Linux自带，和Perl一样，这点觉得挺不够意思的Linux，还是Mac厚道，天生就自带了Python、Perl、PHP、Ruby，当然我也很讨厌讨论一门语言的好坏，每门语言存在就一定有它的道理，反正PHP是全世界最好用的语言，大家都懂的^_^ 前几天比较火的是一个人用C#写了一个多线程爬虫程序，抓取了QQ空间3000万QQ用户，其中有300万用户是有QQ号、昵称、空间名称等信息的
英文版的电子版书籍可以去libgen找找，这里就不放了，如果可以的话还是建议入正，毕竟……可以炫富（并不是）。
针对上述问题，为了提供分布式的实时日志搜集和分析的监控系统，我们采用了业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。通常，业界把这套方案简称为ELK，取三个系统的首字母。调研了ELK技术栈，发现新一代的logstash-forward即Filebeat，使用了golang，性能超logstash，部署简单，占用资源少，可以很方便的和logstash和ES对接，作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。
由于巨大的利益，论文造假屡见不鲜，在部分国家或地区甚至形成了论文造假的产业链。目前大部分论文查重系统只能检查论文文字，不能检查图片。因此，论文图片查重已然成为了学术论文原创性检测的重要部分。
看了不少朋友圈里推荐的Python爬虫文章，都觉得太小儿科，处理内容本来就是PHP的强项，Python唯一的好处估计也就天生的Linux自带，和Perl一样，这点觉得挺不够意思的Linux，还是Mac厚道，天生就自带了Python、Perl、PHP、Ruby，当然我也很讨厌讨论一门语言的好坏，每门语言存在就一定有它的道理，反正PHP是全世界最好用的语言，大家都懂的^_^
这两天搭建了一套新的kubernetes环境，由于这套环境会被用于演示，所以持续观察了好几天这套环境，发现不少容器平台稳定性的问题，这里记录一下以备忘。
事实证明，读过Linux内核源码确实有很大的好处，尤其在处理问题的时刻。当你看到报错的那一瞬间，就能把现象/原因/以及解决方案一股脑的在脑中闪现。甚至一些边边角角的现象都能很快的反应过来是为何。笔者读过一些Linux TCP协议栈的源码，就在解决下面这个问题的时候有一种非常流畅的感觉。
本文主要记录了一次生产环境后台服务的性能分析过程，通过结合多种性能分析工具定位出系统的性能瓶颈并给出优化方案，将整个过程记录并总结如下。
什麼都是假的，只有 App 上架 Store 才是真的。千辛萬苦完成 App 後，下一步、也是最重要的一步，就是把 App 送審上架！為了讓新手都能一次就送審成
在写「垃圾回收-实战篇」时，按书中的一个例子做了一次实验，我觉得涉及的知识点挺多的，所以单独拎出来与大家共享一下，相信大家看完肯定有收获。
先明白的事儿：当一个程序在执行的时候，一般会创建一个进程，也可以有多个进程。一个进程至少会创建一个线程，多个线程共享一个程序进程的内存。程序的运行最终是靠线程来完成操作的。线程的数量跟CPU核数有关，一个核最多能发出两个线程。线程的操作主要分为：一：给CPU进行程序命令的执行。二：IO的操作（读取或输出数据）或者请求网络数据。
要开一家公司，最重要的就是给公司取一个名字。但是名字并不是自己想取什么样的就可以通过审核，需要通过工商注册核名查询系统的审核。工作人员会在规定的工作日内，完成名字的审核，如果不合格的话，还会给大家返回来重新改名字。
原子是一种非常神奇的粒子，它拥有复杂的结构，自然而然会发生神奇的变化。整个世界都是由大量微小的原子组成，原子又是由中子、质子和电子组成。两百多年来，科学家为了证实原子的存在、内部结构以及放射性特性，前
最近感觉总是用 sftp 工具连接到服务上，然后再去把项目更新为最新的代码，然后用 xshell 把项目重启运行。这是正常部署一个项目的简单流程。
这是一篇介绍Linux调度问题的文章，源自这篇文章。文章中涉及到的一些问题可能已经得到解决，但可以学习一下本文所表达的思想和对CPU调度的理解。
XADC是zynq芯片内部进行温度和电压检测的模块，通过（https://xilinx-wiki.atlassian.net/wiki/spaces/A/pages/18842132/XADC）这篇wiki可以知道，XADC控制器有两种表现形式，一种是位于PS内部，即文档中提到的the PS-XADC interface for the PS software to control the XADC，另一种是位于PL内部，通过IP核的方式实现。目前常用的是第一种。这里也采用第一种PS自带的xadc来获取CPU片内的温度。
上一篇文章已经介绍了 如何获取 EVE-NG 模拟器安装包，同时我们知道 EVS-NG 提供两种类型的安装包，一种是 OVF 包 （导入虚拟化平台使用，个人学习用），另一种是 ISO 镜像文件 (直接安装在物理机上使用，性能高)，我们可以根据不同需要选择不同类型的安装包，这里我们已经把最新的两种类型的安装包都准备好了，如下，EVE-COMM-VM-112为 OVF包，EVE-20171007为 ISO镜像文件：
物理CPU 物理CPU就是计算机上实际配置的CPU个数。在linux上可以打开cat /proc/cpuinfo 来查看，其中的physical id就是每个物理CPU的ID，你能找到几个physical id就代表你的计算机实际有几个CPU。在linux下可以通过指令 grep ‘physical id’ /proc/cpuinfo | sort -u | wc -l 来查看你的物理CPU个数
最近这周都是查测试环境的问题，比如，我上一篇写的问题排查：问题排查：nginx的反向代理感觉失效了一样 ，就是说这个事的。在文章里，最终查到是nginx的全连接队列满了（每个监听端口有个队列，完成三次握手的请求会进入这个监听端口的全连接队列，队列大小是只有128，比较小），我当时的解决方式，是把队列大小调大到了512，然后重启nginx，果然功能正常了。
监控系统状态 w： # w/uptime：查看系统负载 16:08:52 up 2 days, 21:49, 1 user, load average: 0.00, 0.00, 0.00 USER TTY FROM [email protected] IDLE JCPU PCPU WHAT root pts/0 221.224.0.190 14:15 0.00s 0.01s 0.00s w 从左到右依次为 系统时间 开机了多少天 当前用户（下面会显示详细的用户，pts/0 意思是：当前用户是通过网络登
作为资源管理的核心部分，OS的线程调度器必须保持下面这样简单，不变的特性: 确保ready状态的线程总是被调度到有效的CPU核上。虽然它看起来是简单的，我们发现这个不变性在Linux上经常被打破。当ready状态的线程在runqueue中等待时，有些CPU核却还会空闲几秒。以我们的经验，这类性能方面的问题会导致重度依赖同步的应用的性能成倍的下降，针对Kernel编译会多造成高达13%的延迟，针对广泛使用的商用数据库会造成23%的吞吐量降低。传统的测试技术和调试工具对于确认和了解这类问题是无效的，因此这些问题的症状经常是难以捕获的。为了能够推动我们的调查，我们构建了新的工具来在线检测这种违反不变性的情况并且将调度行为可视化。这些工具是简单的，易于在多个kernel版本间移植的并且使用的代价很小。我们相信这些工具将成为内核开发者工具链的一部分来帮助其避免这类问题的出现。
在日常工作中，发现 MySQL 的状态不太对劲的时候，一般都会看看监控指标，很多时候会看到熟悉的一幕：CPU 使用率又爆了。本文会简单介绍一下 MySQL 和 CPU 之间的关系，对此有一些了解之后可以更准确的判断出问题的原因，也能够提前发现一些引发 CPU 问题的隐患。
现在越来越多的产品具有M core和A core的异构架构，既能达到M核的实时要求，又能满足A核的生态和算力。比如NXP的i.MX8系列、瑞萨的RZ/G2L系列以及TI的AM62x系列等等。虽然这些处理器的品牌及性能有所不同，但多核通信原理基本一致，都是基于寄存器和中断传递消息，基于共享内存传输数据。
我是通过pxe方式安装的，开始的时候检测硬件的时候老是过不起，看提示大概是cpu 0 error ，开始以为是安装源的问题，重新下载，解压，问题依旧，后来想到会不会是因为cpu核数太多造成的，我的机器配置是两颗6核+超线程，下来在系统中会看到24颗cpu，进bios，关掉超线程，再关掉一颗cpu，终于，硬件检测过去了，开始安装。到选择安装源的时候，我用的是ftp安装源，怎么都过不去，后来做了nfs，终于过去，后来在网上查了资料，f15对ftp的安装方式支持有bug，总结如下：
CPU使用率：CPU的使用率 平均负载：单位时间内的活跃线程数 用户时间：CPU在用户进程上的实际百分比 系统时间：CPU在内核上花费的实际百分比 空闲时间：系统处于在等待IO操作上的时间总和 等待：CPU花费在等待IO操作上的时间总和 Nice时间：CPU优先执行的时间百分比
V853芯片包含两个CPU。一个是主核心Arm A7 CPU，运行Tina Linux（全志自研Linux）系统，为芯片主系统；一个是RISC-V E907辅助CPU，运行Melis（全志自研RTOS）系统，主要功能是提供通用算力补充、辅助 Linux 实现快起和低功耗管理等功能。
There are only two hard things in Computer Science: cache invalidation and naming things.
今天说的异常是一个很不常见的异常，至少我不经常见到这个异常。 首先先看下NoClassDefFoundError官方定义 ： Java Virtual Machine is not able to find a particular class at runtime which was available at compile time. If a class was present during compile time but not available in java classpath during runtime. Java 虚拟机无法在运行时找到一个在编译时可用的特定类。如果在编译时存在类, 但在运行时 java 类路径中不可用。 最近做的一个项目，由同事到客户方部署及应用，但是期间发生一个诡异的问题：同一套代码打出的jar包在一个公司运行时会有一个NoClassDefFoundError异常抛出。起初看到这个异常，我们都认为是打得包或者依赖有问题。于是便重新打包部署，结果还是同样的问题。异常信息如下：
昨天，我看到有人提到林奈（Carl von Linné，1707－1778）的著作中对植物有着动人的描写。今天，我就想去找一下，结果查了好几个图书馆的数据库，都没有找到林奈的著作。莫非他的著作从没有被译成过中文？ 好在网上还是有一些关于林奈的介绍。他一生中的最大成就就是生物分类，借这个机会，我正好做一下生物分类法的笔记。这个东西我一直搞不清楚。 当今所用的生物分类法一共有八个级别，最高一级是域，最低一级是种。 1.域（Domain） 域是生物科学分类法中最高的类别。所有生物原分为三域： * 非细胞生物域：仅
进程 说明：本文是基于Py2.X环境， Python实现多进程的方式主要有两种：一种方法是使用os模块中的fork方法; 另一种是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作操作。对win是不支持的，而后者则是跨平台的实现方式。 使用os模块中的fork方式实现多进程。 Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制
PS：笔者强烈建议诸位注册一个EETOP的账号，每天签到或者发贴、回贴就有积分了，里面的资源非常丰富，各种软件、资料都能找到。
多看看这些实际操作的视频，也可以有个初步了解，尤其推荐VedioTalk，有很多很实用的入门知识和实际操作教程，如果对软路由跃跃欲试，那就赶快去看看吧。
性能测试中当我们尝试使用 Linux 命令（如 nproc 或 lscpu ）了解服务器CPU架构和性能参数时，我们经常发现我们无法正确解释其结果，因为我们混淆CPU、物理核、逻辑核概念等术语。
大家都知道卷积神经网络被称作为卷积神经神经网络主要是因为其包含卷积层，那么本文会为大家介绍什么是卷积，以及卷积层的主要工作原理。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
