Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
本文是将知乎网友的提问 《如何评价腾讯开源的基于 DPDK 和 BSD 协议栈的网络框架 f-stack？》，将回答讨论内容和我们的一些想法进行了整理。 项目背景 F-Stack 这个项目起始于DNSPod的授权DNS项目，当时是12年，DPDK还未开源的时候，我们就基于DPDK做了授权DNS，做完的时候正好DPDK也开源了，正式上线后10GE单网卡性能达到1100万qps，后面又实现了一个简易的TCP协议栈用于支持TCP DNS。 后来DNSPod合并进入腾讯云，腾讯云有大量业务需要高性能的接入服务，而D
作者Liam，海外老码农，对应用密码学、CPU微架构、高速网络通信等领域都有所涉猎。
当时有些地方写的比较笼统，然后我「把 Linux 接收+发送网络包的流程」这部分内容完善了下，现在重新分享给大家。
本文是一篇翻译，翻译自https://software.intel.com/en-us/blogs/2015/06/12/user-space-networking-fuels-nfv-performance，文章有点老了，15年写的，但是文章总结了一些用户态的协议栈，很有学习参考的意义。 如今，作为一个网络空间的软件开发人员是非常激动人心的，因为工程师的角色随着这个世界的规则在逐渐改变。 过去这 15 年来，人们对高性能网络做了很多努力，网络模型也发生了很多改变，起初，数据包的收发都要推送到内核才能完成
Q1：F-Stack有中断模式吗，有计划支持吗？在计算密集型的应用中，轮询模式会占用更多的CPU资源？ A1:F-Stack暂时只支持轮询模式，后续会支持中断+轮询模式，避免与计算密集型业务抢占CPU及节省能源。 Q2:F-Stack如何实现zerco copy？ A2:目前F-Stack尚未做到完全零拷贝。在收包时使用FreeBSD的mbuf ext add可以避免拷贝。在发包时尚存在拷贝，后续会优化为无拷贝，主要的方案是自己实现内存管理，完全使用hugepage。 Q3:F-Stack的运行环境有何
在 Linux 系统下，丢包是一个较为常见的问题。由于丢包导致的网络问题可能会给用户带来不好的体验，因此解决 Linux 网络丢包问题是必不可少的。本文将介绍如何在 Linux 系统下进行网络丢包排查。
为了使得多种设备能通过网络相互通信，和为了解决各种不同设备在网络互联中的兼容性问题，国际标标准化组织制定了开放式系统互联通信参考模型（open System Interconnection Reference Model），也就是 OSI 网络模型，该模型主要有 7 层，分别是应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层。
本文介绍了 F-Stack 框架，它是一个基于 FreeBSD 内核的用户态协议栈实现，解决了传统内核协议栈在高性能、可扩展、兼容性、功能完备等方面的问题。F-Stack 提供了丰富的功能，包括零拷贝、无锁队列、内存池、红黑树等，支持多种调度算法，并提供了易用的接口。在性能测试中，F-Stack 的表现优异，最高达到了 2000 万 QPS，并支持多种网络协议，包括 HTTP、TCP、UDP、IPX 等。同时，F-Stack 也提供了丰富的开发文档和示例代码，方便开发者进行二次开发和功能扩展。
将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:
Netfilter是Linux内核中的一个数据包处理模块，它可以提供数据包的过滤、转发、地址转换NAT功能。Iptables是一个工具，可以用来在Netfilter中增加、修改、删除数据包处理规则。
封装：当应用程序用 TCP 协议传送数据时，数据首先进入内核网络协议栈中，然后逐一通过 TCP/IP 协议族的每层直到被当作一串比特流送入网络。对于每一层而言，对收到的数据都会封装相应的协议首部信息（有时还会增加尾部信息）。TCP 协议传给 IP 协议的数据单元称作 TCP 报文段，或简称 TCP 段（TCP segment）。IP 传给数据链路层的数据单元称作 IP 数据报（IP datagram），最后通过以太网传输的比特流称作帧（Frame）。
在现代计算环境中，虚拟网络设备在实现灵活的网络配置和隔离方面发挥了至关重要的作用🔧，特别是在容器化和虚拟化技术广泛应用的今天🌐。而Linux网络协议栈则是操作系统处理网络通信的核心💻，它支持广泛的协议和网络服务🌍，确保数据正确地在网络中传输。本文将深入分析虚拟网络设备与Linux网络协议栈的关联，揭示它们如何共同工作以支持复杂的网络需求。
[注解：如果执行packetdrill自带的用例出错，一般是协议栈发出的包没有达到预期的包，先将预期 那部分干掉，然后再执行测试用例，然后通过抓包分析预期结果。通常是因为三次握手mss 的限制]
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。 随着软件的不断发展，在新世纪的第一个10年时，通过多线程和事件驱动（kqueue/epoll等）解决了C10K的问题。但是在第二个10年却不堪重负，亟需新的解
腾讯云网络自研路由平台—FCR 云网络厂商在用户接入侧一般采用传统网络设备如路由器、交换机，传统网络设备虽然功能稳定，但是开发周期较长，支持功能无法快速匹配互联网厂商日新月异的应用场景。为了解决上述问题，腾讯云网络在接入时使用了FCR（Fast Cloud Router）作为自己的路由控制平台。 FCR自研路由平台不仅支持BGP、静态路由、BFD等各类路由相关协议，同时还可以提供丰富的路由策略以及百万级的路由管理功能。 平台开放：完全基于开源组件构建，打破了传统设备厂商封闭的产品生
现在很多人都在诟病Linux内核协议栈收包效率低，不管他们是真的懂还是一点都不懂只是听别人说的，反正就是在一味地怼Linux内核协议栈，他们的武器貌似只有DPDK。
[注解：如果执行packetdrill自带的用例出错，一般是协议栈发出的包没有达到预期的包，先将预期>那部分干掉，然后再执行测试用例，然后通过抓包分析预期结果。通常是因为三次握手mss 的限制]
其原理是不同厂家的IP协议栈实现之间存在许多细微的差别，通过这些差别就能对目标系统的操作系统加以猜测
LwIP 全名为 Light weight IP，意思是轻量化的 TCP/IP 协议， 是瑞典计算机科学院(SICS)的 Adam Dunkels 开发的一个小型开源的 TCP/IP 协议栈。 LwIP 的设计初衷是：用少量的资源消耗(RAM)实现一个较为完整的 TCP/IP 协议栈，其中“完整”主要指的是 TCP 协议的完整性， 实现的重点是在保持 TCP 协议主要功能的基础上减少对 RAM 的占用。此外 LwIP既可以移植到操作系统上运行，也可以在无操作系统的情况下独立运行。
关于对 Socket 的认识，大致分为下面几个主题，Socket 是什么，Socket 是如何创建的，Socket 是如何连接并收发数据的，Socket 套接字的删除等。
在本公众号的前面文章中，曾经提到过，TSN(Time Sensitive Networking,TSN)和TTE(Time-Triggered Ethernet)的起源及应用领域，在那篇文章中，还提到了可以尝试着把TTE看作是密闭空间内使用的TSN的说法。事实上，这种说法是非常不准确的。二者虽然都对业务进行了是否实时性的区分，但实现时却采用了截然不同的两种方法。
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。
信息是如何通过网络传输被另一个程序接收到的？我们讨论的虚拟化网络是狭义的，它指容器间网络。
首先，DPDK和内核网络协议栈不是对等的概念。 DPDK只是单纯的从驱动拿数据，然后组织成数据块给人用，跑在用户态。功能相当于linux的设备无关接口层，处于socket之下，驱动之上。只不过linux协议栈的这部分在核心态。 你说的包处理器，很多时候是不用linux内核协议栈的，而是用专用包处理程序，类似于DPDK加上层应用处理。通常会有些硬件加速器，包处理效率更高些。缺点是一旦用不上某些功能，那些加速器就白费了。而纯软件处理就非常灵活，不过代价就是功耗和性能。 纯DPDK性能非常高，intel自己给出的数据是，处理一个包80时钟周期。一个3.6Ghz的单核双线程至强，64字节小包，纯转发能力超过90Mpps，也就是每秒9千万包。 不知你有没有看出来，80周期是一个非常惊人的数字？正常情况下，处理器访问一下ddr3内存都需要200个周期，而包处理程序所需要操作的数据，是从pcie设备送到ddr内存的，然后再由处理器读出来，也就是说，通常至少需要200周期。为啥现在80周期就能完成所有处理？我查了下文档，发现原因是使用了stashing或者叫direct cache access技术，对于PCIe网卡发过来的包，会存在一个特殊字段。x86的pcie控制器看到这个字段后，会把包头自动塞到处理器的缓存，无序处理器来干预。由于包头肯定是会被读取的，这样相当于提前预测，访问的时间大大缩短。 如果加上linux socket协议栈，比如跑个纯http包反弹，那么根据我的测量，会掉到3000-4000周期处理一个包，单核双线程在2.4Mpps，每秒两百四十万包，性能差40倍。 性能高在哪？关键一点，DPDK并没有做socket层的协议处理，当然快。其他的，主要是使用轮询替代中断，还有避免核心态到用户态拷贝，并绑定核，避免线程切换开销，还有避免进入系统调用的开销，使用巨页等。 还有很关键的一点，当线程数大于12的时候，使用linux协议栈会遇到互斥的瓶颈，用性能工具看的话，你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket，改写内核协议栈，使包始终在一个核上处理，避免竞争等。缺点是需要经常自己改协议栈，且应用程序兼容性不够。 另外一个方法是使用虚拟机，每个特征流只在一个核处理，并用虚拟机隔绝竞争，底层用dpdk做转发，上层用虚拟机做包处理，这样保证了原生的linux协议栈被调用，做到完全兼容应用程序。不过这种方法好像还没有人做成开源的，最近似的是dpdk+虚拟交换机ovs的一个项目。 如果你只想要dpdk的高性能加tcp/ip/udp的处理，不考虑兼容性，那么还可以去买商业代码，我看了下供应商的网站介绍，纯转发性能大概在500-1000周期左右一个包。
HTTP 协议因其易用性和普适性得到了大规模的普及，我们说HTTP协议是互联网的基石一点也不为过，当前提供HTTP服务的Server性能要求越来越高，如何提高 HTTP 服务器的性能变得非常重要。近年来网卡性能快速发展，给高性能HTTP服务提供了硬件支持，但是linux 内核却越来越成为高性能网络服务器的瓶颈。 HTTP 的传输层协议为 TCP ，TCP作为面向连接的协议能够提供可靠传输，但是在性能有非常大的短板，尤其在短连接网络业务服务中，受限于PCB表锁竞争等因素，系统内核大并发创建 T
很高兴大家回到这次深潜之旅，让我们继续挖掘 NGINX 的潜力。今天我的分享包括四个部分。首先从整体上来看一下 NGINX的协议栈如何进行优化。接着我们将按照 OSI七层网络模型，自上而下依次讨论HTTP协议栈、TLS/SSL协议栈以及TCP/IP协议栈。
大家好，我是来自哔哩哔哩的郑龙，2012年至2017年我在广播电视行业从事工作，2017年我转型至互联网行业并加入了哔哩哔哩的视频云团队。在视频云团队的三年里，主要参与了哔哩哔哩的亿秒级日吞吐视频转码系统的开发与自营视频窄带高清技术的探索，以上两项服务都已上线并长期运行。
本文介绍了如何使用 F-Stack 实现高性能的 HTTP 服务器，通过实例测试验证了 F-Stack 的性能和优势。
packetdrill 是一个跨平台的脚本工具，可以用来测试整个 TCP/UDP/IP 网络栈实现的正确性和性能，从系统调用一直到硬件网络接口，从 IPv4 到 IPv6。
最近使用tcpdump的时候突然想到这个问题。因为我之前只存在一些一知半解的认识：比如直接镜像了网卡的包、在数据包进入内核前就获取了。但这些认识真的正确么？针对这个问题，我进行了一番学习探究。
Netfilter （配合 iptables）使得用户空间应用程序可以注册内核网络栈在处理数据包时应用的处理规则，实现高效的网络转发和过滤。很多常见的主机防火墙程序以及 Kubernetes 的 Service 转发都是通过 iptables 来实现的。
本系列文章前面那些主要讲解的是计算机网络的理论基础，但对于即时通讯IM这方面的应用层开发者来说，跟计算机网络打道的其实是各种API接口。
关于 netfilter 的介绍文章大部分只描述了抽象的概念，实际上其内核代码的基本实现不算复杂，本文主要参考 Linux 内核 2.6 版本代码（早期版本较为简单），与最新的 5.x 版本在实现上可能有较大差异，但基本设计变化不大，不影响理解其原理。
本章节介绍的是一款面向四层网关（如四层负载均衡，L4-LB）的高性能的压测工具dperf。该工具目前已经在github上开源，是一款高性能的压测工具：
作者：wentaomao，腾讯 TEG 后台开发工程师 前言 QUIC 作为互联网下一代标准传输协议，能够明显提升业务访问速度，提升弱网请求成功率以及改善网络变化场景下的平滑体验。 STGW 作为公司级的 7 层接入网关以及腾讯云 CLB（负载均衡器）的底层支撑框架，每天都为公司内部业务和腾讯云外部客户提供数万亿次的请求服务，对请求处理的性能、传输效率、运营的可靠性都有非常严苛的要求。 本文主要介绍 STGW 大规模运营 QUIC 过程中的一些经验和开发工作。 QUIC 简介 QUIC 的诞生和发展
DNS从右往左（www.刘昊然.com) 分为 根DNS服务器（最上层看不见），顶级域DNS服务器（com），权威DNS服务器（刘昊然.com）。
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
Linux内核net/socket.c定义了一套socket的操作api。图1展示了socket层所处与TCP/IP协议栈之上和应用层之下。
存储加速方向 存储软件自身软件栈 存储软件自身一般通过是通过减少软件栈开销来达到优化自身的目的，比如软件栈的一些校验或者保护算法可以通过CPU的特殊指令集对存储校验或者保护算法进行优化 网络IO Linux网络的开销一般比较大，封包和解包一般都是在CPU端进行，数据的可靠性需要依赖TCP协议栈，而TCP协议栈保证稳定的同时TCP的操作必须经过协议栈，这就带来了数据从用户态->内核态->网卡驱动开销。数据拷贝和CP开销让网络IO往往不低。因此可以所经过的网络中，可以把数据传输的任务从CPU中卸载，交给具有RD
Linux内核对网络驱动程序使用统一的接口，并且对于网络设备采用面向对象的思想设计。
网络协议指的是计算机网络中用于数据传输和交换的规则和标准。网络协议规定了数据传输的格式、流程、通信规则和错误处理等内容，保证了网络数据的正常传输和正确交换。
在工业控制中，我们除过用Modbus RTU外还经常会用Modbus TCP/IP，在公众号里，曾给大家介绍过libmodbus，如何编译和安装，今天我们就来演示下Modbus TCP/IP的例程，给
在云计算时代，虚拟机和容器已经成为标配。它们背后的网络管理都离不开一样东西，就是虚拟网络设备，或者叫虚拟网卡，tap/tun 就是在云计算时代非常重要的虚拟网络网卡。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
