本文是一篇翻译，翻译自https://software.intel.com/en-us/blogs/2015/06/12/user-space-networking-fuels-nfv-performance，文章有点老了，15年写的，但是文章总结了一些用户态的协议栈，很有学习参考的意义。 如今，作为一个网络空间的软件开发人员是非常激动人心的，因为工程师的角色随着这个世界的规则在逐渐改变。 过去这 15 年来，人们对高性能网络做了很多努力，网络模型也发生了很多改变，起初，数据包的收发都要推送到内核才能完成
LwIP 全名为 Light weight IP，意思是轻量化的 TCP/IP 协议， 是瑞典计算机科学院(SICS)的 Adam Dunkels 开发的一个小型开源的 TCP/IP 协议栈。 LwIP 的设计初衷是：用少量的资源消耗(RAM)实现一个较为完整的 TCP/IP 协议栈，其中“完整”主要指的是 TCP 协议的完整性， 实现的重点是在保持 TCP 协议主要功能的基础上减少对 RAM 的占用。此外 LwIP既可以移植到操作系统上运行，也可以在无操作系统的情况下独立运行。
数据链路层, 网络层, 传输层的协议实在内核中实现的, 因此操作系统需要实现一套系统调用, 使得应用程序能够访问这些协议提供的服务.
lwip 是瑞典计算机科学院(SICS)的 Adam Dunkels 开发的一个小型开源的 TCP/IP 协议栈。实现的重点是在保持 TCP 协议主要功能的基础上减少对 RAM 的占用。
" 如果你怀念 SDN 领域丰富的网络能力却在云原生领域苦苦追寻而不得，那么 Kube-OVN 将是你的最佳选择。本系列我们将逐个介绍Kube-OVN高级功能的工作原理及使用路径，帮你尽快征服容器网络难题！"
添加完上面的三个控制信息后，接下来就开始发送包了，发送包的方式有两种：一种是使用集线器的半双工模式，一种是使用交换机的全双工模式。
及时响应链路的跳数---------算法复杂-----------要增加网络负担
ip模块中存储的是一堆数字信号，网卡内部会把数字信号转换成电信号或者光信号在网线中传输。
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
本篇文章主要讲解如何在STM32F103工程里添加移植LWIP协议，最终完成TCP服务器、TCP客户端的通信测试。 网卡采用的是DM9000，工程代码中，采用STM32的FSMC接口来驱动DM900网卡，DM9000是并口网卡，引脚多，但是速度快，也可以采用其他网卡，SPI协议的、UART协议的等。 比如：ENC28J60。 因为主要是讲LWIP协议栈的移植，所以网卡相关的代码就没有细说(需要准备一个网卡可以正常通信的工程，再移植)。
现在大部分软硬件系统都是基于网络的，有走局域网（私网）的，有走外网（公网）的，会不可避免地出现很多与网络相关的问题，特别是将产品部署到安全级别较高的客户环境中，会出现各式各样的复杂网络问题。今天我们就来分享一下实际项目中遇到的多个网络问题，以供参考！
这一下，大家总算停止了灌水（这群人都不用上班的，天天划水摸鱼），开始讨论起这个问题来。
在现代计算环境中，虚拟网络设备在实现灵活的网络配置和隔离方面发挥了至关重要的作用🔧，特别是在容器化和虚拟化技术广泛应用的今天🌐。而Linux网络协议栈则是操作系统处理网络通信的核心💻，它支持广泛的协议和网络服务🌍，确保数据正确地在网络中传输。本文将深入分析虚拟网络设备与Linux网络协议栈的关联，揭示它们如何共同工作以支持复杂的网络需求。
Q1：F-Stack有中断模式吗，有计划支持吗？在计算密集型的应用中，轮询模式会占用更多的CPU资源？ A1:F-Stack暂时只支持轮询模式，后续会支持中断+轮询模式，避免与计算密集型业务抢占CPU及节省能源。 Q2:F-Stack如何实现zerco copy？ A2:目前F-Stack尚未做到完全零拷贝。在收包时使用FreeBSD的mbuf ext add可以避免拷贝。在发包时尚存在拷贝，后续会优化为无拷贝，主要的方案是自己实现内存管理，完全使用hugepage。 Q3:F-Stack的运行环境有何
本文是将知乎网友的提问 《如何评价腾讯开源的基于 DPDK 和 BSD 协议栈的网络框架 f-stack？》，将回答讨论内容和我们的一些想法进行了整理。 项目背景 F-Stack 这个项目起始于DNSPod的授权DNS项目，当时是12年，DPDK还未开源的时候，我们就基于DPDK做了授权DNS，做完的时候正好DPDK也开源了，正式上线后10GE单网卡性能达到1100万qps，后面又实现了一个简易的TCP协议栈用于支持TCP DNS。 后来DNSPod合并进入腾讯云，腾讯云有大量业务需要高性能的接入服务，而D
由于文章篇幅限制，文档内容过多，只能展示部分内容，感兴趣的朋友，帮忙点赞转发后，私信【学习】获取完整版免费下载方式。
Netfilter/iptables是Linux内核内置的报文过滤框架，程序可以通过该框架完成报文过滤、地址转换(NAT)以及连接跟踪等功能。
思考题 为什么要先有全局监控，再有定向监控：因为首先要从大方向上，找到瓶颈在哪里；再进入细节去分析，才比较有效率 为什么不建议一开始就上代码级的监控工具呢：一上来就上代码级别的监控，一方面配置这些监控太耗时间，另一方面可能得到的数据，也用不上 另外，我们公司用的是DataDog，可以给每个机器单独的top/ps命令的记录，我们公司从框架级别支持收集一些基本的数据（比如，一个GRPC耗时多久），把AWS的相关数据也都集中在这里，还可以设置起来对应的报警；感觉颇为好用
首先，DPDK和内核网络协议栈不是对等的概念。 DPDK只是单纯的从驱动拿数据，然后组织成数据块给人用，跑在用户态。功能相当于linux的设备无关接口层，处于socket之下，驱动之上。只不过linux协议栈的这部分在核心态。 你说的包处理器，很多时候是不用linux内核协议栈的，而是用专用包处理程序，类似于DPDK加上层应用处理。通常会有些硬件加速器，包处理效率更高些。缺点是一旦用不上某些功能，那些加速器就白费了。而纯软件处理就非常灵活，不过代价就是功耗和性能。 纯DPDK性能非常高，intel自己给出的数据是，处理一个包80时钟周期。一个3.6Ghz的单核双线程至强，64字节小包，纯转发能力超过90Mpps，也就是每秒9千万包。 不知你有没有看出来，80周期是一个非常惊人的数字？正常情况下，处理器访问一下ddr3内存都需要200个周期，而包处理程序所需要操作的数据，是从pcie设备送到ddr内存的，然后再由处理器读出来，也就是说，通常至少需要200周期。为啥现在80周期就能完成所有处理？我查了下文档，发现原因是使用了stashing或者叫direct cache access技术，对于PCIe网卡发过来的包，会存在一个特殊字段。x86的pcie控制器看到这个字段后，会把包头自动塞到处理器的缓存，无序处理器来干预。由于包头肯定是会被读取的，这样相当于提前预测，访问的时间大大缩短。 如果加上linux socket协议栈，比如跑个纯http包反弹，那么根据我的测量，会掉到3000-4000周期处理一个包，单核双线程在2.4Mpps，每秒两百四十万包，性能差40倍。 性能高在哪？关键一点，DPDK并没有做socket层的协议处理，当然快。其他的，主要是使用轮询替代中断，还有避免核心态到用户态拷贝，并绑定核，避免线程切换开销，还有避免进入系统调用的开销，使用巨页等。 还有很关键的一点，当线程数大于12的时候，使用linux协议栈会遇到互斥的瓶颈，用性能工具看的话，你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket，改写内核协议栈，使包始终在一个核上处理，避免竞争等。缺点是需要经常自己改协议栈，且应用程序兼容性不够。 另外一个方法是使用虚拟机，每个特征流只在一个核处理，并用虚拟机隔绝竞争，底层用dpdk做转发，上层用虚拟机做包处理，这样保证了原生的linux协议栈被调用，做到完全兼容应用程序。不过这种方法好像还没有人做成开源的，最近似的是dpdk+虚拟交换机ovs的一个项目。 如果你只想要dpdk的高性能加tcp/ip/udp的处理，不考虑兼容性，那么还可以去买商业代码，我看了下供应商的网站介绍，纯转发性能大概在500-1000周期左右一个包。
零拷贝作用 : 在网络编程中 , 如果要进行性能优化 , 肯定要涉及到零拷贝 , 使用零拷贝能极大的提升数据传输性能 ;
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
本文介绍了 F-Stack 框架，它是一个基于 FreeBSD 内核的用户态协议栈实现，解决了传统内核协议栈在高性能、可扩展、兼容性、功能完备等方面的问题。F-Stack 提供了丰富的功能，包括零拷贝、无锁队列、内存池、红黑树等，支持多种调度算法，并提供了易用的接口。在性能测试中，F-Stack 的表现优异，最高达到了 2000 万 QPS，并支持多种网络协议，包括 HTTP、TCP、UDP、IPX 等。同时，F-Stack 也提供了丰富的开发文档和示例代码，方便开发者进行二次开发和功能扩展。
Docker的技术依赖于Linux内核的虚拟化技术的发展，Docker使用到的网络技术有Network Namespace、Veth设备对、Iptables/Netfilter、网桥、路由等。接下来，我将以Docker容器网络实现的基础技术来分别阐述，在到真正的容器篇章节之前，能形成一个稳固的基础知识网。
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。 随着软件的不断发展，在新世纪的第一个10年时，通过多线程和事件驱动（kqueue/epoll等）解决了C10K的问题。但是在第二个10年却不堪重负，亟需新的解
原文链接：https://blog.csdn.net/dog250/article/details/46666029
什么是虚拟化 虚拟化是指计算机元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。 几种虚拟化软件介绍 RedHat KVM 虚拟化方式：完全虚拟化 架构：寄居架构（linux内核）;祼金属架构RHEV-H 特点：祼金属架构RHEV-H或在关键的硬盘和网卡上支持半虚拟化VirtIO，达到最佳性能。 I/
作者Liam，海外老码农，对应用密码学、CPU微架构、高速网络通信等领域都有所涉猎。
当时有些地方写的比较笼统，然后我「把 Linux 接收+发送网络包的流程」这部分内容完善了下，现在重新分享给大家。
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。
网络接口层：定义数据帧（对电信号0/1进行的特定分组）、确认主机的物理地址（MAC地址），通过传输介质在网络上传输数据帧。网络接口有不同的实现方式，比如可以通过有线或无线的方式收发数据帧，不同的实现方式意味着不同的帧结构、传输速率等。
Netfilter是Linux内核中的一个数据包处理模块，它可以提供数据包的过滤、转发、地址转换NAT功能。Iptables是一个工具，可以用来在Netfilter中增加、修改、删除数据包处理规则。
为了使得多种设备能通过网络相互通信，和为了解决各种不同设备在网络互联中的兼容性问题，国际标标准化组织制定了开放式系统互联通信参考模型（open System Interconnection Reference Model），也就是 OSI 网络模型，该模型主要有 7 层，分别是应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层。
信息是如何通过网络传输被另一个程序接收到的？我们讨论的虚拟化网络是狭义的，它指容器间网络。
在云计算时代，虚拟机和容器已经成为标配。它们背后的网络管理都离不开一样东西，就是虚拟网络设备，或者叫虚拟网卡，tap/tun 就是在云计算时代非常重要的虚拟网络网卡。
在DPDK使用环境中，物理网卡收到的报文不再进入内核协议栈，而是直接到达DPDK应用。但是在有些场景中，用户希望把报文（如控制报文）再次发送至内核协议栈进行处理。报文从用户空间再次进入内核的过程在DPDK中称为exception path。
在 Linux 系统下，丢包是一个较为常见的问题。由于丢包导致的网络问题可能会给用户带来不好的体验，因此解决 Linux 网络丢包问题是必不可少的。本文将介绍如何在 Linux 系统下进行网络丢包排查。
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:
Kubernetes网络模型设计的一个基础原则是：每个Pod都拥有一个独立的IP地址，并假定所有Pod都在一个可以直接连通的、扁平的网络空间中。所以不管它们是否运行在同一个Node（宿主机）中，都要求它们可以直接通过对方的IP进行访问。设计这个原则的原因是，用户不需要额外考虑如何建立Pod之间的连接，也不需要考虑如何将容器端口映射到主机端口等问题。
最近使用tcpdump的时候突然想到这个问题。因为我之前只存在一些一知半解的认识：比如直接镜像了网卡的包、在数据包进入内核前就获取了。但这些认识真的正确么？针对这个问题，我进行了一番学习探究。
以前在研究 k8s 网络的时候，很多东西都看不太懂，只是蜻蜓点水过一下，这段时间打算恶补一下虚拟网络方面的知识，感兴趣的不妨一起探讨学习一下。
在上一篇文章中我们概括了k8s集群网络大致包含哪些方面，包括服务在网络中的负载均衡方式(iptable和ipvs)，以及underlay和overlay的组网。在这里我们介绍宿主内的容器网络，当然我们还是以docker环境为例，介绍docker宿主环境中的容器网络。
昨晚读了一篇Paper：https://penberg.org/parakernel-hotos19.pdf
现在很多人都在诟病Linux内核协议栈收包效率低，不管他们是真的懂还是一点都不懂只是听别人说的，反正就是在一味地怼Linux内核协议栈，他们的武器貌似只有DPDK。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
