关注我公众号比较久的人应该都看到过我经常会推一些好的播客内容,比较遗憾的是很多中文类的技术播客更新一段时间之后就停更了,或者间歇性停更或者永久「弃坑」。但不管怎么说,很多被记载、传播的音频还是有其价值的,我们需要更多的记录着真实开发者想法、经验、牢骚的声音。
这个系列的博客贴的都是我大二的时候学习Linux系统高级编程时的一些实验程序,都挺简单的。贴出来纯粹是聊胜于无。
k8s kubectl top命令和contained内部 ps 看到的进程内存占用不一致。下午的时候,我被这个问题问倒了。具体如图
栈区的内存由编译器自动进行分配和释放,栈区中存储着函数的参数以及局部变量,它们会随着函数的创建而创建,函数的返回而销毁。
结合eBPF监控关键性能指标,并使用strace追踪耗时的系统调用,从而定位和解决性能问题
本文将介绍如何在虚拟机软件VMware上安装Fedora Linux操作系统。Fedora是一个流行的Linux发行版,具有强大的社区支持和快速的应用程序更新。通过在VMware上安装Fedora,您可以在计算机上创建一个独立的虚拟机,以便进行学习、开发和生产等各种用途。主要有分为以下三大步骤:
导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀,与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师罗元国。 栈内存 栈区的内存由编译器自动进行分配和释放,栈区中存储着函数的参数以及局部变量,它们会随着函数的创建而创建,函数的返回而销毁。 每个goroutine都维护着一个自己的栈区,这个栈区只能自己使用不能被其他goroutine使用。栈区的初始大小是2KB。 栈内存
C/C++程序为编译后的二进制文件,运行时载入内存,运行时内存分布由代码段、初始化数据段、未初始化数据段、堆和栈构成,如果程序使用了内存映射文件(比如共享库、共享文件),那么包含映射段。Linux环境程序典型的内存布局如图1-5所示。
今年准备安安心心写一个协程库。一方面是觉得协程挺有意思,另一方面也是因为C/C++在这方面没有一个非常权威的解决方案。 按照我自己风格还是喜欢C++,所以协程库定名为 libcopp 。 源码托管在 github: https://github.com/owt5008137/libcopp 镜像托管 http://git.oschina.net/owent/distinctionpp
从事嵌入式研发行业十年,认为学习就是要不断的吸纳知识,在研发过程中,经常会遇到一些问题,这种发现问题并解决问题的过程就是进步。
本文环境是在腾讯云服务器CentOS7.2搭建的,JDK1.8,elasticsearch-5.4.2。
今天在36kr上看到曹老师的一篇文章‘程序员困境’,说的是作者的招聘经历 作者要招聘一个内核程序员的岗位,几十个人过来面试,都来自优秀的大公司,有些人在内核上开发的时间至少10年 但是绝大多数人都无法回答一个最基本的问题:当调用一个标准内存分配函数时,在内核中会发生什么? 当让一位应聘者写一个简单的基于glib库的LRU缓冲框架时,他表示压根没用过glib,作者给他看了相关API,并详细的介绍了API,一个小时之后,他仅写出了几行乱七八糟的代码 作者很不解,那些所谓的“高级”程序员,那些多年在大型公
本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。
从reddit/hackernews/lobsters/meetingcpp摘抄一些c++动态
遇到了一个 glibc 导致的内存回收问题,查找原因和实验的的过程是比较有意思的,主要会涉及到下面这些:
天下武功,无坚不摧,唯快不破!我的名字叫 Redis,全称是 Remote Dictionary Server。
进程启动后,在 jemalloc 载入的时候会调用 jemalloc_constructor 执行一些初始化操作。这里利用了编译器的一些特殊支持,让函数在库加载的时候就执行了,有兴趣的可以根据代码看看 jemalloc_constructor 做了些什么。
进互联网公司操作系统和网络库是基础技能,面试过不去的看,这里基于嵌入式操作系统分几章来总结一下任务调度、内存分配和网络协议栈的基础原理和代码实现。
作者2015年博士毕业加入一家量化私募公司,已经做了差不多四年系统工程师的工作。本文是根据这个岗位所用到的日常工作技能总结,希望对想进入这个行业的人有所帮助。由于作者非科班(博士管理科学专业)出身,工作中用的技术大多数通过自学获得,不足之处还请同行多包涵与指正,有好的学习资料希望不吝推荐!
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中,笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现:
算了吃啥午餐啊,我直接放大招,把我自己整理的所有操作系统八股文一次性放出来给大家好了!
以交友平台用户中心的user表为例,单表数据规模达到千万级别时,你可能会发现使用用户筛选功能查询用户变得非常非常慢,明明查询命中了索引,但是,部分查询还是很慢,这时候,我们就需要考虑拆分这张user表了。
一 自我介绍二 面试情况三 相关知识点汇总1 c/c++相关2 计算机网络3 数据结构相关4 数据库相关5 操作系统6 Linux基础知识及应用编程(后台必备!)7 大数问题8 手撕算法(递归非递归)9 针对项目相关10 场景题11 架构/分布式/中间件相关12 总结
上篇文章写完后,性能调优|成都核酸系统篇 收到了一些夸赞,让我有继续写下去的动力;
看了下面所有的回答,要么是没有回答到点上,要么是回答不够深入,所以,借助本文,深入讲解C/C++内存管理。
今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。
使用 malloc 函数申请内存原理 : " 堆内存 " 动态分配 的 系统调用 过程 ;
系统长时间运行之后,可用内存越来越少,甚至导致了某些服务失败,这就是典型的内存泄漏问题。这类问题通常难以预测,也很难通过静态代码梳理的方式定位。Heap Profiling 就是帮助我们解决此类问题的。
由于最近学习tensorflow的需要,tensorflow是在Linux环境下,使用的是Python。为了方便程序的调试,尝试在Windows下的Pycharm远程连接到虚拟机中Centos下的Python环境。(这里我采用的是ssh的远程连接)
hi,大家好,今天分享一篇内存性能优化的文章,文章用了大量精美的图深入浅出地分析了Linux内核slab性能优化的核心思想,slab是Linux内核小对象内存分配最重要的算法,文章分析了内存分配的各种性能问题(在不同的场景下面),并给出了这些问题的优化方案,这个对我们实现高性能内存池算法,或以后遇到内存性能问题的时候,有一定的启发,值得我们学习。
2017年末,手Q春节红包项目期间,为保障活动期间服务正常稳定,我对性能不佳的Ark Server进行了改造和重写。重编发布一段时间后,结果发现新发布的Svr的机器内存一直在上涨。如下图示:
导读|遭受内存泄露往往是令开发者头疼的问题,传统分析工具 gdb、Valgrind在解决内存泄露问题上效率较低。本文特别邀请到了 OpenCloudOS 社区 Contributor、腾讯后台开发工程师邢孟棒以 mysql-proxy 内存泄露问题作为分析对象,分享其基于 eBPF 动态追踪技术的通用内存泄露(增长)分析方法。
这篇文章是我在公司 TechDay 上分享的内容的文字实录版,本来不想写这么一篇冗长的文章,因为有不少的同学问是否能写一篇相关的文字版,本来没有的也就有了。
传统虚拟化技术与容器技术对比 1、传统的虚拟化技术 传统的虚拟化技术会在已有主机的基础上创建多个虚拟主机,然后在每个虚拟主机上安装独立的操作系统,并由虚拟主机的内核空间和用户空间来运行应用程序
iOS中主要是栈区(stack)、堆区(heap)、全局区/静态区(staic) ;
因为这是我被问的最频繁的问题,哎呀我的程序 OOM 了怎么办,我的程序内存超过配额被 k8s 杀掉了怎么办,我的程序看起来内存占用很高正常吗?
这篇文章是对 Linux 内存相关问题的集合,工作中会有很大的帮助。关注公号的朋友应该知道之前我写过从内核态到用户态 Linux 内存管理相关的基础文章,在阅读前最好浏览下,链接如下:
当各位读者看到本次文章的标题,你可能会比较熟悉堆、栈的用法,因为在你学完了c语言后,或多或少都会接触到一点数据结构(但是这里要讲的与数据结构里面的堆和栈还是有点差别的,本次分析这个是从内存分配的角度去看,不是从的数据结构特点去看,而且在笔试面试的时候,经常会遇到这种题目,让你说出他们的区别来。自己亲身体会,遇到了好几次)。后面的数据段、代码段、bss段,可能你平时没有怎么细心总结,现在你可能还真讲不出他们的区别来,不信的话,读者在看到这里可以先暂定一下,在自己以往写了那么多的代码,仔细回忆看看他们有啥区别,如果不知道也没关系,读者可以继续随着我笔步往下看,当你看完或许会发出这样的感叹,原来是这样啊。是的,确实是这样的,包括自身在写这篇文章开始之前,我也讲不出来他们的区别(这里是昨天一个网友在我自己建的一个技术交流群里。提出了一个关于数据初始化的问题,如下图,正如你所见这个可能比较简单,但是要理解这里面的知识点,还是要花点时间来总结一下的):
假设你已经通过《perf:一个命令发现性能问题》中的方法或者使用profiler分析,已经发现内存分配是性能瓶颈:
当初在开发的时候,发现DragonOS存在一些内存泄漏的问题,但是不清楚到底哪里产生了泄漏,也不清楚内核的内存分配过程。为了定位内存泄漏的问题,以及观测一些可能存在的性能问题,就实现了这个MMLog的组件,把每一次内存分配和释放都打到日志里面去,同时希望能在Linux下面启动一个监视器,去监控DragonOS虚拟机内的内存分配情况。
malloc动态内存分配函数原理详解及编程用法举例(本文由www.169it.com搜集整理)
在《你真的理解内存分配》一文中,我们介绍了 malloc 申请内存的原理,但其在内核怎么实现的呢?所以,本文主要分析在 Linux 内核中对堆内存分配的实现过程。
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
在内存管理的上下文中, 初始化(initialization)可以有多种含义. 在许多CPU上, 必须显式设置适用于Linux内核的内存模型. 例如在x86_32上需要切换到保护模式, 然后内核才能检测到可用内存和寄存器.
(外部)内存碎片是一个历史悠久的 Linux 内核编程问题,随着系统的运行,页面被分配给各种任务,随着时间的推移内存会逐步碎片化,最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。由于 Linux 内核支持虚拟内存管理,物理内存碎片通常不是问题,因为在页表的帮助下,物理上分散的内存在虚拟地址空间仍然是连续的 (除非使用大页),但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难,比如通过块分配器分配结构体对象 (在内核态很常见且频繁的操作),或对不支持 scatter/gather 模式的 DMA 缓冲器的操作等,会引起频繁的直接内存回收/规整,导致系统性能出现较大的波动,或分配失败 (在慢速内存分配路径会根据页面分配标志位执行不同的操作)。
之前写了两篇详细分析 Linux 内存管理的文章,读者好评如潮。但由于是分开两篇来写,而这两篇内容其实是有很强关联的,有读者反馈没有看到另一篇读起来不够不连贯,为方便阅读这次特意把两篇整合在一起,看这一篇就够了!
这部分将简要介绍下NUMA架构的成因和具体原理,已经了解的读者可以直接跳到第二节。
linux 内存是后台开发人员,需要深入了解的计算机资源。合理的使用内存,有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局,内存碎片产生原因和优化算法,linux 内核几种内存管理的方法,内存使用场景以及内存使用的那些坑。从内存的原理和结构,到内存的算法优化,再到使用场景,去探寻内存管理的机制和奥秘。
领取专属 10元无门槛券
手把手带您无忧上云