为什么` `fork()`在我的测试程序中没有显示cow？

fork()是一个系统调用，用于创建一个新的进程。在调用fork()时，操作系统会创建一个新的进程，该进程是原始进程的副本，包括代码、数据和资源等。这个新的进程称为子进程，原始进程称为父进程。

Copy-on-Write（COW）是一种优化技术，用于在fork()操作中减少内存的复制。当调用fork()时，操作系统并不立即复制父进程的内存给子进程，而是将父进程的内存页标记为只读。只有当父进程或子进程试图修改这些内存页时，操作系统才会复制这些内存页。

在你的测试程序中，如果没有显示COW，可能有以下几个原因：

内存页没有被修改：如果父进程和子进程都没有修改共享的内存页，操作系统就不会执行COW操作。因此，如果你的测试程序没有对共享内存进行修改，就不会显示COW。
操作系统的优化：一些操作系统可能会对fork()进行优化，例如使用写时复制技术的变种或其他内存管理技术。这些优化可能会导致COW不被显示。
测试程序的特殊性：你的测试程序可能不涉及到需要进行COW的内存操作。COW通常在父进程和子进程之间共享大量内存时才会发生。

总之，如果你的测试程序没有显示COW，可能是因为没有对共享内存进行修改，操作系统进行了优化，或者测试程序的特殊性导致COW不被显示。

腾讯云相关产品和产品介绍链接地址：

腾讯云计算服务：https://cloud.tencent.com/product/cvm
腾讯云数据库：https://cloud.tencent.com/product/cdb
腾讯云服务器运维：https://cloud.tencent.com/product/cvm
腾讯云音视频处理：https://cloud.tencent.com/product/mps
腾讯云人工智能：https://cloud.tencent.com/product/ai
腾讯云物联网：https://cloud.tencent.com/product/iotexplorer
腾讯云移动开发：https://cloud.tencent.com/product/mobdev
腾讯云存储：https://cloud.tencent.com/product/cos
腾讯云区块链：https://cloud.tencent.com/product/baas
腾讯云元宇宙：https://cloud.tencent.com/product/vr

写时复制（Copy-on-write，简称COW）是一种计算机程序设计领域的优化策略。其核心思想是，如果有多个调用者（callers）同时请求相同资源（如内存或磁盘上的数据存储），他们会共同获取相同的指针指向相同的资源，直到某个调用者试图修改资源的内容时，系统才会真正复制一份专用副本（private copy）给该调用者，而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的。此作法主要的优点是如果调用者没有修改该资源，就不会有副本（private copy）被创建，因此多个调用者只是读取操作时可以共享同一份资源。

COW fork() creates just a pagetable for the child, with PTEs for user memory pointing to the parent’s physical pages. COW fork() marks all the user PTEs in both parent and child as not writable. When either process tries to write one of these COW pages, the CPU will force a page fault. The kernel page-fault handler detects this case, allocates a page of physical memory for the faulting process, copies the original page into the new page, and modifies the relevant PTE in the faulting process to refer to the new page, this time with the PTE marked writeable. When the page fault handler returns, the user process will be able to write its copy of the page.

前段时间，由于太多的因素造成redis故障, 负面影响较大。复盘后决定将内存超出内存一半就需要告警，便于运维人员及时介入处理。网上这种redis规划内存预留一半的文章汗牛充栋(https://cloud.tencent.com/developer/article/1095192)。真实的情况下，真的需要预留下一半的内存吗？搞清楚这个问题，需要弄清楚2个事情: 1. Redis bgsave/AOF重写的运行机制。 2. Linux下的进程内存分布以及redis内存管理机制。先说问题1: 1.redis跟内存相关的运行机制莫过于rdb持久化/AOF重写/内存剔除策略(高版本redis还存在着内存碎片整理的配置选项), 其中AOF重写和rdb持久化都属于fork子进程来完成的。本次就以rdb持久化为例，rdb的持久化可以由持久化的配置策略或者命令行bgsave或者主从全同步触发。redis在做bgsave的时候，fork出子进程来做bgsave。具体的过程如下: rdbSaveBackground()中fork子进程 ---> rdbSave() ---> rdbSaveRio()。fork后子进程拥有和父进程一模一样的进程空间，虽然采用了COW机制(父子进程的虚拟内存指向相同的物理page)，但是ps或者top命令中的RSS显示的值都会算成自己进程所占的物理内存，这个可能是很多运维同学/DBA同学经常可以眼见的现象，恐怕这个就是潜意识里需要内存预留一半的重要因素。

前言： redis启动的时候，可能会提示“WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.” redis的作者antirez的解释：http://ntireza.com/news/84 在stackoverflow上也能找到类似的问题，在执行bgsave的时候，redis的latency监控能看到明显的突刺。作者看到这个问题后，比较担心THP对虚拟化产生影响，于是做了对比实验，以及分析了这个突刺问题发生的原因。分析： 1，THP 前文《[linux][memory]hugetlb和hugepage技术分析》中提到了透明大页，在复现bgsave引起的latency突刺问题的时候，关闭THP的情况下，依然可以复现到突刺现象。鉴于这种情况，先来关闭THP，分析一下bgsave对redis的影响。 2，复现现象关闭THP：echo never > /sys/kernel/mm/transparent_hugepage/enabled 启动redis-server：redis-server /etc/redis.conf 启动压测：redis-benchmark -t set -n 1000000 -r 1000000 -d 1024 -l 抓取latency数据：while (true); do redis-cli --latency >> latency.log; done 抓取redis的major和minor fault数据：while (true); do ps -o majflt,minflt -p 16321 >>flt.log ; sleep 1; done 启动bgsave：redis-cli bgsave 停止抓取数据，处理 latency.log 执行：cat latency.log | awk '{print $3}' | tr "\n" "," 处理后的数据画图分析：

这三个函数的作用都是给文件加锁，那它们有什么区别呢？首先flock和fcntl是系统调用，而lockf是库函数。lockf实际上是fcntl的封装，所以lockf和fcntl的底层实现是一样的，对文件加锁的效果也是一样的。后面分析不同点时大多数情况是将fcntl和lockf放在一起的。下面首先看每个函数的使用，从使用的方式和效果来看各个函数的区别。 1. flock 函数原型 int flock(int fd, int operation); // Apply or remove an advisory

011

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

为什么` `fork()`在我的测试程序中没有显示cow？

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐