在学校的时候泛泛读过一遍 apue,其中的部分知识只是有个大概印象，其实我个人对底层技术还是有热情和追求的 哈哈，打算把经典的书籍结合遇到的场景重读一遍，先拿 Linux 文件系统练习下。代码参考的是Linux早期的代码，没有现代内核的高级特性，VFS这部分只有介绍。
大家好，今天给大家分享一下我个人学习Linux内核的总结，由于新的内核版本太过于庞大，说实话，啃不动，然借鉴前人的建议，故开始从早期的Linux0.11版本开始学习。
链接: https://pan.baidu.com/s/1wtec1_UlBA1wxwNeMyFBOw 密码: 7j1l
在 “Linux 发布 5.1, Linux Lab 同步支持” 一文中，首次得知了 Linux 移除 a.out 格式的消息，这个消息着实令人感叹，因为 a.out 伴随 Linux 的诞生至今在 Linux 中有将近 ~28 年的历史，而 a.out 本身则要追溯到更早的 Unix 时代。
以内核代码 v0.11 和 v3.4.2 版本源码对 Linux 内核相关知识进行学习，由浅入深逐步掌握 Linux 内核。本文记录 Linux 操作系统结构与功能流程的学习。
top - 18:14:58 up 112 days, 1:35, 1 user, load average: 0.00, 0.10, 0.11
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/50575588
----时间过得好快，不知不觉又到了周末了。记得上周发的文章，有前辈帮忙指出了一些需要改进的地方-----在手机上看代码不是很好，还有就是文章的字体比较小，看的比较累（这里非常感谢前辈们提出的不足之处），在往后我想把示例代码还是写到文章里，再把源码传到github上，感兴趣的朋友到时候可以去github上下载源代码看。好了，废话不多说，进入今天的主题-------linux系统如何管理文件系统？其实说到这里，记得在学校的时候，学过一段时间的文件管理，那个时候还是第一次接触linux，但是接触的是Linux运维方面的知识，学的很浅；通过这几天再次对文件管理的学习，让理解的更深，现在总结分享出来给大家：
Linux 相关的开源技术对于学生来说，特别是计算机专业的学生来说，非常重要，下面就几个方面进行讨论：
👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.
第一种方法纵向或者横向来读都可以，因为代码量不是很大。《linux内核完全剖析》《linux内核完全注释》是引导你横向阅读的书，《linux内核设计的艺术》是引导你纵向阅读的书。建议横向纵向结合着来，纵向跟着bochs调试工具来是必不可少的，当遇到问题时进入到相应的功能模块横向拓展一下。
Linux内核分为CPU调度、内存管理、网络和存储四大子系统，针对硬件的驱动成百上千。代码的数量更是大的惊人。
觉得挺有意思的，所以顺手回答了下，同时也发到我的公众号上来，这篇文章纯碎是记流水账，也没什么干货。
作者简介： 王建峰，对于技术方向（主要是嵌入式领域的OS方向的系统应用）感兴趣，最近在学习操作系统基础。同时也是某芯原厂的驱动工程师，主要是gpu领域的驱动软件。https://gitee.com/hinzer/blog 1 概念介绍 1.1 什么是操作系统？ 1.2 如何理解中断机制？ 1.3 如何理解系统定时？ 1.4 如何理解进程控制？ 1.5 如何理解内存管理？ 1.6 如何理解堆栈概念？ 1.7 内核在源码中的体现？ 1.8 如何理解系统调用？ 1.9 如何理解特权级？ 2 流程分析 2.1 引导
最近又在研读操作系统方面的东西，回顾了我从一开始学习操作系统至今的整个历程，大致分为了几个阶段：
start_kernel是内核启动阶段的入口，通过单步调试，可以发现它是linux内核执行的第一个init，我们单步进入看看它做了哪些操作：
许多人认为 10 月 5 日是 Linux Kernel 的周年纪念日，因为这是 Linux 项目在 1991 年首次对外公开发布的时间。
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
不知道大家有没有产生过一个疑问：从给 Linux 服务器按下开机电源按钮后到启动成功的一段时间里，在这中间 Linux 操作系统都做了哪些事情？
本周特推选取了一个画风有点意思的 Linux 代码带读项目 flash-linux0.11-talk，希望有趣的文风能带你读完 Linux 代码。当然画风可以增加阅读体验，彩色标记也是一种学习方法——annotated_latex_equations 手把手教你学各种各样彩色的公式注释，那色彩就像是 GitHub 移动端新支持的快捷键功能的配色，非常的赞。
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
想写一个系列的文章，逐步介绍文件系统的实现原理。采用的是linux0.11版本。这是第一篇文章。首先介绍一下文件系统的基础数据结构。这是后面的基础，需要先熟悉。所谓数据结构决定算法。
iostat主要用于监控系统设备的IO负载情况，iostat提供了丰富的参数给我们查询各种维度的io数据, iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。
本文讲解系统的进程管理相关内容，系统的进程管理是有关系统的所有进程的调度、排序、分配资源、创建、销毁等，是比较重要的内容。
因为spark的群起命令会和hdfs的命令冲突，所以spark执行命令时使用绝对路径。
摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：
vdbench是一个 I/O 工作负载生成器，用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具，容易使用，而且常常用于测试和基准测试。
假设这里文件在磁盘上都是连续存放的，此时有一个test.c文件，占据了6,7,8三个盘块的位置。
[注: 转载自今日头条号"闪念基因"] 在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
这篇文章改编自2017年柏林Flink Forward上Piotr Nowojski的演讲。你可以在Flink Forward Berlin网站上找到幻灯片和演示文稿。
注：与本系列博客同时同步的还有后面需要学习和研究的FreeRTOS和linux0.11-linux1.0内核代码VV的Linux操作系统内核笔记系列，即使笔者已经自己写了个操作系统了，但是为了能够使博客能读懂，笔者需要把每一个lab和代码打出来做出解释同时笔者也有自己繁重的学习和工作（本科狗），所以进度会非常非常慢
操作系统对内存的使用是按段的，例如: 我们编写的一个程序被操作系统加载到内存是按照数据段，代码段等形式分段载入。而操作系统自身的代码也是按段载入的，为了确保安全性，我们用户编写的程序是不能直接访问操作系统的相关段的，因此需要给不同段赋予不同的特权级。
上节 从一个简单的汇编程序学习汇编程序的结构以及编译链接的过程中，打印hello world的汇编程序的详细解释为：
[Apache Flink]2017年12月发布的1.4.0版本开始，为流计算引入里程碑特性：TwoPhaseCommitSinkFunction。它提取了两阶段提交协议的通用逻辑，使得通过Flink来构建端到端的Exactly-Once程序成为可能。同时支持：
Linux中的sar命令是系统运行状态的统计命令，他讲指定的操作系统状态显示到标准的输出设备中，它的全称是system activity reporter，它可以从多个方面对系统的活动进行报告，包括但不限于：系统磁盘的io状况，cpu当前的效率值，内存使用的情况，进程活动以及文件读写情况等。
mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数，但是并没有深入理解mmap在操作系统内部是如何实现的，原理是什么。
如果需要多个进程合作来完成某个任务，那个可能会存在资源争用或者其他一些意想不到的问题，这个时候，就需要通过实现进程同步来防止问题的产生。
最近逛开源社区，发现一个开源项目 flash-linux0.11-talk 把学习操作系统源码，写成了一部小说，把内核当小说看，挺爽的。
一、Linux内核概览 Linux是一个一体化内核（monolithic kernel）系统。 设备驱动程序可以完全访问硬件。 Linux内的设备驱动程序可以方便地以模块化（modularize）的形式设置，并在系统运行期间可直接装载或卸载。 1. linux内核 linux操作系统是一个用来和硬件打交道并为用户程序提供一个有限服务集的低级支撑软件。 一个计算机系统是一个硬件和软件的共生体，它们互相依赖，不可分割。 计算机的硬件，含有外围设备、处理器、内存、硬盘和其他的电子设备组成计算机的发动机。 但是没有软件来操作和控制它，自身是不能工作的。 完成这个控制工作的软件就称为操作系统，在Linux的术语中被称为“内核”，也可以称为“核心”。 Linux内核的主要模块（或组件）分以下几个部分： . 进程管理（process management） . 定时器（timer） . 中断管理（interrupt management） . 内存管理（memory management） . 模块管理（module management） . 虚拟文件系统接口（VFS layer） . 文件系统（file system） . 设备驱动程序（device driver） . 进程间通信（inter-process communication） . 网络管理（network management . 系统启动（system init）等操作系统功能的实现。 2. linux内核版本号 Linux内核使用三种不同的版本编号方式。 . 第一种方式用于1.0版本之前（包括1.0）。 第一个版本是0.01，紧接着是0.02、0.03、0.10、0.11、0.12、0.95、0.96、0.97、0.98、0.99和之后的1.0。 . 第二种方式用于1.0之后到2.6，数字由三部分“A.B.C”，A代表主版本号，B代表次主版本号，C代表较小的末版本号。 只有在内核发生很大变化时（历史上只发生过两次，1994年的1.0,1996年的2.0），A才变化。 可以通过数字B来判断Linux是否稳定，偶数的B代表稳定版，奇数的B代表开发版。C代表一些bug修复，安全更新，新特性和驱动的次数。 以版本2.4.0为例，2代表主版本号，4代表次版本号，0代表改动较小的末版本号。 在版本号中，序号的第二位为偶数的版本表明这是一个可以使用的稳定版本，如2.2.5; 而序号的第二位为奇数的版本一般有一些新的东西加入，是个不一定很稳定的测试版本，如2.3.1。 这样稳定版本来源于上一个测试版升级版本号，而一个稳定版本发展到完全成熟后就不再发展。 . 第三种方式从2004年2.6.0版本开始，使用一种“time-based”的方式。 3.0版本之前，是一种“A.B.C.D”的格式。 七年里，前两个数字A.B即“2.6”保持不变，C随着新版本的发布而增加,D代表一些bug修复，安全更新，添加新特性和驱动的次数。 3.0版本之后是“A.B.C”格式，B随着新版本的发布而增加,C代表一些bug修复，安全更新，新特性和驱动的次数。 第三种方式中不使用偶数代表稳定版，奇数代表开发版这样的命名方式。 举个例子：3.7.0代表的不是开发版，而是稳定版！ linux内核升级时间图谱如下:
在工作环境中有一台gc的服务器，已经好几年没有动过了，上面安装着gc的服务和数据库，也就说gc里面的HttpServer，数据库,webcache都在这台服务器上。 大家在访问gc的时候，感觉有些时候访问很慢，尽管是内网，但是还是有很大的延迟的感觉，大家认为可能是监控的机器比较多了，也就没有在意，今天我抽空查看了下这台机器，还是发现了一些问题。 首先看看gc的服务是否正常。我们也可以使用opmn来检测。 $ ./opmnctl status Processes in Instance: Enterpri
嵌入式学习是一个循序渐进的过程，如果是希望向嵌入式软件方向发展的话，目前最常见的是嵌入式Linux方向，关注这个方向，我认为大概分3个阶段： 1、嵌入式linux上层应用，包括QT的GUI开发 2、嵌入式linux系统开发 3、嵌入式linux驱动开发 嵌入式目前主要面向的几个操作系统是，LINUX，WINCE、VxWorks等等 Linux是开源免费的，而且其源代码是开放的，更加适合我们学习嵌入式。 你可以尝试以下路线： (1) C语言是所有编程语言中的强者，单片机、DSP、类似ARM的种种芯片的编程都
在执行sys_fork的时候，可能会引起切换，例如: 如果产生了阻塞或者时间片到期了
昨天晚上回家后突然在朋友圈发了个问卷，看下国内大学第一门语言到底有多少是用的 C 语言。
Linux文件系统通常是Linux操作系统的一个内置层，用于处理存储的数据管理。它有助于在磁盘存储上安排文件。它管理文件名、文件大小、创建日期以及有关文件的更多信息。如果我们的文件系统中有不支持的文件格式，我们可以下载软件来处理它。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/50615579
setuptool管理python相关的包 一、介绍 setuptool管理python相关的包的工具。这些包是zip格式发布，但是后缀一般都是.egg setuptool能解决python包的依赖关系 setuptool安装的包默认安装到/usr/local/lib/pythonX.X/site-packages/目录下 下载包默认到http://pypi.python.org/pypi下载 pypi为Python PackageIndex 二、安装setuptool工具 1、rhel/centos #yum -y install python-setuptools 2、freebsd #cd /usr/ports/devel/py-setuptools && make install clean 3、debian/ubuntu #sudo apt-get install python-setuptools 以上使用系统包管理系统安装后需要更新一下： # easy_install -U setuptools 4、通用方式 Download ez_setup.py , and then run: ez_setup.py -Zf http://peak.telecommunity.com/snapshots/ RuleDispatch #fetch http://peak.telecommunity.com/dist/ez_setup.py #python2.7 ez_setup.py python2.7指定版本号，以表示setuptool使用的python版本。未指定版本则使用默认，也表示默认安装的版本是最新版本。 这一约定方便，旧版本也可以继续使用 三、通过easy_install安装python包 (一)普通安装 #easy_install Babel (二)安装本地或网络文件系统中安装egg文件 #easy_install /net/src/eggs/py2.5.egg (三)指定包的下载路径安装 #easy_install http://trac-hacks.org/svn/iniadminplugin/0.11/ #easy_install http://trac-hacks.org/svn/accountmanagerplugin/trunk (四)从URL源码包安装 #easy_install http://pypi.python.org/simple/asp/asp-0.1.2.4.tar.gz 条件asp-0.1.2.4.tar.gz包中的根目录中必须包括setup.py文件 (五)web上面搜索包，并自动安装 # easy_install -f http://pypi.python.org/simple/ asp (六)指定包的版本 # easy_install asp==0.1.2.1 如果指定的版本高于现有已安装的保本就是升级了 (七)升级包 升级到最新版本（不指定版本就会升级到最新版本 # easy_install -U asp 升级到指定版本 # easy_install -U asp==0.1.2.2 四、认证和配置文件 1、有些需要认证的python站点 easy_install -f http://uid@password@pypi.python.org/simple/packages 2、使用配置文件定义下载的站点和安装的目录 配置文件位置 当前目录/setup.cfg 或当前目录/.pydistutils.cfg 配置文件内容 find-links=http://pypi.python.org/simple/ #特定搜索包的URL allow=*.python.org #搜索的域名 install_dir=/src/lib/python #这个目录需要在PYTHONPATH中 (sys.path) 更多帮助请看easy_install --help
文件系统是在存储磁盘或分区上命名，存储，检索和更新文件的方式。文件在磁盘上的组织方式。
Linux 文件系统是 Linux 操作系统中的重要组成部分，它是文件和目录的组织方式，为用户提供了一个良好的管理和访问文件的方式。Linux 文件系统具有以下特点：
在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
