实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
/dev是一个专门存放设备的目录，s代表sata就是串口，d代表disk磁盘，a代表第一块，b代表第二块…
再相对高效一点的方法是通过du的-d参数，或--max-depth，设置查询的目录深度，目录深度增加，所查询的目录，展示出来会很多，这个时候可以通过grep进行过滤
转载：运维研习社 如果我们的服务器配置了企业微信或者钉钉的报警,那么我们可能会收到如下的消息. image-20220117165235844 登录服务器，通过 df -Hl 查看 和告警信息一致，接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件？一种比较笨的方法是，在根目录下，通过 du -hs 命令，列出各目录所占空间大小 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过 du 的 - d 参数，或 --max-depth，设置查询的目录深度，目
原文地址：https://note.youdao.com/share/?id=08d7c57b04dda159c53155b00cbbe5cb&type=note#/ 容器的实现 容器本质上是把系统中
在日常工作当中，我们会不时借助脚本程序来处理一些重复性工作，以帮助我们提升工作效率。
adb ( Android Debug Bridge)是一个通用命令行工具，其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利，如安装和调试应用。
随着存储表格式 Apache Hudi、Apache Iceberg 和 Delta Lake 的发展，越来越多的公司正在这些格式的基础上构建其 Lakehouse，以用于许多用例，例如增量摄取。但当数据量增加时，更新插入的速度有时仍然是一个问题。
新建的MongoDB服务是无认证模式，即不需要用户名和密码就可以登录数据库。在有更好的认证方式（LDAP）前，用户名/密码是基本的认证方式。保持MongoDB服务的更新，并持续关注日志中是否有未经授权访问的迹象。
使用过hbase、cassandra之类nosql数据库的小伙伴对LSM树结构应该有所耳闻，那么这种数据结构有哪些优劣势呢，本文做下简单介绍。
美国东部时间5月8日，全球知名非营利性组织CNCF (Cloud Native Computing Foundation)在全球开源盛会“2017 OpenStack峰会”上宣布，腾讯云作为金牌会员正式加入CNCF基金会。 按照规则，基于企业会员对代码的贡献、贡献的标准和规范、为开源组织提供的支持等综合标准，CNCF基金会授予腾讯云金牌会员身份，同时基于腾讯云在Linux领域的积极贡献，腾讯云获CNCF基金会邀请加入Linux基金会。 腾讯云是国内最大的基于Kubernetes提供容器服务的公有云服务商
今天线上出现了一个inode耗尽的问题，最后通过清理磁盘上的小文件来解决问题。大概分享下inode的相关知识。
撸代码这么久，从之前简单的脚本，到单体应用，到最后的微服务，我们的应用总会因为各种奇奇怪怪的原因罢工，有些错误显而易见，而有些错误也会让人一时摸不到头脑。究其原因，还是需要加强自己的修养，多多总结，就能做到防患于未然。
Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql、php等等，开源软件的最大理念是自由、开放，那么linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是linux操作系统和应用程序的最佳结合。
零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
大家好，我是小义，今天来讲一讲redis的持久化机制。当我们在数字世界里寻找可靠性的保障，Redis的数据持久化便是守护的盾牌。Redis，这一高性能的内存键值存储数据库，以其独特的AOF和RDB持久化方案保证了即使在面临断电、系统崩溃等极端情况下数据也不会消失无踪，并且可以快速恢复。
突然浮现在脑海的素材，一定要毫无遗漏地、真实地记录下来，也就是要把自己的灵感做好笔记
总结来说，Memory表引擎适用于中小规模的数据处理，当数据集过大时，需要使用其他支持内存计算和磁盘存储的表引擎，并根据实际情况进行优化配置和查询优化。
容器平台最近发布有点问题，整个平台每日产生日志量大约在300GB ，filebeat采用sidecar的方式采集std管道内的日志；
作者：Linux云计算架构 链接：https://mp.weixin.qq.com/s/r8SvHyPKWUG1AwRIn9ah5w
许多经典的机器学习方法专注于如何利用可获得的数据来做出更准确的预测。最近，研究者们也开始关注其他重要的目标，比如怎样设计一个小巧、高效又鲁棒的算法。在这些目标的驱动下，一个自然的研究课题就是设计一个基于神经网络的系统，该网络可以高效地存储其中编码的信息。换句话说，也就是设计一种概括复杂深度网络处理输入的方法的简单机制（像「速写」（sketch）一样）。「神经网络速写」是一个被广泛研究的领域，可以追溯到 Alon、Matias 和 Szegedy 的奠基性工作「The space complexity of approximating the frequency moments」。这项工作中，研究者们使得神经网络可以高效地概括输入的信息。
5分钟40个想法怎么来的？——速写草图 【头脑风暴有用】 理想场景：大家围坐会议桌，脑洞大开，争先恐后发言，互相鼓励，互相激发，短短30分钟，好多好想法浮出水面。 【头脑风暴没用】 现实场景：你一发言就有人拍砖，他一出点子，一堆人提意见，出主意的人不敢畅所欲言，提意见的人摩拳擦掌，提想法的人寥寥无几。 8个人轮流说，第一个人说2分钟，大家评论5分钟，案主再解释5分钟，12分钟一个人。轮到第八个人，1.5小时过去了，激情都消散了。 好主意是怎样才能来？ 其中一个途径：是从大量主意里面挑出来，然后不断打磨出
文件如果在被某个进程打开后删除，还会存在文件系统中，只是标记为(deleted)状态。
Apache RocketMQ之JMS基本概念及使用：https://www.jianshu.com/p/d2e3fd77c4f4 Apache RocketMQ 基础概念及架构解析：https://www.jianshu.com/p/95ab928960b3 Apache RocketMQ 的基础特性介绍：https://www.jianshu.com/p/570680b32590 Apache RocketMQ 集群搭建（两主两从）：https://www.jianshu.com/p/b090138cf52c Apache RocketMQ 刷盘策略与复制策略: https://www.jianshu.com/p/d66b381428bb
内存： 大脑中的记忆区块，将皮肤、眼睛等所收集到的信息记录起来的地方，以供CPU进行判断。
在上一个文章中详细了介绍了什么是混沌工程以及混沌工程执行的原则，和混沌工程实验中数据库调用延迟，下来详细的介绍另外一个混沌实验，也就是云服务器磁盘被写满的情况的模拟实验和解决思路。
因为自己造一个RPC框架的轮子时，需要解决TCP的粘包问题，特此记录，希望方便他人。这是我写的RPC框架的 GitHub地址 https://github.com/yangzhenkun/krpc。 欢迎star，fork。已经写了多篇文章对这个框架的原理进行说明。对原理有兴趣的欢迎交流。
日常运维过程中，我们经常需要处理磁盘空间问题，当接到告警后，第一时间会去找那些大文件，一般比如centos，可能大文件就是 /var/log/messages。
发送时，Producer将不同topic的所有消息都会顺序写入Commit Log中，Broker端的后台服务线程—ReputMessageService不停地分发请求并异步构建ConsumeQueue（逻辑消费队列）和IndexFile（索引文件）数据，不停的轮询，将当前的consumeQueue中的offSet和commitLog中的offSet进行对比，将多出来的offSet进行解析，然后put到consumeQueue中的MapedFile中。 ConsumeQueue（逻辑消费队列）作为消费消息的索引，保存了指定Topic下的队列消息在CommitLog中的起始物理偏移量offset，消息大小size和消息Tag的HashCode值。而IndexFile（索引文件）则只是为了消息查询提供了一种通过key或时间区间来查询消息的方法（ps：这种通过IndexFile来查找消息的方法不影响发送与消费消息的主流程）。
昨天在自己的CentOS7机器上编译了JSONCPP库，然后根据api写了下面这个简单的测试程序。代码涉及了文件流数据读取和写入、jsoncpp库的读写api的使用。整个处理流程是先读取一个json格式文件的内容，然后把这些内容分别用jsoncpp库的Json::FastWriter（快速写入）和Json::StyledWriter（完整写入）这两个方式写入到两个文件中，最后读取这两个文件并输出。
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举之前针对Kafka的 IO 性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。
文件分为 内存文件 和 磁盘文件，内存文件 相关知识前面已经介绍过了，接下来谈谈 磁盘文件，这是一个特殊的存在，因为它不属于冯诺依曼体系，而是位于专门的存储设备中，因此 磁盘文件 存在的意义是将文件更好的存储起来，以便后续对文件进行访问。在高效存储 磁盘文件 这件事上，前辈们研究出了十分巧妙的管理手段及操作方法，而这些手段和方法共同构成了我们今天所谈的 文件系统
该文章介绍了群晖科技发布的DSM 6.2系统，该系统在存储空间管理、iSCSI服务、虚拟化技术等方面都进行了优化和更新，旨在为用户提供更加稳定、高效、安全的服务。同时，DSM 6.2还引入了Virtual Machine Manager（VMM）和Virtual DSM两个新功能，分别用于简化私有云架构和提供与Docker更兼容的容器环境。
接上一篇:【Graylog告警联动篇】部署webhook服务实现自动传参并自动执行shell脚本
日常运维过程中，我们经常需要处理磁盘空间问题，当接到告警后，第一时间会去找那些大文件，一般比如 Centos，可能大文件就是 /var/log/messages。
前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个python处理完的df数据怎么快速写入mysql数据库表中问题。问题如下：
大家好，我是本公众号的主持人，美团技术团队的程序员鼓励师美美。本文根据美团基础架构部/容器研发中心技术总监欧阳坚在2018 QCon（全球软件开发大会）上的演讲内容整理而成，讲述了美团容器平台架构设计，还有容器技术的实践。
我们知道，日常中我们的台式机、笔记本电脑上的磁盘都会有几百G的容量，这种磁盘一般都是机械磁盘，即使用一些精密的机械部件组成的磁盘。而近几年来，越来越多的笔记本电脑中内置了固态磁盘，固态磁盘又称SSD磁盘。
安装好 IntelliJ IDEA 后，进行如下的初始化操作，工作效率提升50倍。 安装插件 1. Codota 代码智能提示插件 只要打出首字母就能联想出一整条语句，这也太智能了，还显示了每条语句使用频率。原因是它学习了我的项目代码，总结出了我的代码偏好。 如果让它再加上机器学习，人工智能写代码的时代还会远吗？ 2. Key Promoter X 快捷键提示插件 每次都会在右下角弹窗提示，帮助我们快速熟悉快捷键。 3. CodeGlance 显示代码缩略图插件 当代码很多的时候，方便查看，很有用。
我在工作日每天有 3 个小时左右自由时间，周末主要的时间是带小孩，所以自由时间比工作日也多不了多少。写一篇已经确定主题的文章要 2 个小时。那么，我是怎么完成日更这看似不能完成的任务的呢？
本文介绍了多线程和并发的基本概念，以及常见的多线程服务器方案，如基于循环的迭代服务器、基于协程的并发服务器、基于事件驱动的非阻塞服务器和异步I/O服务器。作者还列举了一些常见的服务器应用场景，并给出了muduo库和Boost.Asio库的示例代码。
传统的文件系统，是直接访问存储数据的硬件介质的。介质不关心也无法去关心这些数据的组织方式以及结构，因此用的是最简单粗暴的组织方式：所有数据按照固定的大小分块，每一块赋予一个用于寻址的编号。
根据数据体量，结合集群各节点的CPU、内存、磁盘的表现，合理优化设置kudu参数，让集群飞起来~
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
今天介绍《C-Store: A Column-oriented DBMS》，这篇文章是VLDB 2005的，作者 Mike Stonebraker，2015年图灵奖获得者。这篇文章很硬，是一个内容很丰富的系统论文，今天只介绍其中几个部分。
上一篇了解了RocketMQ消息发送，本文开始聊聊消息发送到Broker端后，消息存储相关的逻辑。
关于磁盘空间中索引节点爆满的问题还是挺多的，借此跟大家分享一下： 一、发现问题 在公司一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。 二、分析问题： 后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。 [root@bastion-IDC ~]# df
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
