官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/master/indices-shrink-index.html
IP层叫分片，TCP/UDP层叫分段。网卡能做的事（TCP/UDP组包校验和分段，IP添加包头校验与分片）尽量往网卡做，网卡不能做的也尽量迟后分片（发送）或提前合并片（接收）来减少在网络栈中传输和处理的包数目，从而减少数据传输和上下文切换所需要的CPU计算时间。
正是由于在实模式下直接对物理内存进行读写，非常不安全，所以诞生了新的内存分段的映射方式，其目的就是对物理内存进行保护，而对内存进行保护需要注意的是一下三点： 1.内存的起始地址。 2.内存的长度。 3.内存的权限信息。
在本文中介绍了支持Wi-Fi的802.11标准中的三个设计缺陷。 一个设计缺陷在帧聚合功能，另外两个缺陷在帧分段功能。这些设计缺陷使攻击者能够以各种方式伪造加密的帧，进而使敏感数据得以泄露。还发现了与聚合、分段相关的常见实现缺陷，这进一步加剧了攻击的影响。 本研究结果影响了从WEP一直到WPA3的所有受保护的Wi-Fi网络，这意味着自1997年发布以来，所发现的缺陷就一直是Wi-Fi的一部分。在实验中，所有设备都容易受到一个或多个本研究攻击的影响，确认所有Wi-Fi设备都可能受到影响。 最后，提供了一种工具来测试设备是否受到任何漏洞的影响，并讨论了防止攻击的对策（https://www.fragattacks.com ）。
__consumer_offsets：作用是保存 Kafka 消费者的位移信息 __transaction_state：用来存储事务日志消息
当容器终止时，容器引擎使用退出码来报告容器终止的原因。如果您是 Kubernetes 用户，容器故障是 pod 异常最常见的原因之一，了解容器退出码可以帮助您在排查时找到 pod 故障的根本原因。
这篇文章是对 Linux 内存相关问题的集合，工作中会有很大的帮助。关注公号的朋友应该知道之前我写过从内核态到用户态 Linux 内存管理相关的基础文章，在阅读前最好浏览下，链接如下：
kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是_。 比如创建一个名为firstTopic的topic，其中有3个partition，那么在 kafka 的数据目录（/tmp/kafka-log）中就有 3 个目录，firstTopic_0~3 多个分区在集群中多个broker上的分配方法
SIGSEGV，也称为分段违规或分段错误，是基于 Unix 的操作系统（如 Linux）使用的信号。它表示程序尝试在其分配的内存之外进行写入或读取，由于编程错误、软件或硬件兼容性问题或恶意攻击（例如缓冲区溢出）。
摘 要：本文通过解剖Linux操作系统的虚拟存储管理机制，说明了Linux虚拟存储的特点、虚拟存储器的实现方法，并基于Linux Kernel Source 1.0，详细分析有关虚拟存诸管理的主要数据结构之间的关系。
在 Kafka 的日志管理器中会有一个专门的日志删除任务来周期性地检测和删除不符合保留条件的日志分段文件，这个周期可以通过 broker 端参数 log.retention.check.interval.ms 来配置，默认值为300000，即5分钟。当前日志分段的保留策略有3种：
linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux 内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。
导语 linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux
本文涉及的硬件平台是X86，如果是其他平台的话，如ARM，是会使用到MMU，但是没有使用到分段机制； 最近在学习Linux内核，读到《深入理解Linux内核》的内存寻址一章。原本以为自己对分段分页机制已经理解了，结果发现其实是一知半解。于是，查找了很多资料，最终理顺了内存寻址的知识。现在把我的理解记录下来，希望对内核学习者有一定帮助，也希望大家指出错误之处。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
如上图所示、kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。
操作系统确实是比较难啃的一门课，至少我认为比计算机网络难太多了，但它的重要性就不用我多说了。
a) 如果当前连续内存块足够 realloc 的话，只是将 p 所指向的空间扩大，并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的
kafka依赖于ZooKeeper，如果以单机模式调试kafka，需要确保本机已经安装了ZooKeeper，并处于启动状态。
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
如果程序直接引用物理地址，可能导致内存只能使用一个程序。因为其他程序也运行的话，可能会直接占用前一个程序的物理地址。
与容器生态系统的成熟同时出现的还有Kubernetes，它是运行容器化应用程序编排器的实际标准。这种新的声明式和不可变的工作负载设计，为检测和响应的全新操作模型铺平了道路。
（1）Linux： Ubuntu 16.04 （2）Python: 3.5 （3）Hadoop：3.1.3（4）Spark: 2.4.0（5）Web框架：flask 1.0.3 （6）可视化工具：Echarts （7）开发工具：Visual Studio Code
com.jetbrains.cidr.execution.debugger.backend.gdb.GDBDriver$GDBCommandException: Error creating process /cygdrive/f/jdk8u/jdk8u/build/linuxR/jdk/bin/java, (error 193).
LRU是常见的缓存淘汰策略，用于分布式系统的缓存、页表置换等场景。然而，经典的哈希链表实现事实上并不是很好的实现策略。
Ping 是Windows自带的一个DOS命令。利用它可以检查网络是否能够连通，用好它可以很好地帮助我们分析判定网络故障。该命令可以加许多参数使用，键入Ping按回车即可看到详细说明。Ping 命令可以用来验证与远程计算机的连接。
ES在索引数据时会生成分段（segment，一个segment就是一个完整的lucene倒排索引），分段是不可变的，如果分段中的数据被删除了，实际上只是打了一个删除标志。ES在查询时依然会查询到分段中这些有删除标志的文件，但是在返回结果时会将其过滤。只有在合并分段时，这些文件才会被真正地物理删除，并释放被占用的内存。
许多人都认为Linux是最安全的操作系统，因此在对Linux的安全问题上也放松了警惕。那么事实真的如此吗？其实安全从来都只是相对的，Linux也不例外。虽然它加载了强大的安全机制，但仍可能受到来自各方面带来的安全威胁。本文我们主要将讨论有关Linux架构的主要利用技术，以及相关的安全防御措施。
写在前面：2020年面试必备的Java后端进阶面试题总结了一份复习指南在Github上，内容详细，图文并茂，有需要学习的朋友可以Star一下！ GitHub地址：https://github.com/abel-max/Java-Study-Note/tree/master
我们知道哈希表是一种非常高效的数据结构，设计优良的哈希函数可以使其上的增删改查操作达到 O (1) 级别。Java 为我们提供了一个现成的哈希结构，那就是 HashMap 类，在前面的文章中我曾经介绍过 HashMap 类，知道它的所有方法都未进行同步，因此在多线程环境中是不安全的。为此，Java 为我们提供了另外一个 HashTable 类，它对于多线程同步的处理非常简单粗暴，那就是在 HashMap 的基础上对其所有方法都使用 synchronized 关键字进行加锁。
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容：
随着信息技术的迅猛发展，网络安全已经成为当今社会一个不可忽视的领域。而在网络安全中，渗透测试作为一项核心活动，旨在评估系统和网络的安全性，发现潜在的漏洞和脆弱点。在这其中，Linux系统因其广泛的应用和高度可定制性，成为黑客和安全专业人员经常关注的对象。
很多小伙伴在学操作系统的时候，学习到内存管理的部分时，都会接触到分段内存管理、分页内存管理。
进程是资源分配的基本单位，线程是 CPU 调度的基本单位。进程拥有独立的地址空间，线程是共享内存地址的。进程切换的开销比线程要大。
Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。
目录切换：cd 切换到别的盘（例如D盘）d: 查看当前目录文件： dir（类似于linux下的ls命令） 创建文件夹 md 文件夹 删除文件夹 rd 文件夹 删除文件 del 文件
当第一次听到这个说法的时候确实有点惊讶。一直记得map容器底层红黑树会自动析构节点，并释放内存。在同事进行了代码验证，并百度了答案后，我也变得不确定起来了。
在日常开发中， 上述这种数据结构肯定不少见，因为golang的原生map是非并发安全的，所以为了保证map的并发安全，最简单的方式就是给map加锁。 之前使用过两个本地内存缓存的开源库， gcache, cache2go，其中存储缓存对象的结构都是这样，对于轻量级的缓存库，为了设计简洁（包含清理过期对象等 ) 再加上当需要缓存大量数据时有redis,memcache等明星项目解决。但是如果抛开这些因素遇到真正数量巨大的数据量时，直接对一个map加锁，当map中的值越来越多，访问map的请求越来越多，大家都竞争这一把锁显得并发访问控制变重。在go1.9引入sync.Map 之前，比较流行的做法就是使用分段锁，顾名思义就是将锁分段，将锁的粒度变小，将存储的对象分散到各个分片中，每个分片由一把锁控制，这样使得当需要对在A分片上的数据进行读写时不会影响B分片的读写。
对于输出的数据常常需要经过几层处理后才能拿到我们预期的结果，这个时候就需要用到管道命令"|"了。
vi是linux中最经典的文本编辑器,vi一共有3种工作模式,分别是命令模式,末行模式,编辑模式.打开文件首先进入的就是命令模式，是使用vi的入口。在命令模式按i进入编辑模式,按esc再退出到命令模式,输入:进入末行模式 vim 是从vi发展出来的文本编辑器, 支持代码补全、编译 及 错误跳转等方便编程的功能提别丰富, 在程序员中被广泛 使用, 被称为编辑器之神!
牛人整理分享的面试知识：操作系统、计算机网络、设计模式、Linux编程，数据结构总结
官方推荐一个ES节点最好是分配当前机器最大内存的50%，比如机器内存是16g，就分配8g给ES：-Xmx8g。
为了降低CPU利用率, 将更多的CPU释放给业务使用, 大多数现代操作系统都支持某种形式的网络卸载，其中一些网络处理发生在网卡 NIC 而不是 CPU 上, 它可以释放系统其余部分的资源, 这样操作系统就能处理更多连接, 提高整体性能.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
