Hash Index 是一种相对简单的索引结构。几乎每一种程序设计语言都有提供内存数据结构 hash map/table 的标准库，比如 C++ 中的 std::unordered_map、Python 中的 dictionary、Golang 中的 map。
ROP的全称为Return-oriented programming（返回导向编程），这是一种高级的内存攻击技术可以用来绕过现代操作系统的各种通用防御（比如内存不可执行和代码签名等）。通过上一篇文章栈溢出漏洞原理详解与利用，我们可以发现栈溢出的控制点是ret处，那么ROP的核心思想就是利用以ret结尾的指令序列把栈中的应该返回EIP的地址更改成我们需要的值，从而控制程序的执行流程。
技术雷达是什么 技术雷达是由 ThoughtWorks 技术战略委员会（TAB）经由多番正式讨论给出的最新技术趋势报告，它以独特的雷达形式对各类最新技术的成熟度进行评估并给出建议，为从程序员到CIO/
本文为《数据密集型应用系统设计》的读书笔记第一部分第三章的笔记整理，也是个人认为的这本书第一部分最重要的内容。本文将会针对目前数据库系统两个主要阵营进行展开，分别是采用日志型存储结构高速读写的LSM-Tree和面向OLTP的事务数据库BTree两种数据结构对比。
ST官方参考代码： https://github.com/STMicroelectronics/STMems_Standard_C_drivers/tree/master/lsm6dso_STdC，ST的传感器，基本都在这里能找到。 其他参考代码： https://github.com/arduino-libraries/Arduino_LSM6DSOX https://github.com/micropython-Chinese-Community/mpy-lib/tree/master/sensor/LSM6DSO。
虽然分为上下篇介绍，但两篇文章的内容之间比较独立，完全可以单独阅读。 下篇链接如下： lsm派系(不仅lsm tree)存储模型概述(下篇)
在当今信息时代，数据的存储和管理变得越来越重要。无论是云存储、数据库还是分布式文件系统，都需要高效的数据存储和检索方法。其中，LSM树（Log-Structured Merge Tree）是一种高性能的数据结构，广泛应用于各种分布式存储系统和数据库引擎中。本文将介绍LSM树的原理，并探讨其在不同使用场景中的应用。
随着数据量的增大，传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库，我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。
我猜，你读这篇文章，说明你已经对Linux安全模块（LSM）有所了解。如果你使用过SELinux或AppArmor，其实就已经用过LSM了。甚至，在你使用的Linux发行版本或Android系统之上，也使用了LSM。
以 Mysql、postgresql 为代表的传统 RDBMS 都是基于 b-tree 的 page-orented 存储引擎。现代计算机的最大处理瓶颈在磁盘的读写上，数据存储无法绕开磁盘的读写，纯内存型数据库除外，但由于内存存储的不稳定性，我们一般只将内存型的存储作为缓存系统。
这部分内容主要回答我们在文章开头提到的第二个问题。第二个问题展开其实是一连串的问题。例如：lsm派系难道只有lsm tree这一类存储模型吗？如果答案是否定的，那么除了lsm tree存储模型外，还有哪些lsm 模型？这些模型之间又有哪些相同点和差异点？
本文记录了对某发行版Linux中一个安全模块（LSM）的逆向过程，该LSM对系统中待运行的程序进行安全校验，数据流穿越内核态与用户态，涉及系统内核及系统服务。此LSM对系统安全性的增强效果明显，其设计思路值得防守方研究学习，可于个人终端或服务器安全防护中应用。特此对逆向内容记录，希望能为读者在终端防护方面拓宽思路，同时欢迎感兴趣的师傅们交流学习。
WiscKey 的提出，主要是为了优化 LSM-Tree 的写放大问题。此前已经有不少论文讨论过这个问题，如 LSM-trie 和 PebblesDB，但是大部分优化方法都不是很彻底——简单说就是，优化效果太差，或者不够通用。WiscKey 提出的是一种比较通用、效果明显且简单易懂的方法。
在有代表性的关系型数据库如MySQL、SQL Server、Oracle中，数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HBase、Cassandra、LevelDB、RocksDB中，则是使用日志结构合并树（Log-structured Merge Tree，LSM Tree）来组织数据。本文先由B+树来引出对LSM树的介绍，然后说明HBase中是如何运用LSM树的。
在评估和选型数据库的时候，人们往往将重点放在数据建模的灵活性，一致性保证，线性可伸缩性，容错性，低延迟，高吞吐量和易于管理等方面。但怎么才能评判出这些指标呢？很多人往往会网上一通搜索和看官方文档，再加上自己的“经验”来得出这些指标。
2006年，Google 发表了 BigTable 的论文。这篇论文提到 BigTable 单机上所使用的数据结构就是 LSM。
随着云服务基础架构以及微服务技术的日益成熟，很多大型系统能够分解为根据应用 workload 需求的多个子系统，再通过网络交互组装在一起协同工作。 Nova-LSM，一个将基于LSM-Tree的分布式KV 存储系统分解为使用RDMA进行通信的组件的工作。这些组件将存储与处理分开，使处理组件能够共享存储带宽和空间。处理组件将文件块 (SSTable) 分散到任意数量的存储组件中，并通过一定机制平衡它们之间的负载，在运行时动态构建范围以并行化压缩并提高性能。Nova-LSM 具有很好的可伸缩性，在一些场景下性
最近遇到两个问题,wriedtiger引擎到底支持不支持LSM tree , 2 为什么percona的mongodb Dump 了ROCKSDB 的数据库引擎.
LSM树(Log-Structured-Merge-Tree)的名字往往会给初识者一个错误的印象，事实上，LSM树并不像B+树、红黑树一样是一颗严格的树状数据结构，它其实是一种存储结构，目前HBase,LevelDB,RocksDB这些NoSQL存储都是采用的LSM树。
在使用QXDM打印高通sensor日志的时候，经常会发现有些赋予已经权限很高的log居然打印不出来，这就个代码的追踪带来了一系列困难，鉴于此，我研究了一下高通中log打印问题，给大家今后的使用带来一些经验。 在高通的关于日志的头文件定义中，许多日志是默认不打开的，研究代码：
在现代生物学研究领域，可视化和理解组织和生物体内复杂结构的能力至关重要。经过组织透明化和特定结构染色后的光片显微镜 (LSM) 提供了一种高效、高对比度和超高分辨率的方法，可用于可视化各种样本中的各种生物结构，例如细胞和亚细胞结构、细胞器和过程。在组织透明化步骤中，在保持样本完整性和标记结构荧光的同时，原本不透明的生物样本变得透明，从而使光线能够更深入地穿透组织。在结构染色步骤中，可以使用各种染料、荧光团或抗体来选择性地标记样本内的特定生物结构并增强其在显微镜下的对比度。通过与结构染色和组织透明化步骤相结合，LSM 为研究人员提供了前所未有的能力，能够以高空间分辨率可视化复杂的生物结构，为神经科学、免疫学、肿瘤学和心脏病学等各种生物医学研究领域提供新的见解。在不同的生物医学研究领域中，为了分析 LSM 图像，分割在识别和区分不同的生物结构方面起着关键且必不可少的作用。对于非常小规模的 LSM 图像，可以手动进行图像分割。然而，在整个器官或身体 LSM 情况下，手动分割非常耗时，单个图像可能有 10000^3 体素，因此对自动分割方法的需求很高。基于深度学习的分割方法的最新进展为 LSM 图像的自动分割提供了有希望的解决方案。虽然这些方法的分割性能与专家人类注释者相当，但它们的成功很大程度上依赖于从大量手动注释图像训练集中进行监督学习，这些图像特定于一种结构染色。然而，对各种 LSM 图像分割任务进行大规模注释提出了巨大的挑战。在这种情况下，自监督学习被证明是有利的，因为它允许深度学习模型在大规模、未注释的数据集上进行预训练，学习 LSM 图像数据的有用和通用表示。随后，该模型可以在较小的标记数据集上进行微调，以完成特定的分割任务。值得注意的是，尽管存在大量不同生物结构的 LSM 数据，但自监督学习尚未在 LSM 领域得到广泛探索。LSM 图像的一些特性（例如高信噪比）使数据特别适合自监督学习。
RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识：
在本系列的第三章中介绍了 clickhouse 通过 block 和 lsm 来减少磁盘读取的数据量。严谨的逻辑应该时 clickhouse 通过 lsm 算法来实现数据预排序，从而减少了磁盘读取的数据量，本章番外主要为读者介绍什么是 LSM 算法，对 LSM 算法已经有了解的读者可以跳过本章。
这张经典图片来自 Flink PMC 的 Stefan Richter 在Flink Forward 2018演讲的PPT
假设你已经了解了LSM内核安全模块，也知道如何使用它们加固系统的安全。但是，你还知道了另一种工具seccomp（Linux安全计算）。你可能非常想知道，LSM和Seccomp有什么区别？为什么不能将Seccomp设计为LSM模块？什么时候使用Seccomp？接下来，且听我娓娓道来。
哈希表 哈希表支持增、删、改、查操作，但是支持范围查找较差；因为哈希表特性，如果进行范围查找，一个范围的所有数据都必须经过哈希计算来查找对应的链表节点，这几乎是需要这个范围每一个数据都需要去哈希表中查找一次，性能比较差。 B+树 B+树支持增、删、改、查操作，并且很好支持范围查找，插入和查找性能均衡。 B+树的结构每个非叶子节点是数据索引，叶子节点是数据或者数据的指针。B+树叶子节点之间的连接可以实现高效的范围查询，例如innoDB存储引擎默认就是B+树结构. 传统的B+树读写相对比较均衡，但是当内存容
前言：最近在了解大数据实时分析技术druid,究其原理时发现用到了类LSM树思想以实现高效的数据插入，于是展开了对LSM的了解，了解之后感觉这东西虽然也并没有很特别，但在大数据、分布式架构中的应用还是非常有价值的，下面简单做下分享！
1. 概述 Log-Structured Merge-trees (LSM树)被广泛应用在现代NoSQL系统存储层中，比如：BigTable、Dynamo、HBase、Cassandra、LevelDB、RocksDB和AsterixDB等等。不同于传统的索引结构（比如B+树）更新时直接在所在位置进行修改，LSM树则先将数据直接写入到内存，然后通过合并线程将内存数据刷新到磁盘。这种设计有很多好处，包括：超高的写性能、不错的空间利用率、可优化性、简单的并发控制和恢复机制等。 2. LSM树的
笔者前段时间在学习数据结构时，恰好听说了 LSM Tree，于是试着通过 LSM Tree 的设计思想，自己实现一个简单的 KV 数据库。
LotusDB 是一个基于 LSM Tree 进行设计，并结合 B+ 树优势的单机 KV 存储引擎，读写性能稳定、快速。
虽然大家都是叫它 LSM 树，听着很像是一个树状的数据结构，但严格意义上，它是一种存储结构，全称 Log-Structured-Merge-Tree，即日志结构合并树
本项目是基于单片机设计的电子指南针，主要利用STC89C52作为主控芯片和LSM303DLH模块作为指南针模块。通过LCD1602液晶显示屏来展示检测到的指南针信息。
LSM树(Log-Structured-Merge-Tree)（日志结构合并树）是一种能够提升磁盘写入速度的数据结构，它通过将大量的磁盘随机写操作，转换为批量顺序写的方式来得到写入性能的提升。但是同时也牺牲了一部分的读性能
LSM-tree 在 NoSQL 系统里非常常见，基本已经成为必选方案了。今天介绍一下 LSM-tree 的主要思想，再举一个 LevelDB 的例子。
我在上篇文章 Apache Pulsar 的架构设计 中介绍了 Pulsar 存算分离的架构，其中 broker 只负责计算，由 BookKeeper 负责底层的存储，我还画了这样一张图说明 BookKeeper 读写分离的设计：
LSM-tree 是大数据时代一个经典的存储结构，是 Bigtable，Habse，LevelDB，RocksDB 等大数据存储的构建基础。LSM-tree 高效的设计建立在磁盘随机访问要比顺序访问慢两个数量级的基础上。但近年来 SSD 的大规模应用对此基础提出了挑战，而 WiscKey 正是基于 SSD 存储介质对 LSM-tree 的痛点：读写放大，进行了优化。
高性能事务系统应用程序通常在提供活动跟踪的历史记录表；同时，事务系统生成$日志记录，用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序，该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是，基于磁盘的标准索引结构（如B树）将有效地使事务的输入/输出成本翻倍，以实时维护此类索引，从而使系统总成本增加50%。显然，需要一种以低成本维护实时索引的方法。日志结构合并树（LSM树）是一种基于磁盘的数据结构，旨在为长时间内经历高记录插入（和删除）率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法，以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中，所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索（除了非常短的锁定期）。与传统访问方法（如B-树）相比，该算法大大减少了磁盘臂的移动，并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而，在某些情况下，需要立即响应的索引查找将失去输入/输出效率，因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如，这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。
LSM 树的这些特点，使得它相对于 B+ 树，在写入性能上有大幅提升。所以，许多 NoSQL 系统都使用 LSM 树作为检索引擎，而且还对 LSM 树进行了优化以提升检索性能。
本文约4000字，建议阅读5分钟本文介绍本组ICML 2023 科学学习方向的最新工作：Solving High-Dimensional PDEs with Latent Spectral Models。 摘要：针对高维PDE求解过程中的高计算复杂度与复杂映射拟合的难题，本文提出了隐谱模型（LSM），在理论保证下实现了复杂映射的高效、准确近似，并在广泛的固体、流体模拟任务上取得了一致最优结果。 作者：吴海旭，胡腾戈，罗华坤，王建民，龙明盛 链接：https://arxiv.org/pdf/2301.126
使用过hbase、cassandra之类nosql数据库的小伙伴对LSM树结构应该有所耳闻，那么这种数据结构有哪些优劣势呢，本文做下简单介绍。
十多年前，谷歌发布了大名鼎鼎的"三驾马车"的论文，分别是GFS(2003年)，MapReduce（2004年），BigTable（2006年），为开源界在大数据领域带来了无数的灵感，其中在 “BigTable” 的论文中很多很酷的方面之一就是它所使用的文件组织方式，这个方法更一般的名字叫 Log Structured-Merge Tree。在面对亿级别之上的海量数据的存储和检索的场景下，我们选择的数据库通常都是各种强力的NoSQL，比如Hbase，Cassandra，Leveldb，RocksDB等等，这其中前两者是Apache下面的顶级开源项目数据库，后两者分别是Google和Facebook开源的数据库存储引擎。而这些强大的NoSQL数据库都有一个共性，就是其底层使用的数据结构，都是仿照“BigTable”中的文件组织方式来实现的，也就是我们今天要介绍的LSM-Tree。
随着rocksDB（facebook的）,levelDB（google的），以及我们熟知的hbase，他们都是使用的LSM树结构的数据库。
随着使用数据库的深度和理解能力的提升，有一个问题硬件的提升,与数据量的变化是否对数据库底层的架构有冲击。 我们公认的BTREE B+TREE 是否还能面对现在的硬件的变化。
之前零零散散写过几篇和 LSM-Tree、LevelDB 有关的文章。之后也看了一些代码和论文，笔记也做了一些，但大都比较零乱、随意，没花功夫整理。
LSM Tree（Log-structured merge-tree）广泛应用在HBase，TiDB等诸多数据库和存储引擎上，我们先来看一下它的一些应用：
文档中的代码是用于在Arduino 上使用Micro ROS进行步数检测和活动识别的示例。
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
