今天看到PG邮件列表里有非易失性内存在PG应用的讨论，做下记录，接着学习其补丁，如何将WAL buffer改造成非易失性buffer，以及和之前有和区别。该补丁是也是日本NTT公司提供。...通过将非易失内存（PMEM）替代DRAM，不需要将WAL记录写入WAL段文件即可将其持久化。减少了WAL拷贝和write事务的时间，从而提升数据库性能。...PMEM[1]可插到DIMM槽，具有快速、非易失、字节寻址的特性。已生产有该特性的产品。...非易失WAL buffer使PG适配PMEM，即像访问RAM一样直接访问PMEM，获得最大的效益。...我在今年的PGCon大会上提交了一个议题，评估分析非易失WAL buffer的性能。如果该议题被接收，我将在大会上和大家讨论该议题。
非易失性内存技术及数据库 内容 “2013年开始这个项目的研究，当时不确定非易失性内存技术是否可商用。...采访了《非易失性内存数据库管理系统》的作者：Joy Arulraj和Andrew Pavlo。谈论了非易失性内存NVM技术及NVM对下一代数据库系统的影响。 Q1：非易失性内存技术是什么？...Q2：基于易失性内存和持久内存的数据库管理系统有哪些潜在的变化？ Arulraj,Pavlo：现有的数据库管理系统分为两大类：1）面向磁盘；2）面向内存。...基于两层存储，用易失性的内存比如DRAM作为缓存，使用慢速、非易失的块设备作为持久存储器，比如SSD。这些系统基于一个悲观的假设：事务可以访问不在内存中的数据，为了访问磁盘上数据需要很长延迟。...Arulraj,Pavlo：NVM特性有： 1）可字节寻址：NVM和其他非易失性存储（仅支持以块为单位进行数据传输）不同，支持字节可寻址。 2）高速写负载：相比SSD，NVM写速度能高一个数量级。
内存速度非常快，但是同时也有一个特性就是易失性，当电源关闭时RAM不能保留数据。如果需要保存数据，就必须把它们写入一个长期的存储设备中（例如硬盘）。 硬盘虽然非易失性，但是速度非常慢。...所以硬盘和内存之间就有非常多的非易失性存储，一直在发展。...NVDIMM： non-volaitle dual inline memory module,一种集成了普通DDR RAM + 非易失性FLASH芯片的内存条。...相比其他介质的非易失性内存，NVDIMM已逐步进入主流服务器市场，micron，viking，AGIGA等国外内存厂商皆以推出自己的NVDIMM。...与现有高速非易失性存储方案之间的空白区域。
本文接着介绍checkpoint对WAL BUFFER的改造。改造函数CreateCheckPoint函数。
前文简要介绍了非易失性WAL buffer的PostgreSQL email，本文开始主要介绍其实现机制。...在启动时在函数XLOGShememInit中通过调用MapNonVolatileXLogBuffer在NVM介质上创建WAL BUFFER文件并映射到内存，这个动作由pmdk函数pmem_map_file...然后，由于CPU CACHE刷的无序性，需要调用nv_drain即pmdk函数pmem_drain确保CPU CACHE所有的东西都刷到NVM，本质上是个内存屏障。
但是CPU CACHE中的内容易失且刷写到NVM的时机和顺序都不受控制，所以为保证持久化及数据一致性需要调用命令clwb和sfence来确保。 优势：日志量少，轻量日志，恢复高效。...然而，页面在内存中仍然是页大小，消耗DRAM大小并没减少。本文又提出一种页结构min page。在内存中页面没有空洞。...页头信息新增count：表示该页面内存中有几个cache line；slot数组用来实现间接寻址，存储物理cache line ID。元组在内存中连续。...Mini page：检索请求cache line的slots，如果没有在内存，则加载到内存，然后添加到slot array。否则返回cache line上offset的指针。...只在DRAM中访问（读写）数据页，通过WAL日志确保持久性，当DRAM中数据页被驱逐时，根据数据冷热程度要么写入NVM，要么写入SSD。 也需要类似DRAM中的页表定位NVM中页。
本文接着介绍非易失性WAL buffer对StartupXLOG流程的改造。 ?
2）之后，若使用NVM WAL BUFFER并且非备机模式，readSource也不能是流复制，那么需要将日志源改为NVM WAL BUFFER 3）此时readSource为NVM WAL BUFFER...，读取大小设置为一页大小 4）XLogCtl->pages+targetPagePtr%NvWalSize为读取页的页头地址，调用memcpy将NVM的一页内存拷贝到readBuf中，并将时间线从该日志页第一个记录中解析出来
本文接上文接着介绍PreallocNonVolatileXlogBuffer的实现。
本文接上文介绍函数WaitForWALToBecomeAvailable打开WAL日志文件并切换日志源的实现。该函数不涉及关于NVM WAL BUFFER的修改...
本文提出了一种基于图的相似性搜索的新型算法，称为 HM-ANN。 该算法在现代硬件设置中同时考虑了内存异质性和数据异质性。...DRAM 是每个现代服务器中都能找到的硬件，其访问速度相对较快。...对于十亿规模的测试，包括以下方案：基于十亿规模量化的方法（IMI+OPQ 和 L&C），以及非压缩的方法（HNSW 和 NSG）。...结论 一种新的基于图的索引和搜索算法，称为 HM-ANN，将基于图的 ANN 搜索算法的分层设计与 HM 中的快慢内存异质性进行了映射。...Milvus 目前是 LF AI & Data 基金会的毕业项目，能够管理大量非结构化数据集。我们的技术在新药发现、计算机视觉、推荐引擎、聊天机器人等方面具有广泛的应用。
https://pmem.io/glossary/#programming-model
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。...目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为...傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable...特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理解为传统的加速性 SSD，后者则是分离一部分做易失性 DRAM，剩下的模块做存放软件和应用的 SSD。
非易失存储器（Non-Volatile Memory，NVM）是一种能够在断电后保持存储数据的计算机存储器。...半导体芯片内存储单元中的数据由电子器件来存储和读取。1.1 ROMROM（Read-Only Memory，只读存储器）：ROM是最简单的硅片存储器，通常在制造时被编程，用于存储固定的程序或数据。...它是一种基于块存储的存储器，通过内部的位线（wordline）和位于单元交叉点的选择性加电和阻断来实现读写操作。...CD-R（Compact Disc Recordable）：一次性写入型光盘，用户只能写入数据一次，容量通常为700MB。...DVD-R（Digital Versatile Disc Recordable）：一次性写入型光盘，容量通常为4.7GB或8.5GB。
摘要 非易失性内存的出现从根本上改变了数据库管理系统的内存和持久存储的架构。这些新型NVM设备具有堪比DRAM的速度，但是写到NVM设备后这些数据就具备了持久性。...减小SSD的尺寸同样会减小他的可靠性并增加干扰效应。电池支持的DRAM缓存等“权益之计”解决方案有助于缓解性能差异，但不能解决这些其他问题。 非易失性内存提供了两种存储介质。...非易失性存储设备比DRAM有几个数量级的读写延迟。数据库以块为单位访问非易失设备，而DRAM以字节访问。顺序和随机写性能差距比较大。...如果不能确保这个顺序，那么在系统重新启动后引擎不能回收未提交事务所消耗的存储空间，从而导致非易失性内存泄漏。在事务的所有更改都安全地保留后，引擎会截断日志。...与NVM-InP引擎类似，这个新引擎还是将WAL作为非易失性链表条目存储。当事务插入元组时，引擎首先将元组刷新到NVM，并将非易失性元组指针记录在WAL条目中。
非易失性数据库系统存储与恢复方法 摘要 非易失性内存的出现从根本上改变了数据库管理系统的内存和持久存储的架构。这些新型NVM设备具有堪比DRAM的速度，但是写到NVM设备后这些数据就具备了持久性。...减小SSD的尺寸同样会减小他的可靠性并增加干扰效应。电池支持的DRAM缓存等“权益之计”解决方案有助于缓解性能差异，但不能解决这些其他问题。 非易失性内存提供了两种存储介质。...如果不能确保这个顺序，那么在系统重新启动后引擎不能回收未提交事务所消耗的存储空间，从而导致非易失性内存泄漏。在事务的所有更改都安全地保留后，引擎会截断日志。...与NVM-InP引擎类似，这个新引擎还是将WAL作为非易失性链表条目存储。当事务插入元组时，引擎首先将元组刷新到NVM，并将非易失性元组指针记录在WAL条目中。...引擎使用第4.1节中描述的非易失性B+树作为MemTable索引。因此，重新启动时不需要重建索引。 恢复：事务提交时，事务执行的所有更改都会保留在内存组件中。
学习Excel技术，关注微信公众号： excelperfect 本文主要讲述何时及为什么要使函数具有易失性。 什么是易失性？...这些函数称为易失性函数，任何使用其中一个易失性函数的公式都是易失性公式。 Excel的智能重新计算引擎如何知道何时重新计算函数或公式？...1.使函数成为易失的 在函数代码中添加Application.Volatile，那么该函数总会重新计算： Function Depends(theCell As Range) Application.Volatile...theCell + _ theCell.Offset(0, 1) End Function 但这会减慢计算速度，因此一般来说这并不好，除非像RAND()或NOW()那样函数真的需要成为易失的...2.使用Ctrl+Alt+F9触发完全计算 如果按Ctrl+Alt+F9组合键，则Excel将重新计算所有打开的工作簿中的每个公式，无论更改了内容还是易失性的。 当然这可能非常慢。
NUMA 非一致性内存访问 NUMA架构设计图： ? 在NUMA中还有三个节点的概念： 本地节点： 对于某个节点中的所有CPU，此节点称为本地节点。 邻居节点：与本地节点相邻的节点称为邻居节点。...远端节点：非本地节点或邻居节点的节点，称为远端节点。...现在我们的服务器还有linux操作系统都是默认走NUMA模式。所以numa和cpu-pinning（cpu绑定）是密不可分的。...NFV对底层NFVI需支持将虚拟机的CPU和内存部署在同一个NUMA(Non Uniform Memory Access，非一致性内存访问)内，从而降低内存访问的时延 。...虚拟机NUMA亲和性：支持虚拟机numa亲和性策略,保证虚拟机vCPU、内存、直通网卡在同一NUMA节点，避免CPU访问远端内存导致业务时延大等问题 # numactl --hardware available
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
