谈到数据仓库， 必然都会涉及海量历史数据， 但是对于历史数据有个共识， 就是越近的数据访问频率越高， 越久远的数据访问频率越低。
与MYSQL 不一样，开源XTRABACKUP 的备份软件无法跟上MYSQL 版本的更迭，PG 这点做的是一贯的好。从来没有让人失望过。
简单的方法是两者都做，例如以柱状和行状两种格式存储数据。通过这种方式，用户可以访问其中之一，或者其他更有意义的。当然，这个选择是有代价的。在这种情况下，数据需要存储两次——将优点和缺点结合起来。
表压缩 数据库能使用表压缩来降低存储空间。压缩技术可以节省磁盘空间，降低数据库buffer cache的内存使用量，在一些场景下，还会提高检索执行的速度。表压缩对数据库应用来说是透明的。
腾讯云数据库TDSQL与中国人民大学最新联合研究成果被SIGMOD 2022接收并将通过长文形式发表。SIGMOD是国际数据管理与数据库领域顶尖的学术会议之一，腾讯云数据库TDSQL论文已连续多年入选VLDB、SIGMOD、ICDE等国际顶级会议。 本次入选论文题目为：CompressDB: Enabling Efficient Compressed Data Direct Processing for Various Databases。论文针对压缩数据的直接操作与处理，提出一项新型数据库处理技术——Co
因服务器突然断电原因导致Xen Server服务器中一台VPS（即Xen Server虚拟机）不可用，虚拟磁盘文件丢失，通过电话联系北亚数据来进行恢复。硬件环境是Dell 720服务器配戴一张H710P的RAID卡，由4块希捷2T STAT硬盘组成的RAID 10，上层环境是Xen Server 6.2版本操作系统，虚拟机是Windows Server 2003系统，10G系统盘 + 5G数据盘两个虚拟机磁盘，上层是Web服务器（ASP + SQL 2005的网站架构）。 【数据恢复过程】 将客户数据盘以磁盘底层扇区的方式镜像到备份空间上后，仔细分析底层数据发现Xen Server服务器中虚拟机的磁盘都是以LVM的结构存放的，即每个虚拟机的虚拟磁盘都是一个LV，并且虚拟磁盘的模式是精简模式的。LVM的相关信息在Xen Server中都有记载，查看“/etc/lvm/backup/frombtye.com “下LVM的相关信息发现并没有存在损坏的虚拟磁盘信息，因此可以断定LVM的信息已经被更新了。接着分析底层看能否找到未被更新的LVM信息，在底层发现了还未更新的LVM信息。 根据未被更新的LVM信息找到了虚拟磁盘的数据区域，发现该区域的数据已被破坏。分析后发现造成虚拟机不可用的最终原因是因为虚拟机的虚拟磁盘被破坏，从而导致虚拟机中的操作系统和数据丢失。而导致这种情况的发生很有可能是虚拟机遭遇网络攻击或hack入侵后留下恶意程序造成的。仔细核对这片区域后发现，虽然该区域有很多数据被破坏了，但还是发现了很多数据库的页碎片。因此可以尝试将许多数据库的页碎片拼成一个可用的数据库。
执行SQL查询时，主要的几个瓶颈在于：CPU运算速度、内存缓存区大小、磁盘IO速度。而对于大数据量数据的查询，其瓶颈则一般集中于磁盘IO，以及内存缓存。那么为了提高SQL查询的效率，一方面我们需要考虑尽量减少查询设计的数据条目数——建立索引，设立分区；另一方面，我们也可以考虑切实减少数据表物理大小，从而减少IO大小。在SQL Server 2008中，最新提供了一项功能“压缩（Compression）”，就是用于减少数据表、索引物理大小。 设置压缩 在企业管理器中，在需要压缩的表或索引上右键选择S
vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。
作者：Jon，来自微信客户端团队 前言 本文基于微信用户日常使用场景 & 数据分析，「通过分离重要 / 非重要数据、采用可靠的分库策略等」，对微信数据库架构进行优化 & 改造，并最终得到一个具备实践良好效果的改造方案。 背景说明 微信 for Windows自2014年上线以来，用户数稳步增长。随着时间的不断推移，用户积攒的消息量越来越大。最初的数据库设计秉着「遵循简单易用，方便管理」的原则，把用户收到的所有消息都统一存放在用户当前客户端本地的「同一个数据文件中。」 (注：微信不会保存聊天记录，聊天内容只
本文讲述了一台服务器上运行的XenServer虚拟化中一台VPS（虚拟专用服务器）出现故障，导致虚拟机操作系统丢失的问题的解决过程。通过分析底层数据，最终发现是虚拟机磁盘被破坏，导致操作系统和数据丢失。经过一系列操作，最终使用RAR压缩包修复了数据，并重新附加到数据库环境中，查询最新数据正常。
由于服务器突然断电，造成我公司Xen Server服务器中一台VPS（即Xen Server虚拟机）不可用，虚拟磁盘文件丢失。硬件环境是Dell 720服务器配戴一张H710P的RAID卡，由4块希捷2T STAT硬盘组成的RAID 10，上层环境是Xen Server 6.2版本操作系统，虚拟机是Windows Server 2003系统，10G系统盘 + 5G数据盘两个虚拟机磁盘，上层是Web服务器（ASP + SQL 2005的网站架构）。
对于数据库系统而言，存储容量和数据安全是影响用户系统的成本及信息安全的重要因素。TDSQL PG版通过支持压缩来减少磁盘空间使用以此来节省成本，同时支持对表内容加密来保证用户数据的安全性。 探索前沿研究，聚焦技术创新。本期DB·洞见由腾讯云数据库高级工程师丁艳飞从工程创新的角度，为大家介绍TDSQL PG版透明压缩和透明加密的相关实现，主要包括整体架构介绍、压缩方法简介、透明压缩实现、加密脱敏介绍四个部分。 观看视频，获取完整版讲师分享内容 公众号福利：本期讲师课件获取方式，腾讯云数据库公众号后台回复“
背景 在数据库的备份过程中有很多参数，前几日发现公司的备份数据库job运行的很慢，就去研究了一下，发现在备份程序中都没有启用压缩，加上压缩以后有发现效率提高了不少，本篇就几个压缩相关的参数来看一下备份数据库的过程中如何提高备份的效率。 代码实现 为了更好地了解数据库备份，我们首先要知道代码以及参数的含义。 普通代码： BACKUP DATABASE ‘备份数据库名称’ TO DISK = '地址+bak文件名称' ; 加快备份进度的几个关键参数： 1.BUFFERCOUNT--指定用于备份
本文由微信客户端技术团队工程师“Jon”分享，原题“Windows微信：消息数据库架构演进”，有较多修订。
在数据库的使用过程（包括其它多种应用）中，我们通常会关注一些系统指标，比如CPU的使用率，内存的占用量，或者IO的带宽消耗等等。这些系统指标可以帮助我们评估应用对系统资源的占用情况，进而找到应用进一步优化的方向。
本文以视频+文字放送，为你带来腾讯云企业级MySQL-列压缩特性 【需求背景】 当前MySQL有针对行格式级别以及数据库页面级别的压缩，这两种压缩方式在处理一个表，同时有大字段和其它很多小字段，并且针对小字段的读写访问频繁，对大字段的访问不频繁的场景中，它的读写访问都会压缩和解压数据，这造成许多不必要的计算资源浪费。 腾讯云企业级MySQL（CDB）运用列压缩功能来压缩访问不频繁的大字段，同时能够减少整行字段的存储空间，进而提高整体读写访问的效率。 例如一张员工表，前面三个字段分别表示员工 id、年龄以及
今天看到微信团队的一篇文章，说是自家的开源的终端数据库WCDB进行了重大升级 原文章在这里，感兴趣的朋友们可以围观一下：《五年沉淀，微信全平台终端数据库WCDB迎来重大升级》
当数据库从磁盘读取现有行格式数据，将其转换为列格式，然后将其存储在IM列存储中时，发生In-Memory填充(population)（填充）。只有具有 INMEMORY 属性的对象才有资格进行填充。
最近接触到一些海量数据存储的需求，为了解决这样的需求，一个想法是对数据进行一定程度的聚合。在应用层的聚合方式，这里不展开。但是让我联想到的是以前学习 prometheus tsdb的时候接触到的压缩技术。即使本质上来讲，应用层的数据聚合，就是一种数据压缩技术。而 tsdb 使用的 gorilla 技术令人印象深刻。有兴趣的可以详细看一下 prometheus 作者的这篇博客, 以及其使用的技术 gorilla 的 paper. 简而言之 prometheus 的 tsdb 简洁强大，受益于其高效的压缩【gorilla 平均能压缩 16 byte samples to an average of 1.37 bytes】和查询效率，其单机的设计并没有影响他在众多场景中的广泛使用。
数据库存储引擎采用的技术会对数据库的某些应用场景的性能产生十分重要的影响。可能很多朋友并不关注这一点，也没有遇到过那些网上所说的问题，这可能你的应用场景并没有遇到哪种情况，或者说你的系统的规模还不大，硬件性能能够弥补这方面的不足。不过作为数据库从业人员，不管是应用架构师、研发人员还是DBA最好还是了解一些这方面的知识，从而避免此类问题发生或者当遇到类似性能问题的时候能够快速定位问题。
面对快速增长的在线数据，尤其在例如订单、交易、日志等场景，数据往往多呈现为流水型特征，写入一段时间后即不会再次访问或更新；对访问频率很低甚至为0的数据，其占用的在线业务库固态存储空间，造成了大量硬件资源浪费，堆高企业的IT成本。同时，传统数据归档方案往往是业务研发或 DBA 采用脚本或简单的同步工具进行，难以在并发和效率上有效控制，很容易对在线数据库产生影响，严重的甚至导致生产数据误删事故。
存储引擎是一个图数据库的核心组件，它负责数据在磁盘中的存储和检索。对于处理大量节点和边的场景，以下存储引擎可以考虑使用：
列存储引擎在Btree索引的支持角度，与传统的行存储引擎无本质差别。对于一般用于应对大数据批量分析性负载的列存储引擎来说，Btree索引有助于帮助列存储大大提升自身的点查效率，更好的适应混合负载。
SIGMOD（Special Interest Group on Management Of Data）作为数据库领域的“风向标”，拥有40余年发展历史，每年为数据库领域提供大量高质量的研究论文和研究成果，具有重要的学术价值和行业引导意义，与VLDB、ICDE并称数据库三大优质会议。
MYSQL 的新版本一直不断的发，其实这样有一个问题，到底我们要选择哪个版本的8 ，不断的升级导致“贪心不足” 的人们，总是在等待一个更好的版本，而还在继续使用5.X ，另外一个原因是MYSQL 5.x 一堆的工具，如果换到8 ，则不少的作废了。所以 MYSQL 8 使用的 cyber or internet 的公司不多。当然另外一个原因是，一个系统上线后，想要升级数据库系统，那也是不容易的事情，
作者 | 贾驰千、余智平 酷家乐中间件团队研发工程师 随着云数据库数量以及成本的迅速增加，数据库成本管理和优化成为了企业所关注的方向。酷家乐针对云数据库做了一系列的深度成本优化动作，收益颇丰。本文为详细介绍~ 供你参考。 一、背景摘要 近年来，随着上云的普遍化，降本成为了备受关注的热门话题。越来越多的企业开始重视云资源的成本优化，FinOps更是横空出世，得到了众多企业的拥抱。 作为全球领先的云设计软件平台和 SaaS 服务提供商，（群核科技）酷家乐的产品都构建在公有云之上，截止目前，我们使用了上
在2017 OOW大会上，关于Oracle Database 12.2 数据库的新特性介绍仍然引人瞩目，会后公布了 Oracle VP Swonger的文档，我们在此进行重点新特性的解读，并把这个PP
传说中数据压缩能压缩到原始数据的1/10，但是... ... 但是至少目前为止我还没遇到过这样的情形，通常情况下能压缩到原始数据的1/5-2/5的样子。
数据是系统最重要的信息。大部分系统都是对数据的管理。应用系统通过数据模型来构建现实世界，通过算法操作对象或数据结构，来改变数据模型的状态。数据被组织在操作系统文件中，我们通过数据系统来组织，查询，搜索，处理数据。
6月13日消息，腾讯云数据库TDSQL和中国人民大学合作的2篇论文成功入选行业优质会议SIGMOD，被SIGMOD2024Research Full Paper（研究类长文）收录。
相对于其他数据库在非物理备份中，POSTGRESQL 的优势会较大，因为POSTGRESQL 的PG_DUMP 支持两种方式的备份，1 逻辑备份，也就是我们习惯的将数据库的数据导出成可以执行的语句 2 binary backup 这个备份方式中可以将备份的数据变换成二进制的模式，并可以通过PG_RESTORE 的方式进行数据的恢复。
* 对大表做数据拆分，先做垂直拆分（按业务拆分，将不同业务的字段拆分到不同的表、或不同的数据库、甚至不同的实例中），然后做水平拆分（对于无法继续拆分字段的表，如果数据量仍然大到影响性能，则可能还需要以不超过1000W行数据量的标准继续对大表执行拆分，即就是我们常说的数据分片）
backup log dbNamewith NO_LOG backup log dbNamewith TRUNCATE_ONLY DBCC SHRINKDATABASE(dbName)
主要是自己偷懒过程琢磨出来测试的一种方式，迁移成功，所以写下这篇文章稍微记录一下操作步骤。
· 启用IM列存储概述 默认情况下，INMEMORY_SIZE _SIZE初始化参数设置为 0，这意味着IM列存储被禁用。要启用IM列存储，请在重新启动实例之前将初始化参数 INMEMORY_SIZE 设置为非零值。
WCDB 是微信团队开源的一款基于 SQLite 的终端数据库。自 2017 年 6 月开源以来，它在业界得到了广泛认可并被大量应用，迄今已经推出了十多个版本。在这个过程中，WCDB 一直保持良好的向后兼容性，不断完善原有接口的细节并添加新功能。
接上期：第二章 Oracle Database In-Memory 体系结构(IM-2.1)
说真的，在我印象里关于zblog网站迁移来说是没有什么技术难题的，当然跟别的程序不太一样，别的网站程序，数据迁移可能需要修改很多的配置文件才行或者说某些文件修改比较费劲，那时我就建议用帝国备份是做，zblog本身迁移就很简单，但是最近有几个网友一直在问我关于网站迁移的问题，索性有时间就做一个简单的小教程，老司机请绕行~~~
Docker安装Oracle_11g数据库并配置:https://blog.csdn.net/qq_44895681/article/details/113975822
AWS re:Invent2019显示AWS市场占用率达到45%，相比2018年营收增长29%。使用专用芯片构建用于加速特定场景的战略更加清晰，除去Intel和AMD的X86和Nvidia GPU，还有通过其Annapurna Labs部门推出的基于Arm的Graviton的定制芯片，并承诺基于Graviton2（7纳米）的新型EC2实例的性能是第一代Graviton的7倍。
用户数据是企业的核心资产，是业务系统运行的血脉。云计算、大数据、物联网等新型信息技术应用正在重塑保险行业竞争格局，保护企业的关键数据，并对客户历史业务数据稳定应用于开发，是保险行业生存与发展的基础，也是各保险公司数字化转型的重要保障。
一般情况我们通过mysqldump来备份MySQL数据库，并上传至其它备份机器。如果数据库比较大，在备份传输的时候可能会慢，所以我们尽量让备份的文件小一些。
携程是一家中国领先的在线票务服务公司，从 1999 年创立至今，数据库系统历经三次替换。在移动互联网时代，面对云计算卷积而来的海量数据，携程通过新的数据库方案实现存储成本降低 85% 左右，性能提升数倍。本文讲述携程在历史库场景下，如何解决水平扩容、存储成本、导入性能等痛点，以及对于解决方案的制定和思考过程。
为迎合技术变革、拥抱云计算时代，沃趣科技重磅推出创新产品——QData T6，在保持一贯高可靠、高性能的基础上，沃趣将T6代QData进行升级迭代，打造成全新的Oracle数据库私有云平台，具有TCBD、RoCE、OaaS等技术特性，使用户可以按需使用云数据库、最大化利用硬件资源、降低企业成本、提高数据传输效率、助力企业数字化转型。
6月12日-17日，2022 ACM SIGMOD在美国费城如期举行。腾讯云数据库三篇论文入选，本次被收录的研究成果中，新型数据结构设计、AI智能调参优化等均属于业界首次提出。本次研究成果也是腾讯云数据库研发团队分别与北京大学、中国人民大学、华中科技大学基于联合实验室创新平台开展的创新合作成果，通过“产学研“一体的合作方式，将技术研究成果转换为应用落地，持续输出前沿技术创新与示范应用，推动我国数据库生态的发展与建设。 6月21日，我们邀请到了中国人民大学、华中科技大学的合作老师与腾讯云数据库研究人员进行本
locate 让使用者可以很快速的搜寻档案系统内是否有指定的档案。其方法是先建立一个包括系统内所有档案名称及路径的数据库，之后当寻找时就只需查询这个数据库，而不必实际深入档案系统之中了。在一般的 distribution 之中，数据库的建立都被放在 crontab 中自动执行。
Oracle Database In-Memory（In-Memory数据库）最先是在Oracle Database 12c第1版（12.1.0.2）中引入的功能，可大大提高实时分析和混合工作负载的性能。 In-Memory列存储（IM列存储）是Database In-Memory的关键功能。
编辑手记： In-Memory 是 Oracle 在 12.1.0.2 中引入的新特性，旨在加速分析型 SQL 的速度。传统的 OLTP 应用通过 buffer cache 修改数据，分析性的 SQL 从 IM 列式存储中扫描数据，避免物理读成为性能瓶颈。那么在12.2最新版本中，In-Memory有哪些增强特性呢？我们一起来学习。 注：文章内容来自官方文档翻译。若需要了解更多，请查阅官方文档。文中配图来自Oracle文档。 1、In-Memory Expressions（列式存储表达式） 内存中列存储允许
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
