TiDB 6.0 正式提供了数据放置框架（Placement Rules in SQL ）功能，用户通过 SQL 配置数据在 TiKV 集群中的放置位置，可以对数据进行直接的管理，满足不同的业务场景需要。如：
线上某clickhouse集群，最早采用SAS机器，后来因为容量不足又陆续添加了4台SATA机器。
Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
傲梅分区助手技术员 AOMEI Partition Assistant Technician Edition 是一款非常好用的硬盘分区工具。傲梅分区助手为用户提供非常完善的硬盘分区服务，可以帮助用户做好电脑硬盘管理，是用户日常维护电脑系统常用管理好帮手。傲梅分区助手是一款免费、专业级的无损分区工具，提供简单、易用的磁盘分区管理操作。作为传统分区魔法师的替代者，在操作系统兼容性方面，傲梅分区软件打破了以前的分区软件兼容差的缺点，它完美兼容全部操作系统。不仅如此，分区助手从调整分区大小等方面出发，能无损数据地实现扩大分区，缩小分区，合并分区，拆分分区，快速分区，克隆磁盘等操作。此外，它也能迁移系统到固态硬盘，是一个不可多得分区工具。
在数据库的世界里，我们经常面对的一个现实就是：分久必合，合久必分。大多数企业都在这样一个轮回中不断革新。比如国内的银行，早期多数是按省市分布式布局，随着技术发展进步，慢慢建立了区域中心、全国中心，将数
随着固态硬盘（SSD）的崛起，人们似乎开始慢慢遗忘机械硬盘（HDD）这个陪伴了我们大半个世纪的存储"伙伴"。
携程自2013年开始使用Redis，旧时期为Memcached和Redis混用状态。由于Redis在处理性能，可储存key的多样化上有着显著的优势，2017年开始，Memcached全部下线，全公司开始大规模使用Redis。Redis实例数量也由刚开始的几十个增长到几万个，数据量达到百TB规模。作为Redis的运维方，为保证Redis的高可用性，DBA的压力也随Redis使用规模的增大而增大，集群的扩容，上下线，实例扩容都面临着不小的挑战。
越来越多的企业选择Kubernetes作为基础架构，它能够帮助我们缩短软件项目上市时间、降低基础架构成本、并提高软件质量。由于Kubernetes比较新，因此IT团队都在学习如何在生产环境中，在Kubernetes上对应用程序进行运行和维护。本文将探讨，当在需要额外的计算能力时，将Kubernetes应用程序迁移至另一个新的集群。
ClickHouse 作为开源 OLAP 引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储，ClickHouse 使用本地盘来自己管理数据，官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 SSD 盘的价格，用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS 的某个客户近期就遇到了这样的难题，希望将 ClickHouse 中的温冷数据从 SSD 盘迁移到更大容量、更低成本的存储介质，更好地支撑业务查询更长时间数据的需求。
答：SSD 用于读取缓存 (70%) 和写入缓冲 (30%)。每次写入都会先转到 SSD，稍后再取消暂存到 HDD。
大部分数据库都有存储数据文件扩展的功能，ORACLE 可以扩展你的表空间，SQL SERVER 可以多建立几个 FILEGROUP， PostgreSQL 也可以建立相关类似的扩展。这些都是对付当前存储空间不足，将数据文件跨物理位置进行存储。
（实际系统跟这个图是有出入的，不过总体意思是这样。图是使用Excalidraw画的）
前言 其实这个专题很久很久之前就想写了，但是一直因为各种原因拖着没动笔。 因为没有资格，也没有钱在一线城市买房 (😂😂😂); 但是在要结婚之前，婚房又是刚需。我和太太最终一起在一线城市周边的某二线城市买了房。再之后，一起装修，她负责非电相关，我负责电 网相关的装修。家庭组网，家庭实验室就这么一步一步随着家庭的组建而组建了起来： 1.家庭有线无线组网2.智能家居3.NAS4.公网 IP 和 IPv65.Wake Online (WOL)6.家庭网络安全 (😂看了防火墙日志，才知道被攻击频率能有多高）7.玩转
总第526篇 2022年 第043篇 Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。 1. 现状和挑战 1.1 现状 1.2 挑战 2. 读写延迟优化 2.1 概览 2.2 应用层 2.3 系统层 2.4 混合层-SSD新缓存架构 3. 大规模集群管理优化 3.1 隔离策略 3.2 全链路监控 3.3 服务生命周期
Unlimited Capacity：公有云的存储服务具有易扩展的特性，用户可以非常方便的根据其存储容量需求，对其已有的存储服务的容量进行扩展，因此从用户角度来说，公有云的存储服务具有无限容量的特点。
Cache Tiering的基本思想是冷热数据分离，用相对快速/昂贵的存储设备如SSD盘，组成一个Pool来作为Cache层，后端用相对慢速/廉价的设备来组建冷数据存储池。
2018 即将结束，年末正是各种基准测试对比轮番出炉的时候，通过这些报告，我们可以看到 Linux 性能的各个方面在 2018 是如何发展的。但本文的这份性能对比会更加深入 —— 将研究五个主流 Linux 发行版在过去近三年里所经历的性能变化，而测试对象则是从 2016 年初开始的 CentOS, Clear Linux, Fedora, Ubuntu 和 openSUSE，到目前为止已安装稳定更新的最新版本。
环境：Oracle 11.2.0.4 RAC（2 nodes） 说明：假设新增闪存挂载点是/flash（使用了第三方的集群文件系统），如果是使用Oracle的ASM，则本文提及的所有/flash目录都可以认定是新的闪存磁盘组是+FLASH。
一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。
据IDC发布的《数据时代2025》报告显示，全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB，平均每天约产生491EB数据。随着数据量的不断增长，数据存储成本成为企业IT预算的重要组成部分。例如1PB数据存储一年，全部放在高性能存储介质和全部放在低成本存储介质两者成本差距在一个量级以上。由于关键业务需高性能访问，因此不能简单的把所有数据存放在低速设备，企业需根据数据的访问频度，使用不同种类的存储介质获得最小化成本和最大化效率。因此，把数据存储在不同层级，并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。
CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在，您可以为DataNode数据目录指定不同的存储类型，这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据，可以存储在SSD中，而归档的数据可以存放在相对便宜的存储介质中。
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。
当我们为电脑更换硬盘时（比如更换大一点的硬盘或将 HDD 更换为 SSD），往往需要考虑原硬盘上的系统和数据怎么办。重装系统是一个选择，但重装系统后还要重装系统上的软件，还要迁移数据，费时又费力。另一个方法是迁移系统，这样既不用重装系统也不用重装软件，且系统上的数据还全部保存了下来。然而 Windows 系统自身并没有提供系统迁移的工具，不像 Linux 提供了 dd 命令可以用来直接镜像整个分区从而实现系统迁移。更为遗憾的是，就算手头有 Linux 系统，直接使用 dd 对 Windows 系统进行拷贝，迁移后的 Windows 只会是蓝屏/黑屏，因为迁移系统不仅仅是拷贝分区就够了，对应的分区信息也要修改的。虽然 Linux 也是这样，但 Linux 可以通过手动引导进入系统，然后再更新引导信息，而 Windows 一旦蓝屏/黑屏就令人束手无策了，Windows Live CD 提供的引导修复功能也不尽人意。
云计算迁移不一定会降低应用程序的长期成本。行业专家乔治·劳顿探讨了一些以更好的业务成果为目标的云计算使用案例。 随着云计算的应用越来越频繁，许多组织开始评估将应用程序移动到云计算的云使用案例。许多人正
作者 | Vivek Rathod 和 Jonathan Huang，Google Research
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。
Shopee（https://shopee.com/）是东南亚和台湾地区领先的电子商务平台，覆盖新加坡、马来西亚、菲律宾、印度尼西亚、泰国、越南和台湾等七个市场。Shopee 母公司 Sea（https://seagroup.com/）为首家在纽约证券交易所上市的东南亚互联网企业。2015 年底上线以来，Shopee 业务规模迅速扩张，逐步成长为区域内发展最为迅猛的电商平台之一：
文件是现代组织的主要资产。混合云文件服务通过结合云计算和内部部署的文件系统的优势，将在全球范围内越来越多地用于管理和共享文件。
Docker Swarm是一个Dockerized化的分布式应用程序的本地集群，它是在Machine所提供的功能的基础上优化主机资源的利用率和容错服务。具体来说，Docker Swarm支持用户创建可运行Docker Daemon的主机资源池，然后在资源池中运行Docker容器。Docker Swarm可以管理工作负载并维护集群状态。
本文小黄弟要向大家介绍的是用英特尔NCS2加速棒实现对tensorflow物体检测模型的加速，涉及到的内容有tensorflow物体检测模型，OpencvDNN模块的使用，OpenVINO的使用。对这3个模块了解的同志看起来会比较愉快，不了解的看了也能有助于睡眠。
之前写了一篇文章分析了Datapump迁移数据的一些准备总结，反响还不错。Datapump数据迁移前的准备工作，最近碰到一个场景，根据评估还是使用Datapump比较好。主要的原因如下： 1.原来的环境在Solaris下，硬件资源老旧，需要迁移到Linux下，跨平台迁移使用逻辑迁移优先 2.原来的环境使用10gR2,现在需要顺带迁移到11gR2，充分解决备库“不中用”的情况 3.迁移的数据量不算大，在几百G以内，可以充分利用带宽和I/O吞吐量来达到预期的时间窗口。 而在这个方案之外，考虑到提高性能，我们采用
几年前，用Proxmox Virtual Environment（一个VMWare Vsphere的开源替代，以后简称PVE）搭建了一个测试云平台，使用了PVE自带的分布式存储Ceph。加上PVE自带的KVM虚拟机和LXC容器，再配置了虚拟交换机Open vSwitch，勉强算是一个所谓的超融合构架。
在下线过程中，通过 show backends 查看下线节点的 tabletNum ，会观察到 tabletNum 数量在减少，说明数据分片正在从这个节点迁移走。当数量减到0时，系统会自动删除这个节点。但某些情况下，tabletNum 下降到一定数值后就不变化。这通常可能有以下两种原因：
最近Elasticsearch 7.10版本发布，该版本除了有Searchable Snapshots可搜索快照这个重磅特性之外，还有Data tiers数据层功能。数据层实际上就是先定义好数据节点的角色，比如热节点、温节点等，然后可以在ILM索引生命周期管理中实现索引由热节点迁移到温节点，再迁移到冷节点，达到数据冷热分离的目的。
本文来自OPPO文档数据库mongodb负责人杨亚洲老师2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享，分享内容如下(体验万亿级mongodb服务层、存储引擎、高并发线程模型、异地多活容灾等实现细节）。
该文介绍了如何基于自研的Grocery框架实现可伸缩的Redis服务，并提供了成本、容量、性能等方面的优化措施。同时，还介绍了一种实现无缝数据迁移的机制，以及一种高可靠的、可扩展的、高性能的Redis服务。
邮件系统平台作为每个企业不可或缺的业务系统，已经不仅仅是单纯的信息传送工具，更是关系到企业决策流程、数字资产管理的核心关键业务系统。
对于Arch系等依赖滚动更新的发行版，Btrfs的快照功能真的是太具有吸引力了。纵使我已经很久没有遇到“滚炸”、纵使就算“滚炸”去Manjaro论坛看一眼一般都能解决，但是这些都不如一个“后悔药”来得实在——遇到问题，重启、选择老快照、恢复，一切都是那么美好。因此，前阵子（指12月中旬）我就把系统分区迁移到Btrfs上了。这篇博客就主要记录了迁移与快照的各种实现方案。
在存储设备中，使用分层技术，将冷热数据自动分层存放在具有不用读写性能的存储介质上，已经是很普遍的做法，比如 IBM 的 DS8K 中使用的 Easy Tier。这些功能都需要存储设备固件的支持，如何在 Linux 主机上，使用 Linux 现有的机制，实现数据的分层存储？本文主要介绍了 Linux 平台上两种不同的实现分层存储的方案。 背景介绍 随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬
MIUI 是小米公司旗下基于 Android 系统深度优化、定制、开发的第三方手机操作系统，也是小米的第一个产品。MIUI 在 Android 系统基础上，针对中国用户进行了深度定制，在此之上孕育出了一系列的应用，比如主题商店、小米音乐、应用商店、小米阅读等。
Ceph和OpenStack是一个非常有用和非常受欢迎的组合。 不过，部署Ceph / OpenStack经常会有一些容易避免的缺点 - 我们将帮助你解决它们
凤凰网（纽交所上市公司，代码：FENG) 是全球领先的跨平台网络新媒体公司，整合旗下综合门户凤凰网、手机凤凰网和凤凰视频三大平台，秉承"中华情怀，全球视野，兼容开放，进步力量"的媒体理念， 为主流华人提供互联网、无线通信、电视网的三网融合无缝衔接的新媒体优质内容与服务。
内容来源：2018 年 7 月 17 日，VMware大中华区原厂高级技术讲师史峻在“VMware直播分享 第二期”进行《vSAN架构解析与6.7功能介绍》演讲分享。IT 大咖说经主办方和演讲者审阅授权转发。
如果数据吞吐量较大，且一次查询返回的数据量较大，则Rowkey 必须进行散列化处理，同时建表必须进行预分区处理。对于以get为主的查询场景，则将表进行hash预分区，均匀分布；如果以scan为主，则需要兼顾业务场景设计rowkey，在满足查询需求的前提下尽量对数据打散并进行负载均衡。
各位小伙伴们大家好，我们又见面啦~ 这里是《你问我答》栏目第四期 上周推送了一篇关于腾讯SuperSQL的文章 《「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘》 很多同学对这个项目产生了浓厚的兴趣 本期，我们的专家老师将现身说法 进一步为大家介绍腾讯大数据SQL引擎天穹SuperSQL的性能表现 同时，也会解答小伙伴们关于 腾讯一站式实时计算平台Oceanus 以及分布式 HTAP 数据库管理系统Tbase 的部分疑问 对这些话题感兴趣的同学就快来看看吧！ 01 @旧故里草木深：
经历了上礼拜漫长的上线周期，终于有时间总结一下期间发生的故事。TiDB 是一款非常优秀的国产分布式 NewSQL 数据库，因其支持水平扩展性、强一致性、高可用性，从 18 年 3 月起已在国内银行的账务、支付类核心系统得到应用。
各位关注和已报名参加【2021·Change SQL-腾讯云数据库TDSQL精英挑战赛】的小伙伴们： 大家好！目前大赛报名还在火热进行中，对于大家关心和提出的问题，大赛主办方将以Q&A的形式，定期更新给到大家。
摘要：在本文中 360 数科的周鹏详细讲解了业务从 JanusGraph 迁移到 Nebula Graph 带来的性能提升，在机器资源不到之前 JanusGraph 配置三分之一的情况下，业务性能提升至少 20 倍。
在企业里，许多上云迁移成功的案例，都是先从一些较为简单的应用开始迁移，然后再一步步把更多的应用和数据迁移到云，不可能同时把所有的应用都一下迁移过去。
老师评上了学校的青年学者重点培养计划，每年多了好多资金。实验室机器的配置也在逐步升高。上一批加ssd的时候，我们没分到，这次补上。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
