http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443
桌面虚拟化，或虚拟桌面基础架构(VDI)，可以为IT部门带来诸多好处，包括更简单的系统管理，集中的安全性和数据保护。不过支撑VDI的存储环境需要仔细的规划，以避免VDI启动风暴的问题，即当大量的用户同时登录系统时所造成的系统反应非常缓慢。有许多方法可以解决这个问题，但最有效的方法是将数据巧妙的放置在固态硬盘(SSD)上。
随着硬盘技术的不断发展何固态硬盘的大量使用，你肯定听说过或者使用过固态硬盘，固态硬盘（或固态硬盘）能够达到比传统硬盘更快的读取和写入数据的速度，您可能不知道的是，随着时间的推移，当磁盘写满时，SSD硬盘在数据写入时可能会失去一些速度，如果您为了速度而在服务器中运行SSD，那么就可以使用TRIM来保持SSD运行速度到最佳状态。
在分享了VMware的容灾和双活方案以后，受到到了广大朋友欢迎。本公众号将继续分享我在工作中和学习中的一些心得，也欢迎大家一起交流。 《VIOS HealthAdvisor 工具的使用与分析 》、《AIX 下磁盘I/O 性能分析》、《Power 服务器IVE 网卡etherchannel 配置步骤与性能评估》、《PowerVM 环境下实施PowerHA7.1 要点》、《IBM PowerHA6.1 DARE 的功能介绍》 、《GPFS 3.4 的配置变更与性能评估》、《AIX 6.1 中TCP 应答时间参数
固态硬盘（SSD）凭借超高速的读写速度在高端玩家中颇受欢迎，但是SSD硬盘也暴露出一些不成熟的表现，之前已有过固件门、性能下降等例子。Techgage网站最新的测试显示SSD硬盘在数据恢复方面遇到了新的挑战，这一问题在支持TRIM指令的固态硬盘上尤为严重。有鉴于此，编辑将这篇文章编译过来希望能引起玩家的重视。目前这一问题还没有别的评测加以佐证，笔者手头也没有固态硬盘可重复验证，希望正在使用固态硬盘的玩家在评论中多多探讨，并注意备份自己的重要数据。
广义上Cache的同步方式有两种，即Write Through（写穿）和Write back（写回）. 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念（纯读的话就不存在Cache一致性了，不是么）。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作，完成下层的更新后才返回。而Write back正好相反，指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
上世纪90年代，伯克利的Jhon Ousterhout带领一个小组开发了一个新的文件系统来尝试解决文件系统的性能问题，这个研究的成果就是Log-structured File System(LFS)，然而多年以来它并没有得到业界的采纳，直到固态硬盘（Solid State Drive)兴起后，LFS才终于大放异彩。
备注：早些年磁盘每个磁道扇区数量相同，可以用上面的公式计算磁盘容量；现代磁盘每个磁道扇区数量不同，故上面的磁盘容量计算公式已经不适用。
数据分层存储技术主要应用在混闪存储系统设计，可根据数据冷、热、温的特点，合理调度使用SSD、HDD等不同介质类型的存储资源，降低存储系统的初始购买成本。
在做数据库维护的时候，经常会跟磁盘打交道，对于“Raid”这个词，肯定大家都不陌生，今天我们讲讲Raid阵列。
放在五年前，SSD （Solid State Drive，固态硬盘）对大多数人而言仍然是一个新兴的陌生产品， 他们不太明白这个又贵又小的硬盘能够给电脑带来什么样的体验。然而时至今日，SSD 已经成为了中高端电脑的标配。甚至对于入门级配置而言，SSD 还是 HDD 的区别已经取代了传统三大件，直接影响着整机运行速度。适逢最近 SSD 降价，不少朋友都有来咨询 reizhi 有关 SSD 的一些问题，这边便汇聚成文，一起总结一下。
类型：技术专栏 作者介绍 张凯（Kyle Zhang），SmartX 联合创始人 & CTO。毕业于清华大学计算机系，研究方向为分布式系统和体系结构。2013 年与徐文豪、王弘毅联合创立 SmartX，主导自主研发了 SmartX 分布式文件系统 SmartX ZBS。SmartX 拥有国内最顶尖的分布式存储和超融合架构研发团队，是国内超融合领域的技术领导者。 本文转载自知乎专栏 @SmartX 技术博客，点击底部“阅读原文”进入博客浏览更多文章。 过去半年阅读了 30 多篇论文，坚持每 1~2 周写一篇
序言：软件定义世界，数据驱动未来。正如Netscape创始人、硅谷著名投资人马克•安德森（Marc Andreessen）在《软件正在吞噬整个世界》所述，从生活、电影、农业到国防，软件无所不在。未来十年，预计将有更多的行业被软件所瓦解，数据也将会越来越多。
容器技术改变了应用交付、运行的方式，几乎各种Linux环境下的应用程序都可以使用容器来运行。但是否能在容器环境里运行数据库应用，以及数据库应用是否适合在容器里运行，一直都是大家很关注的问题，今天我们就来深入分析一下容器环境运行MySQL数据库的事。
随着固态硬盘（SSD）的崛起，人们似乎开始慢慢遗忘机械硬盘（HDD）这个陪伴了我们大半个世纪的存储"伙伴"。
答：SSD 用于读取缓存 (70%) 和写入缓冲 (30%)。每次写入都会先转到 SSD，稍后再取消暂存到 HDD。
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
ClickHouse 作为开源 OLAP 引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储，ClickHouse 使用本地盘来自己管理数据，官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 SSD 盘的价格，用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS 的某个客户近期就遇到了这样的难题，希望将 ClickHouse 中的温冷数据从 SSD 盘迁移到更大容量、更低成本的存储介质，更好地支撑业务查询更长时间数据的需求。
从2005年三星作为第一个进入SSD市场的巨头，到现在短短15年，SSD已经成为非常普遍的存储介质了，相对于机械硬盘HDD，SSD在IOPS上提升了数百倍，带宽提升了数倍，如今NVMe硬盘又进一步将普通SATA SSD的性能提升了近十倍。不管是普通的SATA SSD，还是NVMe SSD，对于大多数人说，只是介质和性能上的变化，普通人甚至IT工程师会简单地认为，只要使用了SSD，存储系统访问数据的性能也会随之获得数百倍性能的提升，事实真的是这样吗？这个问题，其实很像是这样的，只要装上法拉利的发动机，车就一定快了吗？我想只有法拉利的工程师知道车身任何一度的变化，会增加多少风阻，影响百分之几秒的速度。
Ceph是专为在商品硬件上运行而设计的，这使得构建和维护超大规模的数据集群在经济上是可行的。当规划出你的集群硬件时，你需要平衡一些考虑因素，包括故障域和潜在的性能问题。硬件规划应该包括将Ceph守护进程和其他使用Ceph的进程分布在许多主机上。一般来说，我们 建议在为该类型的守护进程配置的主机上运行特定的Ceph守护进程。我们建议使用其他主机来处理使用您的数据集群的进程（例如OpenStack、CloudStack）
平时执行的更新语句，都是从磁盘上加载数据页到DB内存的缓存页，接着就直接更新内存里的缓存页，同时还更新对应的redo log写入一个buffer中。
作为机械硬盘领域的领先者，希捷显然并不认同这种说法，在9月份的希捷分析大会上，希捷认为磁盘相对于SSD的成本优势将持续15年。
一直想抽空写写 vSAN 这个产品，在 15 年的时候笔者第一次听说 vSAN 这个产品，当时 VMware 还以 VDI 最佳拍档的方式去推广 vSAN，短短两年的时间， vSAN 经过多个版本的更新迭代，无论从功能还是稳定性上均有很大提升，最广泛的应用也由 VDI 变为了承载核心业务。
POLARDB 数据库中有一个核心是他重新设计的存储系统，polarfs，polarfs 是怎么设计的架构是怎样的，下面根据官方的一篇详细的英文文档作为翻译的目标 https://www.vldb.org/pvldb/vol11/p1849-cao.pdf
在部署Hadoop平台的过程中，一般会要求数据盘配置RAID 0或者JBOD模式（直通模式），本文将详细讲解如何在HP dl380 Gen9服务器上配置RAID或JBOD模式。
前段时间，我从家里带来了一块坏的硬盘，里面的数据还在，但是会间歇性不能识别，并且其中的系统损坏了。今天我重新购买了sata to usb 的转接器和12v的电源，尝试修复一下磁盘；看看能不能重新启动。
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
es吃内存，es吃的主要不是你的jvm的内存，一般来说es用jvm heap（堆内存）还是用的比较少的，主要吃的是你的机器可用的剩余内存
Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现，主要包括方案选型，与其他备选方案的比较以及方案的核心思考点等，最后介绍该方案与其他备选方案的性能对比。
TubeMQ是腾讯大数据在2013年开始研发的分布式消息中间件系统（MQ），专注服务大数据场景下海量数据的高性能存储和传输。经过近7年上万亿的海量数据沉淀，较之于众多的开源MQ组件，TubeMQ在海量实践（稳定性+性能）和低成本方面有一定的优势。一个礼拜前，TubeMQ开源了，本篇博文转载自官方公布的文档。博主花了半天搭建开发环境到运行，到发送消息接收消息体验下来，发现不管是腾讯的TubeMQ，还是rocketmq，他们的架构都或多或少参考了kafka的设计，所以上手会非常快。而且，开源版本很可能是内部版本的剖离版，刚开源还没来得及打磨，没做全面的验证测试。因为博主在测试过程中发现了一个特别大的bug，consumer接收消息时导致CPU100%，而且是必现的，有兴趣的可点击issue查看，博主提交issue后，官方开发立马就跟进了，这速度也是没谁了。相信不久后TubeMQ会是继kafka和rocketmq后又一个非常不错的选择。TubeMQ也有捐赠给Apache的想法，Apache中国内的顶级项目越来越多了，国内的开源大环境也越来越好了
相信大家都知道固态硬盘（SSD）的优势在于速度比传统的机械硬盘（HDD）要快，所以现在线上服务器里越来越多看到固态硬盘的出现。不过作为一个对性能数字斤斤计较的开发，我想更精确地弄明白搭载SSD的服务器在IO性能上比搭载HDD的究竟快多少，顺序IO情况下快多少，随机IO情况下又能快多少？终于在最近抽空搞了一次性能测试对比。
广告：冬瓜哥新作《大话计算机——计算机系统底层架构原理极限剖析》将于8月份出版。
在众多磁盘性能测试工具中，dd 命令因其简单易用和易于获得而深受广大运维工程师的喜爱。在这篇文章中，我们将探讨如何将它与 hdparm 命令一起使用，快速有效地评估磁盘性能。
现在IT科技日益飞速发展，人们对于电脑的性能要求也越来越高。从显卡到CPU再到内存，小小机箱内的硬件无不在不停的进化之中。而唯独没有太大性能突破的，要数硬盘了。自从SSD推入市场以后，一直未被广大消费者所接受。除了高昂的价格之外，还有过小的容量。而近来随着用户要求的不断提升，SSD也开始被人们所接受。很多人使用一块较小的SSD作为系统分区，再加一块传统机械硬盘作为存储。
云计算不仅仅代表着近乎无限的资源，我们也需要了解其中可能存在的种种性能问题。 以Amazon AWS与微软Azure为代表的公有云服务属于基于控制台的编排方案，它们能够帮助用户运转并管理必需的基础设施。此外，它们还提供大量功能与插件，从而构建起各类极具吸引力的最终解决方案。 在多数情况下，由于拥有强大的可扩展能力，这些云方案似乎能够提供无穷无尽的计算资源，我们几乎永远不可能触及其性能瓶颈。 然而作为用户时常面对的性能问题之一，磁盘或者说存储性能始终困扰着我们每位云服务支持者。 经过一系列测试，AWS以及Az
如果现在的我们离开了互联网，生活会是什么样子？ 互联网++++，已经深刻渗透到人们的生活中。 不知道大家有没有想过？每一个互联网+结合的背后都是海量的存储需求。你查看的每一个商品、组建的每一个战队、阅读的每一篇文章，基于互联网的每一个兴趣爱好，都有它的key和value。 在 key-value 数据库领域，Redis 因其高吞吐、低延迟、丰富的数据结构一直受开发者欢迎，但 Redis 全内存方案无法解决海量数据所带来的规模与成本问题，数据可靠性也面临挑战。 目前业界也有很多基于磁盘的键值存储方案，比如Ro
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
这本手册是《Intel 64 and IA-32 Architectures Software Developer's Manual》，全书共4卷，学习之后可以对x86计算机的工作机制有庖丁解牛一般的深入理解。
在前面的文章中，Fayson介绍过什么是HDFS分层存储，参考《6.2.0-什么是HDFS分层存储》。这个功能很早CDH就支持了，本文基于CDH6.2实际演示如何在CDH中使用HDFS分层存储。
在上期，我们提到，Ceph集群使用多副本的情况下，整体读性能可达所有物理磁盘读性能的总和，但由于写入的机制为只写入主副本，然后向另外两个副本同步，因此，以三副本为例，写性能只能达到所有磁盘写性能总和的三分之一。以SATA大盘单盘，100 IOPS写性能计，6节点72大盘的总写IOPS性能只能到2400 IOPS。这是难以满足高性能数据库需求的。
摘要 VMware vSAN 通过 vSphere 原生的高性能体系结构支持业界领先的超融合基础架构解决方案。 vSAN是 Software-Defined Data Center 的核心构造块。 借助 VMware 支持的超融合基础架构，您能够安全发展、降低 TCO 以及根据未来发展需求扩展规模。 vSAN概述 SDDC概述 在软件定义的数据中心内，整个基础架构都实现了虚拟化，并且数据中心完全由软件自动控制。vSphere是软件定义的数据中心基础。 关于vSAN vSAN是借助软件将服务器本地众多的空白磁
Written by 王磊(bluestn). Summary SRS支持将直播录制为VoD文件，在压测时，如果流路数很多，会出现CPU消耗很多的问题。 原因是写入较小视频包时，SRS使用了write，由于没有缓冲能力，导致频繁的系统调用和磁盘繁忙。 优化方案，可以选择fwrite(v5.0.133+)，或者老版本用内存盘方案，可将DVR性能提升一倍以上。 Environments SRS服务器配置如下： • CPU：INTEL Xeon 4110 双路16和32线程 • 内存：32G • 网卡：10Gb
innodb_io_capacity 和 innodb_io_capacity_max 是经常被误解为两个 InnoDB 参数。作为数据库技术顾问，我们至少每个月都会看到客户根据存储的最高 IO 写入负载来设置这两个变量。这是正确的选择吗？它是最佳性能的值吗？SSD/闪存磨损均衡怎么样？
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
总第526篇 2022年 第043篇 Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。 1. 现状和挑战 1.1 现状 1.2 挑战 2. 读写延迟优化 2.1 概览 2.2 应用层 2.3 系统层 2.4 混合层-SSD新缓存架构 3. 大规模集群管理优化 3.1 隔离策略 3.2 全链路监控 3.3 服务生命周期
服务器是提供计算服务的设备，具有承担服务和保障服务的能力，一般来说在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面的要求较高。PHP是一种在服务器端执行的嵌入HTML文档的脚本语言，因此服务器的功能关乎到PHP的性能。那么，如何优化服务器来提高PHP性能呢？服务器的运行速度提升了，PHP性能自然也会相应地增强。
傲梅分区助手技术员 AOMEI Partition Assistant Technician Edition 是一款非常好用的硬盘分区工具。傲梅分区助手为用户提供非常完善的硬盘分区服务，可以帮助用户做好电脑硬盘管理，是用户日常维护电脑系统常用管理好帮手。傲梅分区助手是一款免费、专业级的无损分区工具，提供简单、易用的磁盘分区管理操作。作为传统分区魔法师的替代者，在操作系统兼容性方面，傲梅分区软件打破了以前的分区软件兼容差的缺点，它完美兼容全部操作系统。不仅如此，分区助手从调整分区大小等方面出发，能无损数据地实现扩大分区，缩小分区，合并分区，拆分分区，快速分区，克隆磁盘等操作。此外，它也能迁移系统到固态硬盘，是一个不可多得分区工具。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
