广告:冬瓜哥新作《大话计算机——计算机系统底层架构原理极限剖析》将于8月份出版。
随着蜗牛星际、暴风播酷云等矿机的大量上市,特别是蜗牛星际,机器的价格非常低,许多人都买回来自己组建家庭私有云,纷纷加入到NAS的大军来,拿来安装黑群晖还是不错的。由于蜗牛星际/暴风播酷云自带了一个16G的SSD,黑群晖的引导可以用这个内置的SSD来做,可以省个U盘。来看看怎么做吧:
在上期,我们讲到,SSD的擦除,是以块(block)为单位进行的,每次将擦除若干个页(page)的内容。如果我们需要改写一个页(page),有两种实现方法:
http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443
现在的企业级NVMe SSD的性能真是让人震撼,有些SSD的性能动辄上百万IOPS,延迟20μs~1ms(视队列深度),冬瓜哥这辈子恐怕都用不了这么高的性能。冬瓜哥感觉,这个性能应对99%的应用已经完全够用了。剩下的1%就是一些极其特殊的场景,比如广泛存在于大型互联网后端的一些系统,以及少数特殊行业。
在上期,我们提到,SSD盘的标称容量实际上是小于出厂容量的。这一部分相差的空间被称为OP空间。OP空间的一个用途是,当SSD存储芯片中一部分单元在多次写入后,出现磨损的现象,也就是SSD芯片中的浮栅场效应管失效,则使用OP空间的页代替故障存储单元所在的页。较新的SSD控制器甚至会监控每个页的写入次数,避免一个页故障导致整个Block失效的现象发生。
这里汇集了各路公交车,是张江男女必争之地。打工人最怕的是什么,不是996,不是007,最怕挤公交。
腾讯云云服务器:https://curl.qcloud.com/U9i22oWO 腾讯云云硬盘:https://console.cloud.tencent.com/cvm/cbs 在大家购买云服务器时,会对服务器进行配置,例如实例选项,硬盘大小,但是大家是否有去关注过云硬盘的选型呢?如下表所示,腾讯云云硬盘共有5个规格,按性能比较,从低到高分别为:高性能云硬盘、通用型 SSD 云硬盘、SSD 云硬盘、增强型 SSD 云硬盘、极速型 SSD 云硬盘
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。
作为《大话存储 终极版》以及《大话存储后传》的作者,我有幸经历了国内存储行业发展的启蒙和鼎盛时代。在2005年到2013年这8年间,存储市场基本就是SAN的市场,谈存储必暗指SAN。但是从2014年往后,存储行业突然发生巨大变化,分布式系统和固态存储介质开始爆发式增长。今天,谈存储如果不谈一谈配以固态硬盘的分布式系统,就仿佛是上个时代的人了。
在上期,我们提到,Ceph集群使用多副本的情况下,整体读性能可达所有物理磁盘读性能的总和,但由于写入的机制为只写入主副本,然后向另外两个副本同步,因此,以三副本为例,写性能只能达到所有磁盘写性能总和的三分之一。以SATA大盘单盘,100 IOPS写性能计,6节点72大盘的总写IOPS性能只能到2400 IOPS。这是难以满足高性能数据库需求的。
在我们的ceph集群中,可能不只有sata盘或者ssd盘,有些时候服务器上同时插了ssd和sata盘用作osd,那如果我们按照默认的crush分布规则,那会使所有pg均分在ssd和sata盘上,造成sata盘的存储空间浪费和整个ceph集群的性能浪费,其实我们可以改变ceph的默认存储规则,来使那些io要求较高的数据存储在由ssd的osd组成的存储池上,将备份数据或者时效性要求不高的数据存储在由sata的osd组成的存储池上,既提高了性能,又可以减少较大数据量存储的成本。
之所以会有这个文章是因为笔者在全国职业院校技能大赛云计算赛项中获得了国赛二等奖, 发了奖金就给老电脑更新一点配件, 暂时买了一个NVME M.2转换PCI-E的转接卡, 金士顿骇客神条DDR3 8GB 1600 * 2, 希捷2TB 5900转硬盘, 影驰256GB NVME M.2固态硬盘
本来配置完全是够用的,因为博主强迫症(zuosi),想要换一块固态,所以整了一个全新的空SSD,决定换一下。
OP=(SSD裸容量 - 用户容量)/用户容量
介绍 在用openstack的时候,有sas盘,有ssd盘,想将外挂卷用sas盘,故通过改crush规则实现
数据分层存储技术主要应用在混闪存储系统设计,可根据数据冷、热、温的特点,合理调度使用SSD、HDD等不同介质类型的存储资源,降低存储系统的初始购买成本。
在《如何为服务器硬盘配置RAID或JBOD模式》一文中提到,单张RAID卡无法同时启用RAID模式和JBOD模式,即无法混合管理,如果RAID卡为所有硬盘配置了JBOD模式,那么用于安装操作系统的两块SSD无法通过RAID卡做RAID 1。除非有两张RAID卡,把SSD和数据盘分开管理,一张启用RAID模式,为两块SSD做RAID 1,另外一张启用JBOD模式,管理所有数据盘。或者在软件层面实现操作系统的软RAID。本文将主要讲述如何在操作系统层面配置软RAID。
容器技术改变了应用交付、运行的方式,几乎各种Linux环境下的应用程序都可以使用容器来运行。但是否能在容器环境里运行数据库应用,以及数据库应用是否适合在容器里运行,一直都是大家很关注的问题,今天我们就来深入分析一下容器环境运行MySQL数据库的事。
腾讯云轻量应用服务器性能评测,CPU内存计算性能、公网带宽和系统盘详解来看值得买,轻量价格这么便宜是不是性能不行?还真不是,CPU内存计算性能和标准型云服务器差不多,只是轻量服务器限制月流量,从CPU内存计算性能、公网带宽(限制流量)和系统盘三方面来详细说明轻量应用服务器到底值不值得买。
子虚将全书阅读了三遍以后,顿悟了一个道理:大革命的爆发,其根本原因是因为生产关系无法适应生产力的攀升,从而不得不通过革命这种激烈的方式,来重构原本构建在传统硬件上的落后的基础软件。
初始化Linux数据盘(fdisk)TkV南京数据恢复-西数科技: 硬盘/手机/SSD数据恢复专家. 025-83608636 18913825606
今天的这篇经验和大家聊一聊关于固态硬盘坏了怎么恢复数据恢复的问题,希望能够帮助到有需要的朋友。
ClickHouse 作为开源 OLAP 引擎,因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储,ClickHouse 使用本地盘来自己管理数据,官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 SSD 盘的价格,用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS 的某个客户近期就遇到了这样的难题,希望将 ClickHouse 中的温冷数据从 SSD 盘迁移到更大容量、更低成本的存储介质,更好地支撑业务查询更长时间数据的需求。
腾讯云轻量应用服务器8核 16G 18M配置,8M公网带宽下载速度峰值可达2304KB/秒,折合2.25M/s,系统盘为270GB SSD盘,3500GB月流量,折合每天116GB流量。分享腾讯云轻量服务器8核16G18M配置、CPU型号、公网带宽月流量、系统盘及限制条件详细说明。
在两年之A前的帖子《FPGA实现高带宽NVMe SSD读写》中,我们实现了一个基于PS和PL端的高速NVMe SSD IP。这个IP在我们自己的系统中使用正常,但是由于该IP使用了PS端资源,在与其他应用系统集成时遇到了麻烦。为了保护自有的设计,需要独占PS端的一个ARM处理器,这使得该IP在与其他项目集成时,使用很不方便。除此以外,原方案IP写SSD硬盘的最大速度约为2.8GB/s,而PCIe Gen3条件下理论有效带宽为3.938GB/s,基于x86的PC测速一般为3.6GB/S,FPGA的实现方式与理论速度以及x86平台的速度存在一定的差距,因此希望进一步提高IP的硬盘的读写速率。
运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。
一个不小心,我的 SSD 又满了。到底是谁占用了那么多的空间!如果你是 ReSharper 的重度用户,那么可能你的调查结果会直指 JetBrains ReSharper。
本篇是luminous一个新功能介绍,关于磁盘智能分组的,这个在ceph里面叫crush class,这个我自己起名叫磁盘智能分组,因为这个实现的功能就是根据磁盘类型进行属性关联,然后进行分类,减少了很多的人为操作
这本手册是《Intel 64 and IA-32 Architectures Software Developer's Manual》,全书共4卷,学习之后可以对x86计算机的工作机制有庖丁解牛一般的深入理解。
NVMe SSD具有高性能、低时延等优点,是目前存储行业的研究热点之一,但在光鲜的性能下也同样存在一些没有广为人知的问题,而这些问题其实对于一个生产系统而言至关重要,例如:
平时执行的更新语句,都是从磁盘上加载数据页到DB内存的缓存页,接着就直接更新内存里的缓存页,同时还更新对应的redo log写入一个buffer中。
推上看到有dalao分享蜗牛星际的车,作为伪“资深垃圾佬”自然不能错过,于是去咸鱼上收了一台。
现如今的电脑主板,m.2/ngff接口相当普遍。具有minipcie接口的主板大概只有工控主板和老款的主板的了。并不代表minipcie就会别淘汰了。
腾讯云4核8g10M轻量应用服务器支持多少人同时在线?企业型-4核8G-100G-1500G,1500GB月流量,系统盘为100GB SSD盘,10M公网带宽,下载速度峰值为1280KB/s,即1.25M/秒,假设网站内页平均大小为60KB,则支持21人同时在线。腾讯云百科来详细说下4核8g10M配置轻量应用服务器支持多少人同时在线及计算方法:
| 导语 随着云业务的扩张和服务器数量的增加,硬盘Media Error的现象也越来越受到用户的关注。本文结合腾讯云海量服务器运营经验,浅谈产生Media Error的原因和硬盘自身容错机制,以及应用层的处理建议。 一、 什么是Media Error Media Error,有时也称为Medium Error,一般是指硬盘在读操作中遇到了不可纠正的扇区从而无法给host返回准确的数据,对应到SCSI协议KCQ代码为03/11/xx。Media Error的产生意味着即使硬盘自身已经用尽了所有容错手段(
这个长假期间,机缘巧合之下在群里收了个2015款的15寸RMBP笔记本,决心对其改造一番,使之重新上岗服役,还是很能打的。
在做数据库维护的时候,经常会跟磁盘打交道,对于“Raid”这个词,肯定大家都不陌生,今天我们讲讲Raid阵列。
通过讲解如何优雅扩容云硬盘,我们了解了云盘连接到服务器上的具体操作过程。那么,如何进一步了解已挂载硬盘的实际性能呢?你或许会疑惑,测试硬盘性能,为什么不能用Linux系统自带的dd工具呢?而且不少人之前都这么用的:
导言 上篇概述了一下现在非常火的超融合《超融合概述》。接下来要分析一下各家的超融合方案,今天开始第一家的分析:nutanix的超融合方案分析。 根据各种公开的资料,nutanix2017 年.NEXT大会于6月28日在美国召开。从各种报道看,超融合已经只是nutanix的一个小部分,nutanix和google结盟,推出了给予nutanix私有云和GCP的混合云方案,基于nutanix在超融合上对三大主流hypervisor的支持,相信nutanix有意愿或者有能力甚至有计划支持AWS以及Azure。
备注:早些年磁盘每个磁道扇区数量相同,可以用上面的公式计算磁盘容量;现代磁盘每个磁道扇区数量不同,故上面的磁盘容量计算公式已经不适用。
在部署Hadoop平台的过程中,一般会要求数据盘配置RAID 0或者JBOD模式(直通模式),本文将详细讲解如何在HP dl380 Gen9服务器上配置RAID或JBOD模式。
GPU 云服务器支持四种镜像类型:公共镜像、自定义镜像、共享镜像、镜像市场。具体详情请单击 了解镜像 >>。 对于刚开始使用腾讯云的用户,可选择【公共镜像】,并根据需要挑选版本。
线上某clickhouse集群,最早采用SAS机器,后来因为容量不足又陆续添加了4台SATA机器。
在前面的文章中,Fayson介绍过什么是HDFS分层存储,参考《6.2.0-什么是HDFS分层存储》。这个功能很早CDH就支持了,本文基于CDH6.2实际演示如何在CDH中使用HDFS分层存储。
广义上Cache的同步方式有两种,即Write Through(写穿)和Write back(写回). 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念(纯读的话就不存在Cache一致性了,不是么)。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作,完成下层的更新后才返回。而Write back正好相反,指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
内容来源:2018 年 7 月 17 日,VMware大中华区原厂高级技术讲师史峻在“VMware直播分享 第二期”进行《vSAN架构解析与6.7功能介绍》演讲分享。IT 大咖说经主办方和演讲者审阅授权转发。
提示:表3-3所示的测试场景中提及的DW,表示MySQL InnoDB引擎中的DoubleWrite双写缓冲机制,该机制是一种数据页的安全保护机制。因MySQL InnoDB的Page Size默认为16k,而文件系统的Block Size默认为4k,当刷新脏数据过程中因进程意外崩溃或主机意外宕机则可能导致数据页发生部分写(损坏)。其核心原理是将脏数据页写两遍,先写一遍到DoubleWrite中,DoubleWrite写入成功之后,再将脏数据页写入到表空间中。期间表空间中的数据页发生部分写,则可以从DoubleWrite中读取完整的页进行恢复。
添加osd 案例1 由于Luminous里默认使用Bluestore,可以直接操作裸盘,data和block-db会使用lv。综合成本及性能,我们把block.db使用ssd的分区,osd仍然使用sas,block.wal不指定. 这里vdb作为osd盘,vdc作为block-db盘
领取专属 10元无门槛券
手把手带您无忧上云