腾讯云对象存储 COS 为客户提供了99.95%的可用性和99.999999999%的可靠性。由此可见，数据可靠性是极高的，即使在极端故障场景下，也可以保证客户的数据不丢失。但实际线上系统更常遇见的是，因为网络拥塞、程序异常等原因，而导致的COS服务不可用，如对象读写失败，API调用异常等。当这些故障发生时，如果没有合适的冗余措施，即使存量数据不丢失，也会造成一段时间线上服务有损，影响用户使用体验。本文会结合一些客户的实际案例介绍一种COS服务的高可用方案。
scribe结构及源码详细分析 1. 整体类关系图 image.png 2. 客户端写日志序列图 image.png 3. 活动及状态图 image.png Scribe活动图 image.png 4. 启动代码详解 image.png 启动过程流程图 （1） 调用setrlimit函数设置能够打开的最大文件数为65535； （2） 调用getopt_long函数解析运行scrib
当单片系统达到它们的极限时，它们开始被扩展的分布式系统所取代。这一趋势始于20年前的计算领域，当时大型机被服务器群所取代。然后进入了存储领域(数据库、文件系统)。在数据库世界中，关系与NoSQL的争论已经激烈了一段时间。
上一篇文章中我们讲解了利用数据库分区与冷热分离的方式来优化存储，虽然解决了查询速度慢的问题，但是在海量数据情况下依然会出现查询缓慢问题，并且部分系统中的冷热数据也是需要频繁或同时查询的。那么，这篇文章中我将带领大家来学习一下如何在设计系统架构时解决海量的数据存储与查询。
我们经常会听到分支预测失败或者虚函数调用会影响计算性能，那么为什么它们会影响性能呢？带着这个疑问，我最近也看了一些博客和论文，这里结合之前看的一些点，整体做一个总结，和大家一起学习。
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。这已经是多年来常见的一种做法，创建一个拥有主，次级和归档存储的系统，来保护企业的信息。然而，事实证明传统的分层存储模式和技术既昂贵又复杂。因此，今天许多企业开始寻求混合云来提供更便宜和更有效的存储选择。 分层存储是一种两个或三个独立的存储系统一起工作的存储模型。第一层是主存储系统，通常是性能最高的。第一层也是最接近的应用并且最昂贵的。第二层，又叫二级存储，趋向于低一点的性能和较便宜的
我们知道自旋锁是实现同步的一种方案，它是一种非阻塞锁。它与常规锁的主要区别就在于获取锁失败后的处理方式不同，常规锁会将线程阻塞并在适当时唤醒它。而自旋锁的核心机制就在自旋两个字，即用自旋操作来替代阻塞操作。某一线程尝试获取某个锁时，如果该锁已经被另一个线程占用的话，则此线程将不断循环检查该锁是否被释放，而不是让此线程挂起或睡眠。一旦另外一个线程释放该锁后，此线程便能获得该锁。自旋是一种忙等待状态，过程中会一直消耗CPU的时间片。
需要注意的是, JMM本身是一种抽象的概念, 并不是真实存在的. 他描述的是一组规则或规范, 通过这组规范定义了程序中各个变量(包括实例字段, 静态字段和构成数组对象元素)的访问方式.
一、摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。
本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。
JVM内部使用的Java内存模型在线程栈和堆之间划分内存。此图从逻辑角度说明了Java内存模型：
Java内存模型(简称JMM)指定了JVM如何利用计算机内存(RAM)进行工作。JMM与整个计算机的模型类似，这个模型自然也包含内存模型，即Java内存模型(AKA)。
计算机系统(A computer system) 是由硬件和软件组成的，它们协同工作运行程序。不同的系统可能会有不同实现，但是核心概念是一样的，通用的。
作者：allanpan，腾讯 IEG 后台开发工程师 导言 虚拟内存是当今计算机系统中最重要的抽象概念之一，它的提出是为了更加有效地管理内存并且降低内存出错的概率。虚拟内存影响着计算机的方方面面，包括硬件设计、文件系统、共享对象和进程/线程调度等等，每一个致力于编写高效且出错概率低的程序的程序员都应该深入学习虚拟内存。 本文全面而深入地剖析了虚拟内存的工作原理，帮助读者快速而深刻地理解这个重要的概念。 计算机存储器 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
因为主存通常不能容纳处理器需要的所有程序和数据，计算机采用了被称为虚拟存储器的存储器管理系统。就像使用cache来匹配主存储器和CPU之间的速度差异一样，虚拟存储器用来加速二级存储器使其匹配主存储器。
CPU 在这里生成的物理地址为 4，把地址发送给内存，然后内存从该地址获取其中保存的字，最后将其发送回 CPU。
1.中央处理器（英文Central Processing Unit，CPU）是一台计算机的运算核心和控制核心。CPU、内部存储器和输入/输出设备是电子计算机三大核心部件。其功能主要是解释计算机指令以及处理计算机软 件中的数据。 CPU核心组件： 1.算术逻辑单元（Arithmetic&logical Unit）是中 央处理器(CPU)的执行单元，是所有中央处理器的核 心组成部分，由"And Gate"（与门） 和"Or Gate"（或门）构成的算术逻辑单元，主要功能是进行二位元的算术运算，如加减乘(不包括整数除法)。 2.PC：负责储存内存地址，该地址指向下一条即将执行的指令，每解释执行完一条指令，pc寄存器的值 就会自动被更新为下一条指令的地址。 3.寄存器（Register）是CPU内部的元件，所以在寄存器之间的数据传送非常快。 用途：1.可将寄存器内的数据执行算术及逻辑运算。 2.存于寄存器内的地址可用来指向内存的某个位置，即寻址。 3.可以用来读写数据到电脑的周边设备。4.Cache:缓存
CONNECT 权限：拥有 CONNECT 权限的用户不能创建新用户、模式、基本表，只能登录数据库
JMM定义了一组规则或规范，该规范定义了一个线程对共享变量写入时，如何确保对另一个线程是可见的。实际上，JMM提供了合理的禁用缓存以及禁止重排序的方法，所以其核心的价值在于解决可见性和有序性。
在上大学的时候，学习操作系统感觉特别枯燥，都是些条条框框的知识点，感觉和实际的关联不大。发现越是工作以后，在工作中越想深入了解，发现操作系统越发的重要。像现在的RHCE市场反响不错，如果想深入地学习,就有很多操作系统的知识需要补补。在实践中结合理论还是不错的一种学习方法。自从接触数据库以后，越来越感觉到很多东西其实都是相通的，操作系统中的很多设计思想在数据库中也有借鉴和改进之处。所谓大道至简，其实就是这个道理。 说到存储管理，是操作系统中式最重要的资源之一。因为任何程序和数据等都需要占有一定的存储空间，
数据中心运行突发故障(如：天灾不可避免的灾难)是无法预测的，计算机里的数据就像扫雷游戏一样，十面埋伏充满雷区，随时都有可能Game Over，容灾备份就是数据安全的最后防线，是你可以避免由数据中心发生故障而丢失数据引发的不可挽回的局面。
MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。
写在前面：提起多线程大部门同学可能都会皱起眉头不知道多线程到底是什么、什么时候可以用到、用的时候是不是有共享变量问题等等一大堆问题。本篇文章将分为两部分第一部分是讲解多线程基础、第二部分讲解Java内存模型。
Java内存模型即Java Memory Model，简称JMM。JMM定义了Java 虚拟机(JVM)在计算机内存(RAM)中的工作方式。JVM是整个计算机虚拟模型，所以JMM是隶属于JVM的。
在当今的商业环境中，企业的兼并和收购是司空见惯的事情。企业合并的关键是如何将两家公司的IT基础设施组合起来。IT部门在确保合并成功方面起着关键作用，但也是企业合并失败的主要原因。在企业急于完成合并时，IT专业人员在存储方面通常会犯七个常见错误。 1 错误-仓促执行 第一个错误是仓促执行。这个过程的第一步应该是IT部门能够为合并后的企业提供数字资产的范围。这一步骤包括使用软件解决方案来存储物理存储系统和这些系统存储的数字数据。 对于物理存储系统的评估，应清点诸如品牌、型号、存储介质的类型，以及附属于哪个物理主
在实际运行过程，把有关作业的全部信息都装入主存储器后，作业执行时实际上不是同时使用全部信息的，有些部分运行一遍便再也不用,甚至有些部分在作业执行的整个过程中都不会被使用到(如错误处理部分)。进程在运行时不用的，或暂时不用的，或某种条件下才用的程序和数据,全部驻留于内存中是对宝贵的主存资源的一种浪费，大大降低了主存利用率。 于是，提出了这样的问题：作业提交时，先全部进入辅助存储器,作业投入运行时,能否不把作业的全部信息同时装入主存储器，而是将其中当前使用部分先装入主存储器，其余暂时不用的部分先存放在作为主存扩充的辅助存储器中，待用到这些信息时，再由系统自动把它们装入到主存储器中,这就是虚拟存储器的基本思路。
是计算机系统的一种系统软件，由它统一管理计算机系统的资源和控制程序的执行。
（原本准备把内存模型单独放到某一篇文章的某个章节里面讲解，后来查阅了国外很多文档才发现其实JVM内存模型的内容还蛮多的，所以直接作为一个章节的基础知识来讲解，可能该章节概念的东西比较多。一个开发Java的开发者，一旦了解了JVM内存模型就能够更加深入地了解该语言的语言特性，可能这个章节更多的是概念，没有太多代码实例，所以希望读者谅解，有什么笔误来Email告知：
而对于虚拟机栈中数据结构，则是线程独有的，被保存在线程私有的内存空间中，所以这部分数据不涉及线程安全的问题
内容： 1. 决策摘要 2. IT和企业风险环境 3. 越来越多的IT规范 4. Hadoop的职能 a. 安全 b. 灾难恢复和业务连续性 c. 资料管理：监督和法律要求 5. 额外要求 6. 关键要点 接上文： 在企业IT中，与植根于存储环境的企业数据管理相关的风险控制和法规遵从是非常普遍的。在该情况下，一些基本功能可以直接应用于数据之上。这些基本功能包括： 1. 数据保护。在主要存储设备或更多得是在二级存储设备上创建并维护备
JMM(java 内存模型 Java Memory Model 简称JMM) 本身是一个抽象的概念,并不在内存中真实存在的,它描述的是一组规范或者规则,通过这组规范定义了程序中各个变量(实例字段,静态字段和构成数组对象的元素)的访问方式.
云中的资源相互都有关系。操作一个资源通常会引发连锁反应；例如，当删除一个集群的时候，是非常合理地去删除属于该集群的所有主机并停止所有在这些主机上运行的虚拟机。传统的IaaS软件要么硬编码连锁反应，要么简单地禁止这些操作，例如，禁止用户删除有虚拟机运行的集群。ZStack提供一个级联框架，用以散布本来只对一个资源的操作到所有相关的资源。资源可以通过实现一个简单的扩展点以加入级联框架，使得资源的业务逻辑与框架解耦。
索引的本质其实就是一种数据结构。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找，这种复杂度为 O(n) 的算法在数据量很大时显然是糟糕的，好在计算机科学的发展提供了很多更优秀的查找算法，例如二分查找、二叉树查找等。如果稍微分析一下会发现，每种查找算法都只能应用于特定的数据结构之上，例如二分查找要求被检索数据有序，而二叉树查找只能应用于二叉查找树上，但是数据本身的组织结构不可能完全满足各种数据结构（例如，理论上不可能同时将两列都按顺序进行组织），所以，在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。
####Java内存模型 Java内存模型描述了Java虚拟机和计算机内存之间是如何协同工作的。一个Java虚拟机也是一个完整的计算机的模型，因此，这个模型自然也包含了内存模型。
在之前分享过第一篇 关于操作系统存储管理和oracle数据库 http://blog.itpub.net/23718752/viewspace-1359146/ 感觉对自己来说是迈出了艰难的一步，操作系统的概念有时候确实感觉枯燥，但是细细品来，都是前车之鉴，很多的方法或者改进都是在碰到很多问题之后总结琢磨出来的，所以从某种程度上来说，操作系统的基础是很多学科的基石，oracle也在不断的改进，从它的发展中也能看到各种改进的痕迹，这一点和操作系统都是异曲同工的效果，这也是我尝试来从操作系统为主线联系数据的一个
接下来的计划是补充下操作系统和计算机组成原理相关的知识。从《深入理解计算机系统》这本书开始吧，系统学习下《深入理解计算机系统》这本书，还有9个Lab可以做下，以便加深理解。初步计划一周一章（不知道行不行），争取在放寒假前做完这些。
CloudStack是一个功能强大、UI友好的开源云（IaaS）计算解决方案。自Ctrix将CloudStack捐献给 apache 后，一直持续高速发展，其社区活跃度已经渐渐赶上风头一时无两的另一开源云OpenStack平台。 CloudStack拥有所有开源云平台中最为友善的管理界面，而且其天生的多语种支持会使中文用户感觉很爽。 今天我们来详细介绍一下CloudStack最新版本 4.1.0 在 CentOS 6.4 下的安装部署的步骤。鉴于网上文章一大抄，很多内容都是装来装去一大堆东西，看官们一会就晕了，根本不了解为什么装这些程序，装来是干什么的。这回呢，我会把每一步说明尽可能详细一些，外加我的经验和理解（不少心得是重装了10次以上后得出的），希望能让后来者可以少走些弯路。 CloudStack可分为管理节点安装和受控节点安装。 管理节点安装无特殊要求，完全可以安装到虚拟机环境下。 受控节点因要创建虚拟机，故需要硬件虚拟化支持，推荐使用独立主机安装。CloudStack支持多种虚拟化方案，包括：KVM、Xen、XenServer、VMware。因XenServer、VMware已包含有强大的虚拟机管理功能，CloudStack可以直接与其通信调用其管理接口，因此这两种受控机环境下，无需安装任何软件。但KVM、Xen的受控机必须安装 CloudStack-Agent 之后，才能被CloudStack管理。 本篇我们主要来讲解管理节点搭建步骤： 一、前期准备 1、配置网卡，确保主机能上网 因我们要使用网络安装方式，所以要首先保证你的服务器可以正常联网。 1 pingwww.baidu.com 2、设置主机名称 CloudStack运行时需要获取本机名称，如无法正确获取可能导致服务无法正常启动并报一大堆的错。 运行以下命令检查： 1 hostname--fqdn 如无正常返回，请编辑 /etc/hosts 文件，添加主机ip对应的名称。 1 如： 2 192.168.19.135 manage.cloudstack.com vi /etc/sysconfig/network 将 HOSTNAME= 改为同你刚设置的一样。 编辑完后立即生效。如果还不成的话，重启下服务器应该就会好了。 3、配置时间同步 管理节点会通过各种协议与受控节点通讯，为了确保安全，受控节点接到命令后会进行一系列的校验，如果两机的时间不同步的话，会导致命令拒绝执行。 最简单的办法就是，所有服务器都安装 ntp实现时间的自动同步。 1 yuminstallntp 4、修改Linux安全设置 服务器上的SELinux会拦截CloudStack的一些命令，导致CloudStack操作失败，因此启动CloudStack前需要对SELinux进行设置。 vi /etc/selinux/config 1 SELINUX=permissive 以上修改需重启服务器才能生效，为使设置立即生效可使用下边的命令 1 setenforce permissive 二、更新 yum 仓库 默认情况下，CentOS的软件源中没有收录最新版本CloudStack，为了能顺利安装，我们需要手工指定软件源。 新建 /etc/yum.repos.d/cloudstack.repo 文件，内容为： 1 [cloudstack] 2 name=cloudstack 3 baseurl=http://cloudstack.apt-get.eu/rhel/4.1/ 4 enabled=1 5 gpgcheck=0 三、安装管理节点 设置好源以后，我们就可以直接使用 yum安装了，非常简单方便。 安装管理节点的命令为： 1 yuminstallcloud-client 如果你的CentOS 是最小化安装的话，将需要安装 160 兆以上的东东，请耐心等待哈... 四、配置数据库 CloudStack使用mysql管理数据，但安装cloud-client时没有包含mysql，这时需要我们手工安装，并导入数据。这是可以理解的，因为数据库可以被安装到其它机器上。 1 yuminstallmysql-server 默认的，mysql有连接数限制，无法满足CloudStack管理节点的要求，需要手工设定。 vi /etc/my.cnf 增加以下内容： 1 innodb_rollback_on_timeout=1 2 innodb_lock_wait_timeout=600 3 max_connections=350 4 log-bin=mysql-bin 5 binlog-format='ROW' 注：如果没改的话会发生什么现象我没有尝试，不
堆内存中包含了 Java 代码中创建的所有对象，不管是哪个线程创建的。 其中也涵盖了包装类型(例如 Byte，Integer， Long 等)。
缓存池通过创建一个逻辑层，将热点数据从较慢的存储介质（如 HDD）移动到更快速的存储介质（如 SSD）。当客户端请求数据时，首先在缓存池中查找，如果命中缓存，则直接返回数据，否则从后端存储池获取数据，并将数据写入缓存池以备后续访问。
1：什么是JVM 大家可以想想，JVM 是什么？JVM是用来干什么的？在这里我列出了三个概念，第一个是JVM，第二个是JDK，第三个是JRE。相信大家对这三个不会很陌生，相信你们都用过，但是，你们对这三个概念有清晰的知道么？我不知道你们会不会，知不知道。接下来你们看看我对JVM的理解。
并发问题使得我们的代码有可能会产生各种各样的执行结果，显然这是我们不能接受的，所以 Java 编程语言规范需要规定一些基本规则，JVM 实现者会在这些规则的约束下来实现 JVM，然后开发者也要按照规则来写代码，这样写出来的并发代码我们才能准确预测执行结果
刚开始程序员通过编辑器创建并保存了一个文本文件，hello.c。这个实际上是由值0和1组成的位序列，8位为一个字节。系统中的所有信息都是由一串比特组成。区分不同数据对象的唯一方法即使上下文。
线程与进程 java默认2个线程，main,gc 真实的线程时底层C++调用的，并不是java cup核心数，就是并行的线程数 单核CUP，要多线程并行，就是用并发实现宏观并行 线程状态 New running blocked waiting time_waiting terminal wait与sleep 来自不同的类 都会释放cup，但wait释放锁，即释放资源，sleep不释放 wait只在同步代码块，sleep任意 线程是一个资源类，没有任何附属操作，OOP编程 资源类包含属性，方法 资源类方
官方定义：索引（Index）是帮助MySQL高效获取数据的数据结构，即索引是数据结构。 其出现就是为了提高数据查询效率，就像书的目录。
例如一个应用程序需要从本地文件系统中读取和处理文件的情景. 比方说, 从磁盘读取一个文件需要5s, 处理一个文件需要2s. 那么处理两个文件就需要:
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
