介绍 随着数据量的不断增大，传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。通过数据库中间件，可以对数据库进行水平扩展，由原来单台数据库扩展到多台数据库，数据库中间件通过路由规则将数据的访问请求路由到其中一台数据库上，从而大大降低了数据访问的瓶颈和单台数据库的压力。通过数据库中间件还可以将DBA和研发进行解耦，提升DBA运维效率。 奇虎360公司开源的Atlas是优秀的数据库中间件，美团点评DBA团队针对公司内部需求，在其上做了很多改进工作，形成了新的高可靠、高可用企业级数据库中间件DBP
好久没更博了，今天引用美团技术团队的一篇文章来给大家分享一款数据库中间件-美团DBProxy！
大约21亿吧，2017年以前的数据没有业务意义了，给你半天时间把这个事搞定，绩效给你A
大家可以从任何一个gii生成model类开始代码上溯，会发现：yii2的model层基于ActiveRecord实现DAO访问数据库的能力。
笔者在阅读了一大堆源码后，就会情不自禁产生造轮子的想法。于是花了数个周末的时间用C语言撸了一个DBProxy(MySQL协议)。在笔者的github中给这个DBProxy起名为Hero。
这段时间团队在梳理mysql使用上的一些痛点（分库分表、读写分离、权限控制、监控告警、日志审计等），也调研了业内一些mysql中间件的实现，这里把对问题域的思考，以及常见中间件整理沉淀一下
MySQL Fabric具有分片功能，在同一个分片内又可以含有多个数据库，并且由Fabric自动挑选一个适合的作为主数据库，部署成本较高，另外需要应用端来适配改造。
摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中，根据业务的不断发展，TiDB 版本快速迭代，我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级：
Bootstrapping： Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV
运维精简工具箱 Bootstrapping： Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、 Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV 配置类工具: Capistrano、Chef、puppet、func、salstack、Ansible、 rundeck、CFengine、Rudder 自动化构建和测试: Ant、Maven、Selenium、PyUnit、QUnit、JMeter、Gradle、 PHPUni
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第十二部分。主要介绍了技术演进的动力和演进模式，如不同时期所面临的问题以及该如何处理。
答： 当我们在 4 核 8G 的机器上运 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS。但是当服务的用户量远超这个量的时候，并且读的量大于写数据的量的时候，那我们解决的办法之一就是将数据库进行主从读写分离。
本文源自herman的系列文章之一《鹅厂开源框架TARS之运营服务监控》。相关代码已按TARS开源社区最新版本更新。
摘要：今年除夕当日微信红包的参与人数达到4.2亿人，收发总量达80.8亿个，是羊年除夕10.1亿个的8倍。最高峰发生在00:06:09，每秒钟收发40.9万个红包。但是，红包大战受欢迎的程度和完美支撑
GORM 默认的数据更新、创建都在事务中，如无必要，可以关闭默认的事务，获得更大的性能提升， 事务的全局性或者临时关闭，即使在关闭默认事务，仍然可以通过方法 Begin, Transactions 方法开启事务。
读写分离就是用户在发送请求时，请求经过中间件，中间件将请求中的读和写操作分辨出来将读请求发送给后端的从服务器，将写请求发送给后端的主服务器，再又主服务器通过主从复制将数据复制给其他从服务器
“不识庐山真面目，只缘身在此山中”，跳出技术的范畴，用业务发展的角度去审视技术，答案就会非常清晰。
“秒杀”系统的建设需要整个系统从前到后全栈的协同配合，其中包含了基础技术部维护的多个服务，比如CDN、高防IP、容器平台、缓存、数据库、中间件、全链路压测、监控系统等，我们围绕这些基础服务讨论秒杀系统的技术挑战与架构优化。
经常会遇到这种情况，我们的业务已经稳定地运行一段时间了，并且流量渐渐已经上去了。这时候，却因为某些原因（比如功能调整或者业务扩展），你需要对数据表进行调整，加字段 or 修改表结构。 可能很多人说 alter table add column … / alter table modify …，轻轻松松就解决了。 这样其实是有风险的 ，对于复杂度比较高、数据量比较大的表。调整表结构、创建或删除索引、触发器，都可能引起锁表，而锁表的时长依你的数据表实际情况而定。 本人有过惨痛的教训，在一次业务上线过程中没有评估好数据规模，导致长时间业务数据写入不进来。 那么有什么办法对数据库的业务表进行无缝升级，让该表对用户透明无感呢？下面我们一个个来讨论。
一般我们业务在读多写少的场景下，遇到的第一个瓶颈就是数据库这块，大量的读请求会来到数据库，这样如果你初期部署的一个数据库就会造成IO大量增加，使得请求变慢，甚至会卡死整个数据库，到了这个阶段，我们一般会将读请求和写请求进行分开数据处理，即采用主从读写分离的方式。
记得第一次接触 Nginx 是在实验室，那时候在服务器部署网站需要用 Nginx 。Nginx 是一个服务组件，用来反向代理、负载平衡和 HTTP 缓存等。那么这里的 负载均衡 是什么？
凤凰网（纽交所上市公司，代码：FENG) 是全球领先的跨平台网络新媒体公司，整合旗下综合门户凤凰网、手机凤凰网和凤凰视频三大平台，秉承"中华情怀，全球视野，兼容开放，进步力量"的媒体理念， 为主流华人提供互联网、无线通信、电视网的三网融合无缝衔接的新媒体优质内容与服务。
说过很多次，不要拘泥于某一个技术的一点，技术是相通的。重要的是编程思想，思想是最重要的。当数据量大的时候，需要具有分的思想去细化粒度。当数据量太碎片的时候，需要具有合的思想来粗化粒度。
大部分互联网业务都是读多写少，因此优先考虑DB如何支撑更高查询数，首先就需要区分读、写流量，这才方便针对读流量单独扩展，即主从读写分离。
当我们面临高并发的查询数据请求时，可以使用主从读写分离的方式，部署多个从库分摊读压力。 大部分互联网业务都是读多写少，因此优先考虑DB如何支撑更高并发查询，首先就需要区分读、写流量，这才方便针对读流量单独扩展，即主从读写分离。
依据一些云厂商的 Benchmark 的结果，在 4 核 8G 的机器上运行 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS。这时，运营负责人说正在准备双十一活动，并且公司层面会继续投入资金在全渠道进行推广，这无疑会引发查询量骤然增加的问题。那么当查询请求增加时，应该如何做主从分离来解决问题。
恭喜你，贵公司终于成长到一定规模，需要考虑高可用，甚至分库分表了。但你是否知道分库分表需要哪些要素？拆分过程是复杂的，提前计划，不要等真正开工，各种意外的工作接踵而至，以至失控。
通过上一节的编译与部署，我们会得到TeamTalk服务器端以下部署程序： db_proxy_server file_server http_msg_server login_server msfs m
1. 背景 分布式系统或者微服务架构基本都采用了分库分表的设计，全局唯一id生成的需求变得很迫切。 传统的单体应用，使用单库，数据库中自增id可以很方便实现。分库之后，首先需要分库键，分库键必然不能重复，所以传统的做法并不能满足需求。概括下来，那业务系统对ID号的要求有哪些呢？ 1.全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 2.趋势递增：在MySQL InnoDB引擎中使用的是聚集索引，由于多数RDBMS使用B-tree的数据结构来存储索引数据，在主键的选择上面我们应该尽量使用有
读写分离：读写操作，分发不同的服务器，读分发到对应的服务器 （slave），写分发到对应的服务器（master）
作者 | 张甦， 数据库领域的专家和知名人士、图书《MySQL王者晋级之路》作者，51CTO 专家博主。近10年互联网线上处理及培训经验，专注于 MySQL 数据库，对 MongoDB、Redis 等 NoSQL 数据库以及 Hadoop 生态圈相关技术有深入研究，具备非常丰富的理论与实战经验。
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。
主讲嘉宾：徐元区 主持人：中关村大数据产业联盟 副秘书长 陈新河 承办：中关村大数据产业联盟 嘉宾简介:徐元区，现供职于神州泰岳公司副总经理，负责飞信和融合通信事业、互联网相关业务运营。此前供职于微软中国有限公司。 以下为分享实景全文： 我将我的时间分为三个Session: 1、 神州泰岳积极参与大数据时代的业务拓展 2、 海量用户通信业务平台的设计实践 3、 对于数据运营的思考 一、神州泰岳近几年在大数据领域做了不少投资和业务布局。归纳起来主要集中在四个层面： 1、入口：“智慧线” 2、基础设施：“Iaa
现在是资源共享的时代，同样也是知识分享的时代，如果你觉得本文能学到知识，请把知识与别人分享。
一个网站最先出现瓶颈的一定是数据库,然后是磁盘IO; Mysql 数据库优化建议：
2014 年由Nickolai Zeldovich 教授和James Mickens 教授教授授课的 6.858 讲座笔记。这些讲座笔记略有修改，与 6.858 课程网站上发布的内容略有不同。
虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括CAP理论、分布式存储与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。
http://mini.eastday.com/mobile/170809003639242.html
设计模式一直是程序员津津乐道的事情，经常codereview的时候就会有人提出，这个代码不符合XX设计原则或者XX设计模式。关于设计模式的书籍市场上也是林林种种，多如牛毛。笔者有幸拜读了GOF（gang of four）的神作《设计模式--可复用的面向对象软件的基础》在感慨四位大师智慧的同时不得不承认有些模式确实是已经跟不上时代了，毕竟这本书是1995年出版的，限于当时机器的一些硬件（内存，cpu等）原因，还有当时一些高级的语言和数据结构和标准没有形成，所以书中会描述一些在今天看来已经跟不上潮流的模式。本文不打算对GOF的23种设计模式一一详细描述，有些比较有共鸣的模式会有具体的代码示例和详细描述，一些没有共鸣的模式可能就一笔带过了，本文中所有的示例都是C++的伪代码，或者是一部分代码。C++实现设计模式就要强依赖虚函数，虚函数可以在运行时动态绑定具体的函数，从而给了程序更多的可拓展性。
https://www.cnblogs.com/you-men/p/12838333.html
在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？
ECharts开源来自百度商业前端数据可视化团队，基于html5 Canvas，是一个纯Javascript图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。
在linux的高性能网络编程中，绕不开的就是epoll。和select、poll等系统调用相比,epoll在需要监视大量文件描述符并且其中只有少数活跃的时候，表现出无可比拟的优势。epoll能让内核记住所关注的描述符，并在对应的描述符事件就绪的时候,在epoll的就绪链表中添加这些就绪元素，并唤醒对应的epoll等待进程。 本文就是笔者在探究epoll源码过程中，对kernel将就绪描述符添加到epoll并唤醒对应进程的一次源码分析(基于linux-2.6.32内核版本)。由于篇幅所限，笔者聚焦于tcp协议下socket可读事件的源码分析。
是否启用mysql查询缓存，可以通过2个参数：query_cache_type和query_cache_size，
背景 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？ 全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 趋势递增：在MySQL InnoDB引擎中使用的是聚集索引，
在从物理机部署向容器化部署的过程中，基于目前主流容器编排的k8s系统管理下，传统监控系统无法满足对容器和容器集群以及容器内的服务进行监控的需求。
在经历了惨痛的黑天鹅事件以及激烈的数据恢复过程后，作为微盟DBA的我们进行了深刻的反省和自查，作为公司的核心资产，数据库也得到了前所未有的重视。如何保证数据安全以及用户服务的高可用性是我们要解决的首要问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
