用C语言撸了个DBProxy 前言 笔者在阅读了一大堆源码后，就会情不自禁产生造轮子的想法。于是花了数个周末的时间用C语言撸了一个DBProxy(MySQL协议)。...在笔者的github中给这个DBProxy起名为Hero。 为什么采用C语言 笔者一直有C情节，求学时候一直玩C。工作之后，一直使用Java，就把C渐渐放下了。...下面在这篇博客里面一一道来 DBProxy的整体原理 Hero(DBProxy)其实就是自己伪装成MySQL,接收到应用发过来的SQL命令后，再转发到后端。如下图所示: ?...性能对比 下面到了令人激动的性能对比环节，笔者在一个4核8G的机器上用hero和另一个用java nio写的成熟DBProxy做对比。
现在，我们非常高兴地将DBProxy开源，希望与业内有类似需求的团队，一起打造一款优秀的企业级数据库中间件产品。...项目的Github地址是https://github.com/Meituan-Dianping/DBProxy。...的响应时间 kill session 支持DBProxy的admin接口kill session操作 backend平滑上下线 支持平滑的backend上下线 DBProxy非root用户启动 使用非root...DBProxy的github地址 DBProxy手册 DBProxy快速入门教程 DBProxy用户使用手册 DBProxy开发手册 DBProxy架构和实践 DBProxy release notes...DBProxy 测试手册 FAQ DBProxy开发规范
DBProxy的优点 首先介绍一下为什么要使用DBProxy: 使用DBProxy之后，应用程序只需要在连接串中设置DBProxy的地址，不需要关注整个数据库集群的结点； DBProxy...DBProxy的软件模块 介绍DBProxy的软件模块。...DBProxy连接改进 首先介绍一下连接的管理：根据我们链路比较长的特点，着重添加了对于连接异常的检测和处理，包括： DBProxy上游和MGW交互的连接检测； DBProxy下游和...DBProxy监控模块 DBProxy的监控体系实现了一个从无到有的过程，目前主要监控一些DBProxy内部运行相关的一些参数： DBProxy Sharding改进 对于sharding...DBProxy上线现状 和大家分享一下上线的现状：从2015.5上线第一个版本后到现在已经有87%的服务组接入了DBProxy, DBProxy也已经经历了5个版本的迭代。
class_id查询出来(ORM为dapper)，并且升序排列 DateTime dtMax = DateTime.Parse("2017.1.1"); var allClassId = DBProxy.GeSourcetLstClassId...==0) { //最后一页无数据了，删除源数据源数据然后跳出 DBProxy.DeleteSourceClassData...break; } else { DBProxy.AddTargetData...successCount++; Console.WriteLine($"班级:{classId} 完成,已经完成：{successCount}个"); } DBProxy...完整代码： class DBProxy { //获取要迁移的数据所有班级id public static IEnumerable GeSourcetLstClassId
监控告警、数据安全等问题还是需要解决 二、常用mysql中间件列表 ProxySQL #Percona（轻量，功能较齐全） MaxScale #MariaDB（商业） Atlas #360开源（较热门） DBProxy...它是在mysql-proxy0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性 * Github：https://github.com/Qihoo360/Atlas DBProxy * DBProxy...它在奇虎360公司开源的Atlas基础上，修改了部分bug，并且添加了很多特性 * Github：https://github.com/Meituan-Dianping/DBProxy/ OneProxy
有2个思路解决M库问题，1种是yii2通过改造直连多个地址进行访问多库，1种是yii2仍旧只连1个地址，而这个地址部署了dbproxy，由dbproxy根据你访问的库名代理连接多个库。...如果此前没有熟练的运维过dbproxy，并且php集群规模没有大到单个mysql实例客户端连接数过多拒绝服务的境地，那么第1种方案就可以解决了。否则，应该选择第2种方案。...最终ActiveRecord生效的代码都会类似于”select * from wordpress0.order_info1″，这样就可以解决连接dbproxy访问多库的需求了。...getDb() { return \Yii::$app->get('db' . self::$databaseIndex_); } 这样，无论是yii连接多个mysql实例，还是yii连接1个dbproxy
图 2 订单集群的迁移过程以及业务接入拓扑图 为了方便描述，图中 Sharding-JDBC 部分称为老 Sharding 集群，DBProxy 部分称为新 Sharding 集群。...新 Sharding 集群按照 order_id 取模通过 DBproxy 写入各分表，解决数据分布不均、热点等问题。...为支持上线过程中业务回滚至老 Sharding 集群，需要将新 Sharding 集群上的增量数据同步回老 Sharding 集群，由于写回老 Sharding 集群需要耦合业务逻辑，因此 DRC（Gravity）负责订阅 DBProxy-Sharding...新方案中 DBProxy 集群负责 order_id 的读写流量，TiDB 合库作为 readonly 负责其他多维度的查询。
2）、美团的DBProxy github地址：https://github.com/Meituan-Dianping/DBProxy 在360Altas基础上修改的，对运维更友好，并且更新了开发文档，包含代码级的说明
拓扑可视化工具 MySQL基准测试: mysqlsla、sql-bench、Super Smack、Percona's TPCC-MYSQL Tool、sysbench MySQL Proxy: SOHU-DBProxy
拓扑可视化工具 MySQL基准测试: mysqlsla、sql-bench、Super Smack、 Percona's TPCC-MYSQL Tool、sysbench MySQL Proxy: SOHU-DBProxy
订单集群的迁移过程以及业务接入拓扑图] 图 2 订单集群的迁移过程以及业务接入拓扑图 为了方便描述，图中 Sharding-JDBC 部分称为老 Sharding 集群，DBProxy...新 Sharding 集群按照 order_id 取模通过 DBproxy 写入各分表，解决数据分布不均、热点等问题。...为支持上线过程中业务回滚至老 Sharding 集群，需要将新 Sharding 集群上的增量数据同步回老 Sharding 集群，由于写回老 Sharding 集群需要耦合业务逻辑，因此 DRC（Gravity）负责订阅 DBProxy-Sharding...新方案中 DBProxy 集群负责 order_id 的读写流量，TiDB 合库作为 readonly 负责其他多维度的查询。
startServer 接口的实现中，先调用 updateServerState 更新服务的状态 //更新数据库server的设置状态 DBPROXY->updateServerState(application...'" + application + "." + serverName + "_" + nodeName + "' is tars_dns server" << endl); iRet = DBPROXY...serverName, nodeName, "present_state", tars::Active); } else { // 获取Node节点proxy NodePrx nodePrx = DBPROXY
Update("Age", 18) 具体例子 // 会将 SELECT * FROM `users` 缓存，建立 Prepared Statement db.Find(&user) tx1 := dbProxy.Session...Prepared Statement tx1.Model(&user).Update("Age", 18) 全局模式 // 全局模式，所有的 DB 操作都会进行 Prepared Statement 缓存 dbProxy
数据库平台化：百度的 DBProxy、淘宝 TDDL。 缓存平台化：Twitter 的 Twemproxy，豆瓣的 BeansDB、腾讯 TTC。
在数据库的持久化层，通过DBProxy实现了数据库的分库分表，同时持久化的存储系统CDB集群也实现了同城的应用灾备。 如果用一张图来表现的话是这样的▼ ?
避免重复造轮子；服务化，解决系统交互问题）1000w+ 成熟期（优化）1亿+ 用户规模增大 性能 可用性 第十六章 互联网架构模板 存储层技术 SQL 当业务发展到一定程度时，独立成中间件，例如百度的DBProxy
downloads.mysql.com/archives/proxy Atlas Qihoo https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md dbproxy...美团 https://github.com/Meituan-Dianping/DBProxy Cetus 网易乐得 https://github.com/Lede-Inc/cetus Amoeba https
那就是使用中间件，如另一类是单独部署的代理层方案，这一类方案代表比较多，如早期阿里巴巴开源的 Cobar，基于 Cobar 开发出来的 Mycat，360 开源的 Atlas，美团开源的基于 Atlas 开发的 DBProxy
在处理业务弹性扩容的过程中，还有一点也需要考虑到，即数据库的连接数风险，在没有类似dbproxy（数据库代理中间件）这样的服务进行连接池收敛的情况下，业务的弹性扩容能力需要考虑数据库的对连接数的承载力。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
