Atlas MySQL 详细介绍 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。...A: 在atlas中是不会的! 能问这样的问题, 说明你用过官方的mysql-proxy, 很遗憾官方版本并未解决这个问题 Q: 检测后端DB状态会阻塞正常请求么？...A: 通过管理接口可以轻松实现 Q: 相比官方mysql-proxy, atlas还有哪些改进？.../lua/admin.lua #实现管理接口的Lua脚本所在路径 proxy-backend-addresses = 127.0.0.1:3306 #Atlas后端连接的MySQL主库的IP
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。...目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。...github地址 介绍 一、安装 安装 在安装之前, 服务器上必须要装有mysql, altas会用到mysql的组件。...时为前台方式，一般开发调试时设为false，线上运行时设为true daemon = true (必备，默认值即可)设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor
近年来公司业务增长较快，社区用户比较活跃，回复表记录数近1亿，为了提高系统的稳定性和可扩展性，我们用Atlas做分表，表结构如下： CREATE TABLE `post_reply` ( `id`...mediumtext NOT NULL COMMENT '回复内容', UNIQUE KEY `idx_id` (`id`), ) ENGINE=InnoDB DEFAULT CHARSET=utf8; Atlas...最近有同事反馈一些用户在查看个人回复时，部分页取不到数据，原因是一些SQL直连Mysql有返回结果，而通过Atlas返回空，SQL如下： SELECT * FROM post_reply WHERE `...使用Atlas的同学如果有上面LIMIT的场景得注意了。 有解决没方案呢，方案肯定是有的，方法总比问题多....当然根本的方案还得从中间件上解决，这样对业务的侵入是最少的，后面再专门介绍数据库中间件相关。
目录 一、Atlas介绍 二、实现Mysql读写分离 1、实验环境 2、搭建一主一从配置 3、安装Atlas ---- 一、Atlas介绍 [ˈætləs] Atlas 是由 Qihoo 360公司Web...目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。...DB 7、自动摘除宕机的DB 3、使用场景： Atlas是一个位于前端应用与后端MySQL数据库之间的中间件，它使得应用程序员无需再关心读写分离、分表等与MySQL相关的细节，可以专注于编写业务逻辑.../fd2025/10375544 安装Atlas rpm -i Atlas-2.2.1.el6.x86_64.rpm 默认安装目录为：/usr/local/mysql-proxy 编辑Atlas配置文件...： /usr/local/mysql-proxy/bin/mysql-proxyd test status 连接Atlas后台： mysql -h127.0.0.1 -P2345 -uroot -proot
rpm -i Atlas-1.0.3.el6.x86_64.rpm 安装的目录是/usr/local/mysql-proxy conf文件夹下有一个自带的配置文件test.cnf，我们可以直接修改，下面是我修改的...主数据库服务器：192.168.83.11 从数据库服务器：192.168.83.12 proxy服务器：192.168.83.13 [mysql-proxy] #Atlas加载的模块名称，不需要改.../lib/mysql-proxy/lua/admin.lua #Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔 proxy-backend-addresses = 192.168.83.11...:3306 #Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔 proxy-read-only-backend-addresses.../mysql-proxyd test start 查看Altas运行情况 ./mysql-proxyd test status 有两个进程的。
〇 Atlas架构介绍 Atlas是Qihoo360开发的一个中间件，位于Client和MySQL Server中间层，可以作为读写分离，分库分表中间件。...对于MySQL Server而言，Atlas像是个Client，而对于Client而言，Atlas则是一个DB server。...〇 Atlas部分： Atlas开发者给出部分建议： 1、Atlas只能运行在64bit的发行版本上 2、若曾经安装过，在新安装时会报错：如“file /usr/local/mysql-proxy/bin...3、建议使用MySQL 5.6，此外，不宜小于MySQL 5.1 在proxy机上安装Atlas： wget https://github.com/Qihoo360/Atlas/releases/download...# 设置用户的密码（这个密码为MySQL中dev用户通过Atlas加密程序加密后的密码），多个可以用逗号隔开 pwds = dev:A2OS3vFVUmY= # 设置Atlas日志信息，其中log-level
之间中间件。...Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。...注： Atlas只能安装运行在64位的系统上。后端mysql版本应大于5.1，建议使用Mysql 5.6 及以上 配置文件修改 Atlas运行需要依赖一个配置文件（test.cnf）。.../mysql-proxyd test start，启动Atlas。 (2). sudo ./mysql-proxyd test restart，重启Atlas。 (3). sudo ..../mysql-proxyd test stop，停止Atlas。
前篇： 《假如让你来设计数据库中间件》 《数据库中间件TDDL调研笔记》 《数据库中间件cobar调研笔记》 《数据库中间件mysql-proxy调研笔记》 13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享...一、Atlas是什么 奇虎360的一个mysql数据库中间层项目 在mysql官方推出的mysql-proxy0.8.2的基础上改的 基于服务端的中间件 画外音：数据库中间件有基于服务端的，也有基于客户端的...二、Atlas相对mysql-proxy的优势 既然Atlas是基于mysql-proxy改的，有一些什么优化呢？...官方mysql-proxy主库宕机从库亦不可用，Atlas优化为可读不可写 优化之外，还新增了什么特性呢？...答：是，对多字符集的支持是Atlas对原版MySQL-Proxy的第一项改进。 问：Atlas是否支持事务操作？
是架设在Web Server与DB之间的一个中间件，Web Server与DB之间的耦合关系放到了Atlas来处理，既做到了灵活也保留了性能，这也是Atlas存在的价值。 ...Atlas支持表的水平切分，支持读写分离，对数据实时性要求较高的项目可以在select语句前增加/*master*/强制读主库 二.实验环境 MySQL master：192.168.200.101...mysql slave ：192.168.200.102 atlas ：192.168.200.103 atlas有两个port，分别为 工作端口： proxy-address项配置，例如proxy-address...该目录则存放atlas.conf配置档，可以有多个实例 lib： 该目录存放程序的一些库文件及依赖文件 log： 该目录则存放实例产生的日志 安装位置： /usr/local/mysql-proxy...[root@Atlas ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test start OK: MySQL-Proxy of test is started
用户 作者：AshesCat 1、介绍 Atlas是由Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目 它是在mysql-proxy 0.8.2版本的基础上...，对其进行了优化，增加了一些新的功能特性 360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条 下载地址 ：https://github.com/Qihoo360/Atlas.../releases 注意： 1、Atlas只能安装运行在64位的系统上 2、Centos 5.X安装Atlas-XX.el5.x86_64.rpm，Centos 6.X/7.X安装Atlas-XX.el6...，3307-3310端口 192.168.10.55：Atlas 2.2 下载安装Altas wget https://github.com/Qihoo360/Atlas/releases/download.../2.2.1/Atlas-2.2.1.el6.x86_64.rpm [root@db3 ~]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm Preparing...
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，等，但其不支持大数据量的分库分表且性能较差。...下面介绍几款能代替其的mysql开源中间件产品：Atlas，tddl，Mycat。 ...mysql中间件研究原文：Mysql中间件研究（Atlas，cobar，TDDL） 环境准备 192.168.198.130（Atlas所在机器） MySQL所在机器，配置好主从复制 192.168.198.131.../mysql-proxyd test restart #重启Atlas。 ./mysql-proxyd test stop #停止Atlas。 注意： (1)....4、连接Atlas 客户端使用刚才配置的Atlas监听端口连接到Atlas代理服务 [root@localhost ~]# yum install mysql #按需安装mysql客户端 [root
MySQL主从+Atlas 实现读写分离 一、Atlas简介： 二、Atlas相对于官方MySQL-Proxy的优势 环境 搭建数据库主从 Atlas配置 读写分离测试 生产环境部署使用注意事项 一、Atlas...简介： Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...测试一下Atlas服务器的MySQL状态，要确认它是关闭状态，并且使用mysql命令，进不去数据库 在Atlas代理节点安装一个MySQL。.../mysql/mysql.sock' (2) 确认系统中自带的MySQL进不去了，使用如下命令，进入Atlas的管理模式“mysql -h127.0.0.1 -P2345 -uuser -ppwd ”，...能进去说明Atlas正常运行着呢，因为它会把自己当成一个MySQL数据库，所以在不需要数据库环境的情况下，也可以进入到MySQL数据库模式。
一、Atlas简介： Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。...测试一下Atlas服务器的MySQL状态，要确认它是关闭状态，并且使用mysql命令，进不去数据库 在Atlas代理节点安装一个MySQL。.../mysql/mysql.sock' (2) 确认系统中自带的MySQL进不去了，使用如下命令，进入Atlas的管理模式“mysql -h127.0.0.1 -P2345 -uuser -ppwd ”，...能进去说明Atlas正常运行着呢，因为它会把自己当成一个MySQL数据库，所以在不需要数据库环境的情况下，也可以进入到MySQL数据库模式。
Atlas介绍 ? Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性; 360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条; 下载地址 https...#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔 proxy-backend-addresses = 192.168.199.149:3306 #Atlas后端连接的MySQL.../mysql-proxy/bin/mysql-proxyd test start ps -ef |grep proxy 两个进程,一个负责管理一个负责对外提供服务; Atlas功能测试 # 测试读操作...]# mysql -uapp -p123456 -h 10.0.0.53 -P 33060 Atlas管理 连接管理端口 mysql -uuser -ppwd -h127.0.0.1 -P2345 查询后端所有节点信息
在完成Atlas编译以后，就可以进行Atlas的安装了。...Atlas的安装主要是安装Atlas的Server端，也就Atlas的管理页面，并确保Atlas与Kafka Hbase Solr等组件的集成。...二、安装Atlas 到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target 将生成好的安装包 apache-atlas-2.1.0-server.tar.gz...解压： tar -zxvf apache-atlas-2.1.0-server.tar.gz 三、修改配置 进入conf目录下： vi atlas-env.sh 在此指定JAVA_HOME和是否要用内嵌启动...=slave01:9092,slave02:9092,slave03:9092 #atlas地址 atlas.rest.address=http://slave01:21000 四、启动Atlas bin
Atlas就是把元数据变成图的工具。 http://atlas.apache.org/ ?...Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。...Atlas的安装坑较多，本教程将详细介绍Atlas2.1.0整个安装过程，有任何问题欢迎关注 实时流式计算 后台留言~ 下载 请前往官网 https://atlas.apache.org/#/Downloads...国内站点 速度要快一些 https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz...解压源码包 tar -zxvf apache-atlas-2.1.0-sources.tar.gz 1.修改atlas源码工程的pom.xml 将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本
Atlas集成Hive 在安装好Atlas以后，如果想要使用起来，还要让Atlas与其他组件建立联系。 其中最常用的就是Hive。 ?...通过Atlas的架构，只要配置好Hive Hook ，那么每次Hive做任何操作就会写入Kafka从而被atlas接收。 并在Atlas中已图的形式展示出来。...3、同步配置 拷贝atlas配置文件atlas-application.properties到hive配置目录 添加配置： atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries...=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=primary atlas.rest.address=http://doit33:21000...输入用户名：admin；输入密码：admin Enter username for atlas :- admin Enter password for atlas :- Hive Meta Data import
什么是MyCat 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术...、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 为什么使用MyCat 如今随着互联网的发展，数据的量级也是撑指数的增长...> create database test1; mysql> use test1; mysql> create table tab1(id int primary key auto_increment...~]# scp /usr/local/mysql/bin/mysql root@192.168.171.134:/usr/bin/ 2、slave配置 [root@slave data]# vim...| # 这个是逻辑库 +----------+ 1 row in set (0.00 sec) mysql> use TESTDB mysql> show tables;
但是也不要怕，现在开源大行其道，支撑分布式系统的各种中间件也逐渐多了起来。今天我就给大家分享一下，分布式系统数据中间件 Atlas 的使用。 ?...分布式数据库中间件有很多，今天我先给大家讲一讲 Atlas。后面有时间了，再给大家讲其他的中间件。Atlas 有很多新特性非常符合分布式的业务和商业架构。...Atlas 的安装目录是 /usr/local/mysql-proxy，进入安装目录下的 conf 目录，可以看到已经有一个名为 test.cnf 的默认配置文件，使用 Atlas 只需要修改 test.cnf...改动配置后，我们直接启动 Atlas。 ? 注意，有了 Atlas 之后，我们就不需要直接去链接 MySQL 数据库了。DB 的集群架构现在已经被 Atlas 中间件接管了。...同时，你也可以通过 MySQL 客户端链接上 Atlas。Atlas 还有专门的管理界面，对应用程序，屏蔽了 MySQL 的集群。
然后，包含数据分类、集中策略引擎、数据血缘、安全和生命周期管理功能的Atlas应运而生。...(PS：另一个应用的较多的元数据开源项目是Linkedin 在2016年新开源的项目：WhereHows)Atlas目前最新的版本为2018年9月18日发布的1.0.0版本。 1....Atlas介绍 Atlas 是一个可伸缩和可扩展的核心基础治理服务集合 ，使企业能够有效地和高效地满足 Hadoop 中的合规性要求，并允许与整个企业数据生态系统的集成。...Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据科学家，数据分析师和数据治理团队提供围绕这些数据资产的协作功能。 ? 2....与Apache Ranger集成可根据与Apache Atlas中的实体相关的分类对数据访问进行授权/数据屏蔽。例如： 谁可以访问分类为PII，SENSITIVE的数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
