Otter - 腾讯云开发者社区

文章/答案/技术大牛

发布

Otter小试

Otter英文名是水獭，在跨机房的数据同步中使用比较广泛，它是一个web的管理服务，核心是Manger模块。...Otter就是做Canal拿到binlog日志之后做消费处理，对目标数据库进行增量日志消费，实现数据搬运工作。...算是把canal融入了一个完整的技术体系，在这里面canal可以理解为Otter体系中的一个组件。...首先是对于环境的规划，和架构设计是紧密相关的，我们需要一台独立的管理节点，管理节点可以管理多套MySQL环境，每套环境上面有独立的Otter Node节点，同时配置了Zookeeper,会由Otter统一管理...Otter比较有意思的是他提供了一套WEB管理页面，在部署Manage之后就可以进入WEB页面进行配置管理了。 ? 整个Otter的配置基本都是页面化配置。 ?

9441 0

聊聊otter的NodeTask

序本文主要研究一下otter的NodeTask mysql-binlog-servers-at-bookingcom-15-638.jpg NodeTask otter/node/common/src.../main/java/com/alibaba/otter/node/common/config/model/NodeTask.java public class NodeTask implements.../shared/common/src/main/java/com/alibaba/otter/shared/common/model/config/pipeline/Pipeline.java public...Pipeline定义了id、channelId、name、description、selectNodes、extractNodes、loadNodes、pairs、parameters等属性 StageType otter.../shared/common/src/main/java/com/alibaba/otter/shared/common/model/config/enums/StageType.java public

5350 0

您找到你想要的搜索结果了吗？

是的

没有找到

otter安装原

配置修改 ## otter manager domain name #修改为正确访问ip，生成URL使用 otter.domainName = 127.0.0.1 ## otter manager...= hello ## otter communication port otter.communication.manager.port = 1099 ## otter communication...= 90000 ## otter arbitrate connect manager config otter.manager.address = ${otter.domainName}:${otter.communication.manager.port...二、node安装环境准备 1. otter node会受otter manager进行管理，所以需要预先安装otter manager，参见：Otter Manager Quickstart. 2..../node ## otter node dir otter.htdocs.dir = ${otter.nodeHome}/htdocs otter.download.dir = ${otter.nodeHome

1K3 0

聊聊otter的NodeTask

序本文主要研究一下otter的NodeTask NodeTask otter/node/common/src/main/java/com/alibaba/otter/node/common/config...ToStringBuilder.reflectionToString(this, ToStringStyle.MULTI_LINE_STYLE); } } NodeTask定义了pipeline、stage、event属性 Pipeline otter.../shared/common/src/main/java/com/alibaba/otter/shared/common/model/config/pipeline/Pipeline.java public...Pipeline定义了id、channelId、name、description、selectNodes、extractNodes、loadNodes、pairs、parameters等属性 StageType otter.../shared/common/src/main/java/com/alibaba/otter/shared/common/model/config/enums/StageType.java public

3323 0

Otter介绍及(Manager)安装「建议收藏」

Otter 简单介绍名称：otter [‘ɒtə(r)] 译意：水獭，数据搬运工语言：纯java开发定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库.../releases 下载 manager.deployer-xxx.tar.gz 下载好后上传至服务器 mkdir ~/otter #创建otter目录 tar zxvf manager.deployer...-4.2.18.tar.gz -C ~/otter/manager-deployer/ #解压 2）创建otter数据库（这里用的是mysql数据库）执行脚本otter manager sql （...内容末附上） 3) 修改otter.properties otter.domainName manage管理界面IP地址 otter.port 端口号 otter.database.driver.class.name...32312 IF NOT EXISTS*/ `otter` /*!

1.3K5 0

Otter-入门篇3(Node搭建)

Otter-入门篇3(Node搭建) 前言哈咯大家好呀!...今天是对otter准备的最后一个流程,配置好node,并且吧manager,zookeeper和node组合起来形成一个完整可以进行Mysql同步任务的服务,话不多说我们今天就来来事准备工作的最后一步Node...附上: 喵了个咪的博客:w-blog.cn Otter项目地址:https://github.com/alibaba/otter Otter文档地址:https://github.com/alibaba.../otter/wiki 1....安装配置aria2 我们在介绍otter的特性里面有提及到aria2,它是一个文件通道来保证需要同步的数据通过极快的速度同步到需要同步的服务器上 cd /app/install/ tar zxvf aria2

2.4K13 0

Otter-入门篇4(单向同步实践)

Otter-入门篇4(单向同步实践)# 前言## 在前几节我们已经做好了关于otter的准备工作,配置好了zookeeper,manage和node,本节就来完成otter第一个实际功能,单相数据同步....单向数据同步可以解决跨机房主从的问题,所有读操作都能从本地的从库进行操作,而写可以通过外网连接到主服务器进行写入,并且通过otter同步到各个从服务器,可以很好地应对多机房读业务偏多的场景,那么话不多说就开始本节的正文吧...附上: 喵了个咪的博客:w-blog.cn Otter项目地址:https://github.com/alibaba/otter Otter文档地址:https://github.com/alibaba.../otter/wiki 1....到这里就完成了一次单向同步的配置,我们所有的对master的操作都会同步到slave,但是slave是可以写的,所以一般会进行通过slave进行写操作保证数据的统一,后面的章节将会通过此机制慢慢讲解一些otter

2.2K10 0

Otter-入门篇2(Manager安装配置)

Otter-入门篇2(Manager安装配置) 前言上一节已经简单介绍了Otter的基本信息,本节我们就来开准备搭建一个我们自己的Otter环境,因为一个Otter需要Manage+node+数据库还有很多的依赖...附上: 喵了个咪的博客:w-blog.cn Otter项目地址:https://github.com/alibaba/otter Otter文档地址:https://github.com/alibaba.../otter/wiki ##1....source /tmp/manager/otter-manager-schema.sql 修改vim conf/otter.properties 配置文件 ## otter manager domain...port otter.port = 8080 ## otter manager database config ，修改为正确数据库信息 otter.database.driver.url = jdbc

1.6K12 0

Otter数据同步服务部署与数据同步最佳实践

组件Otter manager172.17.6.4otter manager 、otter node、jdk 、zookeeper 、mysqlotter node172.17.6.19otter node.../otter/manager wget https://github.com/alibaba/otter/releases/download/otter-4.2.18/manager.deployer-...ALL ON otter.* TO 'otter'@'%'; flush privileges;修改配置修改conf/otter.properties，修改如下信息：otter.domainName =...otter.database.driver.username = otter #otter数据库账号otter.database.driver.password = 123456...#otter数据库密码otter.communication.manager.port = 1099 #otter通讯地址，默认可不改otter.communication.pool.size

2.2K1 0

otter用于跨云RDS之间配置双主实时同步

阿里数据同步工具Otter和Canal简介请参考：https://www.xmmup.com/alishujutongbugongjuotterhecanaljianjie.html otter用于跨云...和ogg优缺点 1、otter不能同步无主键的表（会导致同步任务停止），而ogg可以 2、otter可以单向同步ddl语句，而ogg对于MySQL 5.7不可以，ogg对MySQL 8.0支持DDL同步...环境 docker exec -it lhrotter bash -- 修改/usr/local/otter_manager/conf/otter.properties otter.domainName...回环同步算法：Otter双向回环控制 ..../* 供 otter 使用， otter 需要对 retl.* 的读写权限，以及对业务表的读写权限 1.

4K5 1

数据同步利器-otter的搭建使用说明「建议收藏」

Otter都能为你解决。...二、官方安装文档 https://github.com/alibaba/otter/wiki/Manager_Quickstart https://github.com/alibaba/otter/...初始化otter manager系统表：https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql...整个otter架构依赖了zookeeper进行多节点调度，所以需要预先安装zookeeper，不需要初始化节点，otter程序启动后会自检....配置修改 vi ~/otter/conf/otter.properties # node的安装目录 otter.nodeHome = ${user.dir}/node

3.3K2 1

Otter Wiki：用 Python 和 Markdown 搭建你的小型知识库，三步搞定！

这时，Otter Wiki 就成为了你的理想选择。它用的是 Markdown，一种超轻量级的文本格式，简洁直观，特别适合写作和记录。...三步上手 Otter Wiki1. 安装 Otter Wiki 不用担心，它不像那些复杂的企业软件需要一整天的学习过程。...实用技巧：如何优化你的 Otter Wiki为了让 Otter Wiki 更适合日常使用，这里有几个实用的小技巧：1. 模板化内容结构可以通过创建 Markdown 模板，快速生成不同类型的内容。...加密敏感内容虽然 Git 和 Markdown 本身是公开的，但如果你需要存储一些敏感数据，Otter Wiki 也可以结合 Git 的加密功能，确保内容安全无虞。谁最适合用 Otter Wiki？...如果你也想要一个完全属于自己的 Wiki，不妨试试看 Otter Wiki，用它的极简带来你的知识管理革命。

9831 0

聊聊OtterLauncher

序本文主要研究一下OtterLauncher mysql-56-gtid-in-a-nutshell-40-638.jpg OtterLauncher otter/node/deployer/src.../main/java/com/alibaba/otter/node/deployer/OtterLauncher.java public class OtterLauncher { private...public void run() { try { logger.info("INFO ## stop the otter...catch (Throwable e) { logger.warn("WARN ##something goes wrong when stopping Otter...catch (Throwable e) { logger.error("ERROR ## Something goes wrong when starting up the Otter

3960 0

聊聊OtterLauncher

序本文主要研究一下OtterLauncher OtterLauncher otter/node/deployer/src/main/java/com/alibaba/otter/node/deployer...public void run() { try { logger.info("INFO ## stop the otter...catch (Throwable e) { logger.warn("WARN ##something goes wrong when stopping Otter...catch (Throwable e) { logger.error("ERROR ## Something goes wrong when starting up the Otter.../node/etl/src/main/java/com/alibaba/otter/node/etl/OtterContextLocator.java public class OtterContextLocator

4121 0

SpringBoot系列之集成阿里canal监听MySQL Binlog

1.9K2 0

Canal入门

1.3K2 1

280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了

特别值得注意的是，研究者在 MIMIC-IT 上训练了基于 OpenFlamingo 的多模态模型「Otter」。...通过 ChatGPT、人类两个方面的评估，Otter 的多模态能力超越了近期的其他视觉 - 语言模型。在一系列 Demo 中，研究者展示了 Otter 的多模态问答能力： Q：接下来出哪张牌？...首先，研究者介绍了使用 MIMIC-IT 数据集开发的上下文指令调优模型 Otter。...而后，研究者探索了在 MIMIC-IT 数据集上训练 Otter 的各种方法，并讨论了可以有效使用 Otter 的众多场景。图 5 是 Otter 在不同场景下的响应实例。...最后，研究者在一系列基准测试中对 Otter 与其他 VLM 的性能进行了比较分析。

5556 0

canal 源码解析系列-canal的HA机制解析

#main --> com.alibaba.otter.canal.deployer.CanalStarter#start --> com.alibaba.otter.canal.deployer.CanalController...对于每一个instance，都会在/otter/canal/destinations节点下记录自己的canal-server和canal-client信息。...接着在/otter/canal/destinations/{destination}/running节点下注册dataListener,用来监听该节点的数据增删改变化。...我们来梳理下目前看到的永久节点和临时节点 /otter/canal/cluster 永久节点目录，集群的节点信息根目录,代表正在运行的canal server /otter/canal/cluster/...ip:port 临时节点，存放具体的节点信息 /otter/canal/destinations 存放多个instance信息 /otter/canal/destinations/{destination

1.5K3 0

聊聊canal的Position

序本文主要研究一下canal的Position Position canal-1.1.4/protocol/src/main/java/com/alibaba/otter/canal/protocol...TimePosition继承了Position，它定义了timestamp属性 EntryPosition canal-1.1.4/protocol/src/main/java/com/alibaba/otter...journalName、position、serverId、gtid属性 SlaveEntryPosition canal-1.1.4/parse/src/main/java/com/alibaba/otter...EntryPosition，它定义了masterHost、masterPort属性 LogPosition canal-1.1.4/protocol/src/main/java/com/alibaba/otter...} LogPosition继承了Position，它定义了identity、postion两个属性 cursor canal-1.1.4/meta/src/main/java/com/alibaba/otter

7292 0

聊聊canal的Position

序本文主要研究一下canal的Position timg (59).jpeg Position canal-1.1.4/protocol/src/main/java/com/alibaba/otter...TimePosition继承了Position，它定义了timestamp属性 EntryPosition canal-1.1.4/protocol/src/main/java/com/alibaba/otter...journalName、position、serverId、gtid属性 SlaveEntryPosition canal-1.1.4/parse/src/main/java/com/alibaba/otter...EntryPosition，它定义了masterHost、masterPort属性 LogPosition canal-1.1.4/protocol/src/main/java/com/alibaba/otter...} LogPosition继承了Position，它定义了identity、postion两个属性 cursor canal-1.1.4/meta/src/main/java/com/alibaba/otter

1K0 0

点击加载更多

Otter小试

聊聊otter的NodeTask

otter安装原

聊聊otter的NodeTask

Otter介绍及(Manager)安装「建议收藏」

Otter-入门篇3(Node搭建)

Otter-入门篇4(单向同步实践)

Otter-入门篇2(Manager安装配置)

Otter数据同步服务部署与数据同步最佳实践

otter用于跨云RDS之间配置双主实时同步

数据同步利器-otter的搭建使用说明「建议收藏」

Otter Wiki：用 Python 和 Markdown 搭建你的小型知识库，三步搞定！

聊聊OtterLauncher

聊聊OtterLauncher

SpringBoot系列之集成阿里canal监听MySQL Binlog

Canal入门

280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了

canal 源码解析系列-canal的HA机制解析

聊聊canal的Position

聊聊canal的Position

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐