00:03
呃,小伙伴们大家晚上好,然后嗯,很高兴我们一直在坚持啊,今天是我们本本次啊,这个我们的这个呃,线上的这个这个交流啊是最后一次了啊,然后呃也希望大家就是呃好好的听课,然后呢能考一个好成绩,然后呢,我们进入直播间的小伙伴们啊,还是先签到啊,然后呢,我们等待,等待到八点钟,我们准时开始。呃,还要提醒大家一下,就是说如果说往期课程啊,我们有没有签到的啊,大家都要去呃签到,因为啊今天这次课结束之后,我们的这个签到通道啊就会关闭了啊,所以说呃,今晚上所有的课程啊签到都将截止,就是说呃没有签到的我们要抓紧这个签到签退了啊,然后我们签到完成之后,我们就呃再等大概四分钟左右,八点我们准时就开始今天的我们的这个视图运营管理平台的学习。
01:08
同样的啊,我们最后一次也是和前几次一样啊,我们是有三次这个抽奖的,这个这个这个这个呃,机会的啊,然后看看今天最后一次我们谁的运气会好一些。大家如果要是看到我这个屏幕上的这个字,如果要是小的话,可以在直播间里提示我一下啊,如果说看的不清楚。啊,这个我已经做了一些放大了。然后进入直播间的小伙伴们抓紧签到啊,我们直播还有两分钟就要开始。然后刚进来的小伙伴我们提醒一下,就是我们的这个签到的这个通道啊,今天晚上直播结束之后就将关闭啊,所以说呃,没有签到的啊,我们要抓紧时间啊签到。
02:05
好,现在八点钟我们准时开始,今天呢,我们线上的这个交流,呃,今天的话我们大家也知道,最后一次我们重点给大家介绍一下TD circle口,它这个这个我们说的这个管控平台,我们叫赤兔管理台,呃,也有称它为赤兔运营管理平台的啊,都可以啊,其实它就是一套管控。通过这这个web界面啊,上面的一些这个选项啊,我们就可以啊,去代替我们像过去这种你直接登录到服务器上去,去安装部署啊等等这一系列很很很繁琐的这些操作都可以通过这个管控平台来进行啊,而且大家知道目前我们这个。呃,你比如说一些大的像银行啊证券呀,呃,他们做这个数据库,国产数据库这个招标的时候。其中你如果没有这个管控啊,你就基本上就是没有希望进入他的这个这个这个就就就是在他的招标里面,你这个就是不合格的,所以说嗯,现在的这个数据库系统啊,它和过去不太一样,就呃像过去的话,我们使用不管是商用数据库,像A啊,像DB two啊,包括我们用一些开源的,像MYSQL啊,像PG啊,其实都是我们自己去部署啊,要么就是手动的,要么我们就自己写脚本,但实际上我们。
03:31
现在来讲的话啊,尤其是这个数据库系统越来越多啊。然后呢,我们如果说像过去那种效率就太低了,所以说今天我们就带着大家来看一下我们t t circle啊,这这个管控平台。我们现在看到的这个管控平台是我们独立输出版本的。这个独立输出版本的功能是比较全的,因为它结合了我们说的租户端与运维段。它不像我们前两天给大家介绍的公有云上,我一键购买的这个T后实力,那公有云上它就比较简单了,因为真正维护公有云上提取售后实力的是腾讯内部的DV啊,由他们来去日常的这个,比如说备份呐等等,就是日常的运维管理,而作为这个我们的这个用户,我也就是我们说的租户端呀,实际上有很多的,你比如说。
04:27
资源管理呀,等等这一系列的这些你是不需要用到的,所以说它就给你隐藏了,他就分租户端和这个运维端,而我们这个管控里面就涵盖了这个。T t circleq这个这个数数据库集群,它所有的这个这个我们说的这个管理的功能都集中在这个我们t t circleq这个视图云管理平台上面,然后我们今天可能啊。时间的关系,我们可能讲不了特别特别的详细,那么我们最重要的就比如实力管理啊,资源管理啊,一些监控啊,呃,数据同步给大家介绍一下,包括性能优化这一块要给大家介绍一下,呃,这个有时间的话,这个就是我们这个这个赤兔管理台,它本身的这个用户的体系啊,可能要给大家介绍一下啊,然后我们就先看一下这个管控平台。
05:23
这块有一个集群总览,这个集群总览我们可以看到你的总的使用量啊,包括总的容量啊,使用率啊,那这些是怎么计算出来的呢?这些的计算其实就是我们说的你在资源管理里面。我们那天安装的时候,大家看到了,那是在我做吃兔初始化的时候,我们要添加IDC的信息,这是我们当时添加的,对吧。机型规格里面,我们当时添加了一个戴尔R410,然后是八八核,然后12G120G加60G的这么一个磁盘空间啊,这是我们添加的,然后呢,设备资源里面,我可以通过这个上报这个我们说的呃,网关资源,或者说上报那个设备资源,所谓上报设备资源,其实这个设备资源就代表我们DB节点。
06:15
这里面你看它写着DB机器和网关机器。只不过我们为什么IP一样呢?是因为我们没有机器,我们只有三台机器,只能用这三台机器啊,给大家模拟,那么。比如说我现在。这个这个你因为只有三台机器,我这个一会儿我们演示创建实力的时候,那很快这个资源就不够用了,那不够用后期如果我想添加资源怎么办?添加资源。实际上。你比如说我现在资源不够了,我去采购,采购了20台物理机,我想作为DB的这个机器,那这时候20台这个DB的机器。采购回来之后,我要先上架啊,做出做这个,比如说安装操作系统等等这一系列的,那么安装完成之后,它就会有IP,它会有这个具体的这个服务器存放的这个IDC啊,包括我们说的这个,呃,极贵的信息啊等等这些信息都都有了。
07:11
这些信息都有了之后,我们要通过要跑一个脚本。为什么呢?因为要对这个机器要做一个初始化,你比如说我们要呃去创建一些目录啊,创建一些用户,然后呢,呃把一些软件拷贝过去做这种初始化,初始化可以批量,你可能这一次采购20台,30台,40台,我就可以,我给他批量的给他。初始化完成,初始化完成之后,我们就可以通过这比如说上报设备,这个设备资源其实就是DBIP,机型是什么?你比如新采购的机器并不是你现在的大RR这个410,而是华为的机器,那你就先创建对应的机型啊,一定跟他们是对应的,然后IDC在哪儿,机柜在哪儿,这个一定是你是要准确。
08:03
因为你不准确的话,你创建实例的时候,有可能我们说的就是。本来他都在同一个机位,结果你给写的是不在同一个机位。可是系统不知道啊,他就按不在同一个机会给你去创建实例,那么有可能。同一个赛的同一个分片里面的多个副本,也就是我们主从可能就创建在同一个机柜了,那这个机柜出现问题,电力出出现问题,整个机柜掉电了,那这个时候你就起不到高可用的作用啊。所以说这是我们说的上报DB资源,然后呢,我可能又采购了五台十台,我做这个网关资源,那这时候也是需要提前对这些机器做一些初始化,初始化完成之后,你就可以通过上报网关资源把机器上报上来,上报上来之后这里面就可以作为一个。类似于我们资源池了,这个资源池就会在这里面显示出来,我大概还有多少的,这个我们说的,比如说呃,总容量啊等等,当然了,那我想看看更详细的,能不能看着也可以,我点进来之后,这实例管理里面,这有一个查看设备资源,这里面就会它会找出来这一台机器。
09:17
畸形是什么?剩余的这个?是多少,剩余内存是多少啊,剩余磁盘有多大,那我就可以在它上面,这个剩的要还有这么多,那我只能创建在它上面,只能创建小于四核了,那你你内存就只有6G,你创建8G肯定给你报错,他报资源不够啊,所以说你可以提前在这里面看一下。这是资源管理。呃,这个比如说比如IDC啊,机型这些都可以调整的啊,然后你比如说像这个资源里面,比如说我这个这个机器啊。我我我可能这个IDC原来在这个IDC,后来我给他搬家了,我只是把它下架。
10:00
操作系统什么都不动,我给他搬家了,那这时候我可能要在这里面进行一些修改,也是可以的。你包括这个还有一些我们为什么要,但是修改CPU的话,是时候比较少,那修改内存,修改磁盘会很多,为什么呢?这台机器我刚开始上架的时候,我可能又。644G的内存。那过一段时间感觉,诶这个机器内存不够不够,我先把它。关机,然后我又给他插内存条,插成128G了,那这时候实际上你是可以在这里面直接去给他修改的。当然这些具体的这些细节我们就不不讲的特别细了,这是资源管理这一块。那资源管理完成之后,你有了这个资源,是有了这些我们说的这些资源之后,接下来你就可以在这个我们的实力管理里面去创建对应的实例,创建实例我们说了我们这个集群啊。可以呀。管控就是我们可以创建两种类型的实例,一种叫集中式实例,也叫非分布式的。
11:06
它和原生买SQL主从非常相似,它就是一主多从,也不做分辨,就是一主多从,只不过它也有前端的proxy,或者叫SQL引擎这一块,就你应用连也尽量连这个proxy。呃,然后呢,是分布式的这个实力。那它们两个的区别你看啊,我这个S开头的,这就是集中式的实例,也叫非分布式,你点进去看一下实例详情里面我们看。这是它的DB节点。一主。两倍是吧,然后这个它的网关是什么呢?是这三个,这三个本身无状态的,你连任何一个都可以。你连16.3715002,你应用也好,还是你的那个SQL这类工具连上去之后,对这个数据库操作,如果是写操作,它就自动的到这个主上面找到主上面去操作。
12:02
那有人说了,你既然你也不做分片,那我应用能不能直接连连到主上面去啊。也是可以的。但是不建议这样读,为什么不建议这样做。那如果一旦主。出现故障。那我自动要做主备切换的,就会从这两个备机里面选一个这个blog,这个位置最新的最全的,我把它提升为主库,然后重做主备关系。那他的IP就变了,IP变了,你应用里面的这个配置地址你没有变,那这时候你也起不到高可用的作用。可是如果说你应用连的是我的。网关这一块就连着这些地址,那假设说。这个出现故障。主库出现故障了,如果说你这个重做主备关系了,把它16.204002,把它选为新主了,这时候你放心,他们还会知道,他们为什么知道呢?因为这些信息会被上报到。
13:04
这个JK里面去那CK上报那个,你这个拓补也好,路由条目新发生变化之后,CK就会触发那个。他的一那个这个有点类似于我们说的这个发布订阅似的,就类似于这个这个这个pro是JK的客户端似的,呃,就会通知这个客户们,通知完成之后,他就会到CK上面去把新的这个拓狗这个这个关系拉去到我本地,那他就知道谁是新主库了,那这时候前端应用过来呢,再连到它上面,它就会把你对应的这些语句打到新主库上面来,这样就能起到高可用了,所以说哪怕是集中式的这种,我们也建议大家去连我们的这个。往pro啊,你不要直接去连主顾。这是我们说的,呃,集中式的,然后是分布式的,分布式你看在这里面它叫group开头的。点进去你发现,诶,它有一赛管理,那你再点进去。
14:03
它有两个赛,实际上我们说它就是有两套单独的。主从关系的,这么这个架构组成的这每一个size就是一个分片,那这个分片其实我们说你比如说我插入一条数据,那它究竟是。放到哪个分片呢?实际上就是我们说的给大家讲的这个分表嘛,你比如说按照哈希的这种的,按照主线这种哈希的方式做这种分表,那这时候我可能呃,然后你10K是零到七这个范围的,我就放到这个这个SET1这块,那SK如果你是八到15这个范围的,我就放到它上面去。他就是这样的,那这个是由由谁来控制呢?都是在proxy这一块他就知道了,那你这个具体的路由条目信息在写在哪里啊,写在DK里面对吧,这是我们说的这个。就是那个分布式的。
15:02
那实际创建我们也可以看一下,那天我们创建了一个非分布式,就是这样,你就点进来之后,因为这个屏幕太。你比如说我这一块业务描述实例,然后这个这里面我可以选版本,我5.7也行,8.0.18,最新的版本是8.0.24,然后呢,这个就是我们说的。是你也可以整机,当然了,你也可以说我在上面,因为现在有很多物理机,那这个效果非常好,就不是它的资源非常充足,几百个G的内存,所以说这时候你可能要用到什么呢?用到就是说。单机多实例这种,我只用这台机器的一部分啊,内存,一部分CPU创建一个实例,那这个时候。做资源隔离是怎么做的呢?就通过linus那个c group啊,对CPU做这种资源隔离一样,相互之间实力相互之间不影响。
16:00
第二步是容灾。设置,所谓容灾设置就是你比如一族,即从。这是其一。其二,还有这种两地。三中心或者就是同城双中心,同城双中心其实你就是你比如说两个IDC,朝阳一个海淀,一个朝阳这一块可能是一主一从,然后海淀这个IDC机房是两个倍,其实就是一组。三倍。啊,其实也是在这里面去选,然后呢这里面去选,实际上你这里面可能就因为我们这次没有涉及到高可用这一块,那你选的时候就不是强同步了,而是跨IDC强同步啊,同IDC异步,当然这些不是我们本期课程。要讲这一部分属于这个高可用,呃这一块啊,本期不涉及到,然后最后是初始化,然后呢,可能小伙伴们说就是他你比如IDC这一块,你是否开启校验,如果开启校验的话,你上报的机器如果在同一个IDC里面,他不让你去,或者同一个机会里面他是不让你去创建的啊这些当然呃具体的技术细节我们可能呃以后的话会呃有这个我们的这个免费版本推出之后,大家可以参考相对应的文档。
17:16
我们只要知道这是我们创建这个集中式实力,然后创建这个。分布式实力。它就不一样了,不一样在哪儿呢,你看。前面是一样的,只不过这是它有一个子赛和一个数据分片,数据分辨就是我们说的这个最大的分辨数。就是未来你可能扩容到多少个赛呀,扩容到16个赛,刚才我们看到你group里面不是赛吗?那后期你两个赛是不是能扩成四个,那四个是不是能扩成八个,八个你能扩成16个,那再往上扩呢?再往上扩就是你看你这指定的是多少,我们最大值是256。但是为什么这默认16呢?因为这个东西它不是越大越好。
18:00
就是你的这个分片数越大呀,它相应的这个相互之间的这个这个呃,就分布式事物这一块可能也会比较多,所以说如果你数据量不大的情况下,你可能就几十个T,那你这时候你没有必要256个分片,所以说你就16个分片就就够了,这个提前也是由比如说DBA,比如说我们开发人员,比如说甚至我们业务产品大家可能做做下来。就是要考虑一下你这个业务未来的大概的一个一个一个预期预期啊。然后是子赛的,呃,基础设置,然后子赛的容灾,这都是一样的啊,也是一株几倍。这个。买的,因为你放大了之后。啊,这是创建两个实例,然后创建完成之后,我们呃,就不掩饰它这个创建了,因为创建还可能还需要持续一段时间,我们已经创建了,创建完成之后,我们点进来,我们去查看一下。
19:03
这就是我们说的啊。我们数据库管理里面,我创建了一个账户了,创建完成这个账户我怎么连呢?实际上你是通过这里面去连什么呢?连这个网关。就可以了是吧,通过这个账户这个我们应该给大家做过这个。就是你买。当然我这就一直用,刚才咱们用啊,我。然后杠P我当然我们实际你使用,你不能按照我这个你你这个密码这个这个这个这个太太简单了啊,当大T是什么呢?我们看一下。就是。不能连它不一样,一定连proxy是15002 proxy是1500的,然后DB节点是4000400的,后边的这个再加上的,所以说我们得连15002。
20:04
等H。那这时候172。点21.16。点220连任何三台都一样,你比如说我现在创建一个库。也就随便行就行,你创建了,你现在是不是连的二零了。5037呢。我。你看有没有,你好,这个库已经有了,我创建一个表。然后我就随便拿。然后你也可以指定上K啊,AK现在不能,因为它是。你现在我们创建一个表对不对,创建一个表,我三期,我现在连四发,你去看一下。
21:08
我在连。我连18。我不用啊,连刀四。你好。你看有这个表了对吧,所以说我们给大家反复的说你连到它,它本身是无状态的,你连到任何一个都可以,就比如它故障了,你直接把它从那个你负载均衡这一块给它摘掉啊后期如果说我计算这块的话,任务比较多,有很多的都要到我本地这边,通过这个嵌入式的这个这个DB服务来来来去去做这种,呃查询的这这种操作,那这时候我不够用了,那怎么办?我添加两个进来,很容易的添加,添加进来之后。我只要在负载均衡那块,我我我给他们打流量就OK了啊。
22:02
这个就比较容易的扩容和缩容啊。然后这是这一块,然后呢,这个我们大概实例详情里,我们大概看一下,你比如整个实例的重启,其实它是先起备库。然后呢,呃,把背裤洗完了要。做那个主备切换,然后再重启那个主库啊,是这么一个操作啊,当然了还有设置读写模式,因为我们如果参加过工作就会知道,你有的时候你要做这种计划内的这种,呃,一些一些调试啊,或者一些一些升级啊等等这些,那这个时候我希望是整个这个数据库系统啊,不能写入任何数据,那这个时候我就可以设置这种只读的模式啊,整个集群就是只读的了啊。还有这个叫扩缩容,这个扩缩容是什么意思呢?也就是说我现在你看CPU是,哎不行,稍等啊,我们马上要进行这个获奖了啊。看看今天谁的这个手气。
23:01
呃,运气啊。这是我们今天的第一轮。大哥。啊,我们。我们先抽奖。我们也是稍微等一会儿啊。
24:04
反正今天这这三个。呃,这个讲的话和昨天应该都是一样啊,第一个应该是这个这个毛熊吧。我们也是倒计时十秒吧。行,OK,那咱们继续。然后你看啊。诶,那今天第一个,第一个不是那什么是吗。我看啊,今天应该是最后一天,他可能不不一。
25:08
好好好,OK,那咱们还是继续。啊,然后咱们刚才说这个扩扩缩容是吧,这个扩缩容可不是我们说的水平扩容,这个扩容是什么呢?你比如说最开始我业务初期啊。我不可能一下子给他非常好的机器。那这时候我可能就是你,比如像我这个,我CPU就给一个核。你这个内存就给1.5g,然后你这磁盘空间15加七。你就给这挣点儿。那可是过一段时间。业务上来了,那这个这个明显你这个配置不满足你现在的这个业务需求,你你这个并发呀什么的,数据量都上来了,那怎么办?那这个时候我要把它扩容,怎么扩呢?扩的是硬件的物理资源,你比如说我现在是一一核1.5g,那我想扩大什么4C8G。
26:10
我最起码要500G的磁盘空间,那这个时候实际上我就通过在这里面点这个扩缩容啊,在这里面,那么我们不去实际操作,直接给大家讲一下他是怎么做的呢,他是先创建一套和这个环境一样的。实力也是一主三从,一主三从,并且这个每一个这个我们说的DB节点。就直接给它是4C8G500G磁盘空间的,按照这个这个我们说的这个资源配置,给它创建的一个新的实例,那么从这个老的我们说的这个数据库上面,从备库上面拉取全量的数据,然后呢,灌到我这个新的那个那个环境。然后和他这个你现有的这个环境做做类似于主备的这种复制啊,这种复制,然后呢,会选一个业务低峰期。
27:05
要短暂的,要全局只读一下,为什么呢?一定要让前端不禁流流量就没有数据在发生变化,然后呢,让这个老环境和新环境这个数据要同步完成,两边一定要数据要一致,这个时候。秒级以内的,然后就要切这个路由了。切入由所谓切入于就是把这个我们说的这个你这个网关列表啊,指向那个新的你那套已经是4C8的这套环境。然后呢,最后呢,剩下这个我们就可以把它销毁了,这是我们说的,呃,所所谓的扩缩容是硬件资源这一类的扩缩容。然后对于我们D备节点都有什么操作呢?实际上你比如有主备切换,这个主备切换,你比如说我我现在也可以一个是通过扩缩容的方式,有一个是通过这个扩缩容的这种方式。
28:03
还有一种就是你比如说我备库备机,我我我由于有有故障啊,或者是我想让他替换主主库。而不是那种真正的故障,是我就想让某一台备机啊,呃。替换主户。就是。把这个背骨变成主库,主库变成背骨,那这时候我可以手动的发起这种主备切换。还有这是重做备机,重做备机你比如说我现在是一主两重,其中这个比如这个备库,这个从库。他现在呀,你比如说一个是可能误操作了,我上去去去去看他东西时,不小心把他某个ipd文件给删掉了,这是一种,还有一种就是说。我可能准备延迟备库,延迟比较大,现在再让他追已经没有意义了,那这时候我怎么办?我还不如重新把它重做这个备库呢,那这时候其实就是重做备机。删除备机这个就很好理解了,我刚开始我以为我这个这个业务量非常的重要啊,我我刚上线的业务我做了这个,比如说高可用两地三中心,或者同城双中心,我一主呃四倍。
29:14
后期发现这个业务没有做起来,没有做起来的话,我不想使用这么多资源了。并且。我还不能完全把它下线,因为还有一部分用户,这些用户很少没有做起来,但是还有我又不能把它完全下线,这时候呢,我可能我就比如说我现在一组四倍来着,我就现在我就把它变成一种一组一倍把其他的资源节省下来,那这时候你就可以把这个备机给它删除掉。添加被机就是你反向项对吧,我最开始我可能就一乳一倍,我对这个业务也不看好,完了过一段时间我可能做了一个爆款,那这时候它的这个这个这个优先级就就高了,那这时候我肯定要对他做这种呃跨城的这种这种容灾就就高可用,那这时候我就肯定要通过添加备机的方式。
30:02
延迟备机,这和伙们,如果咱们小伙伴了解这个MYSQL这个体系的话,你就知道MYSQL它有这个延迟复制的一个技术,对吧,也就是说。我主库把这个blog推送到备库,备库去应用这个,呃,Blog也就是中介日志的时候啊,实际上它是准实时的,就你推过来,我我只要这边有能力,我不断的再去执行,但是如果说我给他指定啊,做一个延迟备库,我让他和主库这个这个执行啊,差几个小,差四个小时,八个小时,甚至是12个小时,24个小时,那我可以指定,那有什么好处呢?那主库你比如说我给delete他几条数据。那这时候你如果说没有延这个做延迟备机,那这时候很快这个操作就同步到备库,备库数据也没有了,那如果你做了延迟备机呢,那可能是备库上面还有这个数据,那这时候你赶紧到备库上把这数据查询出来,然后把数据导出,再在主库上去做这个,呃,回补,或者我们叫数据的修复。
31:07
这是DB节点,它可以的几个操作,然后这是网关列表,我们不说了,那网关权重和接入配置呢,因为我们现在没有,如果你要有的话,你这里面会显示LVS,然后上面它会每台机器它有一个全种。然后CPU限制级别,就是你可以可不可以,可不可以超用啊。这就是我们说的,我们这个一台物理机上面,我们可以啊创建多个买circle DB的服务,并且这多个服务给他们分配的这个CPU啊,我可以给他做物理的这种隔离,通过这个c group这这项技术,但是有一种情况就是说你剩余还有这个CPU资源,那这个时候我某个实例。他这个资源非常繁忙,那我能不能去用一些这些剩余的CPU资源呢?那这个时候你就要看了,你你你这里面你让不让他用,你比如闲时超用,你就让他用,那让他用能抢几个核呢?这里面设置你要抢让他抢十个核,那他可能给你抢光了,所以说这里面设置也要根据我们实际情况来。
32:13
然后下边是数据复制,数据复制就是我们是否设置这个同一个size里面啊,我们一组多层这种高可用的架构,他们之间是采用强同步还是异步的方式,如果你采用强同步,注意这两个值,我们注意一下,一个是运行值,一个是配置值。这两个值如果说不一样了,运行值是异步。那么配置值强同步那就发,那就我们就知道,那肯定你就是发生了这个复制这个强同步的这种退化,那证明你主备之间肯定有延迟有问题,那这时候你肯定要第一时间去去看一下啊,去处理一下。呃,包括还有像这些容灾配置,我们可以简单的说一下,你比如说什么叫手动免切呢,免切是干什么的呢?你比如说我现在是这这上面你咱们刚才看了一主两倍是不是主库,如果说出现故障了。
33:14
就确实这台机器有问题,出现故障了,实际上我们的这个讲架构的时候,应该是跟我们讲过对吧,我们是自动的会触发这种主备切换,就选出一个新主库,然后重做主备关系,更改路由条目信息的。但问题是,如果说我是在计划内,我有维护的任务。我就想对他们进行这种升级,我不,我还想让他当主播,我不想让你自动的去帮我去切,那怎么办呢?我就可以设置这个免切。啊,设置免捷就是在这个时间,我设几个小时之内,你我就是把主库我给他杀的杀的当了,我给他关闭了,我给他杀掉了,你也不能给我去切换。这是我们说的手动面机,那还有一个叫自动免机。
34:04
注意啊,这自动免亲啊,是这样。自动免切式啊,你比如说我这个主库出现故障了,那它要自动给你去切换了,是不是那切换完成之后。在一段时间之内,你不能再一次去切换了,为什么呢?因为你这种频繁的切换,有可能不是真的出现故障了,而是说有一些网络抖动啊,甚至是主库执行一些比较,这个它的压力比较大,这时候可能夯住了啊,他活的时候认为他死掉了,实际上他还活着呢,那你要频繁的去去去因为网络抖动来回的去切,那这个对对整个数据库系统那影响是比较大的,也就是说第一次切了之后。自动的去切换了,那第二次在某一段时间之内就不允许他带他,让他进行频繁的切换了。那这时候如果说我知道是确实是啊。
35:00
主库是故障吗?那我这时候人为上来的时候,我一看啊是是故障了,我处理好了,那这这时候什么,我可以把它那自动免签给它删除,那这时候他又回到了,说只要你主库出现故障,我就给你做这种故障切换。然后还有一些备份配置,备份配置我们一会儿可以在下面去看一下。这当然这是一个实例详情啊,有一些功能,然后是数据库管理,数据库管理这个用户管理这一块我们知道了,对吧,你创建用户,创建用户完了,主要是授权啊,当然这个权限呀,我们要注意一下,要都要最小的原则啊。呃,还有一个我们反复强调的就是你创建用户的时候,一定是在这个赤兔管理台上面去创建,为什么呢?因为如果你去DB上去创建,那CK是不知道的,也就是我们在这里面你创在赤兔管理台上,你创建用户,创建完成之后啊,他会把这个用户的一些信息啊。
36:00
上报到JK里面去。这时候JK会通知proxy啊,我这这这这这这这里面发生变化了,我有新用户了,那JK这时候到那个不是proxy到那个CK里面把这个信息拉取到本地缓存起来。是这样的,如果你直接到DB上去创建,那这个时候它是没有办法啊告上报到CK的。还有一个是在线DDL,注意注意一下啊,这里面我们要注意一下,这里面实际上我可以在里面删除库,创建库创建表等等这些操作,但这些操作我们不经常在这里面是为什么呢?我们一般研发人员都是通过SQ呀,奔NCH啊这些工具,因为他更熟悉他的那个界面,可能呃功能也更强大,那么我们一般在这个界面做什么呢?我们做什么?主要做。增加这些大表加字段啊,大表加字段加索引,我们知道买CQ这个体系,如果你大表加字段的话,它是会锁表的。
37:04
那这个时候怎么办呢?我们有一些第三方的工具,你比如PT这种工具啊,像那个get up,他们也有开源的那个,可能更友好的那个,通过lo那种方式来增加字段。那实际上我们这里面也是你比如编辑啊,我新增自传,我比如说我随便,然后我。然后我这时候我也确定要保存,你看这里面实际上它就是调用了这些工具,这些工具其实根据处罚器这个原理啊,当然这个原理我们今天呃没有时间讲的特讲的特别细了,我们知道就是说在这个界面,我们最主要的功能就是大表添加字段的时候,让他不做表,或者我添加这个,你看变更指令,实际上我增加字段了,对不对,还有一些就是增加索引呀,甚至还有一些铝表,我们知道买买SQL这个体系下面它的表in DB引擎的,对吧,如果你要去。
38:00
删了这个表大量的数据,实际上它ibdbd这个文件物理文件是不会缩小的,只有通过这种铝表的这种方式啊,其实就是呃,重新指定一下他引擎啊,然后其实都可以在这里面去来完成。这是我们说的这一块,然后还有一个在线。啊,这这个就没什么好说的了,这个其实你是在这里面去执行啊,执行一些circle。呃。然后是这个在线SQ日志。啊,这个这个因为现在我也没没办法给大家就是去演示,因为我现在这里面也没有什么数据啊,然后呃,我们看一下数据库参数吧,数据库参数是这样,我们安装过原生买SQ的都知道,它有一个卖点,CNF的这么一个文件啊。这个文件里面实际上就是你配置的参数,当然了数据库的参数远远不止你配置的这个,还有一些它自己,呃,你可能就说默认的这些值,这些值啊,我们都会列,列举在这里面,你比如说八分数大小转八分那个。
39:10
就是呃,Sort buffer,包括我们说blog的这个,呃。格式啊啊,还有一些我们说像像什么字符级呀,呃,甚至是包括一些们说那个那个隔离级别呀,像印照DB引擎,它很多的调优的参数啊,其实都在这里面,但这里面的这些参数啊,你可以修改,修改完成之后你保存,但是一般来讲。我们啊,不建议大家去修改,因为这些参数都是经过我们调优的,它会根据你创建这个实例,你比如说。4C8啊8C16,它会根据你的这个分类的这些资源情况来进行适当的调整的,所以说这里面我们不建议大家去呃修改,当然有一些,你比如说我要在这个proxy上面,我执行select into out field导出数据,那这个时候呢,你如果说你不开启它那个权限的那个那个呃,文件权限的这个这个这这个参数的话,它是不让你导出的,那这个时候我们只能是。
40:16
到这里面去开启这个我们要注意一下,然后这个是防火墙,防火墙实际上就像我们介绍的啊,你比如说我这个。这个数据库啊,嗯,它前端的应用系统,别人刷接口了,不断的啊不的语句过来,那这时候过去的话,我们可能就是说。写个脚本,把这些语句我全呃统计出来,然后Q他的那个ID,就把这个语句删掉,那这个时候其实是我就不需要了,我只要设定一定规则,我把这些思我给它屏蔽掉,甚至我可以在这里面去写正则表达式啊,来匹配啊。还有一些是网关参数,网关参数就是我们说的那个计算节点proxy或者叫SR引擎,它也有一些调用的参数,同样这些参数的话,如果我们没有十十分的把握的话,我们就尽量不要对他进行调整,如果要调整,我们就一个是询问这个,呃,当然如果是有客户的话,他们会直接和呃腾讯这边联系啊,有专门的这个我们的这个专家会对他们进行这种啊,呃就是就是和他们就是会会会告诉他们哪些参数,还有一些就是我们有一些对应的这个这个参数手册,而是通过这个啊,而不是说你感觉啊。
41:31
这是我们说的数据库管理这一块。然后是DB监控这一块,DB监控这一块,实际上这个页面把你这个DB,你比如这个side叫三,然后你一组两倍是吧,然后他把这些信息呀,都给你列出来了,然后。最重要的是我可以点击进去,比如主户。那这个时候这里面其实都是它的一些,我们说呃,他的一些监控的这个这个呃,就是一些指标,这些指标的话,你比如说select的请求量,我想诶他在这份,我想让他排在前面,你点这个,你看诶你一点包括iner的请求量,你那的。
42:13
这些请求量,我你再往上一看,诶,你会发现。他们都已经。放到最前面了,你看这个已经标红了,但是因为我们这个也没没有什么量,所以说这个时候的话,我们会就是只是给大家介绍一下这是它的监控指标,然后呢,我们再看一下proxy这一块。这一块的话。也是一样的。只不过你看它上面的这里面是这个4002,这都是DB的啊端口,那下面的话,它也是三个,三个都是15002这个端口,它这个上面也有一些。已经存在的,让你一目了然的就可以看到的,那当然了,如果有一些我我不想看,我想看另一些,那怎么办呢?我可以在不显示列这边我可以选啊。
43:01
可以在这里面去选这个,我不我这个20~30这个都我请求量,我不需要,我我想要下面这个请求率的这个呢,我就把它。点掉把它选中,但是我看更详细的呢,那我就点到某一个上面去,点进去之后,你看这里面也有具体的指标,他们之间的这个指标是不一样的,这些指标具体的含义需要看手册啊,因为太多了啊。我们一般你像运维人员也就看一部分。或者有时候具体问题的时候,你会找具体的指标,你比如我想把这个,呃,我我也想把它提到前面,哎,我选,然后你看。诶,他就他就跑在最上面来了。这是我们说的这个pro这块。还有一个是实力的监控,注意啊,我和大家要解释一下,我创建这个实例也好,非分布式实例,还是创建这个这个分布式实例。
44:02
就相当于我们如果玩买circle了,你创建了一套库。专门给每个业务线去使用,这套库里面它包含了什么呢?实际上你看是有DB节点,有。Proxy节点,并且我们看不到的是每个DB节点边上还有一个A阵的,它是14002,如果你是4001,它是14001啊这么一组。环境提供给用户使用,所以说那你整个这个环境,它还有就整个实力有一些技术指标啊,也需要我们,你比如说免签次数啊等等,这些是针对于整个实例发生的一些事情的一个监控啊,包括像汇总啊这些的这些,当然你是根据你实际需要,你想看什么。当然这个监控的指标啊,是非常非常多的啊,这个的话,可能孩子是专门的这种DV,每天都都去去去研究这个每一项大概的一个用途,我们一般呢,就是平时可能就用到了一部分啊,我们熟知的这些。
45:10
然后这个告警查询这一块,接下来是告警查询,这里面实际上就是我们说的,我们这个视图运营管理平台下面有两个库,一个是监控库,一个是配置库。那么。然后有两个功能模块,一个是我们说的监控采集模块,一个是那个分析模块,对吧?监控采集模块就是定期的从CK里面把这些监控信息拉取出来,然后呢,存入到我车图运营管理平台它后面的这个监控库里面。监控库里面。然后刚才咱们看到的这些监控信息,就是这个监控库里面的这些数据在页面上的一个展示。那么你展示的话,我有一些这个告警的策略,然后会对有一些告警的阈值,当你这个这个我们说的那个分析的那个模块就会。
46:04
就会对这些告警的定期的对它进行分析,如果超出了你这个预警的告警的这个预值就会把它显示出来,甚至你可以配备一些我们说的一些监控的你一些接口,然后呢,可以触发这种我们说的,比如说像我们说的邮件。短信。呃,企业微信等等这一系列的这种告警的方式啊,也可以页面展示,甚至是可以你晚上如果重大故障的话,是可以让你打电话的,现在这种啊。这告警的,呃,这一块。然后接下来这一块日志管理,日志管理里面呀,是你比如说慢查询,这是我们说调优这一块是比较重要的,这个慢查询主要是DB节点的慢查询。就是说我某一条。连到这个数据库上面了,这个DB节点了,我去查询,从我连上你到你返回给我这个数据,它有一个执行的时间,这个执行时间我设置一个慢查询的一个阈值,比如说一秒,只要这个执行时间超过一秒的,那我就给你记录下来,那这时候对这种circle,那我们就要进行分析,实际上我这里面没有内容,如果有内容的话,你会发现呀。
47:19
这里面它会把这个监控的内容给你列出来之后,后边有一个SQL优化,你点进去之后啊,就会有对这条SQ的优化建议,并且把这条circle的执行计划和T信息给你列出来。然后这是慢查询,是针对于DB节点。然后这个proxy是什么呢?注意啊。这个慢查询是DB节点,你搜Q打到DB这个节点,就40014002这种端口打到它上面,然后再返回产生的这个慢查询。但是我们知道你过来先要到pro,也就是我们这个计算节点接入层。
48:00
那么你到了pro上,它上面要进行这种词法分析,语法分析,然后做词后的下推,下推之后如果是多个分片,可能多个分片要返回结果集给我,我在做汇总,汇总之后要返回给前端的应用。那这个时候从你搜后到我purpose这一块。最到到底层把数据返回给我,我返回给应用也有一个时间,那这个时间呢,我也可以设置一个阈值,如果超过这个阈值,那我这里面就会把这些。信息啊,给它记录下来,这是这一块。当然了,一般优化的话,我们还是优化这个慢DB这个这个这个这个层级的慢查询比较多啊,因为它是针对专门针对数据库的,除非有一些像我们说的,你比如说两表关联查询没有做到,那个我们说的那几项也是K相等。啊,它不相等。嗯,我们说和广播表那个就是,嗯,就是那个分表和广播表一一起做这种关联查询,他也没有广播表。
49:08
还有一种就是在都在那个是单表都在第一个分片,他也不是就两个分表,他也没有那个10K相等的条件,那这个时候我只能把这个。这条so,它里面表对应的数据啊,拉取到我proxy这一块来进行这个在proxy这一块有一个嵌入式的这个DB,这个这个服务在这里面去做这个查询,查询完了之后把结果机返回给前端应用,那这时候你在他这看到的慢查询啊,意义可能更大一些。然后还有主备切换啊,主备切换的话,不光是我们刚才说的手动切换,那么如果你是意外的主主主故故障了,这种切换也会在这里面去把这些呃,具体的这这些信息啊,呃会给你显示出来啊,最后你比如说有一个操作,你点进去,它会大概的分析一下是什么原因产生的。
50:04
啊,DBA日志这个没有什么太大的意义,这是两个DBA做这种交互的时候啊,就是交接的时候啊,我可能写一些我今天对这集群产生了什么,呃,操作啊这个,然后控制台什么控制台就是我们吃住运营管理平台,也叫吃住管理台。那在它上面所有的操作都会被记录下来,你比如说我创建了一个非分布式实例。然后我又创建了一个用户啊,注意啊,这里面这个控制台操作日志只是针对于。这个实例的,这个实例的,那这个外边还有一个控制台操作是呢,它是针对什么呢?它是针对于整个集群的,你在这个集群上做的所有操作都会在这里面显示出来。你创建其他的实例。分布式实例也在这显示,那么这里面的这个显示的呢,是指对这个实例做的任何操作,通过控制台做的都会给你显示出来,然后显示出来,你看任务状态,这还会显示出来就是。
51:09
我当时执行的这些具体的信息。这是我们说的。然后接下来就是网关日志,网关日志的话,我们就呃呃,就是我们说的那个。前端流量到proxy,那我要做审计是不是,那是这时候我应该把它那个流量打入到放入到那个卡夫卡里面去,然后安装ES,通过K班,那我们做一个展示的是只不过这里我没有安装啊,这里面我没有安装,所以说这里面就呃我们也就就无法演示了,大家知道有这个功能就行。然后在DDL。这个就是我们说的大表增加字段的时候,它是持续很长时间的,你比如说一个几百G的一个大表,如果增加一个字段,那至少要一个一个小时以上的,那根据你机器的情况啊,那这个时候呢,那是否出现问题什么的,我可以在这里面它会有,就是把这些相对应的这些信息给你显示出来啊,包括一些进度信息。
52:16
然后呃,50我们进进先进行今天的第二轮抽奖吧。呃,第二轮也是十份啊,今天可能量大了,大家努力啊,第二也也是第次无无门槛的代金券啊,今天是最后一天。给大家放大一点。呃,咱们最后一轮的那个抽奖应该是那个那个熊那个啊。
53:00
嗯。
54:21
OKOK,咱们,呃,第二轮抽奖到此结束啊。然后我们一会儿再看一下那个。这日志管理这一块啊,这啊。然后是异常绘画,异常绘画的话,实际上你看实际上他就是熟悉MYSQL小伙伴知道就少process list去抓取你这些,呃,就是绘画,只不过抓取这些绘画之后啊,它这里边有一个搜索分析。这个思分析,因为你这个这个语句不是正经版本circle,所以说如果是是circle的话,你看它这有一个建议。
55:00
有一个建议,然后他会把你的类,类似于执行计划呀,垂新呀,再给你列出来,你结合他的建议,再加上你获取到的这些信息,对本条搜狗进行这种优化。如果说。有一条bad circle这个这个这个烂circle是是比如大数据这块。他这块非得要到你你主库上去去去来呃去去拉取这个呃数据,这时候可能影响到我线上的业务了,那这时候我我知道是他的呃这个次数,这时候我我选中之后,我可以批量的给Q掉。然后还有异常话,异常画的时候我们注意一下,就是说他会检查什么呢?呃,比如说未提交的事物会给你列出来啊,然后未提交事物列表啊,包括所呀,所等待呀,这些它会给你列出来,那你说熟悉买soq的话,你知道我们这些语句我们都可以自己写对不对,他有那个information,像那个S库啊等等这些,实际上我们通过它的视图,其实你就可以写出这种语句,实际上原理也差不多。
56:01
这是我们说的实施规划和异常规划的管理。然后是备份恢复,注意啊,这里面有一个考点,我们要注意一下。就是。我们的这个备份。你比如说我这个备份,我是。支持物理备份和逻辑备份,那么我们的物理备份是用什么来做的呢?如果熟悉买so的,我们肯定知道你基本上这这其实你不讲也知道,都是通过extra backup这款工具,这款工具是procon公司开源的啊。然后我们根据他做了一些适配。那如果是逻辑备份呢?我们用的是买dump,没有用它自带的那个my super dump对吧,因为买dump它可以基于表的这种并行的备份,备份出来的这个逻辑的这个这个数据文件呀,也可以是有有按照表,可能包括表结构啊,包括数据啊,分成很多的这个文件,那这时候我往回灌数据的时候。
57:07
你这个呃,速度会更快,也就是说通过买当去备份,然后通过买load去做这种恢复,这种逻辑的备份恢复啊,其实它的这个速度,这个时效性还是可以的。然后这里面我们再看一下,这里面也支持手动备备份,你看这HDFS,我这备份存储啊,有三种,一种是HDFS,就是我们说的,我可以搭建这种分布式的这种文件系统啊。然后这local是什么意思,就是说我你通过这种。NFS啊,或者那这种啊,你挂载到我本地来,挂载到哪呢?挂载到根节点上,你可以创建一个叫t circle backup的这么一个目录,你只要挂载在这个根节点上也可以备份,然后这个cos对象存储,这是我们公文上。这是一个是我们说的你备份存储的大概说的一个介质,然后备份的类型是有物理备份和逻辑备份啊,就是我们说的物理备份就是通过extra backup来进行备份的,逻辑备份就是通过我们的MY来进行备份。
58:17
那逻辑回档和物理回档是什么意思?实际上就是恢复。比如说物理回档是因为我有一份全量的物理的这么一个备份的文件,那这个时候我做物理回档原理是什么呢?原理是他要先创建一一个实例和现有的这个实例。就是,呃。差不多的,或者你可以调它那个资源,你比如你创物物理回档的时候,当然你可以基于这个时间点啊。一个比如基于时间点,然后回档实力的设置,我大概要多少配置。
59:00
我看一下啊。嗯,然后你可以根据那个那个他这应该是。对,你就是创建一个新的一个环境,创建新的实例,创建完新的实例之后啊。你把老的那个,你把那个你的那个物理备份文件那个里面的数据灌进去,灌进去之后,你你不是基于这种时间点的那种恢复吗?那这个时候再追加那个blog日志啊,追加到你这个要恢复的这个时间点,然后这时候就有一个新的实例,你在它上面去做操作,它的那个备份恢复的这个原理啊,就是这这样。呃,逻辑备份也是一样的啊,逻辑备份也是一样的。也是新创建一个新的这个数据库实例数,新的环境,将你的备份文件这个换进去啊,全量的数据灌进去,然后呢,再追增量的blog啊,然后做基于时间点的恢复。然后还有一个备份的设置,备份的设置是什么呢?就是自动的备份,这个自动的备份,你比如他会在晚上,呃,一般来讲凌凌晨左右吧,他会找一个你这个业务低峰期,然后自动备份,你是选择这种自动备份是是是物理备份呢,还是逻辑备份呢?需要需要做增量备份呢,备份的天数啊等等。
60:20
这些啊,你像blog保留的天数这些都可以设置的啊,这是自动的备份啊,刚才说的是手动的备份,还有一个高级备份设置啊,是否开启增量啊,开启逻辑备份,还有主备一致性检查,所谓主备一致性检查的话就是呃,像这一块的话,主要就是用那个PT的那个工具。这里面因为时间的关系,我们不能再细讲了。然后还有分片间广播表的这个校验,就校验你各个广播表之间的数据是否一致。然后是数据迁移,我们一般不在这里面做数据迁移啊,我们有专门的迁移的地方。然后是性能分析,注意啊,这个性能分析实际上就是我们说的。
61:05
扁鹊系统这一块。这个性能分析都有什么呢,比如说生成。这个报告。Oh。我们还是生成一下吧,因为这个比较耗时间,也不是说特别耗时间,主要是我们,哎今天还行,因为没有数据,对,因为我们现在是一个空的,没有数据,我们可以看一下。实际上你看。这里面我们看一下啊,应该看不清楚。你比如说。实例名字,然后资源的一些分析,连接数啊,CPU啊,数据空间呀等等DB的性能数据,你比如说最大等待线程数,最活跃线程,因为现在我们没什么连接啊,CPU最大使用率等等把这些,其实这里面的这些东西也很多都是从我们监控库里面获取的啊。或者他临时去抓的。主库大概的情况,两个从库大概的情况。然后呢,是这个我们proxy这一块,它大概的一个情况。
62:04
然后下面是什么呢?是系统的这个。因为你这个备份现在我没有配置,所以说这给你减20分啊,这个这个倒不影响,然后像这个我们说的表空间的分布啊,其实这个我们通过试图自己都写,写了之后都可以写成语句,把这个数据抓出来。然后像乳鱼索引的这种检查,死锁的诊断所等待呀,未提效事物啊等等这些就是等于他是在你这个呃,生成报告的过程当中,他去抓这些东西,然后给你抓出来。刚才等于是我们看到的那那个就是有一个那个分,就是绘画分析这一块。然后像这些信息。然后呢,有一些建议常规化诊断慢查询,因为现在没有数据啊,其实就是就是这些内容啊。而且这些内容的话,你可以去把它那个就是生成那种定时生成这种报告啊,包括做性能分析,还有一个是搜索优化。
63:04
思路优化,就是说这个研发用的比较多,你比如说我现在去。执行一条语句,这里面有什么表吗?咱们这有没有T表演的?Oh。执行成功,执行成功之后,我们再看一下,你看。它下面就会,其实你执行一条语句之后啊。它下面就会给你生成这么一个,这里面你看其实就是啊,呃,它会给你一些建议,因为你这个表这这没什么可建议的,所以说他就。啊,包括这这这里面不对啊,我这里面应该没有这个表,没有这个表,所以说他给这是假的,如果是正常的情况下,他会给你一些建议,然后呢,会把你的那个呃执行计划列出来,然后下面把推辞信息给你打出来,我这里面应该是没有这个表,所以说他他这里面什么都没给你写啊,没有这个表。
64:12
这就是说你这个库有这个库有这个表,然后呢,你把这个语句直接写在这里面,然后让他色Q诊断,他会给你一些色Q优化的建议。还有一个实时诊断啊,这里面有包括像这个,呃,对这个实例,现在的这个容易索引啊,所能来呀,然后开始诊断。然后是绘画检查啊,Pro绘画检查等等,对空间分布。故障诊断等等啊,这些的话,我们就不不给大家就是一一展开了,一个是没有数据,二一个我们可能时间上可能有点来不及。这个是我们说的,你赛的开头的,我们叫集中式的实力。那么。那么我这个。
65:05
我们看这那我我们还有分布那个分布式实例的,分布实例是以group开头,我们点进去看一下,你不是实例详情里的没它这里面就简单了,诶他怎么没有这个DB这个这个,然后做什么主备切换这个呢,只有一些我们说刚开始只有诶设置分布式事务啊这里面。啊,也有他没有,为什么呢,你看啊。他有一个管理。Set管理里面我们点进去哦,重启设置读写模式,主备切换啊,这些都是针对于单个set的操作啊,只能是针对于目前这个set。比如说这个赛是4003的,我对这个赛做的这些操作在这里面去完成,那如果是另一个呢,它是端口是多少呢?它是4004的,那我对它进行主备切换呀,等等这些操作就要找到对应的这个set去操作啊。
66:03
你比如说我想对他进行这种。嗯。啊,它这个扩容应该是在这里面,垂直扩容是在这里。所谓这个我们说的这个扩容是什么呀?你比如现在它是不是1c1.5G,就是我们说的把它扩成4C8G 200G磁盘空间你在后边。那怎么对它进行水平的拆分呢?这里面就有一个添加赛。添加set的情况下,你就可以指定我要对哪一个。做那个拆分,拆分之后因为我们时间关系,我们不给大家实际演示,拆分之后你记住了。你比如说我拆他。一会儿就会变成一个set这个什么什么的,比如说是是是二。或者是四的这么一个set,新出来一个set,这里面你会看到三个set,并且你看这set这个一这个这一块后面它那个Sha key这一块。
67:08
这不是零到七吗?那拆出来那个是什么呢?零到三。这不是,他这留的应该是零到三,你新拆出来会一般是什么四。到期。如果上边那个你再做把它进行拆分呢,它这不八到15吗。应该是八到11留,八到11拆出去,那是什么?12~15,这样实际上是把一部分物理表给它切走了。这个这个我们说的这个这个切换的原理的话,我们可能架构的时候我们已经了解了,我们就不细讲。这是一个是水平的。我们说通过添加size的方式,这种扩容,还有一个是垂直扩容,在这里垂直扩容说白了就是把这个原有的这个物理资源不够了,我给它升级。
68:00
然后是数据库管理,剩下的基本上和刚才咱们看到的这个,嗯,就是那个集中式的就很类似了,很多都是一样的,你看上上面这些操作,还有这个DB监控这一块,只不过DB监控这一块呢,他列出了两个set,你就这是一组他们的那个set,那个set ID是都是一的啊下面又是一组,这是两个分片,两个分片我们注意其中有一个分片叫备份节点。那么如果你配置好了HDFS,或者你通过远程挂载纳斯啊,像NFS啊,你通过远程挂载也可以,你挂载到这些DB节点,那这时候实际上会在这个机器上面进行这种备份。那这里面它显示出来是干什么呢?如果你备份出现问题了,那你就要到对应的这个节点上面去查看。到哪儿查看呢,他有一个买SOHOA镇的这么一个。
69:00
呃,目录my agent下面呀,它有这个我们说,呃,Log log目录,它有一个no ho这么一个目录,它里面就会有你专门的这个备份的日志。你是手动备份还是自动备份,你是逻辑备份还是物理备份啊,你用买。还是backup都会有专门的这个日志,并且这个日志是按天的,每天会有有新的备份任务,就会生成当天的这个日志,那你哪天出现问题了,你就找当天的这个日志去查看就OK了。啊,这是我们说的这个这个备份这一块。嗯。然后我们需要了解pro,像监控这块都是一样的,因为注意啊,你看这个group开头的,我们叫分布式实例对不对。他。的数据库这一块。它现在是两个赛,有可能它还能变成四个赛,还能变成八个size,变成16个size对吧,因为我们最大只能16,你如果只最大指定32,它就能变到32个S。
70:10
但是你proxy你刚开始指定三个就是三个。那这个proxy的话,后期我我怎么对它进行这种扩容缩容呢?啊,我们一会儿再看。就是你现在。连接到我们这个pro上面,对它进行这些操作。当然我们就不不不掩饰了,因为可能我觉得时间不太够。然后呢,你去对他进行这种演示。就比如说我啊,我我我我连到它上面,我去做增删改,实际上。在它上面你对你比如分表,我就是用哈希这种方式啊,Sh key这种方式,那他就对Sha k进行这种。一致性,哈希,然后它那个值应该到。
71:02
我们说的。是沙特是这个范围的,就给你到这个,这个是三的。呃,赛ID是三的,那其实是什么呀。是三呢,就就这一组上面去。那如果说是沙特是另一另外的,那就到这一组上啊。是这样。剩下的我们就不介绍了,就大同小异了。这是咱们说的这个这个,呃,实力管理,实力管理里面。然后然后你看啊,还有一个DB汇总啊,这里面其实是把整个这个集群里面所有的DB都给你列出来,为什么呢?那这样的话你就就不用进去,你在这里面去看的时候,哪里面有问题,它会飘红啊,你就可以去去去查看了,这样就更一目了然,并且呢,这些监控的指标项,如果你你不满意。那你说你可以在这替换,还有一个是我想看具体的监控指标呢,那你比如这个节点啊,有问题有问题,那我就点它,我去看一下,诶哪里有问题。
72:07
呃,定位问题更更快速,那我想去去到这个实例里面,我也不用再去找,诶他在哪个实例,其实就是这个实例啊,我点进去你就点到这个这个实例里面来了,然后我再给它,它上面去做一些操作呀,包括性能优化这块,包括故障诊断就可以这么一个,呃。就是一个接接接入层。还有网关这个监控也是一样,把所有这个集群里不同实例的这个网关都在这边列出来啊,然后这里面也有一些监控项,然后呢,我前面也是,如果他有问题,呃,看着某一项飘红了,那我就点进来我看一下啊。看到他,诶这些监控的指标,那如果说我想进入到这个实例,我想去看你怎么办呢?那我就点进来,实际上就来到了这个实例,这是我们说的网关汇总,还有一个接入层管理,接入层管理的话,因为我们没有配置,这里面也就是我们说的。
73:04
LVS啊,F5啊等等这一系列的啊,都可以在这里面管理啊,这里面的话大家也不需要,呃,主要是我们没有时间啊,以后有时间大家可以去去去去看一下啊,然后一个是调度与管理系统。调度与管理系统的话,我们看啊,这里面有很多的组件,其实这些组件我们也在监控你,比如CK,我们点进来,CK我们知道它是多数派原则,有一个leader,然后两个所谓的跟随者,对不对,然后leader它的状态是什么呢?我们看它的状态实际上比DB节点或者pro节点要少的多的多了,对不对,只有这些包括打开的文件,句柄数,Watch数啊等等,Z的数啊等等这一系列。这是我们的ZK这一块。然后这个scheduler和这个manager呢,我们说了他们是主从或者主备的关系,主库提供服务,然后备库呢,如果主动出现故障了,备库来进行接管的,那这个时候如果说。
74:10
现在我创建实例出现问题了,那么我们要到哪台机器上去查看日志呢?那你肯定到这里面查看哪个是主,对吧?并且他们监控的任务更少了,你看这个scheduler,因为很重要,它是调度系统的核心,所以说它还要多一些,Manager我们也可以看一下啊,这是读它就不一样,对吧?它你看就记录两项,你只要活着就OK了。还有oss,你看你你你只要存活就行,因为什么你你你当掉了,对我整个集群也也没什么影响,我后只不过我现在吃兔这个操作受到影响,那我把你恢复了就OK了,对现有的这个集群环境,包括数据库实力没有任何影响。还有一些像我们说的online d d dl,就是我们这些监控,像HDFS,因为我们也没有配置啊,像多元同步这一块,实际上我们创建多元同步之后,在这里面就会有相应的这些信息啊,进行着监控。
75:11
然后像卡夫卡呀,扁鹊,扁鹊这个你看也是只有看一个状态,就是你是否存活就OK了。呃,MC这是我们那个,呃,全局一致性读的,这个我们也没有时间介绍。呃,我们还有还有几分钟,我们再看一下数据同步,数据同步这一块你看啊,我们主要讲了两个,一个是多元同步。什么是多元同步呢?多元同步就是我们说的。T的里面的这个数据啊,我可以把它同步到。这个比如说我我现在搭建了一个原生的这个买私服。我想把T搜狗里面这个实例里面的数据。迁移到我这自己搭建的这个MYSQL,原生MYSQL这个环境,或者我搭建了一套AC数据库,我想把这里面的数据。
76:03
迁移到我的那个。那个数据库,并且做这种实时的这种数据的复制,那这个时候我们就可以使用我多元同步这个功能,这个功能是怎么实现的呢?就是我们说的。把数据库里面的这个数据先吐到卡夫卡里面去,然后我们有一个叫卡的一个消费组件,把卡夫卡里面的数据消费到下游的其他的库里面去,原理是这样的,你比如说我可以创建。这个嗯,TP思路内部,你比如说我们刚才看那实力管理里面,我有一个集中式的,有一个分布式的,我想把那个集中式的这个是实例里面的数据同步到分布式里面去,那我就可以在这里面指定我原端是这个,比如说这个是set开头的,是集中式的,对不对,那我这时候呢,我目标端我就可以把它同步到那个group里面去啊是这样是一种同步啊,这是一种。
77:04
就是。这个集群内部TTSO,实力之间的这种同步,哪怕是你从集中式到分布式,或者分布式到集中式,这是一种。还有一种。是什么呢?嗯。不是咱们说的到其他的股,你比如说。我这个原实力,也就是我t circle,我不管是是我的这个这个这个属于分布式的实力对不对,或者是我集中式实力,我是原端目标端我可以选选什么呢?自建的买SQ,就是我自己搭建一套买SQ环境,哎,我不用你TSQ了啊,我测试完了之后,我觉得要购买的话,那太贵了,那我我我不需要,我我再同步回来,还有一个是什么PG也可以,奥尔会也可以啊,还有一个叫这这其实就是看看啊。
78:01
呃,因为有些这个用户啊。他有这个需求,他不用你的同步到他那个卡夫卡里面去,然后他大数据那一块可能有有有一些需求,这是我们目前支持的,应该有有有的小伙伴会说了,你这个就只有这几个,而且的话,人家客户这块如果人家有。本身是Oracle环境,人家想做国产化替代,那想把数据从将Oracle里面的数据迁移到TSQ怎么办呢?实际上我们有一个专门的工具叫DB,是专门做异构数据库迁移的工具,所以说这一块的话,我们只是实现了它由T向外呃这么一个功能,方便我们只购买TT这个这个用户的一个使用,实际上真正专业的话,我们还有这个DB bridge这款工具。这是我们说的这个。
79:01
呃,多元同步,然后再说一下DCN,什么是DCN同步,DCN同步是两个集群之间做高可用,注意啊,比如说我是两地三中心,两地三中心实际上你是有两个集群,现在我们看到的这个是一个集群,那我必须在上海这一块,你北京我有一个集群,那我在上海我再创建一个群,通过下面集群管理里面,我可以把那个集群啊。我通过这种接入,新集群接入进来之后,你会在这里面发现集群总揽,我这里面还有一条集群。集群之间,实力之间做这种跨城的这种数据同步,采用的是DCN的同步啊。是是做这种跨城容灾用的啊,这个我们了解一下就OK啊。然后呢,这这个我们像集群管理啊,很多的话,因为我们现在小伙伴现在也用不到,所以说我们可能就不详细给大家介绍了,也没有时间了。
80:02
然后向集群巡检,呃,整个自动化演练呀,等等这一系列的啊,呃,包括有系统管理,系统管理我们再简单的赘述一下,就是这个用户,我现在用的是ad用户登录的,那么。你这个管理的话,不可能每一个DBA,或者每一个这个研发人员想想要用到优化的这一部分的功能,你都给他这个用户,那这个权限就太大了,那这个时候实际上我们要给他创建,呃,一些用户创建用户是在这里面创建,对吧,我现在有。那么。我一般创建用户,实际上我是不给他授权的,为什么呢?我只给他指定角色,由角色对应的这些权限啊,你给就就你给他授予这个用户,给他授予权限之后,他就有了这个这个角色对应的权限啊。但是我们需要注意一点的就是。这里面呀,我们这个权限这一块啊,是分两种,一种是操作权限,你比如说超级管理员,我查看权限你看。
81:04
集群这块总览查询,然后实例管理里面,我有查询,我有创建实例,我有这个实例隔离删除实例等等这一系列的操作,你包括还有这个赛管理,我添加赛所有的这些操作,这些都属于操作权限。但问题是。你有了操作权限,那这整整个集群,集群里面的所有实力都允许你操作吗?那你的权限就太大了,你比如我,我这接管了十个集群,那可能不同的集群是不同的业务线的,那你都去。这个业务线不属于你,那你要去操作的话,那误操作了,那算谁的呢?所以说。除了有集群的权限,还有的就是我们所谓的资源的权限,这里面就是说一个是你创建完用户之后,还要给这个用户。呃,有这个操作权限了之后,还要给这个用户加上他的资源权限,你比如说我只允许你这个用户管理我这个消费金融核心账户。
82:04
或者这里,因为这里面实例可能有多个,我给你指定其中的几个。当然如果说是比较大的,那我可能接入多个集群,那我把这个集群资源权限给你,再有再加上你本身的操作权限,我就可以对这些资源进行你你有的这些操作权限对应的操作了,啊是这这个我们要理解一下,然后下面很多的这个细节,我们就先。可能就就没有时间讲了,包括系统升级呀,软件授权呀,啊这些也不是重点啊,不是我们真正学习使用的重点啊。然后我们应该是这一轮要进行这个最后一轮先抽奖啊。
83:11
OK,这这这最后一轮是那个什么毛绒公仔啊,大家也是十个大家。看谁的运气了。然后咱们接下来我们剩的时间也不多了,然后咱们看看有什么有什么问题咱们可以交流一下啊。然后有什么时候考试,考试可能是下周吧,但是具体时间的话,呃,还没有定,今天的题应该是应该是出完了啊呃,相对来讲不难,大家呢,这两天就是认真的呃。周末时间,嗯,如果这几期的话,你就是回看一下啊,好好的复习一下,应该这个这个过了都没有问题吧。
84:04
还有一个在最后再提示大家一下啊。今天晚上就是我们今在这个直播里,直播间里的小伙伴们一定要注意签到啊,还有一个往期的这个这个视频。不是视频,就是那个直播回放啊,你也需要你的那个签到啊,就是今天晚上我们直播结束之后,我们这个这个签到的这个这个通道就要关闭了,就你过了今天晚上你再签到,你可能就没有机会了,所以说我们一定要记得要签到签对好不好。抽到代金券的话呀,是这样啊,因为现在的话你们还是等通知,实际上你可能要有一个腾讯云的一个一个ID,然后我们收集这个ID之后,我们这边会统一的发放啊,这个这个你们你们等通知吧,好吧。考试的内容是这样,嗯,大概应该是MYSQL这块的话,大概有十道题吧。
85:02
十道题应该是八道单选,两道多选。呃,然后t circle,就是我们那个T这一块,大概应该是有25道题,其中有20道是这个,嗯,单选五道是多选,然后那个Linux那块可能也是,诶是十道题吧,啊我我。呃,大概是这么个情况吧,呃,可能到最后有有有稍微有调整,所以说现在我也不能特别肯定的,呃就就就知道,然后呢,大家就是我们等通知就OK了。怎么知道是否缺勤啊,这个这个问题我也要,不然的话,你你那个那过去那那一共是是八期,你每一个都点进去看一看,都都点一下签到。啊,有小伙伴说这么多天都没中过是吧,今天的话你看三份的话,每一份都是。
86:02
呃,一三次抽奖,每一次都是十十份,因为今天是最后压轴的最后一天了啊。打卡的话是这样,你不是点击点点进这个直播间,你看到那个蓝底儿白字儿的那个签到两个字了吗?你直接点签到就行了。那你这个你赶紧的把那几期的话,你都都都去签到一下。然后咱们小伙伴就是看一看,就是说针对于这三天第四啊,呃,应该是四天郭老师给大家讲的这个。
87:02
就是那个架构这一块是吧,我们这个四次课,大家有什么问题也可以在那个,呃,聊天里面,就我们互动里面啊,也可以交流一下。因为我们还有几分钟的时间。嗯,这个考试的话,大家也不需要担心啊,嗯,相对来讲的话题都不是很难,而且绝大部分都是单选题,我们知道单选题的话,通过这种比较的这种方式,其实就能很很容易去找到这个答案的。大家把这这几次课啊,周末有时间的话,呃,哪一块你不熟悉的啊,你比如说我本身对MYSQ非常熟悉,那这时候你就那那MYSQ这这那两次课可能就就不需要特别的去,包括我Linux我也很熟悉,那你就把这个TS这一块啊,呃,周末的时间啊,抽出时间来再回看一下啊,好好的复习复习。
88:17
企业中一般部署几套集群,还是一套集群往里面加机器?服用管控节点什么叫服用?是这样啊。一般来讲啊,有一套这个。这个这个这个一个集群就有一套管控的,就是说一套集群一定是有一套JK啊,有scheduler,有这个manager调度系统,有oss,有赤兔啊,有这么一个环境的。那有这套环境了,我就可以往里面那管这个这个物理机,比如说这个资源池,那我还有必要要第二套集群吗?是这样。
89:01
第二套集群,一般来讲,我们做这种两地三中心的时候,我们是需要两套集群的,就是说北京这一块我有一套集群,比如说朝阳IDC机房,然后我海淀有个IDC机房,我在做这种同城双中心,我是一个集群就OK了。那么我要做两地三中心,我在那个上海这块我还要有一个集群,这个集群呢和北京这个集群是两套,他们之间通过DCN同步来做这种高可用,就是城市级故障的时候,北京这个。整个大停电,朝阳海淀两个IDC都挂掉了,那这时候我上海这套集群进行接管。所以说这根据你你的情况吧,有很多的企业的话,他的这个级别没有那么高,他也没有那么多的资金,说我做两地三中心,那这个时候你就不需要。有有有有两套这种管控啊,两套集群了一套就就完全OK的。甚至有一部分客户,他只有一个IDC机房。
90:04
呃,甚至我有一些客户,你比如说是保险类的客户,他们当然也与他业务有关啊,他有一部分业务,甚至他就。强通主通强通布都不用,就用一主一背啊。一乳一背。一一一般来讲,我们一主一备是不开启强同步复制的,为什么呢?你如果开启强同步复制,你背库出现问题。那主库你就没没有没有给他A的确认,他也不给应用这块应答了,就夯住了。然后你说企业中这个都是根据实际情况,这个这个要看企业的这个需求。嗯,然后呢,就是正好我们时间也也是到了这个九点半钟了啊,也也也就是很很高兴能和大家有这么个交流的这个机会啊呃,同时也感谢我们CSDN这这一块,然后最后呃,再提醒大家一下,一定要进行这种签到啊,因为今天晚上这个签到的这个通道就要。
91:16
关闭了啊呃,大家一个是注意要签到,并且呢,呃周末有时间把我们因为每次直播都有这种回放,然后呢,这我们周末或者是这这这一个星期的时间吧,把这个这些内容啊好好复习一下,呃考试的话大家不要担心,只要认真的复习的话,相对来讲题都不是很难的啊呃,最后也预祝大家啊呃,就是能考出一个好成绩啊。呃,然后我们今天的直播就到这里啊,感谢大家啊,再见。
我来说两句