00:15
嗯,小伙伴们晚上好,呃,今天是我们本次训练营的最后一节课啊,呃,然后我们还是按照以前的这个惯例,就是进入到这个直播间的小伙伴们,第一件事还是要呃进行这种签到啊,那我们这个。屏幕上面有那个呃,蓝底白字的这个签到两个字啊,我们就直接点击进行签到啊,这个别忘了啊,然后我们还是我们等几分钟,然后八点我们准时开始啊,今天最后这一次课,这一次课的话是带着大家呀,看一下我们这个t base,也就是我们新的这个叫t circle PT版,原来叫t base。他的这套管控啊,我们从三个维度啊,带着大家来看一下啊。
01:05
然后,呃。还有一件事可以跟大家就是来说一下,就是说呃,腾讯云这一块的话,就是呃,我们数据库t serve这一块有一个这个征文大赛啊,这这这三天我们可能都跟大家说了这个事儿,主要就是说对于我们这些,呃对数据库啊,你比较感兴趣,然后呢,对TSQ又有一定研究的啊,你比如说这两期训练营我都听听过了,那么我对他的,呃,不管是我去学习它呀,我去做实验呀,不管是从我们说的。整体的架构啊,包括备份优化呀等等这一系列的啊,嗯嗯,比如什么事物啊,或者某一个技术点啊,我们能够总结出一些东西啊,我能把它变成我的这种笔记啊,再把笔笔记上升为一篇文章啊。如果你有这个兴趣的话啊,也希望你把你就是总结出来的这些东西啊,来参与到我们这次就是中文大赛当中来,就是呃,如果说我们呃有机会获奖的情况下啊,还是有很精美的这个小礼品的。
02:15
同时我们也是希望通过这这这次征文大赛呀,能让更多的人对我们这个这个分布数据库啊,呃,产生这种兴趣啊。然后我们现在是57分,我们再稍微等两三分钟,然后八点我们准时开始啊,今天的这个我们的,呃,就是今天晚上的这种最后一次的这种交流啊。啊,新进入这个直播间的小伙伴们,还是别忘了这个呃,签到啊,因为到最后的话,你这个结营考试的话,如果你是签到的话,他是也也也是。
03:08
会跟你这挂钩的啊。58分啊,我们再稍微等两分钟啊,就进入到我们今天的这个呃交流当中,我们今天的交流的这个主题就是我们这个呃,我们所谓的TQPG版,它有一个管控平台叫oss管控平台,那么今天我们就来呃带着大家来了解一下我们这套管控平台,它能够。是在我们这个运维呀,呃,日常的这种数据库的优化呀,还能做什么啊,我们带大家来呃了解一下。59分啊,让我们再稍微等一分钟啊。刚进入直播间的小伙伴注意一下啊,我们要别忘了那个签到啊,因为今晚上呃,上期是这样的,就是今晚上他的这个所有的这个签到的这个通道有可能就截止了啊,所以说我们一定嗯,就是记得要签到。
04:38
59分啊呃,同样今天还是一样的啊,我们今天晚上还有这个三次抽奖的这个呃机会啊,看看今天晚上大家的运气啊,这是呃这两期的训练营的最后一次课了啊。好,现在是八点,那我们就准时开始,然后进入今天我们的这个t base的一个技术的交流啊,我们今天的主题是oss管控平台。
05:07
然后的话,我们。应该是。前天我们带着大家就是安装了一下我们这个就是整个这个TPS这个集群啊,呃,当然了,我们的安装是根据我们的这个这个独立输出版本,呃,当然和那个公有云这个版本它差距是比较大的,因为公有云这个版本是作为一个租户,你去申购一个实例,然后你就去使用了。那么很多维护的这些内容啊,其实不在你这个租户这一块。那么都是由我们腾讯自己的这个DV在后台给你进行维护,你只是作为一个使用者啊,来进行这种。就是你呃,正常的这种使用,那么我们今天给大家介绍的这个oss管控啊,这是说我们独立输出版本,就是说这一套集群。
06:03
未来可能是在你的企业里面去独立部署的,你的地边人员要去使用,包括你的有些我们说不管是产品啊,包括项目经理啊,他可能作为租户端去申请啊,还有一些研发人员可能啊。需要对这个整个数据库实力啊,有一些优化的需求啊,他可能也是一些我们特定的用户,那么今天我们就带大家来了解一下我们这套管控平台。首先我们这套管控平台的做他的这个做做的这个,嗯,因为我们知道我们前两天是见了好几个用户,对吧,其实他是按照所谓的这个西方的这个三权分立啊,你比如说有有我们这个,呃,运管平台有三个角色。其中有一个叫平台管理员。有一个叫做租户管理员,还有一个叫实力管理员。嗯,他们分别对应的不同的功能,那么我们首先来看一下平台管理员,就是我们最开始用的这个in这个用户,他就是这个平台管理员,我们输入密码。
07:09
我们收入。登录进来之后,我们看到的这个界面啊,就是我们这个,呃,平台管理的这个界面,呃,首先我们可以看到一个,呃有个预览对吧,其实这个预览里面会显示你有多少个实例啊,呃,这些实例啊,有多少个是在运行当中的,呃有多少个是已经让你停止了的啊。然后呢,包括还有一些备份啊,这些信息,当然因为我现在没有配置啊,我这是一个简单的测试环境,呃,但是如果你要正常来讲的话,你多你你你多个实例,这些备份信息都会在这里面显示出来的啊呃,你包括一些机器的负载情况啊,也都可以在这里面去显示出来,因为我们这是一个测试环。你没有什么数据,你也没有打流量,或者是比如说我们用用用用这种压测的工具来给他进流量,所以说现在呢,他没有高负载的机器,所以说他也没有显示出来,这里面所谓的高负载的机器啊。
08:12
是是说整个这个我们现在我们看到的这个这个平台管理员,它下面所有资源。的一个整体。就我们一会儿要看到那个我们服务器管理里面,你有多少台服务器,这些服务器只要是。负载。拿到我这个预定的这个阀值的,或者叫预支的啊,就会在这里面显示出来,并且你这像备份这些也是所有实例的备份都会在这里面显示出来。这是我们说的预览这一块。那么接下来呀,平台管理员这一这个这个我们说它的这个这个角色,它所对应的这个功能里面非常非常重要的一块,就是我们说的这个资源管理这一块,就对整个集群的这个资源的一管理。
09:01
我们这个在我们创建这个,就是我们前天在创建这个,这个我们在部署这个集群的时候啊,有些这个模块我们已经看过了,你比如说资源管理这一块。这个资源管理是干什么的呢?你比如说我们当时创建了一个这个啊,这个是他的一个啊,这当然规格比较小了,其实我这个我自己创建的这个通用的这个CNDN加GTM的这个资源模板也比较小,实际生产上你最少你可能4C8或者8C16啊,然后500G或者一个T的这个磁盘空间,创建这样的真正的资源模板,而我们这里是因为你是实验环境,我一共就这点资源,我不过分的,所以说我为了做实验,我才创建了这个相对较小的这个资源模板。那这个资源模板是用来做什么的呢?实际上这个资源模板是我们未来在创建实例的时候。我们知道我们创建实例的时候,你要。
10:01
创建那个GTMCNDN,那你创建每一个节点,你比如说我创建一个CN节点,或者我创建一个DN节点,那这个DN节点。它的配置是什么呢?那么我就可以创使用你现在创建的这个资源模板,你比如我现在这个资源模板是1C1G5G的,那如果说你创建那个实例的时候,你指定这个CN节点使用了这个资源模板,那么这个CN节点它的那个资源就是ecg。5G的磁盘空间,这么一个资源模板。这是统一规划的,嗯,在产线上我们根据我们的实际情况,比如说我初期这个业务刚上线,那我可能就是我不可能一下子就给他,嗯。二比如说32核或者六六六十四核啊,什么128g 256g内存,我不可能直接给他,那那资源就浪费了,那最开始我可能就给他一个相对低的4C8G。
11:02
或者是8C16G的啊,相对的一个。低的这么一个资源模,后期的话,实际上我是可以扩容的。这个我们了解一下,然后是软件包管理,这个软件包管理啊,我们看我们现在只有一个这个。这个包叫TB_PG叉Z啊,什么5.005的这个五五。就是5.0几的啊,现在应该我们最新的是5.06啊,然后后边是点1.2.3,实际上这个我们叫它V5版本。它是我们的众多版本里面,这个是我们说的嗷嗷或兼容性的这个版本。那么如果说我们TPS相互向PGXZ。然后横杠是二点多的,这是我们的VR版本,VR版本就是我们。兼容原生PG的这个版本,我们还有一个版本叫。V3的版本。
12:01
啊,这个V3版本其实是我们APP类这种场景的,它的一个,你比如说它有一呃,就是你像AP类的肯定都是劣势存储的啊,向量化执行引擎的像这种。那么我们这里面还可以纳管原生的PG,你这个原生的这个PG的这个版本,我们也可以通过添加,其实你这个添加里面就很简单,你只要把包拖上来,但是你一个包那个有一个校验值啊,你校验成功之后直接拖上来,拖上来之后在这里面就会显示出来,那你创建实例的时候就可以去选中对应的版本。未来我们还有,现在应该已经有了,就是我们有那个专门的这种集中式的版本,所谓集中式的版本就是我们不做。多种这种DNA这种分片啊这种的。这是我们软件包的,那软件包除了说我不同版本之间的这个区别,还有一个很重要的就是说,你比如说我现在这个这个这个班还偏老了,是5.05的。
13:04
那么其实我们现在最新的稳定版本已经有这个5.06的。那这时候我所有集群我要做这个升级怎么做呢?那实际上你还是要把你最新的稳定版的这个软件介质上传上来,然后在集群里面你要去做这个升级的这个操作,你必须有那个最新稳定版本的这个软件,这个就是不同版本也可以纳管到这里。这是软件包管理。然后下面是这个机型管理。实际上说白了,这个机型管理啊,我们现在上次我们在做实验的时候,我们根本就没有用,对吧,我们也没有添加,因为现在我这个环境,我们可以看到你这里面根本你就没有添加,为什么呢?因为我现在基本上不用,我们是通过服务器管理里面直接来就是上报机器。机型管理,其实说白了就是我呃有大批量的机器相同配置啊,这种情况我们可能用,但是现在一般我们可能呃,就是本次实验就没有用,然后剩下就比较重要的就是服务器管理这一块,这一块。
14:12
是我们上报机器,你比如上次我们上报了呃三台机器,64.2 64.8和64.14的这三台机器,我们可以在这里面选择添加服务器,当时我们也看了,你要选择你的IDC啊。选择你的这个,呃,所谓的这个这个这个这个地区啊。然后机架的信息服务器IP啊,包括你的首次啊,你的这个root用户需要给他指令,因为他要连到你那那台机器上做一些初始化的动作啊,包括一些资源的这个,呃,服务器资源的这个,这个我们说的这个调整啊,包括呃,要创建一些目录啊,创建一些用户啊,包括要有一些推包的初始化的等等这一系列的。然后呢,我们当时也说了是吧,如果说我们当时上报那三台,我们就是说。
15:02
不让他创建ttp用户了,也不部署agent了,为什么呢?因为我们这三台机器上报的就是管控的机器。同时用管控的机器也作为CN和DN来使用,因为我们没有那么多资源,那如果是你新上的一批机器,这批机器是干净的机器,并且它未来只用做DN或者CN,那这时候你肯定你在初始化的时候,你要。你要在它上面创建TP用户,包括要部署agent。然后下面是你比如磁盘空间,我们要选上共享那个磁盘共享对吧,这个资源池,资源池我们现在就基本上都是在这个默认的里面就OK了。服务器用途我们当时也讲了对吧,那如果说这批机器是真的好机器,固态硬盘大内存多CPU啊,我只把它用来做我最重要的DN的这个这个节点来使用,那这时候你可以指定我们一般是通用,通用你就说哦,所有的。
16:01
都可以用,这是我们的,呃,服务器的这个这个管理,当然了,这服务器我们再看一下。这个这个。你比如这台64.2,它后面有详情,我们也可以点进去看一下它的一些基本信息啊,比如基本信息,硬件大概的情况啊,磁盘,甚至你还可以就是说呃,其实这些磁盘你后期如果要是有有这种增加的情况下,你还是可以那边进行,呃,它有设置里面你可以进行一些修改的啊。然后这是服务器管理。服务器管理呀,其实啊,对他这个这个排序可能我觉得啊,应该把ADC管理放在前面,为什么呢。因为你这个服务器,你要去添加服务器的时候,我们首先要指定这个IDC的。
17:05
IDC你要根据你实际情况来的,我们现在是实验环境,所以说我就一个IDC,那实际上我可能做这种高可用,比如两地三中心,多地多中心这种的,我我北京我有两个IDC机房,一个是朝阳,一个是海淀,那我上海异地我还有一个IDC,那在这里面。你就要把这个IDC就提前就创建好。然后你再添加这个这个服务器的时候,你这里面去选择对应的IDC,并且选择对应的这个机架。所以说IDC相对简单,但是应该你提前就在这里面去给他配置了,你有多少个,我有。怎么做规划。甚至是。你可以指定到什么程度呢?我朝阳这边是有这个一个IC。机房。那我可能它是两栋楼,我把它分成不同的区域,你比如说IDC朝阳杠零一,这是第一栋啊,甚至朝阳那个啊IDC朝阳,然后杠二,那我是第二栋楼,或者是不同同一个楼,不同的楼层,我都可以根据我的需求来做这个IDC。
18:13
像这个,然后这是服务器指标这一块,这一块就就是很当然了,呃,一般来讲也有用我们这块的也有人家本身机器都有这种监控的啊,咱的机器有这种监控,所以说呃,像这一块。你呃,我们这里面也有机器本身的一些CPU负载呀,内存占用率啊等等这些啊,就针对于这些机器的一些监控啊,但是你你自己你用达利克斯啊,用现在的什么普罗米修斯啊,你去监控机器啊也可以啊,这这个是我们服务器的一些性能的指标,在这里面可以展示出来。没事。然后是IDC管理。啊,下面是这个资源池,这个资源池啊,我们也介绍了,实际上这个资源池的话,嗯,可以有多个啊,根据你实际情况,但是一般来讲,如果说我们机器不是那么特别特别多是可能几千台上上千台这个机器。
19:12
那这时候其实我没有必要说我做多个资源,那我就默认就好,默认资源池叫default po,然后我们看到它有一个机器列表,你点那个机器列表它就自动。又回到这个服务器管理里面,哎,你看这三台机器实际上都是在这个我们的这个这个,呃,默认的这个资源池里面,这是资源池管理。然后下边两个呀。你像比如说像这个VIP管理,VIP管理我们这里面我们就没有做设置,为什么没有做设置呢。啊,协调节点啊,也是那个整个集群的一个接入层,然后呢,有那个GTM啊,然后有下面的数据节点叫D音,因为过来要连我们CN对吧,连我们CN,我们知道我们CN,虽然它是有主备关系的,但是我是可以有多组这个CNCN的,那么也就是说有多个CN的主,我应用可以连到任何一个他们上面的这个视图啊,包括一些原数器信息啊,都是一样的。
20:20
那么我。这时候比如计算节点,我可以做这种。负载均衡对吧,我把流量可以均匀的打散到,呃,我比如我我有多组这个CN,那前端其实我是可以加这种负载均衡设备的,你比如说像软负载的这种LVS或者是F5,因为我们没有配置,所以这里面我们这里面其实就是配这一块。然后还有这个我们说的冷费配置管理。冷备配置管理,说白了就是我们说的冷备中心,就是我们数据库,你要做备份,这个我们都知道对吧。
21:01
你任何数据库系统,你做了任何的高可用架构,也替代不了备份,备份是什么什么,用什么数据的什么,呃,安全保障的基石啊等等,这我们都理解对吧,那么你你备份备份到什么地方去。就是你备份的这个戒指是什么?我们这里面是支持三种。我看看他这里面啊。这里面你比如说我。有三种备份的,这个解什么呢?第一是HDFS叫分布式文件系统,其实了解哈路普的对它就非常熟悉了,你可以自己搭建一套HDFS这么一个集群,然后呢,把备份地址输入进来,OK,我就可以把我的这个备份啊,放到我们指定的这个HDFS这个集群啊,这是一个。第二种就是什么呢?这种cos叫对象驱动,呃,就是我们那个公有云上面,其实腾讯这块有有公有云上有有提供的这这种服务的啊。
22:05
还有一种就是说我。不。我也不想搭建HDFS这个系统,我也我我也没有共有这个环境,那我就本地部署,不是本地备份,所谓这个本地备份并不是你你你你通俗上认为的,就是说我一定是在我这台DN这台机器上,我在本地那个磁盘我去备份吗?不是你可以通过远程挂载的这种方式啊,通过这种NAS啊,这种大存储啊啊来挂载到我这个文件,然后我去把我的这个备份的这个文件来保存到你的这个,我们说远程挂载的这些,比如大存储这个这些设备上。都可以在这里面进行这种我们说的配置啊。这是我们说的冷卫的配置,嗯,目前来讲啊,实际上我们这一套运运管系统啊,你只能配一个,就是你提前你这个冷备中心,你要做这个我们说的,呃,这个规划,要么你就用HDFS。
23:07
要么你就用本地备份,这种方式只能选一种,你说我有有一就你这个集群里面有一部分实力,我想用HDFS。那么有一部分我想用本地备份,这里面目前来讲是设置不了的,你只能选择一种。然后还有一种啊,这个我们说下面还有一个叫跨版本的这个迁移,这什么是跨版本的迁移呢。第一种。就是我们说的,呃,因为时间的关系,这些实验我们可能没法做,就是它的这个原理性的东西,我们会给大家介绍一下,所谓跨版本啊,不是说我去我我我我迁移到or数据库,这是跨版本吗?好在我们这里面不属于这种跨。易购库的这种我们所谓跨版本,就是我们刚才介绍的,我们有VR版本,也就是说兼容PG的这种版本。
24:03
还有一种就是V3版本,是我们的AP类的这种,呃,这种我们说的这种,呃,做这种在线数仓啊,包括我们说这种在线报表的这种。还有一种是我们V5版本,就是兼容Oracle的这个,呃,兼容Oracle的这种这个版本,还有我们本身的这个原生的这个PG,包括我们集中式的这个版本,他们之间。做数据迁移的时候。那这就属于跨版本了,那这时候我们可以在这里面去进行这种跨版本的数据迁移,这是一种。还有一种是我本,我们现在比,比如说我这5.05的这个版本。它本身就是Oracle兼容性的这个版本。但是我现在你比假设说我是5.05的这个目前的这个版本。那么我们又有了成熟的5.06的这个版本,那如果这个两个版本之间呀。
25:03
差异比较大,甚至有一些原数据都发生了变化,那我这个迁移。我也需要通过这个跨版本迁移,在这里面创建这个迁移的任务来迁移数据啊,这是我们说的,呃,跨版本迁移这个功能。这里面所有的都是我们对资源的一个管理,这个管理是由我们平台管理员来完成的啊。那么我们把它关上。然后我们再看一下,它下面还有一个租户管理,这个租户管理我们已经使用过了,并且我们已经创建了一个叫t base的租户,对不对?其实我可以创建多个的,这租户是干啥的?说白了这个租户就是去申请。数据库实例,去去去去去创建的。我们比如说我现在有很多的,你比如说银行,你比如说这个,呃,就是咱们大的那个,你比如说证券呀。
26:08
保险呀,包括我们大的镇,他们其实各省有很多分公司,这时候其实我各个分公司这个主要的这个,比如说项目啊,呃,项目经理啊,呃,这个层面的,其实他们是可以按照这个租户来申请的啊,我可能每个子公司啊,我就有一个租户,由他统一来去申请,你这个子公司下面有这个业务需求的这些,就找到你这个子公司的所谓的这个接口人,由他来作为这个整个集群的一个租户来申请。我们数。我们说的这个数据库这个实力这个资源,我们创建了一个叫t base,一会儿呢,我们就进入到这个T这个租户这个管理里面,我们去具体的再去看啊。下面是一个实例管理,这个实例管理是我们这个租户我们做,呃,前天我们做那个实验,就是租户去申请这个实例之后,那么在这里面。
27:07
到了平台管理员这个他要审核,审核是。同意不同意啊,如果说驳回了,我就给你驳回,给你一个意见,不给你创建,那如果说哎,我同意了,那一步一步的,我去给你分配资源,然后。做这个初始化的操作,这个我们也,呃,就是前天也演示了,对吧,这是我们说的实力管理这一块就就比较简单了。已审批的,呃,目前我们只有一个。哎哟,稍等稍等,咱们今天有点误点了啊。大家抓紧时间先进行这个我们说的这个抽奖啊。看第一轮咱们我今天稍微有点晚一点啊,然后咱们看一看今天谁的运气好,就由于我稍微晚了两分钟,哎,可能这个这个运气擦肩而过了,本来是他的呢,后来变成哎你的了啊,我们抓紧时间先抽一下奖啊。
28:20
我们也是一分钟的时间,好吧。行,我们再倒数个几个数吧,十个数吧。
29:06
OK,那我们今天的这个第一轮抽奖应该还是那个那个公仔子吧,那我们就就到此为止啊,今天。别忘了。OK,那咱们继续啊。错了。然后咱们刚才讲到的是这个实实力管理对吧。然后下边还有这个告警管理。呃,这里面你包括呃基本上所有的组件吧,你像康复DB啊,康复DB当然它是通过那个,呃是我们说的那个通过高en,这这这这这种高可用啊呃来做的,然后呢,呃,他们的这些告警啊,你包括有就是你针对于磁盘的这些告警,包括像我们知道我们第一天部署的时候有这个etcd对吧,有center master center slave,相当于我们大脑的这个center。
30:20
啊,这些这些甚至包括agent啊,这些告警啊,呃,就是这里面的这个告警啊。它属于这种我们说的这种全局告警。然后当然了,这些告警你可以根根据具体的情况,你比如告警这个有一个开启和关闭,就是这告警,我认为我不需要他告警啊,那我就他老吵着我啊,我就把他关老爷也都可以啊,但这些我们可能包括一些指标啊,我们就不不具体的给大家去去去展开了啊,就是今天我们要把这个整个这个这个这个三个角色啊,他们对应的这些功能要给大家先过一下,让大家有一个了解,包括有告警记录啊,包括告警管理,在这在里面创建告警用户啊等等具体的细节的操作,我们可能就不给大家就是呃特别深入的展开了。
31:13
然后还有这个我们说的这个系统信息这一块有一个基本信息。你基本信息这里面,你比如说oss我的版本啊,啊,这这个这一块能显示,还有一个是参数配置这一块我们需要注意。这些参数配置啊,呃,你比如说呃是他是做什么,这些参数是是哪的参数,是数据库参数还是什么参数呢?实际上这些参数。是属于我们这个,呃,怎么说呢,这些参数是属于我们oss管控系统它自身的一些参数,你比如说我。我要对这个。DN这些节点啊,CN节点我要去进行探和,那么它有一个心跳时间,这些心跳时间是多少呢?啊,是两秒,是三秒还是五秒,呃,都是属于管控这一块的参数,这一块的参数啊,嗯一我们基本上都是配置好的,所以说我们一般来讲你就不要去乱动,或者说如果说有我们这个用户啊使用他的,那你可能要跟我们这个这个包括这个交付团团队啊,包括我们这个DBA团队啊,可能要沟通一下具体的啊,其实这些其实都是配置好的。
32:35
然后剩下的就是我们显示的一些组件的一些我们说的状态啊。你比如说像我们看这里面有etcd的对吧,这1ETCD的话,它现在降康,呃状态这一块的话,它运行当中其实是他在在读取,其实你看这这里面实际掌握数据,那你得等一会儿啊,呃,你包括center和这个A帧的组件了。
33:00
其实他现在正在在那个库里面去去去采集啊,所以说你现在直接直接去看着还看不到啊,所以说还有这个store这个组件,包括康DD啊,这几大块比较核心的都会在这里面啊,那么这时候其实我们会发现诶。那DN和CN怎么没有对吧,其实DN和CN呢,就不在这里面看了,我们有实力管理员,由他们来具体的去去去关注平台管理员是关注于整个就是说我这套管控里面的比较核心的啊这些组件。呃,然后呃,它采集一段时间之后,你比如他的这个主备关系哪个是master对吧,如果出现问题的情况下,那我要连连到谁上面去查看呢,或者做修改呢,那你肯定要知道哪个是主,哪个是从这里面都有啊。这是系统的这个信息这一块。最下面是一个证书的信息,这个证书就是我们看到的,就是第一天啊,第一天呃,郝郝轩没有翻车,为什么呢,我这个证书忘了,我证书在另一台电脑上,然后呢,我现在给大家去演示的这台电脑上没有证书啊。
34:14
呃,然后我又赶紧拷贝了一个过来,对吧,这个证书实际上呢,它是你比如说有一个时间啊,因为这个,呃,比如说我这是到2023年一月份的啊,这个是一个我们说的一个一个一个测试的一个时间,但是呢,呃。这个管这个东西我们要注意一下,他只是这套管控的啊,因为有很多客户担心,那你这个过期了,万一我要提前没有续,那你要过期了,那我岂不是一下子整个集群都不能用了吗?这没有任何关系。这个证书过期了,你这个通过这个管控平台创建的这些实例,该怎么用还怎么用,不受到任何影响。只是你现在这个管控你大,你不能使用,你再在它上面去去查看什么呀,再去创建金,呃,那个实力啊,不让你创建。
35:09
呃,跟你现在已经创建的使用的这些实例没有关系啊。还有一个就是什么呢,就是。呃,你这个我们说的这个证书啊,它只只要你提前一个月。就是你快过期了,你比如说现在是一月二二十六号过期,2023年,那么你2022年12月26的时候,从那天开始,只要你打开这个广告就给你弹出来,你的证书要马上要过期啊,请你来续啊。这是我们说的这个证书这一块,那这一块整个就是我们这个平台管理员。他所拥有的。或者说他的一些,呃,我们说的一些功能啊。我们看也相对比较简单对吧,因为他具体的数据库实例他是不管的。
36:02
我只是关注于资源这一块。然后呢?有了这个平台的这个管理员。那么我们还有一个什么呢?租户对吧,租户这一块,我们当时创建了一个租户,我们看一下我退出这个平台管理员有一个T的租户,我们呃,前天创建的,然后我们也登录一下。然后你看它的功能更简单了,因为它的使用啊,有可能是给一个项目经理来使用。项目经理,他他他又不懂什么具体的技术。他只知道OK,研发这边跟我说,我大概要一个什么配置的这么一个实例,那我就给你去申请啊。他这有两块,一块是实例管理,实例管理我们已经看过了,对吧,我添加实例对吧,你你你你你我们当时看基本信息,你的实例的名称。
37:09
描述你这个名称是根据你,你比如当当时咱们起了个什么消费金融啊,对吧,你根据你这都是你自己指定的对吧,然后你描述啊,这个我这个什么业务线的,然后这个数据库版本这份你看啊,比如说我现在我选1T-A的。所谓TDSO-A,实际上就是我们说的那个V3版本,就是我们的那个。在线数仓的那个所谓的AP类的这个,但是现在我们想创建创建的了吗。创建不了,为啥没有软件包,就是因为刚才我们在那个平台管理员那块,我那软件里面只有一个,只有一个是什么呢?是那个offer兼容性的就是这个。那这时候你看,哎,他有这个包。哎,我再放大一点,有些小伙伴可能看不清。
38:00
所以说这里面就是我们刚才看的软件包那块,然后你字符集啊,软件包包括IDC这一块,也是我们说IDC,你根据实际情况,那这时候你可能。你要做高可用的话,那你主IDC,你比如说你朝阳,北京的朝阳和海淀,你分别有一个IDC,那你肯定有一个主的,有一个备的,哪个是主的,那你在这里面创建实例的时候,你要去指定啊,还有一个主备复制模式啊,这我们一会儿再给大家讲一下。然后是资源池。然后这个节点配置啊,这个我们因为没有下一步,因为你没有书嘛,节点配置,因为这个我们前天已经做了实验了,其实节点配置里面就是说。我们快速的来一下。所以我们不创建,但是带大家看一下。你看节点配置里面,这里面就是我们在平台管理员这块,我们创建这个模板。
39:04
就是为了我们创建这这时候创建实例来使用的,对吧,我们这时候呢,你比如说我创建这个GTM。这个节点它是创建这么一个节点,它需要的什么配置啊,给他配置几个CP几核CPU,多少内存呢,就可以在这里面去选的。你这个因为测试环境嘛,真正生产上,那你不可能这么小的资源,对吧,然后呢。注意,我们一直在强调GTM这个全局事务管理器。它只能有一个主节点对外提供服务,所以说在这里面你只能添加被节点,我们根据这种高可用的这种原则,你是两地三中心啊,是什么呢?然后你有多少个倍啊,但是同意整个这个这个这个实力。同一时间只有一个主节点对外提供服务的啊,然后是协调节点,协调节点也是一样的,我资源模板这一块,我给他选中一个,这时候我们看。
40:03
你是可以添加节点的,你比如说我再添加一个叫CN002,这时候CN001和CN002他们都可以对外提供这种服务,就是你应用连CN001CN002都是一样的,并且每一组我们说的它都是你可以设成一组一重或者一组两重啊,当然了,一般CN这个节点我们一般说它不存储业务数据,我们一般了。一组一层啊也好,一组两层啊,基本上就够了,根据你高可用的这个这个这个原则啊,你可能有两个这个IDC机房,那我可能一组一组就够了啊,如果我有三个三个,那你至少你得有一组两啊。然后是这个数据节点,数据节点的话,一般来讲这个机器还是要要好的,就是说不管是CPU,内存,包括磁盘啊,磁盘一般的都是要用固态磁盘的,然后这个被节点的数目,一般来讲也是要要要要,至少你得一主两两倍吧,就非核心的没有做高可用的这种跨城的,这种跨城容灾的,至少也得一主两倍,或者一脚一主两层。
41:15
然后呢,这个这个节点的话,你也比如添加这个节点,比如说我我我可以添加多个的啊,像这像这种的就根据你的数据量,你数据量不大,那我就先DN001,我就先先先一个这个节点后期它是可以通过这种我们说水平的扩容这种方式,比如说我一变二。我们就说了,做这种小分片的这种搬迁,把小分片对应的这个数据给搬迁到第二个这个分片,一会儿我们可能要给大家在在那个实力管理员这块要会给大家看一下啊,怎么搬迁的。然后这是我们再下一步,那就是角色了,这个角色我们昨天添加了这个用户,其实其中这个t base01me实际上就是实力管理员,就是一会儿我们就要用它来登录我们的这个管控,那么他实力管理员其实说白了他就是做这种我们说实力管理的,这是比较重的一块啊,功能项也最多。
42:19
然后我们看一下,然后这个是审计管理员,这没有了,然后最后是信息确认。还有一个,呃,这个这个这个用户管理啊,呃,这里面有我们昨天创建的三个用户,当然你可以创建多个,你比如我第二套实例,或者说我不同分公司的,我都会给他们创建不同对应于他这一块,他们对应的这个我们说的实力管理员。这这一块功能租户这一块相对是比较简单的,然后呢,我们就看一下呃,相对复杂度。呃,比较高的,我们说的。这个三权分类里面,我们的这个平台管理员说了,租户管理员说了,那么我们接下来就说这个实力管理员。
43:05
注销,我用这个实例管理员来登录。你看我们看到了吗?它这里面的这功能项就非常多了啊。这个。就是用这个实例管理员来登录的啊呃,首先我们先看到实例监控这一块有一个。实例的监控啊,这有这个集群的监控啊,有这个你可以看到,就是我们这个集群概览里面,我们就可以看到我有多少个,目前有多少个实例啊,它的这个运行状态啊,如果有异常,那么这个屏幕一看就知道。你比如说啊,我现在我把其中的某个数据节点,我要给它关了,这这立马就显示出来啊。然后还有一个,如果说我这个实力管理员,我他我有我有多个实例啊,他不一定只管这个,我们说的这个消费金融呢,如果你有多个,那这时候你是在这里面进行切换啊,注意一下。
44:12
有可能这个实力管理员,这个分公司只有这么一个实力管理员,并且他下面的实力可能有有几十套甚至上百套,那这时候你是在这里面做这种情感,你就可以管理不同的这个实例。这一套实力,你就把它理解成。对某一个业务线提供服务的数据库啊,这个这么一套数据库啊,类似于你比如说我们现在有小伙伴可能有有有做DDBA的吧,你比如说嗯,某个业务线找你了,说给我搭建一套环境吧,搭建一套环境,你可能说我是一主两空啊,搭建一套买so,那这时候呢,这三台机器前面用不用像像my root啊,像这这些前面用用用不用挂个中间件啊,整体这么一套,然后创建完用户给这个业务件使用,那我们现在你比如说两个协调节点,就是两个C音。
45:06
五个数据节点啊,这为啥五个呢?我们昨天不是做了做了两组,并且一组一倍应该是四个呀,是因为今天我做实验的时候,我又给他加了一个那个。加了一个点啊,并且做了那个数据的那个那个那个搬迁啊,然后还有两个这个GTM啊,全局事务管理器,那么他们一共是。九个啊,在这里面就都显示出来了,然后下面我们也可以看到,就是这些具体的说啊,我当然还做了一个只读平面,这个我们一会再讲。然后。这里面太大了,它就有些内容就显示不出来了。大点吧,我怕大家看不见啊,这是一个概览的情况啊。然后这个集群拓补,我们也可以看看一下。呃,两个GM2个master啊,S slave c只有一组对吧?C实际上你产线上是有多个的啊。
46:07
嗯,有可能是是是每个机房都会有的啊。然后这个DNDN是根据你的数据量,你刚开始我可能数据量不多,我就做一组啊,DN001 DN002,那过一段时间我数据量增大了,那这时候我就增加一组DN0。原来有DN001,我又增加一组DN02,然后我做数据搬迁啊,把这个数据让他们在在做这种均衡啊,呃,这就是我们说的分布式数据库。然后这是我们说的集群的拓补。然后集群的一些指标,这些指标实际上它是一些我们说的,呃,监控的一些指标是整个集群的,你比如说有什么容站总请求数啊,当然这些总的请求数是说你比如说我现在有多个C音。我多个CN的话,每个CN的这个请求数我们是可以单独的查看的,但是在这里面它是有一个我们说。
47:06
统一的就把整个集群大概的一个量要给我们,呃,包括业务请求数啊,读请求数啊,就整个这个,我们说这个不是集群,是整个这个实力,就是我们现在的这个消费金融。这个实例。他的一个。总体的这么一个情况,给你在这里面显示出来哪一项啊有问题了啊,我们就可以先就是。直观的就是总体的来把控一下,包括错误总请求数啊等等这些。和这个叉RD,这个如果我们熟悉PG的,我们可能都都都很了解这个含义是吧,这是我们说的集群纵览这块,然后还有这个节点监控,节点监控就是说我们这里面可能就是呃,具体到某个节点它的一些你比如说。C001。
48:00
啊,CN001,它的这个我们说下面的一些监控的指标,哎,我在看它磁盘占用率,这是单独的这个节点,它的一些我们说的情况啊。然后这个是我们说的协调节点。然后这个被协调节点,因为我们知道我们现在只有是C,我们是一主一倍,那这个是主的它的一些你CPU使用率啊等等啊,这些所有的这些监控啊删除呃,所有的这些都会在这里面,主备切换次数啊,这些监控的这些阈值都会在这在这些在这里面。还有一个背背的也在这里,那的会不会也会使用呢?当然会使用了,因为我们给大家介绍了那个。呃,我们说的那个那个。只读平面,其实上你只读平面,你是连的那个。你是由一组这个倍的CN加倍的DN来做的一个这么指度平面应用连的是你这个的CN,那这时候它上面的一些监控其实也是比较重要的啊,所以说这里面是有这些监控指标的,然后主数据节点。
49:10
你看它它有两个,它就给你列出两个来,DN001 DN002啊,他都会给你列出来,那还有一个DN003,实际上这是我后来添加的。他们的一些指标就会给你都列出来了,那倍的呢,倍的现在应该是有两个,因为这个DN003呀,我没有给他填B备的那个,呃,点它现在只有一个,所以说这里面就会显示出两个来,然后我具体的查看某一个这个这个这个监控的指标呢,我就再去点选啊,我比较关注的是哪一个,我就给他选中,还有一个GTM的主节点啊,为什么这里面GTM只有一个主节点呢?因为我们知道GTM。只能有一组,有一个主对外提供服务,它的被节点是不提供。
50:01
被节点做什么的呢?主节点出现故障的时候,被要进行接管的啊,所以说这里面呢,这个监控指标,你看被的GTM节点也没有什么意义,所以说这里面只有个只有一个GTM主节点,它的一些指标,它的指标相对来讲就少很多了,因为它的功能啊比较单一。他提供我们说的,呃,事故那个ID呀,包括说我们说。他提供内容,我们说GTS也有人管它叫什么全局逻辑时钟的,也有叫叫什么全局的一个一个时间戳,对吧,然后还有一些你比如说像sequence啊,像自增啊这些啊,所以说但是它相对来讲,因为它上面都不跑这个业务数据。他还。它所以说它它的这个内容啊,相对比较单一,我们的监控指标就少很多。这是节点监控。然后还有容量间隔。么样监控我们看一下放小一点。
51:00
等两天,哎,我。能看到你看它有这个是什么角色,然后节点的这个IP啊,端口啊,都是数据节点对吧,数据节点呢,挂载的磁盘是什么数据地址。数据目录呢,然后呢,数据容量啊,磁盘使用率这里面实际上这个我们要注意啊,是这个他监控的,这个是根据你给他分的。因为啊,我们这一,比如这一台物理机是有可能有多个这个DNA节点的。那这时候你给他分了,你比如说咱们分了就5G,那他肯定就是根据你分的这个来来进行这种衡量的,包括这个wow这个日志的话,这是我们如果说熟悉PG的我们都知道,它是属于这个我们说的那个类似于我们的那个锐度啊,锐度日志这里面都会给你显示出来。但这个不是我们的重点。
52:05
这些功能项啊,是比较重要的啊,然后我们就逐一的来看一下。首先是这个集群管理,集群管理里面有这个我们说的健康检查。呃,如果这个集群有一点异常的话,那我先可以给他来个健康检查,其实检查完成之后,它就这几项,这几项是我们整个集群运行正常的前提基础。你比如有一些原数据的检查啊,连通性的检查,就CN和DN之间要进行这种交互的,数据的交互的,那么这时候它的连通性如果有问题,那你整个集群肯定性能不好,对吧。还有磁盘空间呀,端口一致性啊等等这些啊检查啊。然后这里面当然还可以停止整个集群的啊,但是一般我们不会在这里面去操作。
53:02
接下来就是我们说的这个多平面管理,这个多平面管理就是我们说的,我们可以创建只读平面,我已经创建了一个只图平面啊。其实就在这里面创建啊,你比如说我这里面,其实它这里面让你去添加,因为现在为啥你这不行呢?因为我们只有一主一备,所以说现在你背都没有了,他他他就让你先添加,就是你没有背了,你创建不了了,为啥创建不了,你这有一个。那我们就点详情看一下它。你看啊。GTM。然后这个。那个那个被节点DN001和DN002这个被节点。然后那个协调解决。是那个CN001那个背,那这个只读平面,那我通过这创建完成了,那我连去去哪连接它呢。
54:02
我连谁呢?实际上。你连的就是那个背的。S。比如这详情里面,这不这这有一个协调节点是CN001这个倍吗?你就连这个。64.2的11345这个端口就可以。连到这个背平面上去执行我们正常的这些查询的SQL语句。让绑定这里面绑定VIP是什么呢?就是因为你你这个背的话。如果你前端有这个我们说的F5啊,LVS啊,可以绑定他的VIP。然后这是呃。就是这个我们说的多平面管理这一块,然后还有一个高可用管理,这个高可用管理是这样,就是实际上我们现在创建的这个。呃,现在那个实力叫消费金融这个主备之间,它是不自动给你进行切换的,你想让它自动进行切换的话,你得在这里面给他选一下。
55:10
像这个还有底下这个自动切换。啊,主备自动切换。这是其一就是你得要,因为有的时候你是你你你你是它这个默认的话是让你你你去开启的啊,所以说就是说你想要自动切换就在这里打开。还有一个是什么呢。就是这个我们说的这个这个数据可靠策略是是个是个什么。其实这里面说的就是我们说的这个,嗯,主备之间是这种我们说的这种强同步啊,那如果说我们现在因为有有我们测试环境都是一主一倍。就比如DNDN001,它实际上是有一个主DN001,有一个被DN001,那如果说我们之间。
56:00
主被之间开启强同步。那如果说这个时候。背肌出现问题了。因为他们之间是强同步的。并且没有采用退化机制,那么这个时候被一旦出现问题,就不对外提供这种写服务了,那这个时候我这个可靠性策略这一块,就是说一旦我把它开启之后,那么他就有了这个退化的这个就我可能15秒之内没有收到被给我的这个AK的这个确认,那我也。继续对这个这个CN这一块啊,提供这种我们说的读写操作都可以在这里面进行设置。那么比如说我自动切换了,那怎么这个还要配置,配置成这个优先切换,什么是优先切换,优先切换就是也就是说实际上我们当主出现问题的时候,为什么我们现在没让它自动进行切换。是当我们这个主啊,如果出现问题,比如某一组DD001组出现问题的时候,我们这时候是center也好,Agent也好,会主动的去拉起,会要救他,把他要重新的给他启动起来。
57:14
并不是直接就去切换,那如果说我这时候。我想提高他的效率,就是我,我不去救他,我直接就把。也不不拉起它,那我直接就把被提升为新的这个主,那我就选优先切换,你选完优先切换就是说。这个背我就不管了,我把它降级之后,我就先。拿其中的一个被D,我就给它提升为新的主D了啊。还有一个异步复制可切换。亦不复制,可切换。我们知道如果你是异步的,尤其是两个机房之间的这种异步的。那有可能是主上面产生的这个我们说的木偶日志还没有传送到。背背骨,也就是那个机房那个背骨,这时候如果做切换,有可能数据是由。
58:03
个别的事物会丢失的。那你是。做到我们说的这种。这这种可靠性和可用性,你想选哪个,我优先要满足业务这一块呢,还是说我要保证数据的一致性呢?那这里面你也可以选择的。这里面都可以进行这种配置的,这就是集群管理里面我们说的高可用这一块。然后。当然了,还有这个资源隔离这个策略,这个其实就是我们说。我带我一抬,哎哟,今天怎么老是忘事啊,大家快快快。大家马上。来来来来进行抽奖啊。可能是最最最后一天,有有有有点小激动啊。
59:15
呃,看我今天这个这个这个这个耽误这几分钟,看看咱们小伙伴们,看看谁因为我耽误这几分钟反而抽到奖了啊。我们再稍微稍微等一会儿啊,看看我们谁的今天小伙伴们谁的运气会好一些。
60:15
哎,我们要倒数了,倒数十个数啊。大家抓紧时间。OK,那我们。第二轮儿抽奖结束。然后咱们继续。啊,这里面就是资源隔离啊,资源隔离就是我们呃实际上是采用Li Linux系统,它本身那个CC group这个技术啊,你你看你的CPU啊,呃和这个我们说的这个IO,呃就是那个内内存这一块啊,你一般来讲我们是要做那种呃要做隔离的啊这些可能你这个实力提前要做设置。在这一块,当然这一块不是我们今天的重点,我们就大概了解一下,然后下面这个是我们看节点管理这一块,我们需要了解一下,这一块的功能是比较多的,首先这个节点组这一块,我们,呃,第一天就是我们我我的我的课程,也就前天我们讲部署的时候就是。
61:19
我们后和昨天我们讲那个。那个那个存储组的概念的时候,其实存储组就是这个节点组啊。我们看这个。默认就有一个点,这当这是我们创建的,呃,然后如果说你还有那个冷的存储组,你也可以在这里面创建,但是创建之前你一定要有对应的这个节点,对吧,因为现在你那个节点都是属于这个,呃。默认的这个资源组热热存储组的啊,在这里面这一块,当然我们看你新建这这就没有什么了,新建完了你只要把DN节点加进来就。然后节点列表这一块,他把里面你所有的这些节点呀,都给你列出来了,你有多少个DN,包括DN的主和被全给你列出来了啊。
62:06
然后这里面的功能首先是添加节点,那添加节点是什么呢?你比如说我们现在啊。嗯。比如说CNN也好,还是这个DN也好,现在这个DN001。是一种一倍,那后期我要做这个,因为业务线比较重要了,我要做这个,呃。这个同城双中心或者两地三中心,我需要增加备机怎么办呢?那就在这里面添加节点。选你添加什么呀,你添加被DN对吗?你添加被DN。主是谁呀?你是给哪一组来填呢?我给DN001叫什么名字啊,一般来讲我们就按照顺序,你比如说我现在叫DN。不不不。主节点是这个。啊数数据复制源啊,也是就是你是从从从哪一个啊来复制数据的啊,这个是我们的倍。
63:08
我可以选一个,然后这个资源模板是什么,比如说我跟他是一样的,然后节点,这个节点是什么意思,因为我现在只有这三台。那一般来讲的话,我们实际上是不不建议你这个这个这个副本就放在相同的机器上,那我我可能就是说我我这里面如果我资源多的话,我肯定要选择,最起码他们副本不在同一台机器上,这这里我只能有一个对吧,端口号呢,你就让他自己去去帮你去去生成就OK了。这时候我点完成的时候,实际上你这个DN001,它就自动的给你添加这个被叠了。这是添加倍,也就是说我现在只有一组一一倍的这种情况下我要添加。第三个或者第四个这个背肌。那我添加主行不行也可以啊,我们刚才看了你这里面,刚才咱们这个。
64:07
宁波地。我这个DN我没选B备的DN,实际上就是你要添加主,添加主你就你看到这里面没有,它就让你自己输入了,你现在再点就不行了,你背的时候它默认你选一个主,它自动给你配名字,那这时候你就要看我现在有DN001了,有DN002了,有DN003了,那你可以自己选什么呢。您004啊,嗯,一般的话这个名字我们就按照这样排就OK了,然后资源模板可以自己去选。节点IP,这个节点IP是你现在你这个DN0和四这个主DN节点,你在哪一台机器上去创建呢,你就选哪一台。然后呢,所属资源组就因为只有一个端口,让他自己去选,这时候他就会给你创建一个主的DN,由于资源有限啊,我们就就不给大家去点完成了,包括时间关系,因为我我我已经创建了一个那个DN003就通过这种方式创建的啊。
65:11
这是添加节点。添加节点,那已存在的节点都有什么,这个我们说的这个操作呢,嗯,你比如说嗯,咱们说的这个停止,停止是什么呢?就是把这。把这个DB的这个服务给它关掉啊,让它不工作了,那这时候我们要注意了,如果你现在是一主一倍,并且一主一备,采用了强同步复制。那你要把主把背部给它关掉,主库还能对外提供服务吗?不能提供服务,所以说这点我们需要注意。
66:00
这种。就是主动复制它的这个,这个我们说的这个复制的这个我们可以它这里面定义的叫模式对吧,首先是自定义类型,其实你要选自定义类型,其实就是异步的,就主库这边产生这个末日制之后啊。就是这个这个这个事物,比如提交了,提交了他就直接给你返回到那个应用了,他是不管你这个数据传没传到那个备库的,就是日志。我也不需要你背后给我什么反馈的啊,这种情况下性能是比较好的,但是。嗯,就是说白了就是。那你要是做切换的时候呢,那有可能你主这边做切换,主上面那个还没传到备库呢,你就做切换了,有可能要丢部分数据,安全性就不好。同region全异步同region全同步,这是什么意思?Region是什么?Region就是你可把它相当于一个区域,在我们做那个平台管理员那那一块的时候啊,我们上报那个IDC的时候。
67:07
七。如果是同region针的。不同矩阵之间的,我们一般是不建议说你在做这个,呃。全就是全同步,为什么呢?一般来讲不是同一的,有可能你比如说是北京和上海,或者北京和成都。这个之间的距离啊,就非常远。那你知道这个我这个这个这个主谓之间如果是两个城市,那你即使你走这种都是这种光纤的是吧,那你这一来一回可能要上百个毫秒。那那你知道你单笔的这个交易,也就是这一个事物,如果说光在这个。这个这个等这个ACC的这个确认这个这个就占100多毫秒的情况下,那你这个单笔事物或者是单单笔交易。
68:03
那有可能应用这边他就他他他不接受他。那你整个来讲的话,就占他100多毫秒,那那那对他的这个时间这块,他可能是不接受的,而你比如说你朝阳跟海淀之间,那我可能打一个来回的话,也就几个毫秒。对整理这个交易来讲,那我就没有什么影响,所以说这时候这个region就很重要,这个region是你在创建IDC的时候,你就要设置一个叫区域的。你比如这个区域我都叫。BG都是北京,有一个是IDC的名字,有一个是呃,这个北京IDC01,或者说叫海淀,有一个是这个,嗯,朝阳。但是他们的那个区域都是BG叫北京,那么他们之间就是同步一,那他们之间是可以做这种全同步的啊,也可以做权益,当然这个你选的。
69:00
那那还有这个就是说。是同一阵全同,呃,有一个是什么全同步,全异步,这个好很好理解,就是所有的这个备库,我要么都是异步的,要是都是都是这个同步的,那这个。呃,同为真就是这个我们也很好理解是吧。一个是一,一个是二,这是什么呢?就比如V里面呀,有三个节点,那一组两倍。那么任意一组一倍强同步就可以了,就是任何只要一个备库给我返回A确认,那OK,我主主库就可以对对那个应用那边返回应答了。那这二呢,二也就是说必须是两个,如果说我是一读两倍,那这两个倍全得给我返返返回这个AC确认,我才能给这个应用这块反回应。那要易主四倍也是,不管你遗嘱几倍,至少你有两个倍库给我返回啊。
70:00
还有下面这first这个一和二,这又是什么呢?就是说FIRST1是我们参数配置的时候有一个其实是有一个列表了,就是主从复制强同步的话,有一个列表它会优先啊呃,第一个备记先强同步,这时候这个这个这个是实际上这个优先的,这个是你可以去配置的啊。呃,然后如果第一个没有强同步的情况下,呃,就是异常了,他才会选第二台啊,这是我们说的这个,呃,当然这个用的特殊场景,一般来讲我们可能就是。呃,不是说经常用这一块的话,咱们了解一下就OK。然后还有这个主从主从切换,这个我们很好理解了,是吧,主谓之间的切换,现在比如说这个它是这个主。它是被,那我想把它提升为主呢,我就主主动切换了,对吧,那你看主上面就没有这主动切换,因为它就是主了,他没法切换了,还有一个重做备机,重做备机就是你比如说主备之间有这个。
71:06
主从延迟了,追不上主主库了,那这时候我有可能做把这个备机重做一下,说说白了就是我我把全量数据拉过来之后,我重新呃做做做这个我们说的这个这个这个。我们说这个节点啊,有可能是GTM的倍,有可能CN的倍啊这个节点。还有这些山竹啊,这些我们就就不用说了,我看还有哎切换这个数据源,所谓切换数据源就是我做这个集联的时候啊,我有可能这个背呀,我这个主库这个被太多了,我把其中一部分被。数据源变成另外的被做这种机联,减轻主库的这个压力啊。呃,像这些。我们还得加快点儿速度啊,今天这个内容还有一个数据搬迁啊,数据搬迁这个我做了一个,实际上这个数据搬迁我们是分三步。比如说我们创建了一个DN003,是不是DN003,我现在需要把DN001的数据搬迁到DN003上面来,来做这种我们说的这种数据的这个负载,那那这时候其实我创建任务我们可以看,嗯,有一个名字我们选,然后元是谁呀,原是D001,目标是谁呀,D003,然后这一块我们可以看一下。
72:21
一个是这里面是这个,这个就是我们说的那个小分片12的ID。你可以选它,但是我们拿你这个这里面我这才几条数据,12ID也少,那要多了我怎么选呀,那你不如就在上面选一个百分比,比如选50,那这时候他就会把一半的这个10ID所对应的这个这个数据搬迁到0003里面去。这咱们就不细讲了,今天可能还是时间,时间可能。然后呢,做完这个之后,只是数据搬迁了,路由切换了,你还要做这种空间清理,清理完了最后再做这个空间的这种回收啊注意一下。
73:10
然后还有一个是我们说的这个在线扩容,这个在线扩容是我们公有云的一个需求啊,也在这里面了,实际上这个我们说发起扩容啊,你可把它理解成就是上面数据搬迁。实际上就是他把这个迁移任务空间清理空间回收就合合在一起了啊,所以说这个的话,我们就不给大家演示了啊。还有一个是冷热迁移,所谓这个我们说的这个这个冷热迁移啊,呃,就是咱们不是讲那个,呃。有那个。就是冷的,就是我们说那个热的存储组,还有冷的存储组,我们可以做这种,就是冷热迁移的这种,不就做这种表对吧,我们有一个全局的一个实力的这么一个,呃,就是就是有一个那个实力上有有一个那个时间嘛,就是我们做那冷冷热分区表嘛,然后呢,它里面的数据实际上也是在这里面做这种迁移的,在这里面你只要创建一个任务之后,自动的就会把这个表里面对应的冷数据迁移到冷存储组去。
74:18
还有这个负载均衡,呃。我看一下时间啊。呃,这个负载均衡的话是我们说的就是像LVS啊,像F5啊,呃呃,在这里面如果你前面配置好了,你就可以在这里面去进行添加,因为我们现在也没有具体的这个,所以说我们在这里面了解一下就OK了啊。这是在线升级啊。可以添加版本升级在这里面,你可以比如说我这里面,因为我现在我没有对应的这个这个这个啊,我我要想在线升这个升级,我一定是我们看到那个版本那个我我我把那个新的那个我的那个版本已经添加进来了,就是我的软件版本,我添加进来了,你就可以在这里面进行这种再升级,升级,实际上它这里面啊,如果你这里面可以的话,它是可以选的。
75:12
这里面因为我没有我我我现在是没有这个版本,它里面会把这个CNDNGC节点呀,都给你列出来,哪个节点升,哪个节点不升,你都可以自己指定,但一般来讲我们是啊全选,就是你这个整个实力要么升我就统一全给他升升了啊。然后升级的时候,我们需要注意一下,就是说他是先升级备库。然后。呃,或者不管是你是DN,你是CN还是GTM,都是先升级那个被DN被CN呃倍的那个GGTM,然后再升那个主的啊,有这么一个顺序。这里面是我们说的在线升级。然后还有一个配置管理,这个配置管理的话,如果咱们小伙伴前两天听了那个郭老师给大家讲的PG那个课程,就说对这两个我们说的这个这个。
76:08
这个这两个文件大家都很熟悉了吧,这个就是我们那个呃,PG它的那个本身的那个那个那那个数据库参数那个配置文件对吧?你比如说一些池子呀,呃,包括那个内存啊等等一些参数,性能优化的一些参数啊,是在这里面啊来进行这种配置的,对吧。呃,这这里面的这些参数我们就不一一给大家介绍啊,呃,这里面参数绝大部分和我们的这个PG的这个原生PG是一样的,只不过有一部分参数是我们经过这个,呃,整个这个集群,我我我我们这个TPS集群自己的啊,有部分绝大部分其实是通用。这是我们说数据库采这个是健全配置,这个健全配置是咋回事。说白了呀,我们知道买思那个体系,你创建用户的时候,你是不是除了指定一个用户,后面还可以指定加上IP。
77:04
那么也可以指定IP段,也可以指定具体IP,那就我就控制这个有哪些客户端可以访问我,那么在PG这一块,他就通过这个文件也可以做到,究竟有哪些客户端,哪些端口可以访问,它是在这里面可以进行配置。嗯,就是当然这里面我们看有一个系统默认配置和一个用户配置,系统默认配置的话,这一块的话你也配不了,所以说我们就不用管啊,然后那个呃,都是实这个实力内部的啊,呃,所以说用户配置呃我们会配置啊,一般来讲我们可能呃会加一条,就是说0.0.0.0啊,然后写点零,说让让所有客户端都可以连我们CN啊,当然这是测试环境啊,一般来讲的话,我们呃生产环境,那你要你的这个应用的这个。
78:00
呃,所谓他的那个IP段是多少,那我们可能会具体的配啊。然后这是定时任务,这些定时任务是我们这个。整个这个t base的这个实例里面啊,这个集群所对应的这个实例里面,他要跑的一些定时的一些脚本,这些脚本,比如说我这个要查看这个,你你这个那个审计开没开呀?啊每多长时间我要查一次,对吧?嗯,就是有没有审计日志啊,这应该是有没有审计日志,有的话呢,就把审计日志导入到康复DB里面去,但这这些的话,如果你。呃,一般不熟悉的话,你就不要去动啊,一般像客户有有这个这里面有调整的这个需求的话,还是与我们这一块的这个这个这个呃,整个这个这个呃。维保团队,包括我们的交付的团队,包括DBA团队等等啊,甚至研发人员跟他们会去对的。
79:03
但这个我们了解一下就OK。然后是这个备份管理,这个备份管理啊,实际上我们在那个平台管理员这儿,我们应该是配置了那个具体的蒙卫中心了,然后呢,在这里面我们就可以配置,你比如说像备份,我大概的一个开始时间,呃,间隔我多长时间做一辆全做一次全量备份呢?我保存的这个保存多少份啊,带宽限制啊,你不能说我备份,我可能把整个这个集群的环境,这个带宽全吃满了,那影响到线上的这个业务啊。因为你DN的话,你哪怕你是背D背那个背的那个DN有可能它是那个子图平面的啊,然后压缩算法等等。然后这里面有备份的检查时间的关系,我们就不一一给大家,就是呃,去去给大家过了,然后备份的任务,然后这里面就有手工备份,手工备份我们注意啊,这个逻辑备份你是可以指定这个对象的,但是这个对象是库级别的,我可以单独,比如说这个是我的这个业务库,我自己创建的,这是那系统的那个,呃,Po我就可以指被指定,但是如果你是物理备份。
80:14
其实物理标本我们知道,就是直接踏一个包,然后把它那个物,那个物理文件就给你。拉出来了嘛。加上那个wow那个日志,所以说这这一块的话,我们呢,就是呃,它是不能够。按照库啊,按照表啊,这块他是做不到的,他只能是整个实例。然后是恢复,注意啊,这个恢复我们虽然不演示了,但是我们要记住这个恢复和买SQ版是一样的,它的恢复是我要先创建一套环境,或者说我先创建一套实例,这个实例的配置你可以自己指定,就和它类似的这么一套环境,当然了,你可以不不去创建,他也不会给你创建,备的都是主的啊,嗯,创建完成之后。
81:02
把这些备份文件里面的数据灌到你新创建的这个数据库实例里面去,然后再通过追加日志的方式啊,做这种基于时间点的这种恢复,恢复到你让他恢复的那个时间点啊。这一块是数据恢复。然后是这个数据多活啊,这个我们所谓的呃,数据多活呀,实际上是我们说两个实例之间的这种数据的这种相互的同步,你比如说我现在有这么一个实例。啊,那么我可以在这个这个实力,比如说他在这个北京这一块。我可以在上海那边再创建一个实例啊,然后呢。然后两个实例之间做这种数据的这种同步的啊,呃,所谓新建发布,但是目前而言啊,这个有一个有一个问题,嗯。
82:00
DDL这一块可能现在我不知道优化的程度,早期的话它是不支持这种DDL这种通过的。这是属于数据多活啊。但是它呢,可以正向也可以反向。然后像这些我们就这这这个我们就不解释了,因为时间关系,马上又要抽奖了,然后我们呃快速的再把这几个功能项过一下吧,日志管理,你比如说这里边我可以记录这些慢查询啊,还有这个错误日志,包括审计日志,这个审计日志实际上是比是是是比较大的,这个这个要注意,如果说你这个他那个审计日志,他也给你存到这个康复D。就是我们说的那个,呃呃,存储那些。集群的这个,比如配置信息,包括监控信息呀,所以说这个库我们要注意观察一下它的这个大小,就是说他有可能别把这个给你撑爆了。这个日志管理这一块。
83:02
然后这是数据同步,这个数据同步,我们说一下这个数据同步啊呃。它的同步的原理是什么呢?它的同步的原理呀,你上边儿这个我们说的这个数据多活,实际上是借助于。PG本身它有一个逻辑的这个这个那个复制是借助于它这个,而我们现在这里面所谓的这个数据同步啊,是实际上是把一个实例里面的数据呀,把它先让它吐到卡夫卡里面去。就有点像买C版那个多元复制,把它吐到卡夫卡里面之后,我们有相有相应的消费组件,然后把卡夫卡里面的数据再消费到下游的,你比如说我们的那个,呃,其他的这个5G的实例是这么一个,呃,就是原理啊,但是现在呀,这个他们也不是特别的推,为什么呢?因为我们现在有了一个专门的做数据迁移的工具,叫DB bridge,专门做这种异构数据库和同构数据库之间数据迁移的工具,所以说他们这一块在进行这个这个。
84:11
就是呃,基本的功能还在,但是呢,可能更多的呀,呃,还是推荐使用这个DB bridge。嗯,然后我们还得稍等一会儿啊,我们先这次,这次是咱们准点,然后第三次抽奖啊。然后这是我们这次六份啊,CSDN定制的这个T恤是六份,然后呢,今天也是。我们本期训练营最后一天了,最后这一次看大家的运气了啊。是两期训练营的最后一次抽奖,看看大家的运气如何啊?啊,有小伙伴说我中了杂志了,那你就好好学习学习。
85:20
然后咱们是。最后一次课了嘛,所以说跟大家说一下,就是我们那个征文大赛啊,小伙伴们就是说呃,你你因为有些小伙伴是两期训练营都跟了,一个是TQ买soq版的,一个是这个TS。Server版的就是我们这个t base。所以说这两期的学习下来之后啊,你要是对其中的某些这个这个呃,某些的技术点呢,有兴趣的话,或者你做实验呀,或者学习的过程当中啊,有一定的总结的情况下呀。可以把它形成蚊帐,然后来呃来来来参加我们这次征文大赛啊,然后呢,就是说如果说呃。
86:04
呃,一个是对你的这个学习的一个总结啊,同样的话就是他们也会准备一些小礼物,精美的小礼物啊,到时候也可以参加一下。嗯,我们再数十个数,然后这个本次的这个,呃,抽奖就结束了啊。OK,那我们这个抽奖就落下帷幕。关掉它,然后咱们还得把最后这个这个这个这一块给大家介绍一下啊,然后这个数据同步这一块说了啊,说了的话,然后性能分析这一块,性能分析这一块啊。
87:00
你看实际上你可以就是通过这所谓的一一一一键这个这种诊断啊,然后呢,就是说分析哪个时间段啊,这个时间段哪些CN,它里面的一些配置参数,呃,包括他访问的像切段的这个这个次数啊,错误日志啊,嗯,不这种连接呀,锁呀,包括连接值啊,呃,包括有没有事物残留啊等等啊这一系列啊,包括你像死锁这一块的啊,还有一些我们说的CPU使用率啊等等,就是说数据库本身的影响到数据库的一些这些我们说他都会给你啊进行这种诊断,呃,有点类似于或者说我们想学那种,就是类似于那个。Aw那种报告类似的啊,呃,就是有这么一个评估吧。这是所谓的性能分析这一块。然后这是一块二,一块二当当时我们给大家就是简单的讲了一下是吧,嗯,这个一块二是是什么呢?我们刚才上面你看有一个那个数据搬迁了。
88:06
数据搬迁对吧,所谓数据搬迁,我们知道它是。比如有DN0,一。啊,这个存储组里面有DN001,那么它对应的就是整个存储组的4096个这个小分片是吧,那后期的话,它数据量太多了,那这时候我要做这种扩容,就是水平的这种扩容,我增加一个DN002,那这个时候我会把其中一半的这个我们说,呃,当然你可以指定啊,我们把其中一半了这个逻辑小分辨,以及它对应的这些数据搬迁到DN002,然后再做这种我们说的这种数据的这种,呃整理啊,是属于空间的回收啊等等,实际上这是怎么做的,是逻辑上面。逻辑上面他去查,把对应的这些数据查完之后。迁移差迁移到DN002是逻辑上,那如果你这个BN001可能十个T。
89:03
这个分明。那你要通过逻辑上把其中十个T的这个数据,其中的武器数据搬到这个D00,通过逻辑的方式。Select这种方式。性能。就就相对就就很差啊,也不能说很差,但是但是他这个时间啊,他不是差的问题,他是搬迁的时间。会比较长。有可能我这个晚上我就让他跑。一直跑可能要跑多少个小时啊,几个小时,甚至是呃跑跑跑一夜。那么怎么让他快速的来做这种我们说数据的这种扩容呢。我们就说到就是这个一拖二。一块这个一块二是怎么扩的,实际上我比如我现在有一个DN001。实际数据。实际数据呢,我现在呢,我新创建了一个DN002这么一个节点啊,配置和DN001是一样的,我直接从DN001通过物理备份的方式,把全量数据拷贝文件的这种方式把数据拷贝到DN002。
90:16
然后他们之间在做这种我们说的这种,呃,类似于主备的关系,然后呢,再。通过这种。短暂的让它就是加一下锁,让它不能进数据啊,双双叮铃,叮铃他们的数据一致了,然后我要切换一下路由,切换一下路由之后,后期也要做说数据的这种清洗啊。呃,包括空间的回收。这种方式是物理的这种备份的方式,他直接拷贝的是物理文件,它的速度要比逻辑上的数,这个速度要快得多得多,你如果说逻辑上来讲。你要是5G的数据,那这个这个时间和拷贝55G文件,你像它的就等于是两个节点之间,如果网络都是万兆的情况下,你就是两个机器之间,你iapp这个文件的这个速度,呃,再加一些它那个恢复啊,包括还有其他的一些,但是基本上。
91:19
和我们考5G数据的这个时间差不多,但是要逻辑上select的方式,要把5G从这边select出来,这边再insert进去,或者我们copy的方式,那这个这个时间就相差非常多了啊,这一括二就是来增加这个我们说扩容的这个这个效能啊,这个效率。这是我们说的一块二。然后下边还有一个绘画管理啊,这个绘画管理其实也是帮我们去进行这种实时的这种诊断的啊,你比如说如果有有有有一些适合这个,我们连接有问题,可以批量的去Q掉,然后呢,事物的这些残留啊,进行扫描,实时的这种锁分析啊呃。
92:03
有点类似于我们去上面去执行,就是现在他正在执行的一些啊操作这些操作呢,有一些bad circle light,那么上来之后我。可能被人刷到接口了,那就是不断的有一条语句打过来,那我就可以把它批量杀掉啊,还有一些比如说现在这这这个这个词可能有一些锁呀,等等这些信息会帮我们去分析一下。这是我们说的绘画管理啊,最下面还有一个告警管理,这个告警管理是专门针对于我这个实例的。一些告警管理啊,呃,就他你你这个本时里面看到的这个告警管理这一块。只是我本实力的,而不是像我们刚才说的那个平台那一块看到的。嗯,这个是我们说的实力管理员,他的一些基本的啊,这些功能选项,呃,我们知道我们有。三个角色。一个是。
93:00
平台管理员,一个是我们说的租户管理员,一个是这个实力管理员,他们各司其职,呃,并且我们知道今天我们还没有细想,就是说。我们这个,我们当时创建了三个用户,就是这个实力管理员,对于实力管理里面又可以细分成什么呀。我们这实力管理员儿,我们当时还见了那个审计管理员儿,还有那个。呃,安全管理员,另两个管理员,因为功能比较比较简单,所以说我们可能没介介绍这里面的这个实力管理员,实际上就是我们DBA的这个角色啊。所以说这是我们所说的三权分立,是从平台这个层面管控这一块啊,来来说的啊,不同的角色,他不同自己的这个职责,他不同的这个功能选项。然后这个。就是我们今天晚上给大家啊带来的啊,就是我们oss管控它的一个基本的一个使用啊。
94:03
呃,这个时间的话我看一下,然后接下来我们看看小伙伴们有有什么问问题啊。我看没什么问题,然后就有一个小伙伴说,这些会生成PG的刀客虚拟机吗?这个这里面没有刀客的虚拟机。然后看其他小伙伴们还有什么问题吗?然后就是前两前两次课的那个问题,也可以就是三次这个我们体测课P版的这个包括开发呀,呃,然后还有我们说的那个那个部署啊这一块。还有什么问题吗?
95:03
呃,咱们这个结营考试的话,相对来讲,嗯,我们好好把这个这些课程,呃,理解一下的话,应该呃。应该过,还是比较容易的,没有太复杂,大家好好考就OK了。呃,把这这这这几次课的这个课程,包括PG的,呃,郭老师讲,就是大家好好的利用这段时间,呃,就是好好的来来预,就是复习一下,学习一下啊呃结营考试应该是,嗯不是很难的啊。那OK,大家既然没有什么问题,我我生产环境一般建议几台服务器,你生产环境是根据实际需要的,但是有一点要跟大家说一下,第一,生产上面我们建议使用物理机,哪怕是管控我们也建议使用物理机,就是你这个物理机相对来讲。管控的这套物理机可能就是。
96:02
不用那么高那么高的配置,不用固态硬盘呀等等啊,但是也尽量用物理机。然后你那个C和DN节点,那么DN节点用的机器要是最好的啊。然后生产上面的话,一般的话管控至少三台,这还是在那个不是两千三中心那种情况。至少要三台,因为你你这个etcd,你这个必须是三台才能有这个高可用的这个这个这个效率,然后地形节点呢,嗯。一般来讲也建议是是三胎嘛,就至至少吧,生产上是六胎啊。生产商是六台。然后呢,我如果小伙伴我们自己去玩的话,两台甚至是4C8你都能把它搭起来,只不过你可实现的这个这个这个功不是功能,就是说你就做不了这相对的压测啊,什么都做不了的啊,这个环境两台就可以搭建起来的啊。
97:06
但是你这个如果你是物理机的话,你可能是创建多套实力的,如果你是好物理机的话,像我们那个有有有的那个保险的客户,他们一台物理机700多G内存,然后那个呃,CPU和这个。呃,是是多少,是96个那个那个那个虚拟盒吧,然后嗯,那那个磁盘它都是分多组的啊。然后都是那种。就是NV。NV那个那那那那个是不是不叫pcie的,那那那种固态硬盘啊,都是那种的,都分组的,但是它这种它这种像这种好机器可不是说上面只跑几几个DN节点的,那他要跑多组的,就是他这个这这这比如三台一组这个机器,它可以创建很多套这个这个实例的,可以给多个业务线就提供服务的。
98:06
呃,有的小伙伴说老师PG的生态没有买SQ好,我怀疑自己还有没有必要学PG,我告诉你,PG最近由于这个国产分布式数据库的这个崛起啊,PG目前也是比较火的。你你要不信的话,你去这个。你去去一些招聘软件上,你去看一看,你去搜一搜,待遇都很高的,买SQ来讲就是会的人太多了,会的人太多了,就内卷的比较厉害了啊啊PG现在的话会的人呢,可能没有那么多,尤其是高级的这个高级的话,这个这个薪资待遇水平还是很高的,所以说你你看你的这个实际实际啊。对,Env me,对对对对,这叫什么no就就就就是这种步态。这个因为我我我我我没有接触过这种固态,所以说我倒不是特别了解啊。
99:01
我那会儿都是塞他的,塞他那那种固态。所以说你这个学什么东西的话,是根据你自己的选择,有的时候你不要觉得哎呀这这他的生态好,他这用的也多,但问题是人这那他都会的人也多,而且高级的有有很深水平的也也有很多,你脾气的话,你会的人少,像说最通俗的就是你那你你你学好了之后,待遇各方面的话,还是还是也是不错的啊,那根据你自己的选择啊。OK,看看其他的小伙伴。行,那OK,那我们今天就到这里啊,也最后希望就是小伙伴们就是好好复习一下,然后呢,呃,也预祝大家在结营考试中都能考出比较理想的成绩,好好,那今天就到这里啊。
我来说两句