首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何多集群数据库?58 同城 NebulaGraph Database 实践

资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。...为了高效管理和规模化的集群,需要提前规划和制定规范。...61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范...端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的...,较少服务绑定 Meta 节点 ip 带来的代价。

3.7K20

数据库 | 携程分布式图数据库NebulaGraph治理实践

,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面...优化稠密点之关闭数据压缩,关闭 block cache 在没有特别的方式避免锁竞争的情况,我们重新回顾了锁竞争的整个发生过程,锁产生本身就是由 cache 自身的结构带来的,尤其是在读操作的时候,我们并不希望存在什么锁的行为...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

3.3K40

数据库监控是之本

前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

3.5K60

MySQL 数据库优化(角度)

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...分布式缓存可以缓存海量数据,扩展性,主流的分布式缓存系统有memcached、redis,memcached性能稳定,数据缓存在内存中,速度很快,QPS可达8w左右。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

4.5K20

自动化时代,我们该如何是

管理的变革和向自动化的转型。...反过来讲,比如我们将企业内一个数据库VM交付的流程通过蓝鲸自动化平台,固化成一个流程,这个流程,人在自动化平台上可以一键交付;如果这个流程后续满足不了标准化的要求,我们只需要调整中间的流程节点即可...蓝鲸,轻松实现全方位的 数据中心基础架构自动化 数据中心是企业的IT心脏,涵盖了从中间件、数据库、操作系统等软件到堡垒机、防火墙、路由交换、备份存储、服务器等硬件的基础架构。...可以看到,基于OASR方法论构建的蓝鲸平台,在自动化基础架构层面,能力是非常强大的。 ? 操作系统生命周期自动化管理 ? 数据库DBA统一工作台 ? 中间件管理工具之一__配置及监控管理 ?...IT自动化时代已经来临,对于企业而言,这是更迭自己IT管理模式与阶段的时代,对于人而言,也是可以大展拳脚的时代。 而蓝鲸能够在企业IT转型及人的转型上,助一臂之力。

2.6K20

数据库场景中的连接

这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

2.4K20

数据库智能探索与实践

从自动化到智能化过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。...背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”到工具化、产品化、自助化、自动化的转型之旅,也开始了智能数据库领域的思考和实践。...w=1340&h=672&f=png&s=274797] 上图是传统维和智能的特点分析,左边属于传统,右边属于智能。...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

4.1K10

数据库到底是不是

3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品...4 数据库是程序稳定运行中的一块基石,软件设计的在数据库类型选择错误,或者设计上出现误差,后续管理上的缺失,都是一个项目崩塌的开始。

2.3K30

角度浅谈MySQL数据库优化

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...分布式缓存可以缓存海量数据,扩展性,主流的分布式缓存系统有memcached、redis,memcached性能稳定,数据缓存在内存中,速度很快,QPS可达8w左右。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

4.3K100

数据库历险记(二) | Redis 和 Mecached 到底哪个

说起 Memcached 的诞生,主要还是因为关系型数据库在存储性能上的瓶颈。因为进入21世纪,随着个人电脑的普及,世界网民数量急剧攀升,网站的访问量也随之攀升。...因为关系型数据库需要将数据持久化,所以会有一些写硬盘IO的过程,因此在写入数据上会有瓶颈。...也是因为 Memcached 将数据存储在内存中,没有实现持久化,所以当出现一些意外情况,例如:断电重启、机器宕机等情况,Memcached 存储的数据会全部丢失,我们只能重新从数据库中读取一次,再加载到...并且Redis还支持了将数据持久化到本地文件,这样当发生意外时就不需要再从数据库读取一遍数据了,直接读取本地文件恢复即可。 到底哪一个

1.2K20

|MySQL 数据库被黑,心力交瘁

前一阵有一个测试用的 MySQL 数据库被黑了,删库勒索的那种,这里记录一下事情经过,给自己也敲个警钟。...0x01 库没人懵 到第二天,正欢乐地测着功能呢,突然打开啥页面都报数据库异常了,到库里一看,好家伙,所有表都没了,只剩一张 readme,里面写着: 以下数据库已被删除:xxx。...能把库里的表都删了,数据库和服务器的权限怕是都被拿到了。...这次事件让我深刻地意识到,安全问题不容忽视,不管是服务器还是数据库,都要做好安全措施,不要给攻击者可乘之机。不然真到了被攻击,而又自行恢复无望的时候,那就叫天天不应,叫地地不灵了。...安全任重道远,后续先做好以下方面: 访问控制,只赋予必要权限; 服务器镜像、数据库定期备份; 定期漏洞扫描与修复; 敏感数据加密; 操作审计; 最后,警钟常鸣!

24230

数据库的就是, 你真逗 !

下面一些同学,提出数据库不就是吗,不是很悲催吗,虽然这样说的同学不多,但给我一个很想表达不同观点的冲动。 搞数据库的到底是不是搞的 ?...我的回答是NO,NO, NO 那么为什么搞数据库的我不认为是搞的,首先我要重申一点,我个人一点都不认为,搞的是低端的,是不值钱的,想法我认为搞的同学,实际上技术水准应该更高,甚至要高于普通的开发者...至于同学怎么想,我想会有的同学来,去写这样的文字,来反驳。作为 DB 人员,我1000000万个不同意,搞数据库的就是搞的这样的观点。...,架构也没有考虑,直接将全部的突发性并发,短时间加载到数据库,而最终由数据库买单的事情,屡见不鲜,而很多情况下,没有懂行的数据库人员,最终这些问题,由数据库产品和数据库操控人员买单。...说完这些你还觉得,DBA 是一个人员,这不是搞笑吗 ?

2.1K20

数据库审计安全无死角

而使用专业的数据库审计产品又缺乏对人员的审计,于是数据库审计产品成为最佳选择。...2、 访问控制相关人员在维护数据库前必须申请自己的访问对象(数据库实例/端口/账号/…),批准之后方可通过数据库审计系统进行访问,以此对维护行为进行记录,避免越权访问、权限滥用等风险。...因此,在使用人员选择要维护的数据库实例后,数据库审计自动完成客户端或者命令行工具的登录过程。4、 操作完整审计通过独有的技术手段,在不影响性能的情况下解析出流量中的SQL语句。...5、 过程中的访问控制在运过程中,存在绕过访问权限的风险。...诸如此类的安全风险问题,通过权限上收、账号密码上收,不给使用人员下发数据库账号密码,只分配审计系统账号,这样使用人员只能通过审计系统登陆从而实现访问控制。

18710
领券