首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据库开发环境的治理方案设计

因为研发侧的数据库连接池满了也找他,数据库连不上了也找他,跑了这些年,数据库还从来没有备份过。...3)很多开发环境数据库是安装在Windows上面的,有的还是32位的,而我们在Windows平台的MySQL数据库运维经验几乎为0 而测试环境的管理是相对会谨慎一些,尽可能只开放测试服务器的权限,部分权限的使用是需要审批机制的...为此,我整理了下当前的情况,整个数据库的情况比想象的还要乱一些,比如数据库只用了一个root账号是对所有业务开通的,数据库连接池配置了150个连接,也难怪很多业务反馈时常连不上数据库,而更多的运维管理操作更是无从说起...为此,做了如下的方案设计:目前有些研发侧同学对于开发环境,测试环境的概念是比较模糊的,那么我们就需要做一些前置的工作,把这个概念解释清楚,然后对一些业务做拆分,有些是开发业务,那么就完全可以通过自助化的开发环境交付来实现...从访问层面,测试服务器是不能访问开发数据库的,这也是我们整体设计的一个边界。

1.2K31

一种基于Rsync算法的数据库备份方案设计

、文件属性、权限、设备以及时间等; 数据库备份思路 一个数据库数据库备份必须是一个数据库的完整的映像,在这个映像的时间点上,没有部分完成的事务存在。...因此,数据库备份设计方案必须要求数据库支持在某时刻数据库的静止状态或不会对数据镜像文件进行刷新,希望对数据库系统完成在线数据库备份操作,实现数据库系统高性能的应用级备份。...方案设计思路采用Rsync工具对备份数据库各节点的数据从生产数据库系统上进行增量同步,由于生产数据库系统和备份数据库系统是拓扑结构完全相同的两个环境,因此生产数据库和备份数据库之间节点存在相对应的关系。...整个备份方案设计流程分为备份初始化、增量同步备份、备份恢复。以此来实现数据库系统的在线备份,并支持应用系统通过网络对备份数据库系统的切换和请求。...备份方案设计 通过以数据库集群的在线备份为例对设计方案和实施流程进行说明。 数据库备份方案一般主要考虑到数据库系统备份、应用系统访问切换、ETL数据业务流程备份等,整体网络拓扑结构可简单如下图所示。

1.9K70
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    通用缓存存储方案设计

    DiskLruCache:磁盘淘汰缓存,写入数据到file文件SqlLite:移动端轻量级数据库。主要是用来对象持久化存储。...不管用sp,还是store,还是disk,还是数据库,只要在主线程同步写入磁盘,会很卡。...3.7 Sqlite存储分析注意:缓存的数据库是存放在/data/data/databases/目录下,是占用内存空间的,如果缓存累计,容易浪费内存,需要及时清理缓存。...思考一下该问题比如WebView缓存方案是数据库存储,db文件。针对缓存数据,猜想思路可能是Lru策略,或者标记时间清除过期文件。...定期过期:每隔⼀定的时间,会扫描⼀定数量的数据库的 expires 字典中⼀定数量的key(是随机的), 并 清除其中已过期的key 。

    96910

    技术方案设计的方法

    背景 前段时间接手了一个还处于方案设计阶段的工作,我重新做了设计。觉得新方案比旧方案业务清晰明朗、解决了旧方案的缺陷。我就很高兴,跟同事聊这个事情。同事就问我是怎么想到这些的呢。...市面上可以看到的关于技术方案设计的经典的书都没有仔细的去讲这个问题。比如《人月神话》讲的是项目大了怎么办、《架构即未来》讲的是架构扩展性的问题。...这时候数据模型(可以简单理解成数据库的数据表设计)应该设计成三个状态用三个数据字段表示呢,还是用一个数据字段来表示这三种状态呢。...实际方案设计过程中我改造了一下,状态正常从左到右流转,将终态用不同的形状(这里用椭圆)来表示。这样表示秩序感强些,更好理解。 ?

    1.2K10

    应用缓存预热方案设计

    背景 随着业务的发展,微服务越来越多,缓存相关的场景也比较多,通常的做法是基于缓存数据库(如redis),client来进行缓存操作。...这样的问题有两个 如果更换缓存数据库改造成本比较高 对于批量查缓存、缓存穿透等场景没有统一实现,逻辑分散 所以需要一个统一的缓存框架。 另外针对一些活动、大促场景需要对缓存数据进行预热。...缓存框架 目标是实现 去除样板代码 getDataWithCache(Long id) { val data = getFromCache(id); // 缓存没有,从数据库中拿 if (data...能够监控到缓存命中率 实现分析 在这里插入图片描述 API 层 提供一些annotation给开发者使用 解析层 解析annotation,生成对应的缓存操作API 缓存操作SPI 屏蔽掉具体的缓存数据库实现...github 预热系统 预热系统其实就是三步 构造数据 支持excel,离线表,等多种数据导出成特定格式的参数 提交任务 提交调用待预热接口的方法,有个任务中心即可 执行 任务中心的任务调度 所以主要是搭建一个数据构造模块

    96630

    双机热备方案设计

    切换是指一次故障转移的过程,即将服务从主服务器转移到备用服务的过程,具体切换流程如下: (1)、主服务器停止应用服务,如数据库等。 (2)、主服务器释放镜像数据访问权。...双机热备软件能对计算机的操作系统、网络系统和数据库及时进行检测,当其中任何一个系统出现问题时该双机软件能自动运行到备用服务器上,让备用服务器接管主机的工作,达到让计算机永不停机,数据永不丢失。...3) 应用及网络故障切换过程 l 可以检测到操作系统的故障并及时将服务切到备用服务器 l 可以检测到数据库的故障并及时将服务切到备用服务器 l 当操作系统和数据库系统正常,可以检测服务器网络的故障并及时将服务切到备用服务器...当高可用系统中的某个节点故障,无须人工干预自动切换,保障系统运行 4、 速度快(快速恢复) 贵单位业务平台,是以Windwos 2003 Server系统平台为基础,以SQL Server为核心的数据库的协同办公平台

    3.3K21

    迭代技术方案设计文档规范

    1.3 适用范围 所有需求迭代的技术方案设计,都按照本规范执行。...输出格式:xxx (word、wiki、pdf等,推荐使用有版本管理的工具,方便查看变更) 二 技术设计前期准备 开始做方案设计之前,一定确保两个前提条件已经完成:需求评估 和 技术调研。...3)参数准确性校验,如需要下载的备件不属于传入的交易单,可能是人为构造导致,避免越权、SQL注入 (4)涉及外部对接时,必须包含加密或验签环节 4、异常情况捕获处理、报警方式 包括但不限于:非法参数、数据库异常...(1)部署使用的机器数量,cpu负载、内存占用率、磁盘空间、硬盘IO、网络带宽, (2)数据库、redis、HDFS等的数据量和存储空间, (3)云服务的使用空间 6、存储采用主从结构时,考虑各个环节的线上主从延迟问题

    2.6K11

    海量数据查询方案设计

    ES对数据组织方式和查询方式的限制,没有其他列式数据库那么死板。即ES的查询能力和灵活性是要强于上述这些列式数据库的。优先考虑ES。...而不是用一种数据结构,一个数据库去解决所有问题。...总结 海量数据的主要用途,就是支撑离线分析类业务的查询,根据数据量规模不同,由小到大可选:关系型数据库,列式数据库和一些大数据存储系统。TB量级下数据,若可接受相对较贵的硬件成本,ES很好。...Q:内存数据库疑问:启动后他会把放到硬盘的数据放到内存里?还是查询过一次之后把结果放到内存里? A:启动之后他会把放到硬盘的数据放到内存。 Q:ES作为分布式内存数据库,咋理解?...综上所述,虽然ES在某些场景下也使用内存来提高性能,但其本质上是一个磁盘存储为主的数据库,与Redis这种完全依赖内存存储的数据库有本质区别。因此,称ES为“分布式内存数据库”是不准确的。

    1.1K20

    怎么搭建自己的云数据库搭建数据库收费吗?

    由于大多数人对云数据库的相关服务并不了解,也不知道怎么搭建自己的云数据库,所以导致大量的数据丢失,下面为大家简要介绍怎么搭建自己的云数据库,以及搭建数据库是否需要费用。...怎么搭建自己的云数据库 首先,需要准备好个人或者企业的云主机,云主机是云数据库的基础,如果没有云主机便不能搭建数据库。登录云主机并进行相关设置,检测环境是否安全。...搭建数据库收费吗 云数据库的收费非常有特点,是按照需求进行收费的,如果需求较高,那么所收的费用也会较高,如果需求较低,那么所收的费用也会相应减少。...搭建数据库是不需要收费的,但是在后期使用的过程中,则需要按照需求进行付费。不同类型的云数据库所需要付出的话,可以选择费用高质量好的云数据库。...以上分别为大家介绍了怎么搭建自己的云数据库,以及搭建自己的云数据库是否需要收费。不管是企业还是个人,都可以搭建自己的云数据库,云数据库对于保存和管理数据来说非常方便。

    7.2K20

    PG主从数据库搭建

    PG主从数据库搭建 环境 操作系统1:Windows Server 2012(X64) 操作系统2:CentOS 7 数据库:PostgreSQL 10.9 CentOS 7 安装 Postgresql...setup initdb 5、设置自动启动并且启动postgresql服务 systemctl enable postgresql-10 systemctl start postgresql-10 创建数据库角色和数据库...1、使用postgres用户登录(PostgresSQL安装后会自动创建postgres用户,无密码) su - postgres 2、登录postgresql数据库 psql 3、创建用户和数据库并授权...blog with password '123123'; // 创建用户 create database blog owner blog; // 创建数据库...2、修改pg_hba.conf 3、修改postgresql.conf 4、重启数据库 配置从库 1、拷贝数据 2、配置recovery.conf 3、配置postgresql.conf 4、配置完启动数据库

    1.4K10
    领券