最近的一个多月时间其实都在做数据库的迁移工作，我目前在开发的项目其实在上古时代是使用 MySQL 作为主要数据库的，后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB，使用了几个月的时间后，由于数据库服务非常不稳定，再加上无人看管，同时 MongoDB 本身就是无 Schema 的数据库，最后导致数据库的脏数据问题非常严重。目前团队的成员没有较为丰富的 Rails 开发经验，所以还是希望使用 ActiveRecord 加上 Migration 的方式对数据进行一些强限制，保证数据库中数据的合法。
昨天面试了一个MYSQL的DBA, 在面试的过程中有一个项目经营,某银行的MYSQL数据到MONGODB 的数据迁移. 我比较好奇,多问了两句
Squids DBMotion，新增MongoDB数据迁移的支持，为用户提供零停机、高性能的在线数据迁移、校验服务。
几十年来，关系型数据库已经成为企业应用程序的基础，自从MySQL在1995年发布以来，它已经成为一种受欢迎并且廉价的选择。然而随着近年来数据量和数据的不断激增，非关系数据库技术如MongoDB应运而生，以满足新应用的需求。 MongoDB用于新的应用程序，以及扩充或替换现有的关系型基础设施（关系型数据库）。
最近InfoQ发布了“别了，MongoDB”（翻译自卫报作者Philip McMahon等发表的英文博客 ） 一文引起比较大的反响。如果关心技术社区的朋友们都知道，圈子里时不时会冒出一篇 (MySQL | PostgreSQL | MongoDB ) 迁移到 (MySQL | PostgreSQL | MongoDB ) 的文章。有些时候因为选型不当，有些是因为时间的变迁导致场景变化，有些时候是因为有更先进的技术或者更适用产品出现。这些其实都是符合技术正常变革的自然规律的。但是卫报的这篇文章加上前不久的58简历泄露事件，让MongoDB中文社区的核心成员们有必要站出来澄清下事实，以防止标题党语不惊人死不休，以流量为目的的时候无顾于技术的科学性和严肃性。
这几年一直是MONGODB使用者，从3.2 到4.0 ，在使用中也一直充分的感受到MONGODB 这几年的飞速的发展以及功能的扩展，偶然在极客时间里面看到有MONGODB 的 终极玩家 唐建法 老师的关于MONGODB的课，其中有一段内容以前是不大敢想的, 就是ORACLE TO MONGODB。
腾讯云数据库又搞大事了！ 这次，我们和MongoDB联名了，准确说，是腾讯云数据库和全球领先的现代通用型数据库平台MongoDB正式达成了战略合作。 MongoDB是什么？ 全球最受欢迎的文档数据库……连续4年被Stack Overflow评为“最受开发人员青睐的数据库”……拥有庞大的开发者群体和优秀的技术能力的数据库……在不断演进升级中创造出了一系列产品能力的数据库…… 根据双方协议，腾讯云即日起将为全球用户提供授权的MongoDB服务，双方将在产品和技术层面加强合作，深入游戏、电商、社交媒体等行业数据
本文是第10篇，主要讲述Change Streams构建实时同步数据流的实战经验，非常值得一看。
李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。
Orange Digital Orange Digital 是法国电信的子公司，负责向英国的EE（英国最大的移动数字服务提供商）和全欧洲的Orange输送数字服务。Orange Digital 维护者网站Orange (www.orange.co.uk (link is external))、 Orange World和Orange Business站点, 同时也拥有部分EE的数字资产。 简介 Orange为用户提供多平台交互使用体验，吸引着网络上450万忠诚的用户和230万移动设备使用者。公司致力于创
python从mysql 数据库1迁移到数据库2(中间转化为dataframe),分批次写入 obj:从mysql 数据库1迁移到mysql 数据库2(中间转化为dataframe) mysql 写入数据存在两种形式，create_engine速度快些 ，但批量数据时需要分批次写入数据某则报错
python从mysql 数据库1迁移到数据库2(中间转化为dataframe),分批次写入 obj:从mysql 数据库1迁移到mysql 数据库2(中间转化为dataframe) mysql 写入数据存在两种形式，create_engine速度快些 ，但批量数据时需要分批次写入数据某则报错 #!/usr/bin/env python # -*- encoding: utf-8 -*- """ obj:从mysql 数据库1迁移到mysql 数据库2(中间转化为dataframe) mysql 写
在去年的 MongoDB 用户大会纽约站上，MongoDB 正式宣布全面推出新工具 MongoDB Relational Migrator（MongoDB RM），用以简化应用程序迁移和转换——即从传统关系型数据模型到现代的文档数据模型，助力组织快速提升运营效率，充分发挥数据价值。
本篇文章从 MySQL、MongoDB 迁移到云开发数据库，其他数据库迁移也都大同小异。
云开发为我们提供了一个 JSON 文档型数据库(NoSQL)，并集成了增删改查等 API，操作方便，简单易懂。并且相比传统数据库而言它具有高性能的数据库读写服务，可以直接在客户端对数据进行读写，无需关心数据库实例和环境。云开发官方文档：https://cloud.tencent.com/product/tcbfrom=12763
技术选型是由技术方向和业务场景 trade-off 决定的，脱离业务场景来说技术选型是没有任何意义的，所以本文只是阐述了伴鱼技术团队数据库选型的过程，这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较，只能说明 TiDB 更适合伴鱼的业务场景和技术规划，另外由于 TiDB 是非常新的数据库技术，所以这也能体现出伴鱼技术团队对新技术的态度、技术后发优势的理解、成本与效率的衡权和技术生态与红利的思考。
默认情况下，对比事务安全，MongoDB更关注高的插入速度。如果你需要加载大量低价值的业务数据，那么MongoDB将很适合你的用例。但是必须避免在要求高事务安全的情景下使用MongoDB，比如一个1000万美元的交易。
线上某IOT核心业务集群之前采用MySQL作为主存储数据库，随着业务规模的不断增加，MySQL已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库MongoDB负责人，负责数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。后续持续分享《MongoDB内核源码设计、性能优化、最佳运维实践》。
陈某的知识星球开通了，一个相互交流的技术圈子，陈某会在星球中定期分享干货，如果你也想和球友一起打卡学习进阶，戳链接加入
本文以视频+文字放送，为你带来腾讯云企业级MySQL-动态线程池功能 【背景】 MySQL两种常用工作模式 MySQL比较常用的工作模式有两种，one-thread-per-connection 和 threadpool 模式。 one-thread-per-connection 是MySQL自带的工作模式，采用每个用户连接对应一个 handle_connection 线程的方式处理用户请求。Threadpool 最早由 percona 支持，CDB对其进行了改进。Thread_pool 采用相对固定数量
随着网络技术的提升，视频直播已经成为了互联网的一种常态。因为视频直播最接近人类沟通方式，易于使用、交互能力强、体验最好，所以拥有庞大的用户群。巨大的用户需求加剧了直播平台之间的竞争，为了增强竞争力，吸引更多的用户，各大直播平台想方设法提升自身服务质量，不仅要不断推出新的业务形式，还要大力借助IT技术的力量。
最近忙着把一个项目从MySQL迁移到MongoDB，在导入旧数据的过程中，遇到了些许波折，犯了不少错误，但同时也学到了不少知识，遂记录下来。
三年之前投稿的azure云服务使用经验，记录一下，如今的微软和Azure已不是过去的微软和Azure了
作者简介：崔秋，PingCAP 联合创始人，重度开源爱好者，曾任职于搜狗、豌豆荚，长期从事广告系统基础组件相关的研究，现主要从事开源 NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。
本文来自OPPO文档数据库mongodb负责人杨亚洲老师2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享，分享内容如下(体验万亿级mongodb服务层、存储引擎、高并发线程模型、异地多活容灾等实现细节）。
免费、零停机、高性能的数据库迁移服务DBMotion今天正式对外发布，支持MySQL的结构、全量、增量迁移和数据校验功能。
MySQL 是由 Oracle 公司开发，发布和支持的受欢迎的开源关系数据库管理系统（RDBMS Relational Database Management System）。在 WEB 应用方面，MySQL 是最好的 RDBMS。 与其他关系数据库管理系统一样，MySQL 将数据存储在表中，并使用结构化查询语言（SQL）来进行数据库访问。 在 MySQL 中，您可以根据需要预先定义数据库模式，并设置规则来管理表中字段之间的关系。 在 MySQL 中，相关信息可能存储在单独的表中，但通过使用关联查询来关联。通过使用这种方式，使得数据重复量被最小化。
本文主要对Spark读取HBase Snapshort表进行了相关优化，剖析了部分源码，对部分源码进行了重写与改造，最终实现了HBase表的高效率读
抛开业务逻辑的因素，根据不同的版本、不同平台、不同停机时间需求，有不同的可选路径决定迁移方
线上某clickhouse集群，最早采用SAS机器，后来因为容量不足又陆续添加了4台SATA机器。
风险无处不在，包括自然灾害以及突发事件等，有时候我们无法预测到一些风险，比如天津港爆炸事件。IT领域也一样，总是有意想不到的事情，风险具有不可预测性，万全之策就是做好灾难应对的各种准备。
大家好，我是马听，目前有8年DBA工作经验，这一篇文章，来跟大家聊一下，从事DBA岗位是一种怎样的体验？
在做业务架构的过程中，你是否遇到过类似的痛点？ （1）数据量太大，容量复杂性上移到业务层； （2）并发量太大，性能复杂性上移到业务层； （3）前台与后台存储异构，满足不同查询需求； （4）线上与线下存储异构，满足大数据需求； （5）存储系统迁移成本高，不敢轻易做重构； （6）... 职业生涯十五年，基本都在使用MySQL做线上业务的存储。最近这几年，遇到的问题慢慢多起来，严重影响了研发效率。TiDB近年甚火，于是最近做了一些调研，与大家分享。 如一贯风格，更多的聊：TiDB究竟解决什么问题，以及为什么这
原文地址：https://opensourceforu.com/2017/01/come-ample-expertise-mysql/
本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用，采用腾讯云MongoDB作为主存储服务给业务带来了较大收益，主要包括：高性能、快捷的DDL操作、低存储成本、超大存储容量等收益，极大的降低了业务存储成本，并提高了业务迭代开发效率。 一、业务场景 腾讯优码从连接消费者到连接渠道终端，实现以货的数字化为基础的企业数字化升级，包含营销能力升级和动销能力升级。腾讯优码由正品通、门店通和会员通三个子产品组成。 更多信息可以访问腾讯优码官方网站获得： https://uma.qq.com/ 腾讯优码整体
蓝鲸的配置平台（CMDB）底层使用的是 Mongodb 作为数据存储，其优点不用多说，相信使用过的小伙伴应该都会觉得设计很灵活方便。
joepie91认为，MongoDB不仅存在诸多问题，而且并无突出之处。如果项目涉及用户账户或者两条记录之间存在某种关系，那么就应该使用关系型数据库，而不是文档存储；如果项目在使用Mongoose，那么也应该使用关系型数据库，因为Mongoose只是使用文档存储模拟了有模式的关系型数据库。因此，大多数情况实际上需要的都是一个关系型数据库。在这些情况下，PostgreSQL是个不错的可选方案。开发者可以使用查询构建器或ORM来简化使用过程，比如，在Node.js中，可以选用Knex、Bookshelf、Sequelize或Waterline。即使真得需要一个文档存储，那么也有比MongoDB更好的选项。另外，他也不认为MongoDB适合于创建原型，因为如果生产环境使用不同的数据库，则还需要重写所有的代码。总之，MongoDB并没有什么适用场景。它在技术上比不上其它可选方案，并没有提供真正有用的独有的特性，而且开发人员也无法确保数据一致性和安全。最后，joepie91指出，流行度并不等同于质量，只能说明产品有一个不错的市场团队：
Munin是一个网络资源监控工具，可以帮助分析资源趋势。默认提供了大量的分析图形。以下讲述如何设置MongoDB的Munin监控插件。
随着信息技术的飞速发展，数据库已经成为企业中不可或缺的一部分。数据库的使用不仅可以提高企业的工作效率，还可以 将数据存储、管理和分析更加高效。那么企业如何将数据库升级到下一级？ OushuDB 是一种管理数据库的新型解决方案，可以帮助企业安全、高效地将数据库升级到下一级。
▲点击上方 腾讯云数据库 关注 传统的数据库+云的模式没有给用户带来很多惊喜，云原生成为新的大方向。 IT产业正在经历新的周期，离散的私有IT基础设施转向集中式，这在产业发展史上已经不甚新鲜，主机时代、PC时代我们都曾经历过不同的转变，从主机的集中到个人计算机的分散再到云计算，IT的发展似乎也在遵循着“否定之否定”的钟摆定理。 数据库作为计算机架构的核心底层软件，同样处于变化之中，其历史可以追溯到1970年，50年来数据库领域厂商进进出出，但传统数据库厂商的地位从未动摇，直到云计算的出现。 Gart
去ORACLE 喊了多少年了，已经是50岁的大姑娘出嫁，不新鲜了，但是去ORACLE 这个话题的操作性仅仅是围绕那个数据库去更换ORACLE，很少听到，到底怎么从企业实际的业务角度来去除ORALE 数据库。恰巧最近新入驻的企业要彻彻底底的，去除ORACLE，这里就把正在做的事情来说说。
本文介绍了东吴证券旗下东吴秀财 APP 在数据库转型中选择 TiDB 的思考与实践。 原有架构使用 MySQL 分库分表和 MongoDB，但面临着架构复杂、业务扩展性不足、性能问题、开发和运维负担重等挑战。为了有效应对这些问题， 东 吴证券选择 将 MySQL 分库分表和 MongoDB 替换为 TiDB。这一举措极大简化了架构，实现了兼容 MySQL 生态、性能飞跃、金融数据强一致性的 HTAP 以及便捷运维等优势，提升了业务效率和管理效能。 未来，东吴证券计划进一步利用 TiDB 的特性，解决存量 MySQL 实例管理成本高的问题，提升资源利用率和运维效率。
MongoDB中，在使用到分片的时候，常常会用到chunk的概念，chunk是指一个集合数据中的子集，也可以简单理解成一个数据块，每个chunk都是基于片键的范围取值，区间是左闭右开。例如，我们的片键是姓名的第二个字母，包含了A-Z这26中可能，理想情况下，划分为26个chunk，其中每个字母开头的姓名记录即为一个chunk。
墨墨导读：3月初，ScaleGrid发布了数据库趋势报告：SQL打败NoSQL，MySQL最受欢迎。
本文是第12篇，主要讲述MongoDB电子商务产品目录模型设计实战操作，非常值得一看。
下文以腾讯云数据库 MySQL为例，介绍如何充分利用腾讯云的优势，减轻DBA的负担，轻松来搭建数据库。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
