ber的Schemaless数据库是从2014年10月开始启用的，这是一个基于MySQL的数据库，本文就来探究一下它的架构。本文是系列文章的第二部分；第一部分是关于Schemaless的设计。 在《Mezzanine项目——Uber的超级大迁移》一文中，我们描述了如何将Uber的核心trip数据从一个单独的Postgres实例迁移到Schemaless这个可扩展与高可用的数据库中。然后对Schemaless进行了简单介绍，包括其发展决策过程、整体数据模型，并介绍了Schemaless的trigger与索引等
之所以要实现 Schemaless，主要是因为在线 DDL 有很多痛点，关于这一点，我在以前已经写过文章，没看过的不妨看看「史上最LOW的在线DDL解决方案」，不过那篇文章主要以介绍为主，并没有涉及具体的实现，所以我写了一个 Laravel 的例子。
在数据库圈子，大家都知道2016年 Uber 干出来一件大事件，把 PostgreSQL 切换到了 MySQL，当时社区里一阵喧哗。这里想带着大家思考一下选择的背后。
这里我只是把我的师兄教我的关于Solrcloud搭建的过程，以及需要注意的地方文档化了。感谢他教会了我很多。
Jellyfish 项目成功地降低了 Uber 的运营费用，并且未来可以节省更多的存储资源。这里介绍的分层概念可以通过多种方式进行扩展，进一步提高效率并降低成本。
2016 年，我们发表了关于 Schemaless—Uber Engineering 的可扩展数据存储的博文（一、二）。在这两篇博文中，我们介绍了 Schemaless 的设计，并解释了开发它的原因。今天这篇文章我们将要讲的是 Schemaless 向通用事务性数据库 Docstore 的演化历程。
想象一下如果你必须在几个星期内迁移数以亿计的数据和100多个服务项目，同时还要保持UBER被几百万的乘客正常使用，这是多么艰巨的任务啊！而以下这个故事就是关于数十名工程师是如何帮助UBER在2014年迁移到Mezzanine的故事。 在2014年年初，我们面临了一个严峻的现实问题，关于我们的路径的增长（一个月约增长了20％），所以在年底之前用于存储路径的存储容量将会不够用。我们因此推出Mezzanine项目这一盛举来解决这个特别的问题。数据大迁移的日期定为万圣节（10月31日），而这恰是交通量会非常高的一天
虽然我们希望Uber的用户界面简单，但我们在背后设计了复杂的支撑系统，处理棘手的交互，支持海量的流量。我们将原来的整体式架构分成了许多部分，以便伴随业务成长而扩展。由于成百上千的微服务相互依赖，绘制一张图来表明目前Uber是如何工作的显得异常复杂，这一切在迅速变化。本文介绍了我们从2016年春天开始使用的架构。
插入或者更新数据的时候，MongoDB 返回"code" : 121,"errmsg" : "Document failed validation"
作者 | Lasse Vilhelmsen 译者 | 刘雅梦 策划 | 李冬梅 文描述了一个自动化的 CPU 垂直扩展系统的实现，在该系统中，优步（Uber）上运行的每个存储工作负载都被分配到了理想数目的内核。如今，该框架已被用于调整超过 50 万个 Docker 容器，自其建立以来，已净减少了超过 12 万个内核的分配，从而每年节省了数百万美元的基础设施支出。 在优步（Uber），我们在容器化环境中运行所有的存储工作负载，如 Docstore、 Schemaless、M3、MySQL、Cass
Uber 经过6年的快速发展，技术构成已经非常复杂，下面看下 Uber 官方公布的技术栈 底层基础 使用混合云模式，结合了多个云服务提供商，全球多个数据中心，如果一个数据中心出错，马上转到另一个，开通了Uber服务的城市，会被分配到物理距离最近的数据中心，并且每个城市的数据都会备份到一个异地数据中心，所有的数据中心都是运行态的，没有单独作为备份的数据中心 在存储方面，以一个 Postgres 数据库起步，后来发展迅速，对存储的要求越来越高，需要提升存储的可用性，并要求降低系统响应时间 现在使用的是 Sch
说起在线 DDL，最常见的操作莫过于在线加一个字段或者索引，不过如果数据量比较大的话，伴随而来的往往是长时间的等待，更要命的是系统在操作期间很可能会出现不可用的情况，所以一般只能等到凌晨操作，简直就是梦魇一般的存在。
在开始阅读本文之前，请确保你熟悉Play-Json的相关开发，或是已经阅读过Play Scala 2.5.x - Play JSON开发指南。 1 为什么要Play with MongoDB？ 在Reactive越来越流行的今天，传统阻塞式的数据库驱动已经无法满足Reactive应用的需要，为此我们将目光转向新诞生的数据库新星MongoDB。MongoDB从诞生以来就争议不断，总结一下主要有一下几点： Schemaless 不支持事务 默认忽略错误 默认关闭认证 会导致数据丢失 其实Schemaless和不
用户的请求，服务器接收后，首先写入消息队列。假如消息队列的长度超过最大数量，则直接抛弃用户请求或跳转到错误页面
当我们看了很多哈希函数的介绍并切换到一个你认为更快的哈希函数上面时，大部分代码都获得了预期的速度提升，但有些部分却莫名其妙地变慢了很多，尤其是在处理大型 hashMap 时。如果这听起来很熟悉，那么您可能遇到了稳定复现的 HashMap 陷阱。Google SwissTable 是 2017 年 CppCon 上被发表的一个高性能的 hashTable 。从 Rust 1.36 开始，SwissTable 就是 Rust HashMap 的标准库实现。虽然它有不错的性能，但 SwissTable 旨在以性能为代价抵御一类 HashDoS 攻击。如果您关心性能并且不关心安全问题，切换到类似 FxHasher 或者 ahash 可以显着提高性能。然而，这个建议的代价却很少有人提及 —— 一些 O(n) hashTable 操作，包括反序列化，在一些 case 下它的时间复杂度有可能会升级到 O(n**2)。下面博文会给大家带来测试 case 以及为什么会发生如此大的性能差距
很小的时候，我就被系统迷住了。尤其是一个系统的优雅性最令我着迷。完美的执行、可预见性，一如校车系统的天才创意。
时间序列数据是以时间字段为每行数据的标示，比如股票市场的价格，环境中的温度，主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢？几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时间序列我们总是会带上一个时间范围去过滤数据。同时查询的结果里也总是会包含timestamp字段。
生产环境下使用 logstash 经常会遇到多种格式的日志，比如 mongodb 的慢日志，nginx或apache的访问日志，系统syslog日志，mysql的慢日志等
在 Reactive 越来越流行的今天，传统阻塞式的数据库驱动已经无法满足Reactive应用的需要了，为此我们将目光转向新诞生的数据库新星 MongoDB 。MongoDB 从诞生以来就争议不断，总结一下主要有以下几点：
上篇提到选择了elasticsearch ES作为专业化搜索引擎的核心，这篇讨论一下ES的基本结构和应用概念。首先，从硬结构方面来讲：ES是在一个集群（cluster）环境里运行的，所以ES应该具备高可用和高扩展特性，因为系统可以分布在机器内无数个节点（node）服务器上运行。ES的索引（index）分布在集群中各node上。ES的index又可以向下分成多个shard分片。因为ES是基于lucent的，ES的shard就是一个完整的lucent index。所以，ES index是一个shard集合，也就是lucent index集合。在定义ES index时必须指定该index的shard（primary）数量，之后不得修改。这就意味着每个ES index需要占用一个以上shard，而shard是ES index操作的最小单元，也就是说一个shard只能存放一种ES index索引文件（document）。
自从MEAN引导的JSON数据格式取代传统JAVA推崇的XML以后, json的发展却停滞不前了, 当然这是好事, 因为稳定的结构是不需要向下兼容的, 但是json之所以轻便简单就是源于它的类型, 额, 确切说json就是一个字符串, 是文本, 可以存储在文件中或者数据库字段里.
当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过Binlog Query的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。
ASP.NET Web API 2.1内建支持XML、Json、Bson、form-urlencoded的MiME type，今天重点介绍下Bson。BSON是由10gen开发的一个数据格式，目前主要用于MongoDB中，是MongoDB的数据存储格式。BSON基于JSON格式，选择JSON进行改造的原因主要是JSON的通用性及JSON的schemaless的特性。 BSON主要会实现以下三点目标： 1.更快的遍历速度 对JSON格式来说，太大的JSON结构会导致数据遍历非常慢。在JSON中，要跳过一个文档
Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序，这个应用程序使用 Postgres 作为数据存储。从那个时候开始，Uber 的架构已经发生了巨大变化，变成了微服务，并采用新的数据平台模型。具体地说，之前使用 Postgres 的地方，现在改用 Schemaless，一种构建在 MySQL 之上的新型数据库分片层。在本文中，我们将探讨 Postgres 的一些缺点，并解释为什么我们要在 MySQL 之上构建 Schemaless 和其他后端服务。
2008 年巴黎一个寒冷的夜晚，特拉维斯·卡兰尼克 和加勒特·坎普打不到出租车。就在那时，Uber 的想法诞生了。如果你可以“按一下按钮就可以搭车”，那该多好啊？
2007到2008年的Hadoop世界，是Hadoop发展历史上非常关键的一年。这一年Yahoo Research 发表了Pig Latin的paper 在 SIGMOD2008上。之后HIVE也出来了。Pig的出现标志着Hadoop的community从此走上了一条和Google分道扬镳的道路，标志着大数据近代的到来，在我眼里，这个变化是具有历史意义的里程碑式的大事件。 MapReduce这个非常傻的模型的出现，让人们一下子发现原来大规模的并行计算可以这样来做，写个Mapper 写个Reducer，
InfluxDB是一个由InfluxData开发的开源时序型数据库，专注于海量时序数据的高性能读、高性能写、高效存储与实时分析等，在DB-Engines Ranking时序型数据库排行榜上排名第一，广泛应用于DevOps监控、IoT监控、实时分析等场景。
每隔三十秒就会有位置数据返回，包括来自于司机和乘客应用的各类数据，需要实时使用的实时数据非常之多，那么Uber是如何存储这些位置数据的呢？ Uber的解决方案非常全面：他们在Mesos顶层构建了自己的系统，运行Cassandra。Uber的软件工程师Abhishek Verma有一个演讲，题为《Uber跨多个数据中心运行在Mesos上的Cassandra》（阅读原文查看PPT），便对这个解决方案做了全面的解释。 我们是否也该这么做呢？在聆听Abhishek的演讲时，这样的想法涌入脑海。 如今，开发者有许多艰
一直以来想做一个关于MongoDB的系列专题，但又没有中心思想，所以一直拖着，但现在想想大可不必。完全可以东打一枪，西放一炮。
MongoDB是一种流行的数据库，可以在不受任何表格schema模式的约束下工作。数据以类似JSON的格式存储，并且可以包含不同类型的数据结构。例如，在同一集合collection 中，我们可以拥有以下两个文档document：
消息队列中间件是大型系统中的重要组件，已经逐渐成为企业系统内部通信的核心手段。它具有松耦合、异步消息、流量削峰、可靠投递、广播、流量控制、最终一致性等一系列功能，已经成为异步RPC的主要手段之一。 目前常见的消息中间件有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。
.NET SDK For Hadoop 是属于 .Net 基金会的一个项目，本文将简要介绍该项目相关的信息。
机票业务看起来简单，实际上整个流程的处理链条很长，调用关系也非常复杂，上下游涉及的各类日志种类约60个，每种日志都有独立格式和请求/响应报文，日生产的日志数据量约50-100亿，如果时间范围再扩大到15天，数据量轻松的达到千亿级以上。
说明 对于ELK部署使用而言，下面是一个再常见不过的架构了 Redis：接收用户日志的消息队列。 Logstash：做日志解析，统一成JSON输出给Elasticsearch。 Elasticsear
在 Uber，所有有状态的工作负载都运行在一个跨大型主机的通用容器化平台上。有状态的工作负载包括MySQL®、Apache Cassandra®、ElasticSearch®、Apache Kafka®、Apache HDFS™、Redis™、Docstore、Schemaless等，在很多情况下，这些工作负载位于同一台物理主机上。
在 Uber，所有有状态的工作负载都运行在一个跨大型主机的通用容器化平台上。有状态工作负载包括 MySQL®、Apache Cassandra®、ElasticSearch®、Apache Kafka®、Apache HDFS™、Redis™、Docstore、Schemaless 等，并且在许多情况下，这些工作负载位于同一物理主机上。
「分布式系统之美」知乎圆桌已上线一周， 部分问答引发了网友的热烈讨论，接下来就跟随小编一起来盘点大家最关心的问题吧！
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ。
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。
最近在工作中我需要把数据从公共的 Data Warehouse（数据仓库）导出来，放到属于我们 team 自己账号的云端存储资源中去，然后再在我们的应用中查询这样的资源。需要导出数据是因为直接从 Data Warehouse 查询数据是一个缓慢而且异步的过程，而我们的应用数据查询需要实时性。现在要解决这个问题有一些 AWS 的服务可供我们可以选择，基本上分成了两大类：
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题
在小程序·云开发中，最核心的便是三大组件：数据库、云存储和云函数，从今天开始，我们将开始隔日更的专栏文章，云开发101，在第一周，我们将从最最核心的数据库开始说起。
原文链接：https://segmentfault.com/a/1190000017130224
1月5日至6日即将在深圳举办的2018 MongoDB 年终盛会正在火热报名中，为使大家能对大会嘉宾及议题有更深的了解，在现场更好地互动，我们特地采访了部分嘉宾，听听数据库专家大佬们与MongoDB的故事。
时序数据处理应用于物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。从工具维度看，时序数据处理工具与传统时序数据库的差异很大。后者局限于车间级的可编程逻辑控制器，而非企业级。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
