8 G Mac + Docker 环境下运行 WordPress ，本地打开站点首页耗时非常长，虽然怀疑是内存不足导致的，但是无凭无据纯属猜测。下面是我的一些分析记录：
非聚簇索引：将数据存储于索引分开结构，索引结构的叶子节点指向了数据的对应行，myisam 通过 key_buffer 把索引先缓存到内存中，当需要访问数据时（通过索引访问数据），在内存中直接搜索索引，然后通过索引找到磁盘相应数据，这也就是为什么索引不在 key buffer 命中时，速度慢的原因。
用户反馈分析看板加载速度慢，在业务高峰期，看板页面还会有加载异常的情况。报表列表加载速度慢，严重时无法加载。用户在进行一些选项配置时，还会有一些加载超时或接口报错的情况。
岳毅，携程高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。
本文中介绍的结构型数据库MySQL的基础知识，能够让你快速入门MySQL，具体内容包含：
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
首先需要了解的是，InnoDB是目前唯一支持外键的内置存储引擎。使用外键是有一定成本的。这里讨论一下外键的优劣势：
就是查tableStore失败了，在日志平台查下看到，因为查询参数太长，日志平台直接进行了截断！！！
业务背景 作业帮成立于2015年，一直致力于用科技手段助力教育普惠，运用人工智能、大数据等前沿技术，为学生、老师、家长提供更高效的学习、教育解决方案，智能硬件产品等。作为大数据中台架构团队，我们一直探索利用有限的资源，较低的开发维护成本、高时效的数据更新和查询，为业务团队提供基础支持。 问题&痛点 ODS层数据就绪时间晚，DWS/ADS等上层数据和业务报表构建时间少。 作业帮ODS层表大概有几千张，TP90就绪时间大概在4点30左右，不同业务团队因工作时间不同，看数时间会有些差异，总体上来说基本都要求数
在涉及order by操作的sql时，b-tree索引返回的结果是有序的，可以直接返回，而其他索引类型，需要对索引返回结果再进行一次排序。b-tree索引的默认排序为升序，空值放在最后，创建索引时可以指定排序方式，如按倒序排序时，空值默认是放在最前的，但往往我们的查询并不想展示空值的结果，此时可以在创建索引时指定排序desc nulls last以达到和查询sql切合的目的。
数据库要将数据进行管理的前提就是将数据进行存储。但是存储数据使用文件就可以了，为什么还要弄个数据库呢？
本文中介绍的结构型数据库MySQL的基本知识，能够让你快速入门MySQL，具体内容包含：
关于数据仓库的概念、原理、建设方法论，网上已经有很多内容了，也有很多的经典书籍，本文更想聊聊企业数据仓库项目上的架构和组件工具问题。
最近公司项目添加新功能，上线后发现有些功能的列表查询时间很久。原因是新功能用到旧功能的接口，而这些旧接口的 SQL 查询语句关联5,6张表且编写不够规范，导致 MySQL 在执行 SQL 语句时索引失效，进行全表扫描。原本负责优化的同事有事请假回家，因此优化查询数据的问题落在笔者手中。笔者在查阅网上 SQL 优化的资料后成功解决了问题，在此从==全局角度==记录和总结 MySQL 查询优化相关技巧。
中间件分表是不是一个好的主意？通过中间件来对MYSQL的数据进行分表是一个常见的对于大数量的解决的方案，通过中间件将应用的数据在中间层进行路由，通过路由将一张表的数据，映射到不同物理数据库上的表，通过应用设计的分片键将数据根据规则存储在不同的物理服务器上。实际上分布式数据库的基本原理也是这样。
今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情，希望文章的这些优化技巧对你有用。
最近看到一篇文章，讲述了一个500万数据查询37秒的问题和解决方案。我先帮大家总结一下解决方案。
MySQL 是一个开源的关系型数据库管理系统，广泛应用于 Web 应用程序和企业级应用程序开发。以下是一些 MySQL 的知识总结：
N个机台将业务数据发送至服务器，服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
通过上一篇文章 基于Vue和Quasar的前端SPA项目实战之表关系（六）的介绍，元数据设计功能全部实现了，本文主要介绍业务数据的crud增删改查功能。
关系型数据库模型是把复杂的数据结构归结为简单的二元关系，对数据的操作都是建立一个 或多个关系表格上
当然这个还是非常有实用价值的，工作中你也一定用的上。如果应用得当，升职加薪，指日可待
OpenTSDB(Open time series data base)，开发时间序列数据库。DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了，为什么还会出现它？它到底有什么好？它做了什么？别着急，我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。什么是时序数据，股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据，就是每个时间点上纪录一条数据。 关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。（我对其他分布式存储不了解，就不对比了）。 了解Hbase的人都知道，它可以通过加机器的水平扩展迅速增加读写能力，非常适合存储海量的数据，但是它并不是关系数据库，无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节，总之，你可以通过Get获取到hbase里的一行数据，通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用， 但也限制了它的使用场景。针对时序数据，只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化，可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API，比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
原始数据的数据量太大了，能存下来就很不容易了，这个数据是没法直接来给业务系统查询和分析的：
小米从 2019 年开始引入 Flink 并处理实时计算相关的需求，从第一个接入的版本 1.7 到最新的 1.14，累计已升级更新了 6 个大的版本，目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务，日均处理 10 万亿 + 的消息，并在国内外搭建了 10+ 集群。
还记得那是在2018年的十月的某个日子，虽早已入秋，但夏日的炎热却丝毫不减退散。那时的我正捧着一本SQL Server程序设计的白蓝皮书与九栋315的狗子们，匆匆的走向j1-402进行了我们人生中第一次SQL数据库的学习，时光总是戏人，现实总是玩笑。当初的几个伙伴都走向了各行各业，而唯有我编程课，问啥啥不会，写啥啥就废的我进入了IT行业。说来实在嘲讽，缅怀那些我错过的编程课，致那些年说过无数次“让我学SQL,根本不可能”，我承认我打脸了。正如此章的title一般，“SQL语句， 何必在忆？”
数据库是“一类软件”，这样的软件能够针对数据进行管理（增删改查） 存储数据用文件就可以了，为什么要做数据库呢？ 文件保存数据有以下几个缺点：
某后台的功能列表，页面底部为通用分页： 总条数: 16209321 页码：1 2 3 4 5 .... 9819 页面默认展示 10 条数据，默认展示条数可选。 页面上部分搜索区域部分有多达 20-30 的筛选条件，筛选条件分别来自于不下 10 张数据表。 拿订单列表查询举例，可以使用用户表里的某个特殊字段进行筛选，如性别等，这些字段肯定不会在订单表存储，所以必然会进行联表。 使用者常常有疑问： 为何页面只有 10 条数据，查询却如此之慢？ 老板会质疑你，做的是什么玩意？查询 10 条数据都要 1 分钟以上的时间？（优化前页面需要转 1 分钟才可显示出数据，页面转圈圈～）
要解释这个问题，其实不单单要从数据结构的角度出发，还要考虑磁盘 I/O 操作次数，因为 MySQL 的数据是存储在磁盘中的嘛。
2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗？
OLAP是英文Online Analytical Processing的缩写，中文称为联机分析处理。它是一种基于多维数据模型的分析处理技术，用于从不同的角度进行数据挖掘和分析，以帮助用户快速发现数据之间的相关性和趋势。
create database <dbname> 创建名字为dbname的数据库
Online analytical processing (OLAP) is a system for performing multi-dimensional analysis at high speeds on large volumes of data. Typically, this data is from adata warehouse, data mart or some other centralized data store. OLAP is ideal fordata mining, business intelligence and complex analytical calculations, as well as business reporting functions like financial analysis, budgeting and sales forecasting.
SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。 支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。Star: 1.3k
国庆节前最后一篇, 前几期从国外数据库历史, 国内数据库历史, 搞笑数据库捡屎, 国庆节前也不能闲着.最近在看一本书, 关于下一代数据库.
上篇文章我们说了，表空间的区概念，我们都知道mysql的数据是存放在页里，一个页有16kb，而表空间能存放64TB的数据，为了提高查询效率，表空间里又吧页分为多个区，64个页也就是大概1M为一个区，而256个区为一组，每组的前几个页都是存储固定的结构数据。
在去面试的时候经常会遇到技术面试官问到这样的问题：聊一下你对MySQL性能优化的方案。那么这篇文章就来聊一下MySQL优化的个人见解
首先要明确索引是什么：索引是一种数据结构，数据结构是计算机存储、组织数据的方式，是指相互之间存在一种或多种特定关系的数据元素的集合，例如：链表，堆栈，队列，二叉树等等。
今天和大家聊聊分库分表技术，大家面试的时候肯定都有这样的经历，面试官动不动就问分库分表、高并发、虚拟机、分布式事务等等这些高大上的技术。所以我们还是有必要要了解一下的。
随着近几年整个产业数字化进程的深入，数据库的应用场景变得更多、更复杂，导致数据库需要应对相比以往急剧增长的数据规模，处理更加多样的数据类型，以及具备更加复杂的场景化能力。
最近有需求，要将一个局域网Web数据平台迁移到线上，顺带着，本地服务使用的PostgreSQL也要替换成国内某云的MongoDB。
面对千万级日活 + 千万级日新增SKU + 千万级日均订单，拼购的单库每天增长数据超1亿，峰值10万QPS并发，每个月要搞一次数据迁移。
介绍了为什么MySQL使用B+TREE 而 MongoDB使用B-TREE
爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。比如：
张经理负责分析的饮料公司最近推出了一款新的果汁饮料，市场反响热烈，但也面临着激烈的竞争。公司高层希望了解，相比于竞品，这款新饮料在不同地区的销售表现如何，尤其是在北京、上海和广州这三个主要城市。更进一步，他们还想知道销售高峰主要集中在哪个时间段，以及特定促销活动和销量提升的关系。这些具体的业务需求，张经理需要从庞大的数据海中找到答案。
在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求。
随着互联网、物联网、5G、人工智能、云计算等技术的不断发展，越来越多的数据在互联网上产生，对互联网的运营也开始进入精细化，因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？
随着物联网的普及和工业技术的不断发展，高效管理海量时间序列的需求越来越广泛，数据量越来越庞大。时间序列主要分为两种，即单元时间序列和多元时间序列。单元时间序列是指一个具有单个时间相关变量的序列，单元时间序列只包含一列时间戳和一列值。多元时间序列是指一个具有多个时间相关变量的序列，多元时间序列包含多个一元时间序列作为分量，各个一元时间序列的采样时间点相同，所以数据可以用矩阵形式表示，每行为一个时间点，每列为一个一元时间序列。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
