数据库是“一类软件”，这样的软件能够针对数据进行管理（增删改查） 存储数据用文件就可以了，为什么要做数据库呢？ 文件保存数据有以下几个缺点：
当CPU处理数据时，它会先到Cache中去寻找，如果数据因之前的操作已经读取而被暂存其中，就不需要再从随机存取存储器（Main memory）中读取数据——由于CPU的运行速度一般比主内存的读取速度快，主存储器周期（访问主存储器所需要的时间）为数个时钟周期。因此若要访问主内存的话，就必须等待数个CPU周期从而造成浪费。
在计算机的组成结构中，有一个很重要的部分，就是存储器。存储器是用来存储程序和数据的部件，对于计算机来说，有了存储器，才有记忆功能，才能保证正常工作。
索引是什么？为什么要有mysql 索引，解决了什么问题，其底层的原理是什么？为什么使用B+树做为解决方案？用其他的像哈希索引或者B树不行吗？
首先，索引（Index）是什么？如果我直接告诉你索引是数据库管理系统中的一个有序的数据结构，你可能会有点懵逼。
据普林斯顿大学网站2018年11月报道，通过改变计算的一个基本特性，普林斯顿的研究人员研发了一种新型的计算机芯片，获得了更好的性能，并大大降低了该芯片应用于人工智能系统中的能量需求。
NoSQL，泛指非关系型的数据库,随着互联网的发展传统的关系型数据库面对持续增长的数据处理起来显得越来越力不从心，此时非关系型数据库应运而生。
在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种JVM线程，前者为主控进程，负责创建Spark上下文，提交Spark作业（Job），并将作业转化为计算任务（Task），在各个Executor进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给Driver，同时为需要持久化的RDD提供存储功能。由于Driver的内存管理相对来说较为简单，本文主要对Executor的内存的管理进行分析，上下文中的Spark内存均特指Executor的内存。
“磁盘”这个词，对于程序员来说并不陌生，我们知道它是一种存储介质，主要用来存储数据的，可以说常用的中间件基本上都离不开它，比如我们常用的MySQL数据库、kafka消息引擎，甚至redis缓存都离不开磁盘。
schema就是数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。为了区分不同的集合，就需要给不同的集合起不同的名字，默认情况下一个用户对应一个集合，用户的schema名等于用户名，并作为该用户缺省schema。所以schema集合看上去像用户名。
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则，如下图：
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
Kafka 最初由 Linkedin 公司开发，是一个分布式、支持分区的、多副本的，基于 Zookeeper 协调的分布式消息系统，其最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 Hadoop 的批处理系统、低延迟的实时系统、Storm/Spark 流式处理引擎、Web/Nginx 日志、访问日志，消息服务等等，用 Scala 和 Java 语言编写，Linkedin 于 2010 年将其贡献给了 Apache 基金会并成为顶级开源项目。
索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对性能的影响愈发重要。
1、选择索引的数据类型 MySQL支持很多数据类型，选择合适的数据类型存储数据对性能有很大的影响。通常来说，可以遵循以下一些指导原则： (1)越小的数据类型通常更好：越小的数据类型通常在磁盘、内存和CPU缓存中都需要更少的空间，处理起来更快。 (2)简单的数据类型更好：整型数据比起字符，处理开销更小，因为字符串的比较更复杂。在MySQL中，应该用内置的日期和时间数据类型，而不是用字符串来存储时间；以及用整型数据类型存储IP地址。 (3)尽量避免NULL：应该指定列为NOT NULL，除非你想存储NULL。在
去重是大数据计算中的常见场景，本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合，以及位图（Bitmap）的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案，并在最后与其他方案进行了对比。
链表（Linked list）比数组稍微复杂一点，在我们生活中用到最常见的应该是缓存，它是一种提高数据读取性能的技术，常见的如cpu缓存，浏览器缓存，数据库缓存等。今天我们就来学习一下链表
综上所述，Redis的压缩列表在存储和查询大量小数据时更加高效，因为它可以节省内存，具有更好的数据局部性，减少内存分配和释放的开销，并且对范围查询具有良好的支持。
链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点)组成，结点可以在运行时动态生成。每个结点包括两个部分：一个是存储数据元素的数据域，另一个是存储下一个结点地址的指针域。 相比于线性表顺序结构，操作复杂。由于不必须按顺序存储，链表在插入的时候可以达到O(1)的复杂度，比另一种线性表顺序表快得多，但是查找一个节点或者访问特定编号的节点则需要O(n)的时间，而线性表和顺序表相应的时间复杂度分别是O(logn)和O(1)。
我们在上一篇博客中说到,Redis是一个在内存中存储数据的中间件.用作数据库,数据缓存等方面,在分布式系统中发挥着重要的作用.那么Redis有哪些优点特性呢?
本小节，我们将学习结构体最后的知识：结构体实现位段，阿森将会和你一起去学习什么是位段？位段的内存分配，VS怎么开辟位段空间呢？位段跨平台问题，随即位段的应用，最后我们也要了解它的注意事项。文章干货满满，很容易理解，学习起来吧！😊
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。
在当今数字化时代，人工智能（AI）已经成为科技领域的一股强大力量，而深度神经网络（DNN）则是AI的核心引擎之一。DNN是一种模仿人类神经系统运作方式的计算模型，通过层层堆叠的神经元网络来实现复杂的模式识别和数据处理任务。从图像识别、语音识别到自然语言处理，DNN已经在各个领域展现了惊人的能力。然而，随着DNN模型的不断演进和复杂化，对计算资源的需求也与日俱增。
过滤器在数据科学中的应用十分广泛，包括数据库查询、数据快速检索，数据去重等等。过滤器的出现是为了解决在大量数据的环境下，能够更好更快的（节省计算资源或者存储资源）筛查数据的需求。实际的应用场景有：
ReRAM的核心是一个很简单的概念：电阻值的切换。这种机制涉及灯丝的形成和电场的影响，是ReRAM在现代内存解决方案领域脱颖而出的原因。了解这些原则对于充分了解ReRAM的潜力至关重要。
80/20法则通常被认为是源于意大利经济学家维尔弗雷多·帕累托。帕累托出生于1848年，他是（至少被认为是）占领运动的早期成员之一。他发现意大利国家财富的80%是掌握在几乎少于20%的人口手中的。由此
索引定义：索引是依靠某些数据结构和算法来组织数据，最终引导用户快速检索出所需要的数据
分批读取大量数据的excel文件，每次读取1000行数据，然后插入数据库，并且去执行一个方法，执行完毕后更新此行数据的状态。需要获取已更新数据的占比，即计算百分比。
在上面的例子中，数组 a 中有 5 个元素。 也就是说 ，a 的长度是 6 。我们可以使用 a [0] 来表示数组中的第一个元素。因此，a [0] = A 。类似地，a [1] = B，a [2] = C，依此类推。
统计信息，没有数据是没有的，但统计信息怎么收集，标准是什么，怎么使用，就值得去看看了。
步骤取出所有数据耗费的io次数太多，步骤2耗费的内存空间太⼤，还有新增数据的时候，为了保证数组有序，插⼊数据会涉及到数组内部数据的移动，也是⽐较耗时的，显然⽤这种⽅式存储数据是不可取的。
OOP-面向对象编程(Object Oriented Programming）,在Java中（几乎）一切都是对象。
HDFS采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分：
文章目录 分布式NoSQL列存储数据库Hbase_列族的设计（五） 知识点01：课程回顾 知识点02：课程目标 知识点03：Hbase设计：列族的设计 知识点04：聊天系统案例：需求分析 知识点05：聊天系统案例：Hbase表设计 知识点06：聊天系统案例：环境准备 知识点07：聊天系统案例：模拟生成数据 知识点08：聊天系统案例：构建Rowkey 知识点09：聊天系统案例：测试写入代码 知识点10：聊天系统案例：查询需求分析 知识点11：聊天系统案例：测试查询代码 知识点12：聊天系统案例：查询问题 知
寻址公式：a[i]_address = base_address + i * data_type_size
一、OALP 引擎汇总整理引擎优势不足适合场景文档Kylin1、支持标准SQL，提供JDBC/ODBC接口2、通过预计算Cube显著降低查询时的计算量。3、支持精确去重计数，并且由于预计算，查询去重指标的速度很快。4、可以支持比较高的查询并发。1、需大量资源做预计算，数据导入效率低。2、schema变更需重跑历史，稳定性低。3、需要学习Cube定义和优化，学习成本较高。4、不支持AdHoc查询。5、HBase没有二级索引，过滤的性能稍逊色。5、支持的维度数量不宜过多（20），否则Cube的计算和存储开销会明
大家在面试的时候，肯定都会被问到MySql的知识，以下是面试场景： 面试官：对于MySQL，你对他索引原理了解吗？ 我：了解 面试官：MySQL的索引是用什么数据机构的？ 我：B+树 面试官：为什么要用B+树，而不是B树？ 我：… 面试官：用B+树作为MySql的索引结构，用什么好处？ 我：…
同学B：因为索引其实就是一种优化查询的数据结构，比如Mysql中的索引是用B+树实现的，而B+树就是一种数据结构，可以优化查询速度，可以利用索引快速查找数据，所以能优化查询。
实际上，这是计算机最早的含义。自1946年以来，第一台通用电子计算机ENIAC诞生，计算机技术获得了迅猛发展。而计算机的含义也在不断扩大和丰富。
HyperLogLog是一种概率算法,提供了不精确的去重计数方案,是有误差的基数统计.
首先需要澄清的一点是，MySQL 跟 B+ 树没有直接的关系，真正与 B+ 树有关系的是 MySQL 的默认存储引擎 InnoDB，MySQL 中存储引擎的主要作用是负责数据的存储和提取，除了 InnoDB 之外，MySQL 中也支持 MyISAM 作为表的底层存储引擎。
写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记 录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4 个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要 100s(但实际上要好很多很多)。如果对之建立B-Tree索引，则只需要进行log100(10^6)=3次页面读取，最坏情况下耗时30ms。这就 是索引带来的效果，很多时候，当你的应用程序进行SQL查询速度很慢时，应该想想是否可以建索引。进入正题：
内存条，全称为Random-Access Memory（RAM），也称为随机存取存储器。它是电脑中用于暂时存储数据和程序以供CPU快速访问的部件。
每个key 20个字符 ， value 80个字符 ， 一个KV约为2KB。
可以把没有索引的表理解为Java中的List，在没有索引的情况下，我们要查找指定的数据，只能遍历这个list，但是随着数据量的逐渐增大，遍历list产生的开销也随之增大。因此我们需要一个无需遍历整个list（ps：无需扫描整张表）就可以找到指定数据的方案，这个方案就是索引。（ps：遍历list可以理解为mysql的全表扫描）
选择数据类型的原则 MySQL支持多种数据类型，选择合适的数据类型存储数据对MySQL存储引擎来说至关重要，下面的一些原则可以在选择数据类型的时候做出更合适的选择。 选择最小数据类型 通常情况下，选择可以正确存储数据的最小数据类型。因为最小数据类型占用的磁盘、内存和缓存更少，执行的更快。在选择合适最小数据类型的时候，选择你认为不会超出范围的最小类型。 选择简单数据类型 简单数据类型的各种操作通常需要更少的CPU周期。 避免列值为NULL 除非非常有必要，通常情况下，需要将列值设置为NOT NULL。NULL
这里需要提示一下，在获取金额和数量的是时候一定要进行类型转换，否则会报类型错误。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
