首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大数据初识------Flink如何实现Exactly once计算不重不丢

    Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算不重不丢,而Kafka 的 Exactly Once 语义是通过它的事务和生产幂等两个特性来共同实现的1.流计算框架的架构及其计算原理...我们的计算任务在计算集群中运行的时候,会被拆分成多个子任务,这些子任务也是分布在集群的多个计算节点上的。...大部分流计算平台都会采用存储计算分离的设计,将计算任务的状态保存在 HDFS 等分布式存储系统中。...Flink 通过 CheckPoint 机制来定期保存计算任务的快照,这个快照中主要包含两个重要的数据:整个计算任务的状态。这个状态主要是计算任务中,每个子任务在计算过程中需要保存的临时状态数据。...在流计算中,因为数据重复会导致计算结果错误,所以 Exactly Once 在流计算场景中尤其重要。

    48200

    MySQL选错索引导致的线上慢查询事故

    在排查过程中,查阅了许多资料,也学习了下MySQL优化器选择索引的基本准则,在本文中进行解决问题思路的分享。本人MySQL了解深度有限,如果错误欢迎理性讨论和指正。...MySQL索引选择原理 优化器索引选择的准则 MySQL一条语句的执行流程大致如下图,而查询优化器则是选择索引的地方: ? 引用参考文献一段解释: 首先要知道,选择索引是MySQL优化器的工作。...实际上explain的rows是MySQL预估的行数,是根据查询条件、索引和limit综合考虑出来的预估行数。 MySQL是怎样得到索引的基数的呢?...总结 本文带大家回顾了一次MySQL优化器选错索引导致的线上慢查询事故,可以看出MySQL优化器对于索引的选择并不单单依靠某一个标准,而是一个综合选择的结果。...参考 《高性能MySQLMySQL优化器 limit影响的case: https://www.cnblogs.com/xpchild/p/3878417.html mysql中走与不走索引的情况汇集

    97040

    MySQL - 剖析MySQL索引底层数据结构

    通俗的说就是为了提高效率专门设计的一种 排好序的数据结构。 怎么理解呢? 举个例子哈 ?...---- 索引的数据结构选型 二叉树 ? 可以用二叉树吗? 我们知道MySQL一般都有自增主键 ,id之类的字段 我们来演示下使用二叉树来存储这种自增的数据的话,会怎样?...叶节点具有相同的深度, 叶节点之间指针为空 所有索引元素不重复 节点中的数据索引从左到右递增排列 ? 叶子节点之间的没有指针,区别于B+树。 data存储的是数据对应的磁盘地址, k-v结构。...我们来算下 3层高的B+Tree能存储多少数据结构 假设是BigInt类型的数据 ?...---- Hash表 对索引的key进行一次hash计算就可以定位出数据存储的位置 很多时候Hash索引要比B+ 树索引更高效 仅能满足 “=”,“IN”,不支持范围查询 hash冲突问题 ?

    70710

    MySQL 索引数据结构解析

    二叉树.png 红黑树 红黑树是一种特定类型的二叉树,它是在计算机科学中用来组织数据比如数字的块的一种结构。若一棵二叉查找树是红黑树,则它的任一子树必为红黑树。...B-Tree 叶子结点具有相同的深度,叶节点的指针为空 所有元素不重复 节点中的数据索引从左到右边递增排列 B树数据结构.png B+Tree 非叶子结点不存储数据,只存储索引(冗余),可以存放更多的索引...叶子结点包含所有索引字段 叶子结点用指针链接,提高区间访问的性能(可以提升范围查找的效率) B+树数据结构.png 特点关键字:节点内有序,叶子结点指针链接,非叶子结点存储索引(冗余) 查询mysql...Hash 对索引的 key 进行一次 hash 计算就可以定位出数据存储的位置 很多的时候 hash 索引要比 B+ 树索引更高效 仅能满足 “=” , “in” 不支持范围查询 存在 hash 冲突问题...如果没有设置索引的话,MySQL 会选择一个数据唯一的列作为主键索引, 如果找不这样的列。会去做创建一个隐藏列类似 rowid。

    85820

    MySQL索引数据结构入门

    之前松哥写过一个 MySQL 系列,但是当时是基于 MySQL5.7 的,最近有空在看 MySQL8 的文档,发现和 MySQL5.7 相比还是有不少变化,同时 MySQL 又是小伙伴们在面试时一个非常重要的知识点...,因此松哥打算最近再抽空和小伙伴们聊一聊 MySQL,讲讲原理,讲讲优化,我会从最基本最简单的开始,和大家梳理 MySQL 中常见的面试知识点。...索引的数据结构 2.1 B+Tree 和 B-Tree 小伙伴们知道,由于 MySQL 中的存储引擎设计成了可插拔的形式,任何机构和个人如果你有能力,都可以设计自己的存储引擎,而 MySQL 的索引是在存储引擎层实现的...小伙伴们知道,InnoDB 存储引擎的索引数据结构是一个 B+Tree,至于什么是 B+Tree,这并非本文的重点,我这里不啰嗦,不了解 B+Tree 的小伙伴可以自行搜索一下学习一下。...计算机在存储数据的时候,最小存储单元是扇区,一个扇区的大小是 512 字节,而文件系统(例如 XFS/EXT4)最小单元是块,一个块的大小是 4KB。

    14210

    计算机思维: 计算机的数据结构

    计算机科学中,数据的相对大小比绝对的数值重要,出于很多数据比大小的需求以及其他一些需求,就产生了一个抽象的数据结构——二叉树。...I 计算机的数据结构 数据结构+ 算法 = 程序 理解搭建计算机软件的模块——数据结构和算法。 把数据结构理解为盖房子的钢筋、门窗和大梁。 把算法理解成盖房子的结构原理。...在计算机科学中,数据就等同于点,数据结构就是数据中常用的具体关系。 1.3 线性表 线性表相当于几何图形中的直线,是最基本的数据结构,概括所有顺序排列和储存的数据。...在计算机领域,数据结构则相当于设计中的基本几何图形,它们大多是从具体的应用中抽象出来的; 一个从业者水平的高下,首先在于灵活使用这些数据结构的本领。...、比较大小、排序、挑选最大值这类的操作,而它们在计算机的世界里又如此重要,当然也就值得为这些事情专门设计一种数据结构,这种数据结构被称为二叉树。

    19620
    领券