在Provenance存储库中存储每个FlowFile的历史记录。此历史记录用于提供每个数据的数据沿袭（也称为产销监管链）。每次为FlowFile发生事件（创建，分叉，克隆，修改FlowFile等）时，都会创建一个新的Provenance事件。这个出处事件是流文件的快照，因为它看起来就是在那个时间点存在的流。创建Provenance事件后，它将复制所有FlowFile的属性和指向FlowFile内容的指针，并将其与FlowFile的状态（例如其与其他出处事件的关系）聚合到Provenance存储库里。该快照将不会更改，直到过期。根据“nifi.properties”文件中的指定，Provenance存储库将在完成后的一段时间内保留所有这些来源事件。
一些平台对某些特定类型的数据只能从某些特定地址开始存取。比如有些架构的CPU在访问 一个没有进行对齐的变量的时候会发生错误,那么在这种架构下编程必须保证字节对齐.
Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。
上篇文章说了我们可以用begin 和statr transaction，提交可以commit，rollback回滚，可以指定回滚到保存点，也可以设置全局变量set autocommit off。也会隐式提交，比如开启事务后，如果操作或者新增了表，比如create table等语句，会隐式提交前面的sql。
两者作用一样都是通知UI刷新，但是invalidate只能在UI线程中调用，postInvalidate则在非UI线程中调用
在上篇博客中，给大家演示了如何利用 UICollectionView 这个强大的控件去实现一个卡片轮播的效果，后来有网友联系我说:"他遇到一个问题，当他滚动的 item 宽度与屏幕宽度一致时，滚动效果是正常的，但当把 item 宽度的值设置成小于屏幕宽度的时候，滚动就会出现遮挡的 bug, 这该如何解决呢!"
消费者提交偏移量的主要是消费者往一个名为_consumer_offset的特殊主题发送消息，消息中包含每个分区的偏移量。
对于Kafka中的分区而言，它的每条消息都有唯一的offset，用来表示消息在分区中对应的位置。对于消费者而言，它也有一个offset的概念，消费者使用offset来表示消费到分区中某个消息所在的位置。在Kafka中其实有关于offset有两个含义。我这里主要分享消费者提交offset问题。首先我们来看一下issue：https://github.com/confluentinc/confluent-kafka-go/issues/195，涉及到问题：Why CommitOffsets() does not increment the offset like Commit()【为什么CommitOffsets和Commit方法一样不能增加offset】。里面有个正确答案：提交的offset等于msg.offset+1。为什么是这样的呢？我们来深入了解一下。
kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是_。 比如创建一个名为firstTopic的topic，其中有3个partition，那么在 kafka 的数据目录（/tmp/kafka-log）中就有 3 个目录，firstTopic_0~3 多个分区在集群中多个broker上的分配方法
一 kafka Connector介绍 Kafka Connect是一个用于在Apache Kafka和其他系统之间进行可扩展和可靠数据流传输的工具。这使得快速定义将大量数据传入和传出Kafka的连接器变得很简单。Kafka Connect可以接收整个数据库或从所有应用程序服务器收集指标到Kafka主题中，使得数据可用于低延迟的流处理。导出作业可以将来自Kafka主题的数据传送到二级存储和查询系统或批处理系统中进行离线分析。 Kafka Connect功能包括： Kafka连接器的通用框架 - Kafk
Kafka消费者组 您可以通过用例或功能将消费者组合成消费者组。一个消费者组可能负责将记录传送到高速的、基于内存的微服务，而另一个消费者组将这些记录传输到Hadoop。消费者组有自己的名称以便于从其它消费者组中区分出来。 消费者组具有唯一的ID。每个消费者组是一个或多个Kafka主题的订阅者。每个消费者组维护其每个主题分区的偏移量。如果您需要多个订阅者，那么您有多个消费者组。一个记录只交付给消费者组中的一个消费者。 消费者组中的每个消费者处理记录，并且该组中只有一个消费者将获得相同的记录。消费组内的
大家在面试时，或者准备面试中可能会遇到上述的问题，大多的回答基本上是分库分表建索引，这是一种很标准的正确回答，但现实总是很骨感，所以面试官一般会追问你一句，现在工期不足，人员不足，该怎么实现深度分页？
本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。
你被四只妖物追杀至一片神秘的山脚下，现在它们快追来了，你刚想穿过一片竹林，却不小心绊到了什么，一瞬间，你到达了另一个地方，映入眼帘的是一块巨大石碑，石碑上刻着这样一段代码:
在上一节中，我们在监听鼠标移动事件时，将其坐标范围处理为了[-1,1]的范围，使用如下代码
最近用 OEA 做的仓库管理系统中，许多界面的都需要使用表格控件来显示数据。一是这些表格的列非常多，有的甚至达到了 200 列，而且一个模块的界面中可能同时显示好几个表格。这导致界面的速度比较慢，特别是较多数据需要展现时。经检测，表现虽然表格的行已经做了虚拟化，但是由于列非常多，最终还是造成可视树中的元素过多，而导致界面布局代码运行过慢。假设只有 30 行，一个单元格仅生成 5 个可视元素，200 列的单元格都会产生 3W 个可视元素，而布局系统的 Measure 方法需要对可视树中的每一个元素都调
在日常开发的业务环境中，我们一般都会使用 MySQL 语句来实现分页的功能。但是，往往也有些数据并不多，或者只是获取 PHP 中定义的一些数组数据时需要分页的功能。这时，我们其实不需要每次都去查询数据库，可以在一次查询中把所有的数据取出来，然后在 PHP 的代码层面进行分页功能的实现。今天，我们就来学习一下可以实现这个能力的一些函数技巧。
因为页面中有很多复杂的效果，像是3D变换，页面滚动等，为了更方便的实现这些效果，渲染引擎回味特定的节点生成专用的图层，并生成一颗对应的图层树，最后再合成图层。
最简单的提交方式是让消费者自动提交偏移量。如果 enable.auto.commit 被设为 true，那么每过 5s，消费者会自动把从 poll() 方法接收到的最大偏移量提交上去。提交时间间隔由 auto.commit.interval.ms 控制，默认值是5s。消费者每次获取新数据时都会先把上一次poll()方法返回的最大偏移量提交上去。
http://spark.apache.org/docs/2.4.5/structured-streaming-kafka-integration.html
journalctl命令是Systemd日志系统的一个命令，主要用途是用来查看通过Systemd日志系统记录的日志，在Systemd出现之前，Linux系统及各应用的日志都是分别管理的，Systemd取代了initd之后便开始统一管理了所有Unit的启动日志，可以只用一个journalctl命令，查看所有内核和应用的日志。
Element.scroll()方法是用于在给定的元素中滚动到某个特定坐标的Element 接口。
Kafka 里消费者从属于消费者群组，一个群组里的消费者订阅的都是同一个主题，每个消费者接收主题一部分分区的消息。
在《系统编程-文件IO》中简单介绍了文件I/O的基本流程，无论选项或者参数多么变化多端，其流程大抵相同，不过是获取文件描述符，用描述符进行操作，关闭描述符，三步而已。那么文件读写又是怎样的流程？需要注意什么？
使用ThreadLocal来存储和管理每个线程的事务追踪对象，确保每个线程都有自己独立的事务上下文。方法首先尝试从ThreadLocal获取事务追踪对象，如果不存在，则尝试从数据库中查询。如果数据库中也不存在，则创建一个新的事务追踪对象，初始化其状态和时间信息，然后将其保存到数据库和ThreadLocal中。
消费者读取消息。在其他基于发布与订阅的消息系统中，消费者可能被称为订阅者 或 读者。
所谓的标准模式是指，浏览器按W3C标准解析执行代码；怪异模式则是使用浏览器自己的方式解析执行代码，因为不同浏览器解析执行的方式不一样，所以我们称之为怪异模式。浏览器解析时到底使用标准模式还是怪异模式，与你网页中的DTD声明直接相关，DTD声明定义了标准文档的类型（标准模式解析）文档类型，会使浏览器使用相应的方式加载网页并显示，忽略DTD声明,将使网页进入怪异模式(quirks mode)。
记录 RecyclerView 滚动位置并恢复是一个很常见的需求，通常需要精准恢复到上次的位置。
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
通过对TCP/IP协议的学习，本人写了一个可以实现对PCAP文件中的IPV4下的TCP流提取，以及提取指定的TCP流，鉴于为了学习，没有采用第三方包解析pcap，而是对bytes流进行解析，其核心思想为：若想要提取TCP Content，需在下层的IPV4协议中判断Protocol是否为TCP，然后判断下层的以太网协议的Type是否为IPV4协议（此处的IPV4判断，只针对本人所写项目）；对于指定流需要获取Client以及Server的[IP,PORT]。
Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划，您可以保证在升级期间不会出现停机。但是，请在升级之前查看2.0.0中的重大更改。
a. fork下来，起一个demo，上一个测试环境，遇到问题再去社区提问或找些实践文章；
在工作中，我们误删数据或者数据库，我们一定需要跑路吗？我看未必，程序员一定要学会自救，神不知鬼不觉的将数据找回。
1.协议栈根据上层传递的服务器ip端口确定 要链接的服务器sicket， 填充tcp头部信息（发送接受方ip端口信息）并将syn设置为1,修改的socket状态为正在连接
上节讲述了Kafka OffsetMonitor：监控消费者和延迟的队列，本节更详细的介绍如何配置，运行和管理Kafka Connect，有兴趣的请关注我们的公众号。
本文来自 Apache RocketMQ 的资深用户丁威，他和 MyCat 的核心开发者周继锋合著了《RocketMQ技术内幕：架构设计与实现原理》一书，目的是希望用图解的方式梳理 RocketMQ的核心原理。
前面我们说了undo日志在insert，update，delete存储的日志格式，delete存储的type是trx_undo_del_mark_rec里面有个参数old roll_pointer会指向insert的地址值，恢复需要的数据。Select是没有undo日志的，因为select不需要回滚事务。
Apache Flink 内置了多个 Kafka Connector：通用、0.10、0.11等。这个通用的 Kafka Connector 会尝试追踪最新版本的 Kafka 客户端。不同 Flink 发行版之间其使用的客户端版本可能会发生改变。现在的 Kafka 客户端可以向后兼容 0.10.0 或更高版本的 Broker。对于大多数用户使用通用的 Kafka Connector 就可以了。但对于 0.11.x 和 0.10.x 版本的 Kafka 用户，我们建议分别使用专用的 0.11 和 0.10 Connector。有关 Kafka 兼容性的详细信息，请参阅 Kafka官方文档。
---前面的文章里面，仔细讲了在linux系统对文件的读写操作以及文件管理，为今天要讲的内容作了铺垫（如果您是刚接触这方面的内容，可以先看我之前写的文章，有错误的地方，还望指出来，在这里先说一声谢谢）。好了废话不多说，直接进入主题。
1.发送方协议栈根据DNS提供的服务器ip端口确定和服务器通信使用的socket套接字， 填充tcp头部信息（发送接受方ip端口信息），将syn设置为1,修改当前socket状态为正在连接
这个错误的意思是，消费者在处理完一批poll的消息后，在同步提交偏移量给broker时报的错。初步分析日志是由于当前消费者线程消费的分区已经被broker给回收了，因为kafka认为这个消费者死了，那么为什么呢？
之前刚学Spark时分享过一篇磨炼基础的练习题，➤Ta来了，Ta来了，Spark基础能力测试题Ta来了!，收到的反馈还是不错的。于是，在正式结课Spark之后，博主又为大家倾情奉献一道关于Spark的综合练习题，希望大家能有所收获✍
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
