ProtoBuf是Google开源的一套二进制流网络传输协议，它独立于语言，独立于平台。google 提供了多种语言的实现：java、c#、c++、Go 和Python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优秀的二进制数据传输格式，可以用于诸如网络传输、配置文件、数据存储等诸多领域。
在上一文中“图解Kafka消息是被怎么存储的？”，我们了解了Kafka内部是如何存储数据的，其中我们提到了Kafka之所以那么快的另外一个原因就是零拷贝（zero-copy）技术。本文我们就来了解Kafka中使用的零拷贝技术为什么那么快。
Kafka 作为消息队列中的中坚力量，基本上是每次面试必问的知识点。而说到 Kafka，大家对它的印象就是快！异常地快！
GSM-->GPRS-->EDGE-->WCDMA-->HSDPA-->FDD-LTE
序列化（编码）是将对象序列化为二进制形式（字节数组），主要用于网络传输、数据持久化等；而反序列化（解码）则是将从网络、磁盘等读取的字节数组还原成原始对象，主要用于网络传输对象的解码，以便完成远程调用。
蓝奏云下载链接（含源码和其他文件）https://wwc.lanzouw.com/b03jclvqd （密码：a9c5） 安卓手机与电脑互传文件工具，使用 java 语言，电脑端运行需要有 java 环境（最好是 1.8），功能主要是使用 Socket 实现。 先说说优点：1. 传输速度快，平时下载网速 2MB/ 秒，用这个可达 6.1MB/ 秒 2. 利用校园网，可做到只连接 Wifi 不使用账号登录，也可传输。 3. 可传输较大文件（5GB 都可）。
在向下的过程中，需要添加下层协议所需要的首部或者尾部，而在向上的过程中不断拆开首部和尾部。
蓝奏云下载链接（含源码和其他文件）https://zhoucl.lanzouw.com/b05upf35e 密码:c2t6 安卓手机与电脑互传文件工具，使用java语言，电脑端运行需要有java环境（最好是1.8），功能主要是使用Socket实现。 先说说优点： 1.传输速度快，平时下载网速2MB/秒，用这个可达6.1MB/秒
如果你对RocketMQ还不了解，可以从公众号后台菜单栏中查看我之前写的关于RocketMQ的几篇文章
Protobuf 是 Google 开源项目 , 该项目是序列化数据的一种解决方案 , JSON , XML 等也可以进行序列化数据操作 ;
Thrift读音[θrɪft]，是一个轻量级、跨语言的远程服务调用框架，最初由Facebook开发，后面进入Apache开源项目。它通过自身的IDL中间语言, 并借助代码生成引擎生成各种主流语言的RPC服务端/客户端模板代码。
Thrift是一个轻量级、跨语言的RPC框架，主要用于各个服务之间的RPC通信，它通过自身的IDL中间语言, 并借助代码生成引擎生成各种主流语言的RPC服务端/客户端模板代码。Thrift支持多种不同的编程语言，包括C++, Java, Python, PHP等。
马克-to-win：协议就是生活中的合同，生活中我们比如做一个大的软件项目，我们得和人签合同，说你们第一步给一部分钱，我们第二步干完活，你们第三步给剩余的钱。网络协议也一样，说明一步一步我们怎么通信。我们上网经常用到超文本传输协议 (HTTP)或文件传输协议 (FTP)或简单邮件传输协议 (SMTP)，这章我们重点讲述传输控制协议（TCP）和用户数据报协议（UDP）。
说到对象，是一个比较宽泛的概念，简单的说，他就是类的一个实例，有状态和行为，存活在内存中，一旦JVM停止运行，对象的状态也会丢失。
给出两个案例 , 一个是 使用普通的 BIO 模型 传输文件的案例 , 一个是 NIO + 零拷贝 传输文件案例 ;
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
随着互联网技术的快速发展，高并发、高性能成为了现代应用程序的追求目标。传统的Java IO（Input/Output）API在处理高并发请求时显得力不从心，无法满足大规模数据处理的需求。而Java NIO（New IO）技术的出现，为开发者提供了更高效、更灵活的IO操作方式，成为处理大规模数据和高并发场景的首选技术。
protobuf的全称是Protocol Buffer，是Google提供的一种数据序列化协议。Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化，很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。
MD5信息摘要算法 （英语：MD5 Message-Digest Algorithm），一种被广泛使用的 密码散列函数 ，可以产生出一个128位（16 字节 ）的散列值（hash value），用于确保信息传输完整一致。MD5由美国密码学家 罗纳德·李维斯特 （Ronald Linn Rivest）设计，于1992年公开，用以取代 MD4 算法。这套算法的程序在 RFC 1321 标准中被加以规范。1996年后该算法被证实存在弱点，可以被加以破解，对于需要高度安全性的数据，专家一般建议改用其他算法，如 SHA-2 。2004年，证实MD5算法无法防止碰撞（collision），因此不适用于安全性认证，如 SSL 公开密钥认证或是 数字签名 等用途。
自己网络这方面的知识很是薄弱，每次面试被问到这部分都会卡壳，所以很尴尬，然后最近也是有些时间了，就赶紧把自己的不足补充一下。虽然最近也在看设计模式，但是总看设计模式也容易烦，所以就并行学习，看看设计模式，然后再看看这网络编程。
Freeline 技术揭秘 Freeline是什么？ Freeline是蚂蚁金服旗下一站式理财平台蚂蚁聚宝团队15年10月在Android平台上的量身定做的一个基于动态替换的编译方案，5月阿里集团内部开源，稳定性方面：完善的基线对齐，进程级别异常隔离机制。性能方面：内部采用了类似Facebook的开源工具buck的多工程多任务并发思想：端口扫描，代码扫描，并发编译，并发dx，并发merge dex等策略，在多核机器上有明显加速效果，另外在class及dex,resources层面作了相应缓存策略，做到真正增
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
今天我们针对SpringCloud中服务之间的通讯方式全面的聊一聊。如下是本篇文章的大纲
【强制】当序列化类新增属性时，请不要修改 serialVersionUID 字段，以避免反序列失败；如果完全不兼容升级，避免反序列化混乱，那么请修改 serialVersionUID 值。说明：注意 serialVersionUID 值不一致会抛出序列化运行时异常。
加密和非对称加密是现代加密技术中最基础也是最重要的两种加密方式，它们在保证信息安全传输方面扮演着重要角色。下面我将分别介绍它们的概念、区别、优缺点以及一些常见的算法。
Thrift是Facebook开源提供的一个高性能，轻量级RPC服务框架，其产生正是为了满足当前大数据量、分布式、跨语言、跨平台数据通讯的需求。 但是，Thrift并不仅仅是序列化协议，而是一个RPC框架。相对于JSON和XML而言，Thrift在空间开销和解析性能上有了比较大的提升，对于对性能要求比较高的分布式系统，它是一个优秀的RPC解决方案；但是由于Thrift的序列化被嵌入到Thrift框架里面，Thrift框架本身并没有透出序列化和反序列化接口，这导致其很难和其他传输层协议共同使用（例如HTTP）。
将一个请求封装为一个对象，从而使用户可用不同的请求对客户进行参数化；对请求排队或记录请求日志，以及支持可撤销的操作。
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。深入地从 IO、线程、数据结构、编码等方面剖析了 Redis “快”的内部秘密。65 哥深受启发，在学习 Kafka 的过程中，发现 Kafka 也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作。
大家可以回忆一下，平时都是如果将文字文件、图片文件、视频文件、软件安装包等传给小伙伴时，这些资源在计算机中存储的方式是怎样的。进而再思考，Java 中的对象如果需要存储或者传输应该通过什么形式呢？
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
引言：TARS框架及自有TARS协议在腾讯内部始于2007年。Google Protocol Buffers于2008年7月对外公布。随着微服务架构的发展及ProtoBuf的优异表现，目前在互联网上有着大量应用。此次腾讯与科大讯飞进行深度技术合作，将ProtoBuf与TARS自身的编解码协议进行集成，并于今天将TARS-PB正式对外开源！ （TARS-PB发布） protocol buffer protocol buffer(简称PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。go
后台开发，语言主要是 c 和 c++ , 这里简单罗列一下工作中用的很频繁的那些开源软件
TCP/IP协议模型（Transmission Control Protocol/Internet Protocol），包含了一系列构成互联网基础的网络协议，是Internet的核心协议。
静态资源： 所有用户访问后，得到的结果是一样的，称为静态资源，静态资源可直接被浏览器解析 如 html，css，JavaScript 动态资源： 不同用户访问后得到的结果不同，动态资源被访问后要先转换为静态资源，再返回给浏览器 如：servlet/jsp，php，asp
Java 在 JDK 1.4 引入了 ByteBuffer 等 NIO 相关的类，使得 Java 程序员可以抛弃基于 Stream ，从而使用基于 Block 的方式读写文件，另外，JDK 还引入了 IO 性能优化之王—— 零拷贝 sendFile 和 mmap。但他们的性能究竟怎么样？ 和 RandomAccessFile 比起来，快多少？ 什么情况下快？到底是 FileChannel 快还是 MappedByteBuffer 快……
原文链接：https://www.jianshu.com/p/25b328753017
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。
1、CPU，如果存在大量的计算，他们会长时间不间断的占用CPU资源，导致其他资源无法争夺到CPU而响应缓慢，从而带来系统性能问题，例如频繁的FullGC，以及多线程造成的上下文频繁的切换，都会导致CPU繁忙，一般情况下CPU使用率<75%比较合适。 2、内存，Java内存一般是通过jvm内存进行分配的，主要是用jvm中堆内存来存储Java创建的对象。内存的读写速度非常快，但是内存空间又是有限的，当内存空间被占满，对象无法回收时，就会导致内存溢出或内存泄漏。 3、磁盘I/O，磁盘的存储空间要比内存存储空间大很多，但是磁盘的读写速度比内存慢，虽然现在引入SSD固态硬盘，但是还是无法跟内存速度相比。 4、网络，带宽的大小，会对传输数据有很大影响，当并发量增加时，网络很容易就会成为瓶颈。 5、异常，Java程序，抛出异常，要对异常进行捕获，这个过程要消耗性能，如果在高并发的情况下，持续进行异常处理，系统的性能会受影响。 6、数据库，数据库的操作一般涉及磁盘I/O的读写，大量的数据库读写操作，会导致磁盘I/O性能瓶颈，进而导致数据库操作延迟。 7、当在并发编程的时候，经常会用多线程操作同一个资源，这个时候为了保证数据的原子性，就要使用到锁，锁的使用会带来上下文切换，从而带来性能开销，在JDK1.6之后新增了偏向锁、自旋锁、轻量级锁、锁粗化、锁消除。
疫情一过，我相信将会是面试求职的高峰时期，如果此时手里有份高质量的面试宝典，那么你将得心应手面对考官各种问题。虽然不敢保证你能应聘上心仪的职位，但是能保证看完这些内容你将会获的一些收获! 此份面试宝典是我工作几年搜集整理，最近再分享面试相关，今天的只是收集的一部分，之后还会继续更新面试题以及面试相关需要注意的问题等等！
在我们的项目中，我们没有采用默认的 Tomcat 容器，而是使用了 UnderTow 作为我们的容器。其实性能上的差异并没有那么明显，但是使用 UnderTow 我们可以利用直接内存作为网络传输的 buffer，减少业务的 GC，优化业务的表现。其实 Tomcat 也有使用直接内存作为网络传输的 buffer 的配置，即 Connector 使用 NIO 或者 NIO2，还有 APR 这种基于 JNI 的优化文件与请求传输的方式，但是 tomcat 随着不断迭代与发展，功能越来越完善以及组件化的同时，架构也越来越复杂，这也带来了代码设计与质量上的一些降低。对比 Tomcat Connector 那里的源代码与设计，我最终选择了更为轻量设计的 Undertow。至于不选 Jetty 的原因和 Tomcat 类似，不选 reactor-netty 的主要原因是项目还是比较新并且不太成熟，并且基于异步回调，很多时候异常处理不全面，导致最后诡异的响应并且异常定位成本比较高。
引言：TARS框架及自有TARS协议在腾讯内部始于2007年。Google Protocol Buffers于2008年7月对外公布。随着微服务架构的发展及ProtoBuf的优异表现，目前在互联网上有着大量应用。此次腾讯与科大讯飞进行深度技术合作，将ProtoBuf与TARS自身的编解码协议进行集成，并于今天将TARS-PB正式对外开源！ （TARS-PB发布） 视频内容 protocol buffer protocol buffer(简称PB)是google 的一种数据交换的格式，它独立于语言，独立于
序列化，就是把数据结构或者是一些对象，转换为二进制串的过程，而反序列化是将在序列化过程中所生成的二进制串转换成数据结构或者对象的过程。
https://app.diagrams.net/#G1PhnRks5A6CWAfC_PciixgG7DQYyq6nZv
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
IO的故事可以从2000多年前的始皇帝开始讲起。自从秦始皇统一六国以后，书同文，车同轨，统一货币度量衡，简单的说就是制定了一个统一的标准。而与本章有最大关系的就是“书同文”了。正是由于秦始皇统一了文字，所以今天不论是书籍还是网络，都有统一的文字标准，但是可惜的是，这个统一的标准只在国内是统一的。由于互联网将全世界的距离缩小到了你与屏幕的距离，这时候问题就出现了。
在前面介绍了IO的基本信息以及相关的函数：Kotlin I/O 的基本介绍 (zinyan.com)。而本篇将会基于上篇的介绍结合使用场景，介绍如何进行文件的复制拷贝等操作。
小编说：Meteor作为开源的全栈JavaScript开发平台，在工作方式上进行了较大创新，和传统Web 应用区别较大，对于任何一项技术，都有其擅长的领域，也有其不擅长的地方，Meteor也不例外。
最近在做算法工程端的时候，发现用户的相关特征比较大，如用户离线特征、实时曝光、实时点击等，如果按照常规方式存入Redis，则是每个用户所消耗的内存大小会是在50K-70K或者甚至更大。所以在想，用什么压缩工具序列化和压缩后存入Redis呢？以前做游戏服务器的时候用过Protobuf，序列化和反序列化性能都很好，所以想到了用Protobuf；压缩工具当时想选LZ4，发现我们的东西不是特别大的那种，所以用JDK自带的解压缩性能就能满足，故有了现在的这篇文章。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
