无论你是纯socket通讯，还是应用层的http，Rpc协议进行通讯，本质底层都是传输二进制流
前言 前段时间使用Python解析IDX文件格式的MNIST数据集，需要对二进制文件进行读取操作，其中我使用的是struct模块。查了网上挺多教程都写的挺好的，不过对新手不是很友好，所以我重新整理了一些笔记以供快速上手。 注：教程中以下四个名词同义：二进制流、二进制数组、字节流、字节数组 快速上手 在struct模块中，将一个整型数字、浮点型数字或字符流（字符数组）转换为字节流（字节数组）时，需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型，比如整型数字是'i'，浮点型数字是'f'，一个
做游戏开发，在进入游戏前需要先加载很多资源文件，以XML格式居多。一般我们的做法是将多个XML/txt文件打包压缩，之前使用的方法是先将资源文件使用winrar进行zip压缩，然后使用第三方的一个库nochump进行解压。但在实际游戏应用中，发现使用该库解压多个文件且单个文件较大时，占用的CPU一直居高不下，导致的一个现象就是玩家感觉这游戏好卡。
内存中的数据对象只有转换成二进制才可以进行数据持久化和网络传输。将数据对象转换成二进制的流程称之为对象的序列化（Serialization）。
之前有了个序FunTester测试框架视频讲解（序），反响不错，今天来讲讲测试框架中另外一个核心的类FanLibrary中获取HttpRequestBase对象的方法。
看到标题有点懵逼，哈哈，实际上是后端将文件处理成二进制流，返回到前端，前端处理这个二进制字符串，输出文件或下载
Hessian序列化是一种支持动态类型、跨语言、基于对象传输的网络协议，Java对象序列化的二进制流可以被其他语言（如，c++，python）。特性如下：
序列化是指把Java对象保存为二进制字节码的过程，Java反序列化是指把二进制码重新转换成Java对象的过程
Base64编码 是一种基于 64 个可打印字符来表示二进制数据的方法。目前 Base64 已经成为网络上常见的传输 8 位二进制字节代码的编码方式之一。
io模块提供了python用于处理各种类型I/O的主要工具，主要有三种类型的I/O：文本I/O，二进制I/O和原始I/O；这些都是通用类型，各种后备存储可使用其中的每一种类型，所以这些类型的具体对象称为文件对象。他通常的术语叫流和文件对象。每个具体流对象都具有各种功能：可以是只读，只写或读写。它可以允许任意的随机访问；向前或向后寻找任何位置或者只允许顺序访问如套接字或管道的情况下。所有的流都会检测提供给它的数据类型，如给二进制流str字符类型的write()的写方法将会引发一个TypeError异常。
参看《从二进制数据流中构造GDAL可以读取的图像数据》这篇文章。这个问题的内涵在于，处理图像时都会将其读取成宽X高X波段的三维数组的内存Buffer，但是图像文件本身却会被压缩成各种各样的数据类型（jpg、png、tif等）。在某些直接获取到数据流的情况下，可以直接在内存中构建GDAL数据集并进行读写操作，这样就可以避免磁盘IO的性能。
在很多时候我们都使用数据库才存储我们的数据，然而我们通常在数据库里面存放的数据大多都支持数或者是一些字符，那么如果我们想在数据库里面存放图片，那么应该要怎么做的？
报错:Undefined index: HTTP_RAW_POST_DATA的解决办法
对象序列化机制允许把内存中的Java对象转化成语平台无关的二进制流，从而允许把这种二进制流持久的保存在磁盘上，或通过网络将这种二进制流传输到另一个网络节点。
平时在开发中在进行数据持久化和网络传输时经常用到序列化，除了知道让对象实现Serializable接口这个操作，通过查看这个接口可以看到里面没有任何方法，对于其了解的并不深刻，本文来对这部分内容进行小结
我们知道C语言中用fopen函数打开一个文件流进行读写操作，C++的fstream提供了ofstream, ifstream, fstream来处理面向流的输入和输出，Python中则更为简单，你可以用with上下文配合open打开一个File对象来进行文件的读写。
处理二进制数据离不开python的struct模块，struct理解上你可以把它理解为c语言的结构体，使用该模块的pack和unpack方法，可以很容易的把二进制数据转换为常用的类型数据，如整型、字符型等 结构体如下：
protobuf全称Google Protocol Buffers，是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库。protobuf是一种灵活高效的独立于语言平台的结构化数据表示方法。在通信协议和数据存储等领域中使用比较多。protobuf对于结构中的每个成员会提供set系列函数和get系列函数。与XML相比，protoBuf更小更快更简单。你可以用定义protobuf的数据结构。用protobuf编译器生成特定语言的源代码，如C++，Java，Python等。
1、文本流有明确的结束符，二进制流没有明确的结束符，通过文件大小判断文件是否读取完毕
FlatBuffers 的使用和 Protocol buffers 基本类似。只不过功能比 Protocol buffers 多了一个解析 JSON 的功能。
本文将详细介绍MySQL乱码的成因和具体的解决方案。在阅读本文之前，强烈建议对字符集编码概念还比较模糊的同学 阅读下博主之前对相关概念的一篇科普：十分钟搞清字符集和字符编码 MySQL出现乱码的原因
对于 Blob，前端开发中可能比较少遇到；数据库中可使用 Blob 概念，例如 Mysql 存储二进制数据的类型就是 Blob，也就是说图片可存储于数据库中，以二进制格式存储
网络通讯在系统交互中是必不可少的一部分，无论是面试还是工作中都是绕不过去的一部分，本节我们来谈谈Java网络编程中的一些知识，本chat内容如下：
之前的文章介绍了StreamReader类，本文主要介绍StreamWriter类，我们先看一下StreamWriter的定义：
最近在项目中遇到了大文件分割上传问题，为了保证上传的文件的有效性需要确保分割的文件上传首先要成功，因此用到了md5加密，在js代码中上传文件之前将要上传的文件内容进行md5加密，然后作为其中一个参数传到后端服务器，后端再收到文件后对文件进行同样的md5加密，然后将两个md5值对比，验证成功则人为文件分割块是正确的，然后保存，但是却遇到一个问题：
一旦设置了enctype为multipart/form-data，浏览器即会采用二进制流的方式来处理表单数据，而对于文件上传的处理则涉及在服务器端解析原始的HTTP响应。在2003年，Apache Software Foundation发布了开源的Commons FileUpload组件，其很快成为Servlet/JSP程序员上传文件的最佳选择。
RPC概念及分类 RPC全称为Remote Procedure Call，翻译过来为“远程过程调用”。目前，主流的平台中都支持各种远程调用技术，以满足分布式系统架构中不同的系统之间的远程通信和相互调用。远程调用的应用场景极其广泛，实现的方式也各式各样。
Dubbo序列化支持java、compactedjava、nativejava、fastjson、fst、hessian2、kryo，其中默认hessian2。其中java、compactedjava、nativejava属于原生java的序列化。
字符编码知识：Unicode、UTF-8、ASCII、GB2312等编码之间是如何转换的？
1.1.1RPC名词解释 概念 全称Remote Process Call,即远程过程调用 rpc的实现包括服务的调用方和服务的提供方 过程 服务调用方发送RPC请求到服务提供方，服务提供方根据调用方提供的参数执行请求方法，将执行的结果返回给调用方，一次RPC调用完成 使用原因 单台服务器处理能力有限，RPC可提升系统处理能力和吞吐量，也是实现分布式计算的基础 1.1.2对象序列化 序列化原因 任何形式的数据都需要转换成二进制流在网络传输 概念 对象序列化-将对象转换为二进制流的过程 对象反序列化
字符串在编程中是使用频率最高的数据类型，像 web 网站中显示的中英文信息，使用记事本打开一个文本文件所看到的内容，软件呈现给用户的信息，包括你现在看到的文字，都属于字符串，可以说字符串无处不在。如果对字符串的编码不理解，编辑过程中非常容易出现乱码问题，相反如果懂编码，那么即使出现乱码，也可以自助解决。不同的编程语言对字符串的处理可能略有差异，但对字符串的编码原理却是相通的， 因此字符串和编码是每个准程序员必备知识，需要引起重视。
加载是第一阶段，因为此时的虚拟机中还没有class的相关信息，必须将class文件加载到虚拟机中才能进行接下来的操作。加载的过程主要分为以下3个步骤：
系统设计，协议先行。 大部分人不了解协议的设计细节，更多使用已有协议进行应用层设计，例如： （1）使用HTTP，设计 get/post/cookie 参数，以及json包格式； （2）使用dubbo，而不用去深究内部的二进制包头包体细节； 无论如何，了解协议设计的原则，对深入理解系统通信非常有帮助。 一、协议的分层设计 所谓“协议”，是双方共同遵守的规则，例如：离婚协议，停战协议。协议有语法、语义、时序三要素： （1）语法，即数据与控制信息的结构或格式； （2）语义，即需要发出何种控制信息，完成何种动作以
DataInputStream和DataOutputStream 继承了各自的FilterInputStream以及FilterOutputStream
我们知道在运行Java程序时，首先需要把源代码编译成二进制文件也就是class文件，然后虚拟机才能执行。那虚拟机在执行class文件时，都进行了哪些步骤呢。下面我们将详细分享一下。当类也就是class文件被加载到虚拟机内存开始，到卸载出内存为止。它将要执行以下7个步骤：
上面就是这个结果和源文件，你看是不是。代码逻辑：既然转换成字符流了，那么我事先构建了一个字符数组，然后循环从这个字符流通道里面读取数据，然后将每一次的结果存储在字符数组中，并输出。由于是字符数组，后一次的读取会覆盖掉上一次char[]里面的数据喽。
从我们码出 public class Cafe 的时候，可以说。这个种子 bean 就已经埋下了。然后我们将它通过前端编译器 javac 编译成了 Class 文件 。
使用010Editor可以查看class文件的详细信息（注意需要安装模板）：
Remoting: 网络通信框架，实现了 sync-over-async 和request-response 消息机制.
序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。
当服务器计算excel ，返回数据超级慢的情况下，需要加入 loadding 显示，采用 xhr.responseType = 'arraybuffer' 设置类型，进行 发送请求，回调回来的数据为 二进制流，设置 window.navigator.msSaveOrOpenBlob 支持 ie10+，搜狗浏览器兼容模式场景！
Paracelable是android自己的实现序列化的接口,是anroid推荐使用的.那么什么事序列化呢？简单来说就是将对象转换为可以传输的二进制流(二进制序列)的过程,这样我们就可以通过序列化,转化为可以在网络传输或者保存到本地的流(序列),从而进行传输数据 ,那反序列化就是从二进制流(序列)转化为对象的过程
一、从信息的传输说起 上图是一个典型的蓝牙耳机应用场景。手机上的音频信息经过编码以后通过蓝牙协议被蓝牙耳机接收，经过解码以后，蓝牙耳机成功获取手机上的音频信息，然后再转化为振动被人耳识别。 这是一个典型的数字通信系统。一个数字通信系统由若干部分组成，SBC编码属于哪一部分，在整个数字通信系统中起到什么作用呢？我们先看一下数字通信系统的一般模型。 信源即需要传输的信息。 信源编码即对信源的编码，目的是为了减少冗余，起到数据压缩的作用，常见的信源编码有Huffman编码、H.264编码等。 信道编码的
Intersystems SQL支持将流数据存储为Intersystems Iris ®DataPlatform数据库中的 BLOBs（二进制大对象）或 CLOBs（字符大对象）的功能。
使用FastJSON序列化时，栈内存溢出： 原因：需要被反序列化的实体类继承了一个类（DataEntity），该类中的一个递归方法陷入了死循环，最终导致栈内存溢出
1.背景介绍 团队开发的项目，前端基于Bootstrap+AngularJS，后端Spring MVC以RESTful接口给前端调用。开发和部署都是前后端分离。项目简单部署图如下，因为后台同时采用微服
我们看这个函数 onProto，一般有经验的可以看出来是一种tlv结构，去掉on剩下Proto谷歌开源了一个pb全称Google Protocol Buffer又简称Protobuf,，然后我们就可以一步一步分析下去，只要掌握了堆栈大法，我们就可以为所欲为的分析任意网站。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
