高性能序列化:Java与Google Protocol Buffers
高性能序列化：Java与Google Protocol Buffers
高性能序列化是指在数据传输和存储过程中，以高效、快速的方式将数据结构转换为二进制格式的过程。Java与Google Protocol Buffers是高性能序列化的一种实现方式，它具有轻量、高效、可扩展等优点。
Java与Google Protocol Buffers的结合可以实现数据的高效序列化和反序列化，适用于各种应用场景，如网络通信、数据存储和RPC（远程过程调用）等。
Java与Google Protocol Buffers的优势：
- 高效：Protocol Buffers使用二进制格式进行数据序列化，减小数据量，提高传输速度。
- 可扩展：Protocol Buffers支持向后兼容的数据结构更新，使得数据序列化和反序列化不会出现问题。
- 简单易用：Protocol Buffers提供了简单的IDL（Interface Definition Language），用户可以通过编写.proto文件来定义数据结构，并自动生成对应的Java代码。
- 跨平台：Protocol Buffers支持多种编程语言，如Java、C++、Python等，可以实现跨平台的数据序列化和反序列化。
Java与Google Protocol Buffers的应用场景：
- 网络通信：在分布式系统中，通过RPC（远程过程调用）进行数据交换时，可以使用Protocol Buffers进行高效的序列化和反序列化。
- 数据存储：在数据存储过程中，可以使用Protocol Buffers将数据结构转换为二进制格式，节省存储空间。
- 数据交换：在不同系统之间进行数据交换时，可以使用Protocol Buffers实现高效的数据序列化和反序列化。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云负载均衡：https://cloud.tencent.com/product/clb
- 腾讯云API网关：https://cloud.tencent.com/product/tga
注意：本回答中未提及其他云计算品牌商。
相关·内容
我最近偶然发现了Google的Protocol Buffers，这是我正在关注的一个Kickstarter项目，Lifx计划发布一个使用Protocol Buffers作为接口的SDK。我想知道是否有人知道有任何现有的应用程序或服务提供Protocol Buffers API？我只是想获得一些玩它的经验。
浏览 5提问于2013-03-16得票数 0
我想为我的cpp项目安装protobuf，我用apt-cache search protobuf搜索了protobuf，结果显示：
libmirprotobuf-dev - Display server for Ubuntu - protocol definition
libmirprotobuf0 - Display server for Ubuntu - protocol implementation
libprotobuf-dev - protocol buffers C++ library (development files)
libprotobuf-lite8 - pr
浏览 0提问于2016-01-26得票数 2
2回答
如何在Google Protocol Buffers 3.0中处理继承？
Java等效代码：
public class Bar {
String name;
}
public class Foo extends Bar {
String id;
}
什么是Proto等价代码？
message Bar {
string name = 1;
}
message Foo {
string id = 2;
}
浏览 4提问于2016-12-20得票数 60
回答已采纳
我们正在研究传输/协议解决方案，并即将进行各种性能测试，所以我想我应该向社区确认一下他们是否已经这样做了：
有没有人做过简单回显服务的服务器性能测试，以及各种消息大小的序列化/反序列化测试，比较了EJB3、Thrift和Protocol Buffers在Linux上的性能？
主要的语言是Java、C/C++、Python和PHP。
更新:我仍然对此非常感兴趣，如果有人做了进一步的基准测试，请让我知道。此外，非常有趣的基准测试显示，压缩的JSON的性能与Thrift / Protocol Buffers相似/优于Thrift/Protocol Buffers，所以我也会把JSON放在这个问题上。
浏览 15提问于2008-11-17得票数 70
回答已采纳
我想要读取BigQuery日志条目来做一些分析。但我好像没法把protoPayload.value解码。我尝试过摆弄google-proto-files和protocol-buffers包，但我觉得这里遗漏了一些非常明显的东西……
const Logging = require('@google-cloud/logging');
const protobuf = require('protocol-buffers');
const protoFiles = require('google-proto-files');
const protoP
浏览 0提问于2018-06-20得票数 4
6回答
序列化java对象图的最佳方法是什么？
我对序列化库的要求是1)反序列化的速度2)大小-尽可能小(小于java默认序列化) 3)灵活性-必须序列化的内容的基于注释的定义会很好。
底层文件格式并不重要。
我研究了Protocol Buffers和XStream，但前者由于需要映射文件而不够灵活，而后者会生成大文件。
感谢您的帮助。
浏览 3提问于2009-04-04得票数 7
回答已采纳
1回答
有人听说过构建在Google Protocol Buffers上的企业级数据库抽象层吗
我可以预见，从移动计算一直到企业系统开发，这样的DB工具集都会有很大的可能性。
浏览 6提问于2013-07-03得票数 2
3回答
我正在读Google Protocol Buffers。我想知道是否可以Serialize C++ object并通过网络将其发送到java中的Java服务器和Deserialize，并对字段进行内省。
相反，我希望将任何语言的对象发送到Java Server。并在那里反序列化它。
假设下面是我的.proto文件
message Person {
required int32 id = 1;
required string name = 2;
optional string email = 3;
}
我在上面运行了protoc并创建了一个C++对象。基本上，现在我想将序列化后的流发
浏览 0提问于2013-06-13得票数 0
回答已采纳
谷歌官方提供了一个Google Protocol buffers的C++实现，但我正在寻找一个C实现。
我自己不会使用它，但我希望我可以使用这个工具为我们的Google Protocol Buffer定义生成C代码，然后我可以将这些代码交给C开发人员。
我不寻找任何RPC功能，只是对Google Protocol Buffer消息进行编码和解码。
浏览 0提问于2010-09-09得票数 18
回答已采纳
对于跨语言over-the-wire二进制格式，你会推荐Google Protocol Buffers或Caucho Hessian吗？或者其他任何东西，比如Facebook Thrift？
浏览 3提问于2009-01-20得票数 9
2回答
我正在做一个需要通过网络发送和接收数据的程序。我从来没有处理过对象序列化。我读到了一些关于Boost和Google Protocol Buffers的建议。在Linux中使用哪个是最好的？
如果你知道一些其他的，我将感谢你的帮助。
谢谢。
浏览 5提问于2010-07-06得票数 2
回答已采纳
我有多台计算机在处理同一个问题，我需要每台计算机都能将解决方案广播给其他计算机。
有没有可能通过Google Protocol Buffers获得这个功能？
浏览 2提问于2012-10-16得票数 1
回答已采纳
我有一些尝试从Java套接字读取Google Protocol Buffer消息的代码。但是，如果mergeDelimitedFrom()方法读取无效数据，或者如果套接字连接被重置(可能还有其他原因)，它可能会抛出IOException。如果连接被重置，我希望退出循环，但如果这只是一条无效消息，我希望继续运行。一种想法是只有某种类型的异常计数器，并在X个连续失败后退出，但我希望能够找出发生什么类型的错误，而不是蒙在鼓里。
这基本上就是我的代码：
while (m_Running)
{
SomeMessage message = null;
try
{
f
浏览 2提问于2012-09-29得票数 0
我正在尝试使用Google的Protocol Buffers ( Java)编写一种“可扩展”的文件格式。API应该可以读取数据，并返回一个“容器”消息(已知类型)，其中包含一些未知类型的其他消息(但API调用者知道这些消息)。
在PB定义和Java代码中，有哪些可能的方法来做到这一点？
一种显而易见的方式是将实现未指定消息的类名与包含消息数据的字节数组一起存储在“容器”消息中。但我不知道如何使用反射从它的类和字节数组创建消息。
另一种方法可能是使用“扩展”机制，但我真的不知道如何做到这一点？
浏览 0提问于2011-12-29得票数 1
我在网上搜索，但找不到任何有用的东西。首先，我在考虑使用Protocol Buffers，但它没有提供内置的功能来跟踪多个消息(一个消息结束，第二个消息开始)或消息自定界，但我在Thrift白皮书中读到了这个功能，对我来说似乎很好。现在我正在考虑使用Thrift而不是Protocol Buffers。
我正在为我不需要RPC的自定义协议工作，有人能建议我是否可以在没有RPC的情况下使用Thrift (因为它在protocol Buffers中，一个简单地使用streams函数)和一些起点，因为thrift文档有点麻烦。
谢谢!
浏览 1提问于2014-03-25得票数 4
在JavaScript中使用Google Protocol Buffers是一个很好的选择，还是使用JSON更好？
另外，如果有人能给我一个简单的关于JavaScript中协议缓冲区实现的例子，那就太好了。谷歌网站上的文档非常稀缺。
浏览 5提问于2011-08-02得票数 86
回答已采纳
4回答
我想要一个基本的消息传递/RPC系统。我可以使用序列化系统，但我想要某种类型的验证，以确保两端同步。我看过Google Protocol Buffers，但我对代码生成不是很感兴趣。还有其他选择吗？
浏览 3提问于2010-05-29得票数 16
1回答
我需要将数百万个Java POJO写入磁盘，并从磁盘读取它们，而且我需要快速完成这项工作。
我更愿意避免定义一个单独的模板文件，因为我认为Thrift和Google Protocol Buffers需要这样做。相反，如果Java类本身是对象的权威规范(就像Java序列化、Gson和其他序列化协议一样)，则更可取。我意识到这里可能会有一点性能影响，但只要不是慢一个数量级，它就没问题。
要序列化的类由几个简单的long和String字段和单个Map (其中该map中的值都是Numbers或String)组成。
有没有人能推荐一些我应该看看的库呢？
浏览 0提问于2011-09-15得票数 2
回答已采纳
我是ISIS的新手。
在运行./qview应用程序时，将显示以下错误。
[libprotobuf FATAL google/protobuf/stubs/common.cc:68] This program requires version 3.9.0 of the Protocol Buffer runtime library, but the installed version is 3.5.1. Please update your library. If you compiled the program yourself, make sure that your headers a
浏览 14提问于2022-01-13得票数 0
回答已采纳
3回答
我刚刚意识到CF3.5不支持二进制格式化程序。我正在使用它通过网络发送对象，现在需要使用其他东西来序列化我的数据……我听说过Google protocol buffers，但发现一个版本在CF下有一个bug……
哪种序列化框架适合CF？
更新:我忘了提一下，我需要一个商业产品...所以GPL帮不上忙
浏览 1提问于2010-07-13得票数 1
回答已采纳
我在调查
implementation "androidx.datastore:datastore-core:1.0.0-alpha01"
implementation "com.google.protobuf:protobuf-javalite:3.10.0"
通过此
我不明白为什么关联的DataStore生成的类是Java
我以为Google宣布Kotlin已经取代Java成为主要的Android开发语言？
我的印象是Kotlin比Java有很多优势
问题是proto buffers不支持Kotlin吗？
浏览 0提问于2020-09-04得票数 1
2回答
在这篇文章中：Google protocol buffers compare，我看到了在C++中比较协议消息的几种方法。 我尝试使用msg.DebugString()、SerializeToString()和MessageDifferencer::Equal()进行负载比较。这三种方法给出了不同的结果： DebugString显示两条消息相等，而另外两条消息显示不相等。 由于消息太长(>2000字节)，而且是多层递归，所以看不出有什么区别。 有没有人知道这些方法的区别，哪种方法是最好的？
浏览 368提问于2021-09-26得票数 0
Display_Info是一个SQL存储过程，有三个输入参数和三个输出参数。Info_Data(序列化信息数据也可能包含unicode和null值)，其中一个输出参数以前是NVARCHAR(1000)类型。由于现在info_Data的尺寸越大，它的类型就会改变(最大)。当与NVARCHAR(1000)类似时，在客户端应用程序中执行存储过程没有问题，但是在将存储过程更改为NVARCHAR(MAX)之后，客户端应用程序将抛出错误，类似于“至少有一个包含不支持的类型的参数”。SQL存储过程设计如下所示。
Create Display_Info @channel NVARCHAR(100)
,
浏览 2提问于2015-09-14得票数 3
回答已采纳
3回答
RPC框架是否可用？
、、、、
我希望使用内部使用的RPC框架。框架必须是跨语言的。我现在正在探索Apache Thrift。Google protocol Buffers并不提供确切的RPC功能。除了节俭，我还有哪些选择？(我的服务器将主要是Java，客户端将是Java、Python、PHP)。
浏览 1提问于2010-09-02得票数 10
我看到很多人提到了Thrift和Protocol Buffers，但我真的不明白它们是用来做什么的。据我有限的理解，它们基本上是在你想要进行跨语言序列化时使用的，也就是说，当你想要将一种语言的一些数据结构发送到另一种语言编写的程序时。
这是正确的吗？它们有没有别的用途？
(根据我有限的理解，我认为Thrift和Protocol Buffers基本上是同一事物的两个不同版本--请随时纠正我或详细说明。)
浏览 0提问于2011-10-13得票数 13
回答已采纳
4回答
有没有在项目中使用过Java Kryonet库的人愿意分享他们的经验？我已经看过它推荐了几次，但实际上还没有看到任何人谈论他们使用它的经验。
具体地说，我希望确保它是可靠的和相对稳定的。或者我应该考虑在自定义网络代码中使用像Google protocol buffers这样的工具？
谢谢!
浏览 0提问于2011-03-18得票数 3
我一直在尝试在我的Python程序中使用protocol buffer，但无法使其正常工作。我运行的是Windows8机器，并且已经尝试过Python 2.7.6和Python 3.3。我下载了Python的二进制协议缓冲区编译器，并使用它从我的myProto.proto文件生成myProto_pb2.py，但是当我运行Python程序时得到以下错误：
在“导入Python2.7.6”行中，当从protocol buffers版本2.5中使用myProto_pb2 2.7.6时，我得到了以下错误：
from google.protobuf import descriptor as _descr
浏览 1提问于2014-01-18得票数 9
1回答
我目前正在做一个使用Protocol Buffers库的项目。
目前，我正在尝试生成一个jar文件。虽然这很好，但它不能运行。当我尝试通过这个方法编译项目中的每个类时(我使用的是Macbook Air)：
bash: find . -iname "*.java" > sources.txt
bash: java @sources.txt
但是，此操作失败，并打印出以下消息(明显缩短)：
./protobuf/build/java/intergroup/board/Board.java:9: error: package com.google.protobuf does n
浏览 0提问于2017-04-18得票数 0
要编译Python的proto文件，我可以 protoc -I=.--python_out=$DST_DIR sommem.proto 基于https://developers.google.com/protocol-buffers/docs/pythontutorial 或 python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. some.proto 基于https://grpc.io/docs/languages/python/basics/#generating-client-and-server-code
浏览 120提问于2020-06-30得票数 4
回答已采纳
我想把protobuf (由grpc生成)转换成JSON。 我知道在使用protobuf时，你可以使用：JSonFormat ( https://developers.google.com/protocol-buffers/docs/reference/java/com/google/protobuf/util/JsonFormat )，但protobuf-lite ( implementation 'com.google.protobuf:protobuf-lite:3.0.0' )中并没有包含它，它是在安卓protobuf-gradle-plugin ( https://
浏览 64提问于2019-10-08得票数 1
2回答
用例:一个Java进程和一个或两个C++进程，总是在同一台机器上。需要双向、二进制、非持久通信。其中一个C++进程负责实例化其他进程。
我环顾了一下，看到了XML/JSON-RPC、Protocol Buffers、Thrift、zeromq等。
如果可能的话，可移植性很好，但需要Windows XP/7。
浏览 0提问于2012-05-09得票数 5
回答已采纳
2回答
我想从Spring引导应用程序中获得一个protobuf消息对象的列表。
我成功地从应用程序中获得了一个protobuf消息对象，但是获得它们的列表会引发异常。
...
2020-01-24 14:57:02.359 ERROR 15883 --- [nio-8081-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing fail
浏览 38提问于2020-01-24得票数 3
回答已采纳
我开始将自定义序列化机制迁移到Protocol Buffers。一种特别常用的数据类型是BigDecimal。
有没有人知道在Protocol Buffers中序列化它的好方法？我们当前的序列化例程使用BigDecimal.toPlainString()进行序列化，使用new BigDecimal(String)进行反序列化-我假设有更好的方法。
我的猜测是将BigDecimal定义为：
message BDecimal {
required int32 scale = 1;
required BInteger int_val = 2;
}
但是我不太确定如何定义BigInte
浏览 0提问于2009-06-26得票数 35
回答已采纳
5回答
Python风格的C++酸洗？
、、、、
有没有人知道C++中有一种“语言级”的酸洗工具？我不想要像Boost serialization或Google Protocol Buffers这样的东西。相反，它可以自动序列化一个类的所有成员(可以选择排除一些成员，因为它们是不可序列化的，或者因为我不想保存它们以备以后使用)。这可以通过在解析时执行一个额外的操作来完成，该操作将生成处理自动序列化的代码。有没有人听说过这样的事情？
浏览 2提问于2010-11-11得票数 11
回答已采纳
我正在使用cocoaasyncsocket将Google Protocol Buffers (使用)的数据发送到Java服务器。这一切都很好，但是对于大于128字节的消息(protoToSend)，我遇到了问题，因为Java服务器无法正确读取消息长度，我认为这是因为我从Objective C发送了错误的长度。
我目前发送的数据如下：
AsyncSocket *socket;
- (void)sendProtoToServer:(RequestMessage *)protoToSend {
NSData *d = [protoToSend data];
int s = [
浏览 0提问于2011-07-14得票数 2
回答已采纳
n@rjn-Oryx-Pro:~$ python
Python 2.7.12 (default, Dec 4 2017, 14:50:18)
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
import tensorflow
[libprotobuf FATAL google/protobuf/stubs/common.cc:61] This program requ
浏览 0提问于2018-04-28得票数 0
1回答
我想知道protocol buffers在解析数据流时是如何处理损坏的数据的。有没有办法知道数据是否已经损坏。
protocol buffer是否提供了任何内置的数据完整性检查机制？
谢谢,
浏览 0提问于2014-06-23得票数 5
我在Python应用程序中使用Google。通过对protobufs的实验，我发现在基于CPP的python实现中，Protobuf消息的创建要比基于Python的Python实现慢得多。
与纯基于python的Protobuf消息创建相比，使用PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp创建消息的速度要慢2-3倍。
这是意料之中吗？我发现SerializeToString和ParseFromString在cpp版本中都更快。随着消息大小的增加，每种情况下的差异都会扩大。
我正在使用python的标准timeit模块对这些任务进行计时。
(使用的2.4.
浏览 9提问于2013-12-20得票数 2
回答已采纳
1回答
嗨，我安装了tensorflow
当我运行python脚本时，会得到以下错误：
libprotobuf FATAL google/protobuf/stubs/common.cc:61] This program requires version 3.5.0 of the Protocol Buffer runtime library, but the installed version is 2.6.1. Please update your library. If you compiled the program yourself, make sure that your heade
浏览 0提问于2019-02-04得票数 0
回答已采纳
嘿，有人建议我使用Protocol Buffers，在android应用中使用Protocol Buffers而不是JSON来传输数据是个好主意吗？
我正在考虑性能，库大小，以及这是否容易将JSON格式转换为PB格式。
浏览 0提问于2011-03-29得票数 1
你知道结合使用Google Protocol Buffers和GWT的例子吗？
浏览 2提问于2009-11-25得票数 1
回答已采纳
我花了一些时间寻找一些替代方案来处理泛型对象，我看到了类似于我的问题，但我想没有那么具体？Protocol buffers有多个标量类型可供我使用，但它们大多是原始类型。我希望我的消息是灵活的，并能够有一个字段，是某种类型的列表。
假设我的.proto文件是这样的：
message SomeMessage
{
string datetime = 1;
message inputData // This would be a list
{
repeated Object object = 1;
}
mess
浏览 3提问于2012-09-07得票数 14
回答已采纳
1回答
我试图在基于Java的项目(web-app)中使用协议缓冲区。我下载了zip Protocol Buffers 2.4.0a full source(C++,Java,Python) & Protocol Buffers 2.4.0 compiler-Windows binary。
我能够构建.proto文件并使用protoc编译器为我的项目生成所需的java类。然后我包含了java folder(protobuf-2.4.0a\java\src\main\java......)。包含在PB下载的压缩源代码到我的项目的src目录中。但是，正如我在IDE中所看到的，这些文件的一些依赖关系
浏览 1提问于2011-03-09得票数 3
回答已采纳
我正在测试tensorflow，它基于protobuf 3.0.0-b3/30.0-b2。但是当前的Ubuntu16.04存储库附带了Protobuf2.6.1.因此，当我测试我的tensorflow代码时，我会遇到以下错误消息：
[libprotobuf FATAL google/protobuf/stubs/common.cc:61] This program requires version 3.0.0 of the Protocol Buffer runtime library, but the installed version is 2.6.1. Please update yo
浏览 0提问于2016-07-18得票数 5
我正在尝试使用Protocol Buffers来生成Scala case类。 基本设置为: 1.In project/plugins.sbt： addSbtPlugin("com.thesamet" % "sbt-protoc" % "1.0.0")
libraryDependencies += "com.thesamet.scalapb" %% "compilerplugin" % "0.10.10" 2.在build.sbt中： name := "GeoService"
浏览 27提问于2021-09-21得票数 0
回答已采纳
8回答
我试图安装，但是它出现了一个错误：
TypeError: Descriptors cannot not be created directly.
If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc >= 3.19.0.
If you cannot immediately regenerate your protos, some other possible workarounds are:
1. Downgrade th
浏览 197提问于2022-05-31得票数 105
4回答
协议缓冲区与JSON或BSON
、、、、
有没有人有任何关于Protocol Buffers与BSON (二进制JSON)或JSON的性能特征的信息？
Wire sizeSerialization speedDeserialization 的速度
这些看起来像是通过HTTP使用的很好的二进制协议。我只是在想，从长远来看，哪个更适合C#环境。
这是我在和上读到的一些信息。
浏览 91提问于2010-01-05得票数 93
回答已采纳
我想创建一些实现Android的Parcelable接口的模型类，但我希望这些类在Android外部可用。我想过为所有这些模型类实现一个包装器(它们以相同的方式序列化，在内部使用Google Protocol Buffers )，但我不确定该怎么做。
假设我有一个接口模型和一个实现类ModelImpl。目前，模型扩展了Parcelable，但我想将模型和ModelImpl从Parcelable中分离出来，改为使用ParcelWrapper。最好，这一切都应该是类型安全和良好的。对于如何解决这个问题，有什么建议吗？
当然，如果我遇到一个解决方案，我会把它贴在这里。
谢谢！:)
浏览 0提问于2012-11-07得票数 3
回答已采纳
看看Thrift和Google Protocol Buffers来实现一些快速的RPC代码。如果生成的C++代码在windows上编译(这是我需要的)，Thrift将是完美的。当然，GPB创建了RPC存根，但没有实现。
有没有办法让Thrift Windows变得友好？或者，更好的是，是否有任何RPC实现可免费用于生成的Java存根( C++对应物也很好，但不是必需的)。
谢谢
浏览 0提问于2010-03-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
