Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >自定义编码和压缩

自定义编码和压缩
EN

Stack Overflow用户
提问于 2013-03-23 15:26:50
回答 2查看 295关注 0票数 1

这是一个新手提出的两部分问题。

首先,我需要一个简单文本的编码(没有小写/大写的区别),并且我需要它比ASCII更节省空间。因此,我考虑创建自己的5位代码,包含32个字符的范围(字母表加上一些标点符号)。据我所知,所有的现代计算都是以字节为单位“思考”的,所以我无法真正定义我自己的5位编码,除非我真的求助于8位编码。

我想做的是:我定义自己的5位代码,并将文本保存在3个字符的块中,每个块保存为2个字节。每个块将占用总共15位,这些位将被存储在两个字节内(保存16位)。我可能会使用额外的比特进行奇偶校验,即使我实际上并不需要它。这种方法有意义吗?或者还有更好的方法吗?或者,我可以定义一个6位编码,并将文本保存到每个4个字符的块中,每个块保存在3个字节中。

问题的第二部分是:假设文本随后将被压缩(通过标准的文本无损算法,例如zip ),是否值得创建我自己的编码(如上所述)?或者,压缩算法是否会处理8位编码的空间低效问题,使压缩后的文件与最初使用5位或6位编码的压缩文件一样有效?如果是这样的话,对压缩前的文本使用5/6位编码就没有优势了,所以我会干脆跳过这一步。我需要从有经验的程序员那里知道,是什么情况?

谢谢大家

EN

回答 2

Stack Overflow用户

发布于 2013-03-23 19:20:31

压缩算法将更有效地为您处理编码。它将使用霍夫曼编码、范围编码或算术编码,以利用实际数据的统计信息,在每个字母中使用可变位数,甚至是分数位。如果您不尝试对字符进行预编码,将每个字符填充到少于8位的长度,这将会工作得更好。压缩算法通过在每个字节中找到的符号对统计数据进行计数,并在字节中查找重复的模式。

票数 1
EN

Stack Overflow用户

发布于 2013-03-23 19:21:09

  1. 你不需要担心“块”。只需将这5位附加到一个8位缓冲区中,当该缓冲区被填满时,将其清除并将剩余的位推入缓冲区。

唯一的歧义出现在消息的末尾,此时您可能有一个部分填充的缓冲区,尚未填充的位数为>= 5。因此:

a.您必须指定消息的长度(n*5位)或

b.您必须仅指定尾部位的长度(更有效)

  • 压缩算法实际上可能会受到自定义打包的不利影响-(取决于原始数据的类型,如文本)。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/15588510

复制
相关文章
Android-图片的压缩(质量压缩和尺寸压缩)
复习一下图片的压缩知识,今天来做一个总结。 参考:https://blog.csdn.net/baidu_38477614/article/details/78901107
android_薛之涛
2018/12/06
3.7K0
Android-图片的压缩(质量压缩和尺寸压缩)
MySQL表压缩和页压缩,难道只是空间压缩?
临近春节,相信每个公司都会进行全面巡检,无论是业务层还是数据库层,达到事前预防的目的;今天就来分享一下针对MySQL数据存储层面,在数据库存储来不及扩容的情况下,MySQL中的压缩方案;
SEian.G
2022/01/18
3.3K0
MySQL表压缩和页压缩,难道只是空间压缩?
数据压缩----霍夫曼树和霍夫曼压缩
霍夫曼压缩的思想:使用较少的比特表示出现频繁的字符而使用较多的比特表示使用较少的字符。这样表示字符串所使用的总比特数就会减少。 前提:所有字符编码都不会成为其他字符编码的前缀。使用霍夫曼树可以保证这个前提的成立。 构造霍夫曼树: 首先定义霍夫曼树的结点类: private static class Node implements Comparable<Node> { private final char ch; private final int freq; private fina
SuperHeroes
2018/05/30
7310
Nginx 静态压缩和代码压缩,提高访问速度!
但我们上班的心情,还是不能被这炎热的夏天所影响的,所以今天咋们来讲讲如何给前端访问加加速吧!!!
PHP开发工程师
2022/05/26
1.9K0
Nginx 静态压缩和代码压缩,提高访问速度!
使用zlib/gzip压缩和解压缩?(Flash和GALGAME使用的压缩格式)[通俗易懂]
甚至Flash格式版本6以后,增加了可压缩选项,用的是ZLib压缩(wxd:jrj.com.cn金融界flash数据就是这样,减少传输量)
全栈程序员站长
2022/09/13
8030
大数据压缩处理:数据分卷压缩和分卷压缩解压
 压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G
静谧星空TEL
2021/04/27
1.6K0
大数据压缩处理:数据分卷压缩和分卷压缩解压
netty系列之:自定义编码解码器
在之前的netty系列文章中,我们讲到了如何将对象或者String转换成为ByteBuf,通过使用netty自带的encoder和decoder可以实现非常方便的对象和ByteBuf之间的转换,然后就可以向channel中随意写入对象和字符串了。
程序那些事
2021/09/02
9400
php 解压缩 zip 和 rar 压缩包文件
项目涉及文档处理,用户上传的包括 zip 和 rar 压缩包,需要先将压缩包解压后再作处理。对于 zip 压缩包,由于 php 自带 zip 扩展,可以直接解压。
猿哥
2019/07/15
3.2K0
php 解压缩 zip 和 rar 压缩包文件
CentOS中zip压缩和unzip解压缩命令详解
以下命令均在/home目录下操作 cd /home #进入/home目录 1、把/home目录下面的mydata目录压缩为mydata.zip zip -r mydata.zip mydata #压缩mydata目录 2、把/home目录下面的mydata.zip解压到mydatabak目录里面 unzip mydata.zip -d mydatabak 3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip zip -r abc123.zip abc 123.txt 4、把/h
庞小明
2018/03/29
2K0
CentOS中zip压缩和unzip解压缩命令详解
以下命令均在/home目录下操作 cd /home #进入/home目录 1、把/home目录下面的mydata目录压缩为mydata.zip zip -r mydata.zip mydata #压缩mydata目录 2、把/home目录下面的mydata.zip解压到mydatabak目录里面 unzip mydata.zip -d mydatabak 3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip zip -r abc123.zip abc 123.txt 4、把/h
庞小明
2018/03/07
2.4K0
Linux下常用压缩 解压命令和压缩比率对比
常用的格式有: tar, tar.gz(tgz), tar.bz2, 不同方式,压缩和解压方式所耗CPU时间和压缩比率也差异也比较大。 1. tar 只是打包动作,相当于归档处理,不做压缩;解压也一样,只是把归档文件释放出来。 (1)打包归档格式: tar -cvf examples.tar files|dir #说明: -c, --create create a new archive 创建一个归档文件 -v, --verbose verbosely list files processed 显示创建
joshua317
2018/04/16
8.9K0
Linux下常用压缩 解压命令和压缩比率对比
使用ffmpeg压缩和拼接音频
很多商务人士在开会的过程中,会做录音。 录音可以用于及时地复习和回顾,避免忘记会议中的内容。 本文作者会展示一个完整的使用ffmpeg压缩和拼接音频的例子。 在例子中,3段会议的录音,如下图所示:
潇洒坤
2018/12/27
6.6K0
模型压缩:量化、剪枝和蒸馏
👆关注“博文视点Broadview”,获取更多书讯 近年来,BERT 系列模型成了应用最广的预训练语言模型,随着模型性能的提升,其参数规模不断增大,推理速度也急剧提升,导致原始模型必须部署在高端的GPU 显卡上,甚至部分模型需要多块显卡才能正常运行。 在移动智能终端品类越发多样的时代,为了让预训练语言模型可以顺利部署在算力和存储空间都受限的移动终端,对预训练语言模型的压缩是必不可少的。本文将介绍针对BERT(以Transformer Block 堆叠而成的深度模型)的压缩方法。 01 BERT模型分析
博文视点Broadview
2023/05/06
1.5K0
模型压缩:量化、剪枝和蒸馏
XtraBackup 的流式和压缩备份
Streaming mode, supported by Percona XtraBackup, sends backup to STDOUT in special tar or xbstream format instead of copying files to the backup directory.
wubx
2019/02/27
5.2K0
笔记 | Linux 归档和压缩命令
---- 参考来源:慕课网《Linux 达人养成计划 I》
悠风
2020/02/25
6230
模型压缩和优化板块上线
模型优化与压缩涉及到紧凑模型的设计,量化与剪枝以及相关的工业界使用技巧共3个大方向。最近会集中上线一些内容,已有内容欢迎大家预览。
用户1508658
2019/08/26
6870
模型压缩和优化板块上线
快速学习-Hive压缩和存储
执行成功后,/opt/software/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz 即为新生成的支持 snappy 压缩的二进制安装包。
cwl_java
2020/02/21
6010
快速学习-Hive压缩和存储
点击加载更多

相似问题

Tapir自定义编码c

14

OLEDB自定义编码

17

自定义编码Python

12

Wordpress与自定义编码

12

默认和自定义编码器的Django JSONField

15
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档