首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

这周在看的一本书

因为在准备6月峰会的内容。

最近在看很多关于人工智能、数字经济的书。

在这众多书里,目前有一本书最让我心动。

这就是詹姆斯·格雷克《信息简史》The Information: A History, a Theory, a Flood

无论从内容的深入浅出,还是文笔、译笔的轻松畅达,这本书都独具一格。

作者站在一个更宏达的视角来看待信息。

远古的人类已经懂得将信息具象成几种信号,用鼓声或烽火传递到远方。人类活动的增加,催化更多的信息。为了表达和传递这些信息,文字和数字应运而生。

尤其是作者对香农的信息论的解读更贯通,也精准到位。

记得自己第一次读到香农的信息论时,那种感觉就像是被电到一样。

第一次有人这样清晰醒目地定义了信息——

信息是不确定性,是出人意料,是困难程度,是熵。

按照通常概念,通信的基本问题是使自己的意图被人理解,是传递意义。但香农描绘的场景却大为不同:通信的基本问题是,在一点精确地或近似地复现在另一点所选取的讯息。

结合这本书的内容,分享3点我对香农信息的理解。

1)

香农将信息定义为用来消除随机不确定性的东西。

“信息量=负熵”

借着香农的这一定义,可以解释许多疑惑。

比如,我们常会提到某某人的某某话信息量很大。

这里的信息量,便是一种误导。

这不是信息量,而是一种信息熵。

2)

比特是信息的最小单位。

一比特信息,就是我们在两个出现概率相等的可能选择中做出决策时所需的信息量。

3)

一个非此即彼的二元选择,传递一个比特信息。

如书中举过一个例子:在美国独立战争爆发前夜,波士顿旧北区教堂的灯笼也同样给保罗·里维尔(Paul Revere)传递了一个珍贵的比特:一盏灯代表英国人走陆路,两盏灯代表英国人走海路。

此外,香农还曾调皮地引用《新约·马太福音》第5章第37节的话:“你们的话,是,就说是;不是,就说不是;若再多说,就是出于那恶者”,以此解释比特与冗余。

1949年夏的一天(那时《通信的数学理论》单行本还尚未出版),香农曾用铅笔在一张笔记本活页上,自上而下画了一条竖线,并在旁边依次写下了10的幂,从100到1013。

他将这条坐标轴命名为“比特存储容量”。

然后,他开始列举一些可用来“储存”信息的东西。

在当时的香农估计中,一小时的电视节目大约有1011比特信息,而一小时的“彩色电影”就要超过1012比特。

最后,就在表示1014的铅笔标记之下,香农写下了他所能想到的最大的信息仓库:美国国会图书馆。

尽管香农先知般地定义了信息与比特,但他却未曾料及之后人类社会蓬勃汹涌的信息量。

▇翼之说:

你好,我是王翼之。

新的一年里,让我们一起发现更多的可能性。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230329A09XJ200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券