前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >信息年龄、新鲜度、数据寿命、边缘计算等读书报告

信息年龄、新鲜度、数据寿命、边缘计算等读书报告

作者头像
小锋学长生活大爆炸
发布于 2021-03-03 03:00:46
发布于 2021-03-03 03:00:46
2.8K0
举报

参考文献

什么是信息年龄,信息年龄是衡量什么的指标?

几十年来,当前和未来网络最关键的性能指标一直是端到端延迟、吞吐量能效和服务可靠性。为了有效地刻画信息新鲜度,2011年法国阿维尼翁大学的Altman等提出了信息老化的概念,用于定量研究互联网用户基于较小信息更新成本获取信息服务费的问题。同年,为了刻画车联网中远程系统获取的状态信息在更新过程中的新鲜程度,美国罗格斯大学的Kaul等正式提出了信息年龄(AoI, age of information)的概念。

它是一个新的度量标准,可理解为最新接收的数据包从生成到被接收经过的时间。

传统的数据通信更多关注的是信息传输的时延,即数据从发送时刻到被接收时刻之间的时间间隔;而实时更新应用则更关注信息的时效性,即数据从产生时刻到被使用时刻之间的时间间隔。与人类年龄相似,数据产生后,随着时间的单向流逝,数据信息的陈旧程度也随之单向增大,不断“老化”。为了使用户有良好的感知体验,信息产生后应尽可能及时地被使用,确保使用的信息尽可能是新鲜的。

物联网的发展催生了各类实时监测系统(如智能驾驶)和状态更新系统(如工业控制)的部署与应用。对于上述系统而言,信息新鲜度至关重要。若目的端接收的是过时信息,可能会降低系统决策的准确性和可靠性,并造成巨大的安全隐患。

与吞吐量和延时的联系是什么,区别是什么?

网络传统的性能度量指标,如吞吐量和时延,并不能有效地刻画系统中的信息新鲜度,故不再适用于面向实时状态更新类应用的网络设计

随着科技的发展和技术的进步,各种传感器设备不断普及,几乎遍及每个角落,它们主要用于信息的采集和传输,以支撑环境监测、车辆定位、异常检测等应用。这类信息的时效性尤其重要,其重要性也与时效性正相关,一般随着时间的流逝其重要性急剧下降。为了衡量信息的时效性,学者们提出了信息年龄这一指标。信息年龄可以用来衡量一个网络中信息的时效性,信息年龄的含义是指从信息产生到当前时刻为止的时间差,和时延最大的区别在于信息年龄不仅仅包含信息的传输时延,还包括信息在源节点的等待时间以及在目的节点的停留时间。对于包含多个源节点的信息更新网络,假设每个源节点需要收集信息,并汇聚到同一个目的节点,则在目的节点包含每个源节点的信息年龄。

为了保证网络中信息的时效性,一般期望信息采集节点尽可能快的进行信息采集,但是由于网络资源有限,如果所有的节点都以较快的速率进行信息采集,将会导致网络负载较大,甚至导致网络拥塞,反而使得数据包无法有效的到达目的节点。因此,在网络资源受限的情况下,存在一个最佳的信息更新策略。为了得到最佳的信息更新策略,一般以最小化平均信息年龄或者峰值信息年龄为目标函数进行求解。平均信息年龄为一段时间内所有源节点的信息年龄的平均值,而峰值信息年龄则表示为一段时间内所有源节点的信息年龄的最大值。此外,信息更新策略还与节点排队策略有关,常见的排队策略有先入先出、先入后出、按优先级等。

基于信息年龄,如何定义新鲜度函数?

平均年龄和平均年龄分布都可以用来表征系统的信息新鲜度。

基本系统模型

使用一个简单的队列模型表示基本系统模型,其中在源s处生成的包需要到达用d表示的目的地。队列中包的存储是瞬时的,因此包到达队列。状态更新生成是平均速率为λ的随机过程,数据包以平均服务速率μ进行传输。

考虑由一对源—目的节点对构成的通信系统,假定更新分组在

时刻生成,相应地,在

时刻到达目的端,在任意t时刻,目的端接收最新更新的索引为

最新更新产生的时间戳为

在任意t时刻,AoI的数学表示为

状态更新的时间平均年龄是图中锯齿函数下按观察时间间隔归一化的面积。在一个区间(0,T)中,平均年龄是

对于每个源节点的信息年龄,定义为最新的信息的年龄,即每收到一个来自该源节点的新的数据包,目的节点中对于该源节点的信息年龄则变更为最新信息的信息年龄,否则该源节点的信息年龄线性增长。因此,目的节点中每个源节点的信息年龄都为锯齿形,

Aol的例子

式的积分可以计算为△(t)下的面积。当T→oo时,△T的时间平均值趋于集合的平均年龄,即

此外,让

为状态更新生成的稳态速率。

利用不相交区域Qi进行基本操作后,对于i >= 1,状态更新系统中的平均AoI为:

其中

,E[]是期望算子。Y和T分别对应于更新包的到达间隔时间和系统时间的随机变量。

第i个间隔时间定义为第i次更新的生成与前一个更新生成之间的间隔时间,因此Yi为随机变量

并且

为第i次更新的系统时间,对应于队列等待时间与服务时间之和。

此外,观察到随机变量Y和T是相互依赖的,这使得一般情况下平均年龄的计算变得复杂,因为我们不知道它们的联合分布。直观地说,对于固定的服务速率,减少到达间隔时间对应于系统中的数据包。流量的增加导致系统时间的增加。另一方面。较大的到达间隔时间允许队列清空,因此延迟更小。因此,Y与T呈负相关,如图所示。

Y和T呈负相关

AoI已成为继吞吐量、时延等传统网络性能指标外一个新的网络性能指标,并且逐渐受到广泛重视。

数据项新鲜度。(a)新鲜。(b)非新鲜。

基本上,重叠部分越大,内容就越新鲜(如果源和路由器位于同一位置,在数据包传递中没有延迟,那么100%的新鲜度就可以达到)。据此,瞬时数据项的新鲜度可定义为:

路由端,数据项到达时间tarr;在源处,数据项产生/可用的时间tgen(边缘网络路由);在网络中,数据项的寿命T。路由考虑长度为T的两个时间窗,根据时间tgen和tarr,确定这两个时间窗口之间有多少重叠。简而言之,当路由接收到的数据年龄小于它的生命周期T时,该数据被认为具有一定的数据新鲜度。

信息年龄与哪些因素有关,如何建立与相关影响因子的量化关系式?

总而言之,Aol是由两个因素决定的:

(i) 与系统时间T相对应的处理/传输延迟;

(ii) 源用于生成状态更新的模式。

以FCFS的M/M/1系统为例,假设队列是稳定的,到达率对应于系统吞吐量,平均到达间隔时间E[Y]与到达率成反比,即λ= 1 / E [Y],服务利用率ρ,生成速率λ,服务速率μ。平均年龄可得:

μ=1的M/M/1队列的平均AoI、平均吞吐量λ和平均系统时间T

较小的到达间隔时间会导致较高的系统平均时间和平均Aol。另一方面,较大的到达间隔时间导致较低的系统平均时间和较高的平均Aol。

对于FCFS的D/M/1系统,状态包在固定的时间D内生成,λ=1/D。我们可以把年龄的表达式写成

式中,W(.)为Lambert W函数,利用率ρ=1/(μD)。

对于FCFS的M/D/1系统,状态速度λ,服务时间是确定的:Si=D。

如何优化系统的信息年龄?优化目标是什么,约束函数是什么?

对于固定μ,我们可以通过λ或者ρ= λ/μ将平均年龄最小化。求平均年龄表达式关于ρ的微分,并令它等于0。我们得到最优利用率ρ*。最佳的年龄是通过选择一个λ来实现的,这个λ使服务器倾向于繁忙只比空闲多一点点。

注意,如果我们想要最大限度地提高吞吐量,我们希望ρ接近1,这是每秒发送到监视器的包的数量。如果我们想要最小化包延迟,也就是最小化包的系统时间,我们想要ρ接近0。

对于M/M/1,ρ*≈0.53,服务器有47%的时间是空闲的。。在最优利用率ρ*时,系统中数据包的平均数量为ρ*/(1-ρ*) ≈1.13。

对于M/D/1,ρ*≈0.625。

对于D/M/1,ρ*≈0.515。

μ= 1, FCFS的M/D/1、D/M/1、M/M/1系统的利用率ρ与信息年龄。

什么是信息中心范式?

在过去的几年里,研究界见证了以信息为中心的网络(Information-Centric Networking,ICN)方法的快速发展。以信息为中心的网络是一种将Internet基础设施从基于永久连接和端到端原则的以主机为中心的范式演化为以识别信息(或内容或数据)为焦点的网络体系结构的方法。ICN可实现内容与位置分离,网络内置缓存等功能,从而更好满足大规模网络内容分发、移动内容存取、网络流量均衡等需求。在这种范式中,连通性可能是断断续续的,可以透明地利用终端主机和网络中的存储,因为网络和数据存储设备上的位具有完全相同的值,移动性和多路访问是常态,并且本机支持多播和广播。数据变得不受位置,应用程序,存储和传输方式的限制,从而可以进行网络内缓存和复制。

物联网(loT)概念设想的场景是,“智能对象”可以相互连接,使一个全新类别的应用和服务成为可能,积极增加信息和通信技术(ICT)的影响。尽管ICN测试的场景主要局限于多媒体和数据,但ICN的优点使这种架构设计成为一种有价值的方法,以应对不断增加的物联网部署带来的挑战。一般而言,物联网应用对信息的新鲜度提出了严格的要求。这可能会受到ICN方法中固有的缓存机制的高度影响。

根据这种新的范式,用户通过内容的名称请求内容,而不是使用其网络本地化。在ICN中,每个内容都由一个惟一的、持久的、与位置无关的名称标识。ICN提供本地多播支持、网络内缓存、基于名称的路由和方便的数据访问。

这种从以主机为中心到以内容为中心的变化有几个吸引人的优点,比如网络负载减少、传播延迟低和更好的能源效率

为什么提出内容网络?内容分发是当今互联网的主要任务。例如,预计到2018年,视频流量将达到互联网流量的79%。传统的通信网络模式是点对点模式;点对点模式在处理大规模内容分发时存在效率、安全性和私密性等缺点;而内容消费者只关心它是什么,而不关心它来自哪里。

数据为什么会有寿命?

1、数据的时效性。被感知的事物的状态可能是瞬息万变的,物联网的数据采集工作是随时进行的,每隔一定周期向服务器发送一次数据,数据更新很快,历史数据只用于记录事务的发展进程虽可以备份,但因其海量性不可能长期保存。只有新数据才能反映系统所感知的“物”的现有状态,系统的反应速度或者响应时间是系统可靠性和实用性的关键。

2、数据的海量性。物联网往往是由若干个无线识别的物体彼此连接和结合形成的动态网络。一个中型超市的商品数量动辄数百万乃至数千万件。在生态监测等实时监控领域,无线传感网需记录多个节点的多媒体信息,数据量更大的惊人,每天可达1TB以上。数据的堆积会造成内存的大量消耗、系统的运行卡顿。

3、数据的安全性。随着数据寿命的增加,接触的风险也在增加,攻击者可以通过以往的数据推断并伪造数据,从而对设备造成安全隐患。

数据的寿命对缓存策略有什么影响?

在缓存瞬态数据项时,必须考虑它的生存期T,即该项在其源处生成后的有效时间段。当路由接收到一个数据项时,路由会评估该数据项的“新鲜程度”,从而决定它的“可缓存性”。一旦缓存满了,就执行缓存驱逐,旧的内容被删除,以允许存储新内容。

简而言之,对于瞬态数据,在进行缓存决策时需要考虑数据新鲜度,这必须基于动态变量来执行,这些动态变量不仅与来自应用程序的数据请求速率有关,还与数据项的寿命有关。

如何优化系统的新鲜度函数。

由于网络内的时间延迟,路由器接收到的数据项具有有限的非零数据年龄。当路由x从源S中检索数据项时,会产生一定的累积网络时延,记为d(S, x)。这减少了数据项的剩余寿命,在此期间,该数据项可以被认为具有某种程度的新鲜度,即Tres = T−d(S, x),从而产生的新鲜度:(T−d(S,i))/ T,T为寿命。如果数据项在网络路由器上额外缓存,然后请求程序检索该缓存项,则有一个额外的缓存年龄,即该数据项在路由器缓存中驻留的累计时间周期,直到被请求为止。因此,从路由器缓存中检索到的条目与从其来源S检索到的条目相比,“不那么新鲜”,且新鲜度为

因此,将数据项的新鲜度损失(FL)定义为路由缓存导致的新鲜度减少:

从网络中获取数据项需要在两种选择之间进行权衡:(1)从数据源获取一个新生成的“新”数据项(通常距离请求者有几跳距离),以及(2)从中间路由器的缓存中获取一个不算新但通信成本更低的数据项。如图所示,其中R是请求者,S是源。

新鲜度损失成本与传播成本之间的权衡

无论是从自己的缓存中还是从检索的缓存中,i跳返回的一个数据项的期望新鲜度损失代价为:

边缘计算对于系统的新鲜度会有什么影响,如何建立影响模型?

移动边缘计算 (Mobile Edge Computing, MEC)是将边缘计算技术应用至移动互联网,在无线移动网络边缘靠近移动用户或设备的地方, 提供按需访问共享可配置虚拟计算池或提供与之交互服务的一种新型移动计算模式。通过这种新型的计算模式将服务迁移到距离用户较近的位置,能有效降低服务的通信延时。从而增加系统的新鲜度。

将移动边缘网络中的射频单元和分布单元作为缓存节点,射频单元节点将充当接入点功能。边缘节点的核心属性包括通信、计算和缓存, 这三者将构成移动系统的主要资源。

用户距离边缘节点越近,无线信道越稳定,支持的上下行速率就越高,从而节点的通信能力就越强。

计算是边缘节点的主要资源之一,节点的计算能力反映了其快速处理、转发和路由数据流的能力,节点高效的计算能力能够带来高效的数据传输能力,从而实现节点对单个用户的服务。节点的计算能力越强,在处理用户请求内容的时间越短,则用户从节点处获取内容的平均时延就越短。

在移动边缘网络中,由于用户所需内容缓存在靠近用户的节点,所以用户或者设备在获取实时信息更新的时延会有所减小。

得到节点重要性度量结果后控制器对各边缘节点进行排序,从而得到节点的重要性排名。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/02/10 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
数据界的达克摩斯之剑----深入浅出带你理解网络爬虫(Third)
接上文数据界的达克摩斯之剑----深入浅出带你理解网络爬虫(Second)-CSDN博客
一枕眠秋雨
2024/03/11
2010
数据界的达克摩斯之剑----深入浅出带你理解网络爬虫(Third)
99.22%准确率!EfficientNet优化算法实现猪肉新鲜度无损快检
针对传统猪肉新鲜度检测方法效率低、破坏性强的问题,本研究提出一种基于EfficientNet框架的智能无损检测技术。通过采集2500张原始猪肉图像,结合旋转、缩放等增强策略构建6万张数据集,并采用迁移学习策略(CIFAR-10预训练+五分类微调)优化模型性能。实验表明,改进后的EfficientNetB2模型在五分类任务中准确率达99.22%,训练时间仅157分钟,显著优于AlexNet(89.03%)、VGG16(79.90%)和ResNet50(97.10%)。进一步引入RAdam优化器,虽未提升准确率,但有效增强了模型泛化能力,误检样本分析显示其对原始图像识别准确率达100%。该技术为猪肉品质快速在线检测提供了高效解决方案,兼具工程实用性与学术创新性。
CoovallyAIHub
2025/03/18
860
你的仪表盘可信吗?数据新鲜度的关键作用
告别“数据盲盒”!云原生时代,数据新鲜度至关重要。本文揭秘如何构建数据新鲜度可见性框架,利用 Pipeline Instrumentation、Status Management Service 和 Contextual Interfaces,解决数据信任危机。实战证明,可减少 60% 支持票,实时优化云成本,提升 Data-Driven 决策效率!
云云众生s
2025/03/20
790
rfc7234之http缓存
声明:本人原创文章,详细内容已发布在我的微信个人技术公众号---网络技术修炼,公众号总结普及网络基础知识,包括基础原理、网络方案、开发经验和问题定位案例等,欢迎关注。
用户1215536
2023/05/03
3470
rfc7234之http缓存
MIT开发算法使无人机等时效性强的设备可以获得最新的数据
对于即时共享时效性强的信息的无线网络,光是快速传输数据是不够的,这些数据要尽可能新。考虑一下你车内的诸多传感器,尽管大多数传感器将数据包传输到中央处理器可能需要不到一秒的时间,但数据的新鲜度可能会有所不同,具体取决于传感器传输数据的频率。
AiTechYun
2018/07/27
7250
MIT开发算法使无人机等时效性强的设备可以获得最新的数据
计算机网络和因特网
本篇是第一章计算机网络和因特网的读书笔记,从整体上粗线条地勾勒岀计算机网络的概貌,并给出一个端到端吞吐量和时延的简单定量模型
中龙技术
2022/09/30
1.3K0
计算机网络和因特网
干货 | 为业务系统赋能,携程机票最终行程系统架构演进之路
携程机票订单系统是由多个业务子系统组成,包括出票、改签、航变等等,获取订单行程信息复杂度较高。
携程技术
2024/03/13
8520
干货 | 为业务系统赋能,携程机票最终行程系统架构演进之路
数据可观测性——使用SQL构建自己的数据质量监视器
在本系列文章中,我们将逐步介绍如何从头开始创建自己的数据可观察性监视器,并将其映射到数据运行状况的五个关键支柱。
云原生
2021/05/31
1.1K0
数据可观测性——使用SQL构建自己的数据质量监视器
Web缓存
Web 缓存是可以自动保存常见文档副本的 HTTP 设备。当 Web 请求抵达缓存时,如果本地有“已缓存的”副本,就可以从本地存储设备而不是原始服务器中提取这个文档。使用缓存有下列优点。
zy010101
2022/11/07
8350
Web缓存
再聊计算机网络基础知识总结
如果说计算机把我们从工业时代带到了信息时代,那么计算机网络就可以说把我们带到了网络时代。随着使用计算机人数的不断增加,计算机也经历了一系列的发展,从大型通用计算机 -> 超级计算机 -> 小型机 -> 个人电脑 -> 工作站 -> 便携式电脑 -> 智能手机终端等都是这一过程的产物。计算机网络也逐渐从独立模式演变为了 网络互联模式 。
小小许
2020/10/28
6200
再聊计算机网络基础知识总结
一文读懂云计算、边缘计算、移动边缘计算和自动驾驶的前世今生!
简单来说,云计算就是将很多计算机资源和服务集中起来,人们只要接入互联网,将能很轻易、方便的访问各种基于云的应用信息,省去了安装和维护的繁琐操作。
刘盼
2019/06/03
2.1K0
计算机网络自学笔记:什么是计算机网络
计算机网络是计算机专业的王牌核心课程之一,在面试中的重要性不言而喻,年假的这一段时间,重新刷了一遍这门课,其中记录下来一些笔记(当然,抄了书上不少~),分享出来,留作备忘.
云时之间
2019/03/04
1.6K0
计算机网络概述(下)
cheese
2023/10/25
6140
计算机网络概述(下)
Lakehouse 如何重塑企业数据生态?
大数据架构经过多年的演进,传统数据仓库和数据湖的局限性日益凸显。在此背景下,湖仓一体 Lakehouse 凭借其开放性和成本效益,迅速成为当今数据平台的主流架构。然而,随着进入 Data + AI 驱动的新时代,企业对实时数据分析的需求不断增加,对半结构化和非结构化数据的处理也愈显重要。那么,应该如何高效整合多种数据源,实现实时分析与智能决策?
深度学习与Python
2025/03/21
1420
Lakehouse 如何重塑企业数据生态?
1-计算机网络和因特网
如果ISDN的带宽为 128kbps,OC-48的带宽为 2.488 Gbps,如果用ISDN传输一张装满数据的1.44M软盘,用OC-48传输装满10G的硬盘数据,问哪一种传输所用的时间更少?
Ywrby
2022/10/27
2.3K0
1-计算机网络和因特网
边缘计算是5G应用的核心平台 , 产业空间广阔
​5G引入三大应用场景,eMBB(高速移动通信)、mMTC(大规模机器通信)、URLLC(低时延高可靠),为克服传输网的性能瓶颈,边缘计算成为5G网络的核心网络技术之一。​
张哥编程
2024/12/19
3420
边缘计算是5G应用的核心平台 , 产业空间广阔
比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?
数据平台领域发展 20 年,逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域,当下的架构已经完美了吗,主要问题和挑战是什么?在 2023 年 AI 跃变式爆发的大背景下,数据平台又该如何演进,以适应未来的数据使用场景?
深度学习与Python
2023/11/01
8770
比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?
【期末考试】计算机网络、网络及其计算 考试重点
数字通信的优点: 抗干扰性强、保密性好、设备易于集成化、便于使用计算机技术对其进行处理等。
.29.
2023/12/25
4530
【期末考试】计算机网络、网络及其计算 考试重点
移动边缘计算综述
在5G时代,移动网络服务的对象不再是单纯的手机,而是各种类型的设备,如平板、移动车辆和各种传感器等。服务的场景也多样化,比如移动宽带,大规模机器类型通信、任务关键型互联网等。因此,在移动性、安全性、时延性和可靠性等多个方面,移动网络都必须满足更高的要求。
小锋学长生活大爆炸
2021/03/03
1.9K0
CDN缓存的理解
CDN即内容分发网络Content Delivery Network,CDN的基本原理是广泛采用各种缓存服务器,将这些缓存服务器分布到用户访问相对集中的地区或网络中,在用户访问网站时,利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上,由缓存服务器直接响应用户请求,CDN的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定,通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上,其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。
WindRunnerMax
2020/09/07
3.2K0
推荐阅读
相关推荐
数据界的达克摩斯之剑----深入浅出带你理解网络爬虫(Third)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档