前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >阅读笔记 | Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning

阅读笔记 | Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning

作者头像
Ranlychan
发布于 2023-10-15 00:38:11
发布于 2023-10-15 00:38:11
2140
举报
文章被收录于专栏:蓝里小窝蓝里小窝

info: Wang M , Cui Y , Xiao S ,et al.Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning[C]//Abstracts of the 2018 ACM International Conference.ACM, 2018.DOI:10.1145/3219617.3219656.

1.1 背景

传统有线数据中心常采用的静态网络拓扑结构日益难以应对新情况新挑战,引入OCS或无线通信组件构建可重构拓扑的DCN可以解决问题,但其实现存在问题与挑战。

注:OCS内通过电机控制镜片偏转来实现光路控制,进而实现光路交换。文章中的可配置拓扑是OCS或无线通信组件,其余有线拓扑结构是固定不变的(例如固定的Fat-tree)。

1.2 现有方法的缺点

仅考虑了局部性的OCS的端口需求来进行拓扑配置,未将OCS与有线网络拓扑间的全局性的相互作用,而且对这种全局性作用的考虑是有益的。 全局交互模型通常需要解决ILP问题,其通常是NP难的,而启发式方法得到的拓扑配置可能与最优解相去甚远。

1.3 要解决的问题

使用ANN来学习DCN中的流量模式,并学习流量与拓扑配置间的全局相互作用,建立起两者的映射关系模型。

模型输入:流量需求矩阵

模型输出:拓扑配置矩阵

1.3 文章的主要工作

文章主要提出了一种名为xWeaver的流量信息驱动的深度学习系统,用于DCN的中OCS或无线通信组件的动态拓扑配置。其中,系统分为三大模块:

  • 评分模块:将流量和拓扑分离卷积提取特征,构建SCNN为给定的流量-拓扑对提供快速自定义指标的性能评分
  • 标记模块:将历史流量轨迹与对应的高性能拓扑间进行关联标记,供给模型离线训练所用的数据集
  • 映射模块:构建FPNN用于学习流量和拓扑间带约束的高位全局映射关系,训练好后可用于在线拓扑推断。其中输入层使用了评分模块训练好的T-SCNN用于特征提取,输出层附加了CRF模块来利用先验知识纠正拓扑输出。

此外研究者对系统进行模拟,并搭建了基于OCS的实验平台,展示了其优于传统方案更高的流量性能,验证了系统的学习效果。

1.4 个人思考

  • 谷歌的数据中心网络Jupiter在去年发表了一篇文章,介绍了其数据中心利用OCS实现软件定义网络,实现动态配置拓扑的功能,取得了相当的成效。可见本篇18年发表的文章对于DCN的SDN之路所具有的的影响力。
  • 本篇文章展现了研究者对于流量到拓扑的建模过程,这种抽象建模能力对于研究工作是非常值得学习和培养的。

1.5 延伸阅读

  • Farrington, Nathan, George Porter, Sivasankar Radhakrishnan, Hamid Hajabdolali Bazzaz, Vikram Subramanya, Yeshaiahu Fainman, George Papen, and Amin Vahdat. “Helios: A Hybrid Electrical/Optical Switch Architecture for Modular Data Centers,” 339–50. New Delhi India: ACM, 2010. https://doi.org/10.1145/1851182.1851223.
  • Hong, Chi-Yao, Srikanth Kandula, Ratul Mahajan, Ming Zhang, Vijay Gill, Mohan Nanduri, and Roger Wattenhofer. “Achieving High Utilization with Software-Driven WAN,” 15–26. Hong Kong China: ACM, 2013. https://doi.org/10.1145/2486001.2486012.
  • Poutievski, Leon, Omid Mashayekhi, Joon Ong, Arjun Singh, Mukarram Tariq, Rui Wang, Jianan Zhang, et al. “Jupiter Evolving: Transforming Google’s Datacenter Network via Optical Circuit Switches and Software-Defined Networking,” 66–85. Amsterdam Netherlands: ACM, 2022. https://doi.org/10.1145/3544216.3544265.
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-07-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
一文解读CVPR等9个顶会挑战赛冠军团队方案,助你参悟AI算法设计之道
想成为下一个刷爆挑战赛榜单的冠军?这份复习材料涵盖 CVPR、ICCV 等顶会挑战赛的优胜算法方案,无论你是挑战赛老司机,还是新晋小白,相信对你参悟竞赛道路都会有所帮助。 本篇是机器之心「虎卷er行动 · 春卷er」的第三卷,为老伙计们汇总解读 9 个刷爆 AI 顶会挑战赛榜单的优胜算法方案。 1、CVPR 2021 NTIRE 2021 挑战赛多帧 HDR 成像冠军方案:使用新型的双分支网络结构 ADNet(旷视科技团队) NTIRE 2021 挑战赛 作为图像视频修复和增强领域极具影响力的国际竞赛
机器之心
2022/03/21
1.3K0
阅读笔记 | AuTO: scaling deep reinforcement learning for datacenter-scale automatic traffic optimization
info: Chen L , Lingys J , Chen K ,et al.AuTO: scaling deep reinforcement learning for datacenter-scale automatic traffic optimization[C]//the 2018 Conference of the ACM Special Interest Group.ACM, 2018.DOI:10.1145/3230543.3230551.
Ranlychan
2023/10/15
2880
阅读笔记 | AuTO: scaling deep reinforcement learning for datacenter-scale automatic traffic optimization
阅读笔记 | Interpreting Deep Learning-Based Networking Systems
info: Meng Z , Wang M , Bai J ,et al.Interpreting Deep Learning-Based Networking Systems[C]//SIGCOMM '20: Annual conference of the ACM Special Interest Group on Data Communication on the applications, technologies, architectures, and protocols for computer communication.ACM, 2020.DOI:10.1145/3387514.3405859.
Ranlychan
2023/10/15
2090
阅读笔记 | Interpreting Deep Learning-Based Networking Systems
Nvidia探索光交换OCS在数据中心及高性能计算集群中的应用
这个工作是Nvidia最近在Optica旗下的JOCN期刊上发表的一篇邀请文章(https://doi.org/10.1364/JOCN.534317),主要内容今年在OFC都讲过,有些公众号也介绍过了。主要通过将OCS引入到L1物理层,实现物理层的可重构、可编程,能够实现数据中心的高效率自动故障恢复以及在深度学习训练中实现拓扑精简和优化。这里做个简单翻译重温一下,细节大家可以看看原文
光芯
2025/04/08
1760
Nvidia探索光交换OCS在数据中心及高性能计算集群中的应用
Cornell大学& Lightmatter:服务器规模的光互连/光交换研究
发现了一篇Cornell大学和Lightmatter发表的论文“A case for server-scale photonic connectivity”,探索了用200×200mm的大硅光芯片LightPath实现服务器规模的光互连以及在提升机器学习工作负载性能和容错性方面的潜力和面临的挑战,该工作聚焦于互联的拓扑工程,即慢速的非频繁切换的服务器规模互联。 研究背景
光芯
2025/04/08
830
Cornell大学& Lightmatter:服务器规模的光互连/光交换研究
Cloud Pilot系列:1. Google Cloud 数据中心网络架构
周末去办公室收拾东西的时候,路过广场前面的Data Center大箱子,隔着玻璃瞧了一眼里面的结构。
s09g
2022/07/06
1.9K0
Cloud Pilot系列:1. Google Cloud 数据中心网络架构
阅读笔记|DeepConfig: Automating Data Center Network Topologies Management with Machine Learning
info: C. Streiffer, H. Chen, T. Benson, and A. Kadav, “DeepConfig: Automating Data Center Network Topologies Management with Machine Learning.” arXiv, Dec. 11, 2017. Accessed: Aug. 06, 2023. [Online]. Available: http://arxiv.org/abs/1712.03890
Ranlychan
2023/10/15
1880
阅读笔记 | Chameleon: scalable adaptation of video analytics
info: J. Jiang, G. Ananthanarayanan, P. Bodik, S. Sen, and I. Stoica, “Chameleon: scalable adaptation of video analytics,” in Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication, Budapest Hungary: ACM, Aug. 2018, pp. 253–266. doi: 10.1145/3230543.3230574.
Ranlychan
2023/10/15
2350
阅读笔记 | Chameleon: scalable adaptation of video analytics
阅读笔记|Demystifying configuration challenges and trade-offs in network-based ISP services
info: T. Benson, A. Akella, and A. Shaikh, “Demystifying configuration challenges and trade-offs in network-based ISP services,” in Proceedings of the ACM SIGCOMM 2011 conference, Toronto Ontario Canada: ACM, Aug. 2011, pp. 302–313. doi: 10.1145/2018436.2018471.
Ranlychan
2023/10/15
1840
KDD 2024时空数据挖掘领域相关论文汇总
KDD是CCF-A类数据挖掘顶级国际学术会议,第30届会议(KDD 2024)于8月25-29日在西班牙巴塞罗那召开。KDD 2024的Research和Applied Data Science两个Track共收到2784篇投稿,其中562篇被接收发表,总体接收率为20.2%。本文梳理汇总了被KDD 2024录用的时空数据挖掘(Spatial-Temporal Data Mining)领域34篇论文,供大家参考。如有疏漏或错误之处,敬请谅解。
时空探索之旅
2024/11/19
8040
KDD 2024时空数据挖掘领域相关论文汇总
阅读笔记|Life on the Edge: Unraveling Policies into Configurations
info: W. X. Zhao et al., “A Survey of Large Language Models.” arXiv, Sep. 11, 2023. Accessed: Sep. 18, 2023. [Online]. Available: http://arxiv.org/abs/2303.18223
Ranlychan
2023/10/29
1470
基于SDN网络的QoS机制研究(下)
当前OpenFlow规范中的单个控制器解决方案对于大型多域网络来说是不可伸缩的,这是由于单个控制器处理能力的限制,由远程网络设备导致的延迟以及由于控制器和交换机之间的消息传递而导致的大量开销造成的。因此,需要一个具有多个控制器的分布式控制平面,每个控制器负责网络的一个部分(域)。在这些网络之间路由端到端QoS流需要收集最新的全局网络状态信息,例如每个链接的延迟、带宽和丢包率。然而在大型网络上这是一项困难的任务,因为问题的维度(大小)和网络运营商不打算详细共享内部精确的网络动态。因此,分布式QoS路由模型需要考虑所有这些挑战,以确保应用的端到端QoS最优。
网络工程师笔记
2021/05/17
1.3K0
​SIGCOMM 2019北京开幕,近五年SIGCOMM高引论文TOP10有哪些?
2019年8月19日,为期六天的SIGCOMM 2019在北京香格里拉酒店开幕。SIGCOMM是由ACM SIGCOMM组织举办的通信网络领域的旗舰型会议,也是目前国际通信网络领域的顶尖会议之一。
SDNLAB
2019/08/29
1.1K0
​SIGCOMM 2019北京开幕,近五年SIGCOMM高引论文TOP10有哪些?
OFC 2025预热(二):短距光互连的明星初创公司们
今天来看看OFC 2025上那些明星初创公司都介绍了哪些有意思的进展。主要介绍的公司之前都有陆续写过,包括Ayar labs,、Lightmatter、Celestial AI、OpenLight、Xscape、Lucidean等。Lightmatter和Celestial AI的验证结果展示感觉是脚步最快、最惊艳的(也体现到他们的融资上),Ayar Labs在瞄准大规模制造优化耦合封装方案,而Xscape、Lucidean公司也有了不俗的进展,Nubis展示了新的应用场景,奇点光子开始露面,Openlight平台在持续演进,昨天Tower新闻稿提到的400G/lane技术看会不会在会场有介绍。
光芯
2025/04/08
2160
OFC 2025预热(二):短距光互连的明星初创公司们
数据中心网络:什么是Spine-Leaf架构?
随着传统IDC向云数据中心转型,数据中心网络架构也在不断演进。 在传统的大型数据中心,采用了层次化模型设计的三层网络。将复杂的网络设计分成几个层次,每个层次着重于某些特定的功能,这样就能够使一个复杂的大问题变成许多简单的小问题。三层网络架构设计的网络有三个层次: 接入层(将工作站接入网络) 接入层的面向对象主要是终端客户,为终端客户提供接入功能,接入层的主要功能是规划同一网段中的工作站个数,提高各接入终端的带宽。 汇聚层(提供基于策略的连接) 汇聚层连接网络的核心层和各个接入的应用层,在两层之间承担“媒介
SDNLAB
2022/04/13
20.5K0
数据中心网络:什么是Spine-Leaf架构?
100个网络数通知识,懂一半绝对高手!
用于区分IP地址的网络部分和主机部分。它与IP地址共同决定了网络范围和可用的主机数。
ICT系统集成阿祥
2025/05/09
1080
100个网络数通知识,懂一半绝对高手!
【笔记】《Deep Geometric Texture Synthesis》的思路
由于研究的需要这几天看了AMIR HERTZ和RANA HANOCKA新鲜出炉的文章,关于如何利用生成对抗网络从一个三维模型上将它的纹理迁移到另一个三维模型上。效果如下面的论文封面图,长颈鹿从黄色的针刺球上学习到了纹理并将针刺生成到了自己身上,效果还是很不错的
ZifengHuang
2020/07/29
1.5K0
【笔记】《Deep Geometric Texture Synthesis》的思路
SIGCOMM’22会议概览与热门论文解读
作者简介:任语铮,北京邮电大学网络与交换技术国家重点实验室在读博士研究生,研究方向为工业互联网、标识解析、网络人工智能等,邮箱地址:ryz_95@163.com SIGCOMM全称Special Interest Group on Data Communication,即美国计算机协会(Association for Computing Machinery,ACM)数据通信专业组,是ACM组织的通信网络领域的旗舰型会议,也是目前国际通信网络领域的顶尖会议。其中,ACM 有下属37个专业组织 (Special
SDNLAB
2022/10/09
2.8K0
SIGCOMM’22会议概览与热门论文解读
SDN最新研究进展
自SDN出现以来,关于SDN的研究一直没有停止,只是不同的阶段关于SDN的研究的重点不同。比如最开始的时候,探讨最多的是SDN的可行性,以及如何将SDN应用到对应的网络场景中。本文是笔者在最近阅读2015年至今的若干SDN论文后总结的SDN最新研究进展,希望对读者提供一些帮助。 SDN/NFV SDN和NFV都是当下网络界研究的热点,而如何将两者整合部署,也是研究的热点之一。设计SDN/NFV整合部署框架的研究是这个研究方向的主要研究切入点之一,比如参考文献[1]中就提出了一个SDN/NFV的整体架构。框
SDNLAB
2018/04/02
1.5K0
SDN最新研究进展
业界第一个真正意义上开源100 Gbps NIC Corundum介绍
来源:内容由「网络交换FPGA」编译自「FCCM2020」,谢谢。FCCM2020在5月4日开始线上举行,对外免费。我们有幸聆听了其中一个有关100G开源NIC的介绍,我们对该文章进行了翻译,并对其中的开源代码进行了分析并恢复出基于VCU118的工程,通过实际测试感受到了第一款真正意义上的100G开源NIC的强大(很多100G的开源都是基于HLS等非HDL语言,尽管可以转化成HDL,但电路架构参考意义已经不大)。开源Verilog代码中每个.v文件都是所有的组合和时序分别用一个always模块描述,代码中高位宽分段处理方式,多级流水的架构等很多地方都是非常值得借鉴和学习的地方。我们认为,github是一个宝库。我觉得现在的研究生培养质量的评价其实就可以看开源项目的参与程度,这完全能反应出一个学生的自学能力和独立研究的能力。而一个科研工作者,尤其是搞工程或应用基础研究的,如果没有做出来一两个星数100以上的开源项目,就不算成功。欢迎感兴趣的同学一起交流讨论。以下先附上本次会议的视频
网络交换FPGA
2020/05/22
6.2K0
业界第一个真正意义上开源100 Gbps NIC Corundum介绍
推荐阅读
相关推荐
一文解读CVPR等9个顶会挑战赛冠军团队方案,助你参悟AI算法设计之道
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档