李浩:无限节点的CDN架构演进
名词概念: CDN(Content Delivery Network)
分类: 分布式网络架构
优势:
应用场景:
无限节点的CDN架构演进:
以下是关于腾讯云的产品介绍链接地址:
需要注意的是,以上产品可能随着时间和市场需求进行升级和更新。在实际使用中,请务必根据具体需求选用最适合的产品。
本文来自网心科技首席架构师李浩在LiveVideoStackCon 2017大会上的分享,李浩回顾了从迅雷时代到网心科技,P2P CDN的演进,以及挑战和应对方案。...文 / 李浩 整理 / LiveVideoStack 大家好,我是来自网心科技的李浩,今天和大家分享一种新型CDN架构,汇聚家庭用户的闲置网络和计算资源构建的共享式CDN,整个过程会面临很多的技术挑战,...同时,不同协议的传输优先级,多个家庭节点之间网络距离的精确测定,用IP判断无法达到小区级的精度,多端数据共享,提高流量放大比等问题都需要有效解决。 直播架构 以典型的直播场景来展开介绍。...架构实例 从数据流层面看,数据进入系统后,在IDC节点内部上行转发时会做多份拷贝,避免单链路的问题,因为这里是整条链路最脆弱的一环。...内部组网架构 上面列出了我们内部组网的几次演进,最开始是固定的树状结构,根据运营商的拓扑结构,选定两到三个多线路BGP节点做为源,同时根据运营商拓扑结构选出区域中心点,例如华北、华东这些地域,组成一个比较清晰的三层架构
来自Google WebM项目的视频工程师Zoe Liu将分享AOM联盟以及AV1编码器的开发演进。 ...Akamai—-新协议、框架以及VR对CDN的改变 来自Akamai多媒体研发组的首席架构师William Robert Law也将在此次大会上分享QUIC、CMAF、MSE、EME等将改变我们的生活...朱政将介绍金山H.265编解码器的演进经历,历经两次推到重来,为了追求极致性能,技术团队如何分工,开发流程与代码review如何实践。...网心科技无限节点的CDN架构演进 随着4K、VR、AI等应用的快速发展,互联网基础带宽资源和需求之间的矛盾日益扩大,星域CDN希望用共享的方式汇聚社会闲置资源,解决上述问题。...网心科技首席架构师李浩将以直播系统为例,介绍构建无限节点CDN所面临的挑战和技术方案。
LiveVideoStackCon 2017上,来自Google WebM项目的视频工程师Zoe Liu将分享AV1编码器的开发演进。...Akamai是全球最成功的的CDN服务商,在解决大规模视频并发方面有着多年的经验。 华为多媒体实验室首席科学家、实验室副主任王田会分享沉浸式媒体标准化。...:实时音视频大规模分发的架构与难点 陌陌视频部直播媒体技术负责人吴涛:网络直播的体验优化 YY直播部负责人林正显:自建与采购CDN的演进故事 OnVideo联合创始人 FFmpeg Maintainer.../顾问刘歧:FFmpeg开发实战培训 网易云通信与视频CTO赵加雨:网易工业级WebRTC应用实践深度解析 最后,网心科技首席架构师李浩与云帆加速联合创始人&CTO扶凯都会介绍P2P与CDN结合的最新实践...一下科技视音频技术负责人解晶:秒拍、小咖秀、晃咖、视频大师等短视频框架设计和关键性技术实践 暴风影音首席架构师鲍金龙:全景VR体育比赛转播的HEVC编码技术 毛豆网研发总监李尊龙:毛豆网音视频直播云平台的技术栈架构和实现
带着这个想法,李浩源提出了一种新的架构,即将虚拟分布式文件系统(Virtual Distibuted File Syestem)作为计算层和存储层之间的新层,为上层 Spark、Presto、Tensorflow...伯克利大学一直有开源的传统,李浩源顺应了这一传统,在第一时间将这个项目开源。开源后,李浩源发现整个技术演进路线的确在往其预想的方向发展,项目也有了越来越多的用户,收到了越来越多业界的正向反馈。...不过,要想实现更宏大的愿景就需要更加体系化的公司化运营,因此,2015 年,李浩源选择了创业。 创业初期,很多事情都要李浩源亲力亲为,但最重要的还是按照规划把产品打磨到 1.0 版本。...Alluxio 的商业化模型与其他开源产品差不多,都是在开源版本基础上添加商业化功能,并以付费的企业版输出,企业版根据客户使用的节点情况收取费用。...而对于其进一步深入扩展全球市场能做出什么样的成绩,李浩源很有信心。 “兵来将挡,水来土掩,面对未来的种种困难,只要一一处理就好了。”李浩源说道。
原文链接:https://mp.weixin.qq.com/s/1NhflDbO6CKYNSQcdM9ekg 二十年来,整个分布式系统架构的演进,从 C/S 到 B/S,再到分布式系统,当前广泛使用的是网格计算和云计算...为保证请求无状态地实现迁移,所以使用共享数据节点 (存储各种形式的临时或中间数据) 的形式实现。数据节点往往采用分片的主备模式。 当前分布式应用架构举例 - 应用分层架构 ?...这是比较广泛采用的架构模式,前面使用 CDN,后面有分布式缓存,服务端使用前后端分离,或者 Node.js / Rest-ful。...黄浩老师说,阿里从微服务架构里获得了很多好处,也踩过很多不可避免的坑。...实际业务场景的跨多个服务诉求;网状的调用及同步依赖关系;容器化背后开发与资源的绑定;极大量的远程调用;爆炸式增长的碎片化应用; 黄浩老师也说,跨服务之间的应用横向调度,微服务广泛应用,应用是网状架构,密密麻麻的节点
1 聊聊电商系统架构演进 具体以电子商务网站为例, 展示web应用的架构演变过程。...1.0时代 这个时候是一个web项目里包含了所有的模块,一个数据库里包含了所需要的所有表,这时候网站访问量增加时,首先遇到瓶颈的是应用服务器连接数,比如tomcat连接数不能无限增加,线程数上限受进程内存大小...,加速用户的网站访问速度,会使用CDN来缓存信息,用户会访问最近的CDN节点来提升访问速度。...此时的架构图如下: 4.1 使用CDN来缓存信息 随着业务量增大,一些核心系统数据库单表数量达到几千万甚至亿级,这时候对该表的数据操作效率会大大降低,并且虽然有缓存来抗读的压力,但是对于大量的写操作和一些缓存...参考文章 文章主要参考自 李智慧的 《大型网站技术架构》 https://blog.csdn.net/caoyuanyenang/article/details/86943397 https://www.cnblogs.com
李郁韬 腾讯云副总裁 Speaker:李郁韬,资深互联网专家,现任腾讯云副总裁,2006年加入腾讯,曾任QQ通信与音视频技术负责人,具备深厚的行业洞察与技术积累。...Topic:实时音视频技术的演进与应用 从早期的双/多人视频通话、视频会议,到超级小班课、低延时互动直播、腾讯会议Webinar、ClubHouse类语聊房,实时音视频技术和底层平台架构在超低延时、超大规模...、网络适应性等方面的演进,为产品的创新提供了坚实基础和土壤。...Topic:稳健、可靠-全真即时通信网的架构与应用 通过采用腾讯自研架构,真正意义上实现了高稳健、高可靠、亿级在线、千亿级消息并发的底层通信网络,结合分布式架构,打造出无人数上限的直播群,让普通开发者也可以轻松实现百万人的直播场景...Topic:解析IaaS & PaaS低延时服务 要致富先修路,低延时架构的基础是全球广泛分布的边缘计算节点,再配合网络质量地图以及协议栈解决最后一公里的问题;路通了就看如何提速,针对信令的动态加速PaaS
系统设计及架构专场由美图技术总监洪小军出品,主要议题包括: 摩拜单车资深架构师 余京:20 个月过 2 亿全球用户的摩拜架构演进历程 今日头条视频架构负责人 侯爽:今日头条大规模视频处理的挑战与应对 阿里巴巴高级技术专家...赵珂:淘宝双十一高并发和高复杂度的导购营销系统架构演进 陌陌基础平台部门负责人 杨建军:支撑亿级陌陌用户基础架构实践之路 中间件平台专场由罗辑思维首席架构师方圆出品,主要议题包括: 阿里巴巴技术专家...,主要议题包括: 华为 LiteOS 开源技术团队负责人杜玉杰:物联网操作系统漫谈 杭州映云科技 CTO 李枫:千万级大型IoT平台与应用架构设计 云巴创始人张虎 :海量设备的连接和安全 Fintech...点融网首席架构师赵文乐:互金企业如何运用技术解决发展和合规的挑战 壹钱包首席架构师张晓通:壹钱包架构演进之路--业务飞速增长下的互金系统发展历程 管理与效率 方向 工程效率专场由前平安敏捷中心负责人林伟丹出品...:基于 Angel 的高维度在线机器学习 Pivotal 研发总监 Yandong Yao:Greenplum 机器学习工具集和案例 360大数据基础架构团队负责人 李远策:XLeaning:360深度学习调度平台架构设计
假如用户去浏览网页的时候可能会涉及 CDN 资源,CDN 资源里面如果是静态内容,Serverless 就会通过对象存储里面把照片和视频拉取出来,如果是动态的内容就会触发一个函数计算,函数计算里面再去相应的云数据库里面拉取相应的资源...Serverless 数据库选型 在讲述 Serverless 数据库选型之前,李志阳先介绍了云数据库架构的演进。...但它也有个缺点,就是只做了存储的池化,所以它的计算节点目前来说写还是没有办法扩展的,这个也是未来演进的方向。...李志阳对 TDSQL-C 的总体架构进行了介绍,TDSQL-C 是腾讯云共享存储数据库,于 2017 年开始研发,在一开始就定下了一个基本原则,即复用云上的成熟组件。...整体架构介绍完以后,李志阳介绍了 TDSQL-C Serverless 在实现三大特性方面的能力。 从自动扩缩容来看,我们希望做到秒级的扩缩容,这个期间用户是无感知的,很平滑的。
讲师与话题 李郁韬 腾讯云副总裁 Speaker:李郁韬,资深互联网专家,现任腾讯云副总裁,2006年加入腾讯,曾任QQ通信与音视频技术负责人,具备深厚的行业洞察与技术积累。...Topic:实时音视频技术的演进与应用 从早期的双/多人视频通话、视频会议,到超级小班课、低延时互动直播、腾讯会议Webinar、ClubHouse类语聊房,实时音视频技术和底层平台架构在超低延时、超大规模...、网络适应性等方面的演进,为产品的创新提供了坚实基础和土壤。...Topic:稳健、可靠-全真即时通信网的架构与应用 通过采用腾讯自研架构,真正意义上实现了高稳健、高可靠、亿级在线、千亿级消息并发的底层通信网络,结合分布式架构,打造出无人数上限的直播群,让普通开发者也可以轻松实现百万人的直播场景...Topic:解析IaaS & PaaS低延时服务 要致富先修路,低延时架构的基础是全球广泛分布的边缘计算节点,再配合网络质量地图以及协议栈解决最后一公里的问题;路通了就看如何提速,针对信令的动态加速PaaS
李浩 网心科技 CEO 虚拟现实技术是通向元宇宙的关键,然而要推动其大范围普及,还须扫清一系列的挑战,包括拟真音视频体验,动作反馈,无眩晕,终端便携性,云边端算力协同,强互动内容,方案成本可控等。...探索端边云协同框架的技术和商业的可行性 在线教育场景下的融合音视频架构 Topic 《作业帮多云多协议的融合音视频系统架构应用实践》 周赵鹏 作业帮 流媒体部技术负责人 随着RTC等技术的发展,在线教育受益颇多...总结 OWT,面向多元化需求的架构演进 Topic 《OWT为应对多元化音视频需求的架构演进》 陈力 英特尔 高级工程师 OWT最初是一个以视频会议为中心的开发组件,随着音视频技术的普及和发展,我们发现客户的应用场景也变得愈发多元化...为应对各种各样层出不穷的需求,OWT的架构由巨大(monolithic)会议模式向分层化微服务化演进。...;第三部分介绍为应对需求OWT在架构上分层化微服务化的演进,在会议下层直接提供面向媒体流的服务,以及使用gGRPC提供底层媒体节点的服务。
02:Jasmine Wang, Alluxio Open Source Community Manager 03:雷小平,腾讯云大数据产品中心副总经理,负责腾讯云大数据的技术发展演进路线,产品核心架构设计...08:李浩源,博士,Alluxio公司的创始人,董事长,兼CEO,同时也是北京大学客座副教授。...李浩源2008年本科毕业于北京大学计算机科学技术系,2010年获美国康奈尔大学(Cornell)硕士学位,2018年获美国加州大学伯克利分校(UC Berkeley)博士学位。...Alluxio(原名Tachyon)平台是李浩源博士在加州大学伯克利分校AMPLab攻读博士学位期间,联合创建开发的开源分布式超大规模数据编排系统,已有超过100多个组织机构的1000多位贡献者参与到Alluxio...李浩源同时也担任了Alluxio开源基金会主席和Apache Spark成立委员会委员。 09:吴佳俊,2020年加入斯坦佛大学任助理教授。
限制效率的因素有很多,除了跨机房、跨地域的分布式架构自带的物理限制,还有节点规模越来越大而带来的沟通效率等问题。...回归到分布式架构,层层分级的管理方式虽然保证了一定的分布式理念,也避免了节点数量过多而使架构整体更加复杂,但却不是真正的“去中心化”。...架构变得越来越复杂 虽然技术迎来重大突破需要时间,但企业发展不等人,该做的升级还是要做。从单体架构到分布式架构演进并不太难,但难的是如何在业务快速发展变化的情况下,及时升级架构。...定型的底层架构已经形成了自己的理念体系,牵一发而动全身,架构师要跨出这个体系做改变会很难。 黄浩建议,任何企业如果要做持续演进就需要事先做好架构强管控。...“比如现在蚂蚁的架构从 1.0 演进到 3.0,虽然现在并不知道 4.0 的架构会是怎样,但通过强管控,未来任何升级都有很强的可操作性。” 与此同时,很多架构的理念正在被误解和滥用。
有请网心科技的李浩为我们分享他助攻视频行业的这几年。 文 / 李浩 整理 / LiveVideoStack ? 大家好,很荣幸能被邀请参加此次会议。...右边是物流公司的组网模式和经营模式,它与2015年的CDN公司的相比是更丰富的。点面、块面,树状、网状映射都比当时国内CDN架构更加复杂。 1.2 不同的路径选择 ?...回看整个CDN市场,我认为CDN分为几个路径上的选择。一种是追求平衡。通过自己的覆盖密度和节点容量来做一个测算,最终要做到节点的覆盖率和ROI的平衡。...2.2 概要架构 ? 这是一个概要的架构图,我们把代码嵌入到用户的APP里,所以可以做双端优化,这是边缘传输方案和传统CDN的不同点。既然可以做双端优化,那么就可以在传输协议、编码层面做更多的处理。...可这种模式在大规模边缘节点的架构里是行不通的,首先调度路径是不可预先规划的更多变的,其次节点差异很大。可以理解为加盟快递公司的网点,有些是开在门口的10平方小网点,有些却是几千平方的大仓库。
在过去不久的全球分布式云大会上,腾讯云数据库专家工程师李志阳分享了【分布式数据库serverless化:深入解读无服务器架构下的数据库】的主题演讲,给出了自己的答案。...狭义的serverless分为FaaS和BaaS,基本特点是无需运维、以API方式提供服务、按实际使用计费、无使用无费用等。举个例子,用户浏览网页,可能涉及CDN资源。...Part2 serverless数据库选型 在讲述serverless数据库选型之前,李志阳先介绍了云数据库架构的演进。 ?...另一类则是ShareStorage架构,共享存储架构并没有改变查询引擎和ACI这些基础特性,可以做到100%的兼容性。当然它也有缺点,目前计算节点没有提供写扩展能力,这个也是未来演进的方向。...李志阳对TDSQL-C的总体架构进行了介绍:TDSQL-C是腾讯云基于共享存储架构的云原生数据库,始于2017年。
因此,InfoQ 特别采访了 FPA 的产品负责人施政与声网基础平台技术负责人王浩宇,希望能在架构和产品的视角对 FPA 进行解读,从中寻找关于全球加速服务的新的启发。...简单来说,GA 服务一般由公有云厂商提供,会为用户分配少数接入 IP,保证用户就近接入公有云加速网络,再通过各个节点间的加速链路,配合动态的调度策略,实现传输层的网络加速。...与传统的专线网络不同,SD-RTN™构建在公共互联网上,使数据中心、企业内部以外的任何用户的终端都可以访问,对硬件的依赖很小;另外,SD-RTN™的数据中心分布在全球数百个节点,保证了通讯的舒畅。...发展至今,业内最主流的网络加速和低延时解决方案,还是基于 CDN 构建的,与 SD-RTN™ 在架构设计上几乎背道而驰。...CDN 分发非常便宜,但它有使用前提,就是你一定得高频击中缓存,否则效果不好。” 当然,SD-RTN™ 和 CDN 在资源侧没有隔阂,声网的思路是基于用户需求,定向的增加某个地区的节点覆盖。
随后,王淼介绍了腾讯云提供的多级加速服务:GooseFS 作为近计算节点的高速缓存,不仅为计算节点提供数据加速,还能将计算节点产生的数据写入缓存,以供二次计算或加速 CDN 的分发;数据加速器是部署在各个...在工作流演进的过程中,对象存储通过对接函数服务,能为客户提供更多可能:比如图片瘦身后,可以通过预热云函数直接将图片预热到 CDN 节点;审核服务如果发现违规文件,可以通过刷新云函数把 CDN 节点上的违规数据清理掉...智能化演进·平台自适应 COS 与 CDN 深度的结合,可以针对不同平台的特性,分发给适合当前平台最优的数据格式,例如支持 webp 图片的平台,服务端可智能返回 webp 格式图片,例如微信小程序平台...在多 AZ 架构中,每个 AZ 都部署了存储集群、高速缓存集群和数据处理集群,当遇到不可抗力灾害时,统一调度模块就会根据下游的异常,自动剔除不能服务的节点、AZ,通过其他的 AZ 能够提供稳定可靠的服务...---- 最后,王淼表示,存储是很多服务的基石,未来围绕着存储可以创造出无限的可能!
构建.NET Core 技术中台 张善友 深圳友浩达科技创始人 下载 2019-06-02 腾讯云开发者社区开发者大会 武汉站 炼数成金:大数据Sparkling应用实践...邹建平 腾讯云大数据技术总监 下载 yarn在快手应用实践与技术演进之路 房孝敬 快手数据架构工程师 下载 云端大数据产品架构及最佳实践 杨志伟 腾讯云高级工程师...叶聪 腾讯 AI 技术专家 下载 2019-09-21 “小程序·云开发” 北京站 小程序·云开发技术应用的架构演进与实践 利开园 腾讯云高级工程师 下载...2019-10-19 腾讯云开发者社区开发者大会(北京站) 腾讯5G探索与实践 俞一帆 腾讯专家工程师 腾讯5G未来网络技术专家 下载 同程艺龙响应式架构实践 李智慧...同程艺龙交通首席架构师 下载 CDN边缘智能助力5G 廖龙 腾讯云专家工程师 下载 从烽火台到物联网 史海峰 贝壳金服小微企业生态CTO 下载
网心科技曾伟纪在LiveVideoStack Meet上分享了星域CDN独创的无限节点等技术,详细介绍从传统直播CDN向无限节点演进过程中关键技术难点的解决方案和经验。...很高兴来到LiveVideoStack Meet分享,我大概会分为五部分介绍:CDN背景介绍、直播CDN的经典架构、基于经典架构做的一些优化工作、无限节点技术以及展望未来的工作。...最短链路 第四点是最短链路,前面介绍经典架构是一个三层树状的固定层级架构,每个节点都只能和自己上一节点通信,这样任何一个边缘节点回源必然要产生两跳——边缘到中继,中继到中心,这样一方面会产生两倍的回源带宽开销...对于TCP而言,它主要的问题就是对丢包和延时的抵抗力是很低的,作为一个单链路传输,很难实现平滑切换,针对这样的问题,我们就采用了无限节点的方式。...无限节点 在讲无限节点之前,我们需要介绍下迅雷赚钱宝,它其实是一个小的计算节点,当用户把它接入带家庭网络中,它就变成了我们在离用户最近的一个节点,而星域直播卓越版这个产品就是利用已有的百万级别的赚钱宝节点
领取专属 10元无门槛券
手把手带您无忧上云