2014年:基于分布式的基础架构 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT产品的集中架构模式,走互联网模式的分布式架构。众所周知,传统银行IT架构体系非常依赖于传统的商业数据库,商业存储以及大中型服务器设备,每年也需要巨大的IT费用去维护和升级,同时这种集中式的架构,也不便于进行高效的实现水平扩展。从过往经验来看,当时除了oracle等少数传统的商业数据库,能满足金融级银行场景的数据库产品并不多。当时腾讯有一款金融级的分布式数据库产品TD
导语 | 在金融行业IT系统国产化的大背景下,国内金融行业开始推动IT基础设施国产化,逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初,就放弃了传统IOE架构路红,结合腾讯金融级分布式数据库TDSQL,建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模,数百套银行核心系统,和每天数亿次的金融交易。本文由微众银行数据库平台室室经理、腾讯云TVP 胡盼盼在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《分布式数据
点击▲关注 腾讯云数据库 | 导语 微众银行在2014年成立之时,就非常有前瞻性的确立了分布式架构的基础架构。当时,腾讯有一款金融级的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。微众银行和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融级分布式数据库产品,并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。 一、背景介绍 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT
本文由微众银行数据库负责人胡盼盼撰写,介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进,以及 TiDB 在微众银行核心批量场景的应用。
作者:唐玉柱,UCloud 高级网络架构师、UCloud新一代骨干网架构规划项目负责人。拥有丰富的数据中心、骨干网架构设计和运维经验;目前主要负责UCloud全球数据中心、骨干网架构设备选型、架构设计和规划。
2018年10月份,UCloud数据中心基础网络完成了V4新架构的落地,自此,新建的数据中心(下简称DC)全面升级到25G/100G网络,极大提升了DC容量和DC间互联的性能。V4架构下的单可用区可提供320,000个服务器接入端口,是此前V3架构的4倍。并且支持无损网络特性,提供可用区资源的水平扩展和滚动升级能力。上线以来,新架构有力保障了UCloud福建GPU可用区开放、北京二可用区B/C/D扩容等需求。
本文将介绍微众银行的数据库架构演进过程,并分享 TiDB 在微众银行实践经验和部分业务案例。
随着深度神经网络在语音和图像识别上取得的巨大成功,AlphaGo 战胜人类围棋顶尖高手,以深度网络为基础的人工智能迎来第三次高潮。与此同时互联网所面临的信息超载问题愈演愈烈,其中个性化推荐是重要的信息过滤手段。
DCN(Data Center Network)数据中心网络是现代信息技术基础设施的重要组成部分。它提供了连接与通信的基础,支撑数据中心内外部各种应用和服务。作为一个复杂的网络系统,DCN承载着大量数据流量和通信需求,为AI、大数据、云计算等关键技术提供基础底座。
承载网是指用于承载各种业务数据的网络,它可以是运营商的骨干网,也可以是企业的内部网络。承载网的主要任务是为各种业务提供稳定、可靠、高效的数据传输服务。
前言 业务的高速发展驱动了腾讯DCN(Data Center Network)数据中心网络的大规模建设,对此我们通过设备自研、自动化系统等手段打造了高质量、低成本、高效率的智能DCN。近年来,随着大数据以及人工智能时代的来临,对性能有着苛刻诉求的分布式系统对网络提出了更高要求。因此,在规模与应用双重驱动下,我们也将极致性能与极致运营并驾齐驱,通过端网协同,构建高吞吐、低时延、高可用的极致DCN。 1.构建大规模网络的核心能力: 底层极简,上层智能 回顾过去几年DCN的演进历
NTIRE 挑战赛全称 New Trends in Image Restoration and Enhancement workshop and challenges on image and video processing,是 CVPR 一系列 Workshop 中较为著名的一个(CVPRW 2022 一共收录了约 71 个 Workshop)。NTIRE 是 Radu Timofte 主办的赛事,第一次在 ACCV 2016 举办,之后成为了 CVPRW 的常客。
“ 本文结合DeepCTR-Torch中的代码实现,介绍了DCN的改进版——DCN-M。该模型能更有效地学习特征交叉,并通过低秩矩阵分解对参数矩阵进行降维,降低计算成本。受MOE结构启发,作者还在多个子空间中建模特征交叉。实验表明,传统的基于ReLU的神经网络在学习高阶特征交叉时效率较低;DCN-M能够在保证效率较高的同时,取得优于SOTA方法的效果。”
我曾在SDNLAB和TF中文社区联合举办的直播活动上做了一次分享,讨论到软件SDN和硬件SDN的话题,巧合的是,看到国内大牛厂家也在讨论软硬之路,于是就有了本文的第一篇,文章比较长,需要阅读5-10分钟。
5月24日,2022网络开源技术生态峰会(线上)盛大开幕,本届大会由“科创中国”未来网络专业科技服务团指导,江苏省未来网络创新研究院主办,SDNLAB社区承办。会上,腾讯边缘与物联网络技术总监陈炜先生,为大家带来《腾讯边缘互联网络技术演进与探索》主题演讲。 陈炜首先简单介绍了腾讯在消费和产业互联网的发展现状:微信目前月活达到了12亿以上,腾讯会议已有2亿以上的用户接入服务,腾讯云持续提供200款以上的产品服务。腾讯的TO C和TO B业务大部分都建立腾讯云基础设施上,当前腾讯云基础设施已经发
【导语】前段时间纯粹为了论文凑字数做的一个工作,本文不对CenterNet原理进行详细解读,如果对CenterNet原理不了解,建议简单读一下原论文然后对照本文代码理解(对原版CenterNet目标检测代码进行了极大程度精简)。
在计算机视觉领域,同一物体在不同场景,角度中未知的几何变换是检测/识别的一大挑战,通常来说我们有两种做法:
数据中心是支持企业计算活动的物理设施,实现信息的集中处理、存储、传输、交换和管理,数据中心架构作为一种在交换机和服务器之间建立连接的架构设计,通常是在数据中心设计和建设阶段创建的。此外,它指定了服务器、存储网络、机架和其他数据中心资源的放置方式,并解决了这些设备的互连问题。
构建推荐系统的关键点在于学习有效的交叉特征。特征的交叉一般通过哈达玛积来表示,比如x1表示性别,男、女;x2表示是否喜欢体育;x1&x2联合特征,会有4种取值。通过特征交叉,可以给模型带来一定的非线性表示。DCN在实际应用中,当处理十亿级别的训练数据样本时,其Cross网络部分在建模特征交叉时表达能力受限。尽管,交叉特征建模在学术上已经提出了很多新的技术方法, 但在实际工程中,许多深度学习模型仍然是通过传统的前馈神经网络来实现特征交叉建模。
我的工作历程不算太长,但也不短,11年工龄,30岁出头,要写这么篇文章,其实很尴尬。刨去创业两年时光,我也就是9年在企业里工作的经验,更尴尬的是,这9年时间我就呆了两家公司,而且还在同一行业,这在瞬息万变的IT公司看上去比较少见,所以所述未必合大家的心。 为了便于描述,我还是以时间为轴,来展开讨论。本篇先讲我在神州数码的经历。 在『谈谈大学』里我说到本科毕业后,自己便加入了神州数码网络公司(DCN)。DCN前身是联想网络,脱胎于中科院,有浓郁的研发背景,相对于神码大家庭来说,DCN像是个正在创业的小兄弟。
Dataset不能满足需求需自定义继承torch.utils.data.Dataset时需要override __init__, __getitem__, __len__ ,否则DataLoader导入自定义Dataset时缺少上述函数会导致NotImplementedError错误
利用主从复制+GTID的特性实现异地数据同步与读写分离。下面是实现细节与不同于常规方案的特性。
前言 关于DCI技术的探索,最近很是热门,尤其是在SDN-WAN被大家重视起来后,关于DCI技术的介绍文章层出不穷。本文着重对DCI网络中传输网络部分的技术和现有一些情况进行介绍,希望能给大家带来一定的帮助,请轻喷。 一、DCI网络的由来 数据中心最开始,还比较简陋,一个随意的房间里面放几个机柜+几台高P的空调,然后是单路普通市电+几台UPS,就成了一个数据中心。但是这种数据中心规模较小,可靠性也低,从90年代末开始疯狂发展的互联网,对数据中心的需求也是暴增,所以这类数据中心存在的不可解决的问题来了:空间
第1篇是2016年的Deep&Wide,第2篇是2017年的Deep&Cross(DCN),第3篇是2020年的DCN-V2.
create table if not exists bdp_log( tableName string , dataTime string , startTime string , endTime string , groupName string , dcn1 int, dcn2 int, dcn3 int, dcn4 int, dcnCount int, hiveCount int, executeStatus string) row format delimited fields terminated by '\|' stored as textfile;
导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和OCP国际社区合办。在大会现场,腾讯专家工程师瞿孝荣在OCP技术研讨会上发表名为《腾讯云Open DCN Networking 》的演讲,以下为演讲全文。瞿孝荣,长期从事网络系统及软件架构设计工作。早期在思科参与研发多款路由器,核心交换机的工作。其后在华为,博科,擎发等公司负责SDN策略,数据中心系统研发,及超大型数据中心商业交换芯片开发工作。
为了有效地利用这一更强的形变建模能力,研究员们提出了一种利用更精细的驱动力量来引导网络学习的方法,具体来说,考虑到 R-CNN 框架在进行候选框特征提取时能排除无关背景的干扰,在网络训练过程中通过额外引入要求网络特征模仿 R-CNN 特征的损失函数,使得所学习到的形变更专注在前景物体上。通过引入以上更强的建模能力和更优的训练策略,新一代可变形卷积网络在多个主流的识别任务上取得了相比于第一代可变形卷积网络好得多的性能。
时至今日,SDN的发展已经历了十余个年头。中国的网络生态经过云计算和大数据的洗礼,SDN的旁观者和先行者们早已心有千千结。近日,在北京•榕座举办的首场“SDN茶话会”上,掀起了一场关于用户价值的讨论。
欢迎关注公众帐号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络与服务器最接地气的干货分享,还有一大波互动交流板块和有奖活动正在筹备当中,需要您的热情参与哦,敬请期待! 注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用,如有违反,一经查实,将保留追究权利; 注2:本文图片部分来至互联网,如涉及相关版权问题,请联系v_huanjian@tencent.com 今天,关于技术开源,在深圳有一场重要的峰会—— 开放计算项目(Open
前一篇文章介绍了很多FM系列的方法,但是FM通过特征之间的两两关系来构建交叉特征,这些都是低阶特征组合。谷歌提出DCN,除了DNN部分,在显示构造特征的部分进行多层cross network进行特征的交叉。
在日常生活中, 我们早已习惯用视频纪录生活点滴;视频影像在案件侦破等方面产生突出作用。
欢迎关注公众帐号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络与服务器最接地气的干货分享,还有一大波互动交流板块和有奖活动正在筹备当中,需要您的热情参与哦,敬请期待! 注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用,如有违反,一经查实,将保留追究权利; 注2:本文图片部分来至互联网,如涉及相关版权问题,请联系v_huanjian@tencent.com 导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和
从方法名中就可以知道这篇文章分享的是FM的进一步改进版,xDeepFM是将DeepFM和DCN结合的一篇文章,将多层特征交叉和Field的概念结合起来。在DCN的推文中我们在总结部分就提到,DCN相对于FM的不同之处在于FM系列方法是可以根据不同的field来做特征交叉的,而DCN是直接在整个特征向量上做特征交叉,没有field的概念。xDeepFM就是将两者结合。
「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过「相信开放的力量」系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 助力微众银行金融核心场景的故事。
Deep&Cross Network(DCN)[1]是由Google于2017年提出的用于计算CTR问题的方法,是对Wide&Deep[2]模型的进一步改进。线性模型无法学习到特征的交叉属性,需要大量的人工特征工程的介入,深度网络对于交叉特征的学习有着天然的优势,在Wide&Deep模型中,Deep侧已经是一个DNN模型,而Wide侧是一个线性模型LR,无法有效的学习到交叉特征。在DCN中针对Wide&Deep模型的Wide侧提出了Cross网络,通过Cross网络学习到更多的交叉特征,提升整个模型的特征表达能力。
不论是在学校里还是在公司中,远程登录服务器调试是一件很平常的事情。通过服务器,我们有很多种方式进行开发,喜欢极客风的可以直接通过Vim在服务器中进行开发,配合各种插件在开发效率上还是很高的;另一种就是利用IDE远程连接服务器进行调试,这样可以借助一些IDE的强大功能,提升自己的开发效率(Pycharm、VSCODE)。
https://arxiv.org/pdf/2401.06197.pdf https://github.com/OpenGVLab/DCNv4
今天知乎CV圈的一件大事即针对MSRA视觉组在arXiv放出了Deformable ConvNets V2的讨论。
info: Wang M , Cui Y , Xiao S ,et al.Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning[C]//Abstracts of the 2018 ACM International Conference.ACM, 2018.DOI:10.1145/3219617.3219656.
【导读】本篇文章是由Salesforce Research团队发表在ICLR2017的一篇论文,文章中采用的方法在SQuAD比赛中排名第9。本文从模型和实验两部分介绍此论文。
简介:华为数据通信产品线研发总裁刘少伟发表“数据通信网络未来十大趋势发布”主题演讲。基于对数据通信业务的理解,提出了对未来10年的趋势分析和研究方向。
双塔模型是推荐、搜索、广告等多个领域的算法实现中最常用和经典的结构,实际各公司应用时,双塔结构中的每个塔会做结构升级,用CTR预估中的新网络结构替代全连接DNN,本期看到的是腾讯浏览器团队的推荐场景下,巧妙并联CTR模型应用于双塔的方案。
之前和大家分享了动手实现wide and deep和deepfm,今天和大家分享动手实现DCN。和之前连个方法类似,该方法也是考虑记忆和泛化两部分,泛化部分同样采用DNNs;而记忆部分采用了不同的方式,wide & deep和deepfm我们可以理解为都进行了一次交互,而DCN进行多次交互,每次进行特征的显式交叉,经过一层全连接层后加上原始输入(残差的思想),具体如下图所示。不过有个缺点是因为cross interaction之后得到的是将1n的向量变成nn的矩阵,所以占用内存会增大很多,需要考虑向量的大小。
视频讲解:https://www.yuque.com/chudi/tzqav9/ny150b#aalY8
机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 18 个在推荐系统任务上曾取得 SOTA 的经典模型。 第 1 期:DSSM、Youtube_DNN、SASRec、PinSAGE、TDM
Continually updated,Constantly record my new summary of the Detection Algorithm。
本文是2022年的第一篇文章,给大家带来CIKM2021上中稿的一篇文章,提出了Deep Cross Attentional Product Network(以下简称DCAP),在显式建模高阶特征交互的基础上,引入自注意力机制来刻画不同交叉特征对于预测的重要性,一起来看一下。
本文是CIKM2021上中稿的一篇文章,提出了Deep Cross Attentional Product Network(以下简称DCAP),在显式建模高阶特征交互的基础上,引入自注意力机制来刻画不同交叉特征对于预测的重要性,一起来看一下。
多年以后,当资深算法专家们看着无缝对接用户需求的广告收入节节攀升时,他们可能会想起自己之前痛苦推导FM与深度学习公式的某个夜晚……
工业视觉、自动驾驶、安防、新零售等我们身边熟知的各行各业都需要目标检测技术,由于其很好的平衡了标注成本、检测精度和速度等,成为当前智能制造产业升级浪潮中被商业化应用最为广泛的AI技术之一。
领取专属 10元无门槛券
手把手带您无忧上云