导语 | 在金融行业IT系统国产化的大背景下，国内金融行业开始推动IT基础设施国产化，逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初，就放弃了传统IOE架构路红，结合腾讯金融级分布式数据库TDSQL，建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模，数百套银行核心系统，和每天数亿次的金融交易。本文由微众银行数据库平台室室经理、腾讯云TVP 胡盼盼在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《分布式数据
2014年：基于分布式的基础架构 微众银行在2014年成立之时，就非常有前瞻性的确立了微众银行的IT基础架构的方向：摒弃传统的基于商业IT产品的集中架构模式，走互联网模式的分布式架构。众所周知，传统银行IT架构体系非常依赖于传统的商业数据库，商业存储以及大中型服务器设备，每年也需要巨大的IT费用去维护和升级，同时这种集中式的架构，也不便于进行高效的实现水平扩展。从过往经验来看，当时除了oracle等少数传统的商业数据库，能满足金融级银行场景的数据库产品并不多。当时腾讯有一款金融级的分布式数据库产品TD
本文由微众银行数据库负责人胡盼盼撰写，介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进，以及 TiDB 在微众银行核心批量场景的应用。
点击▲关注 腾讯云数据库 | 导语 微众银行在2014年成立之时，就非常有前瞻性的确立了分布式架构的基础架构。当时，腾讯有一款金融级的分布式数据库产品TDSQL，其业务场景和对数据库的可靠性要求，和银行场景非常类似。微众银行和腾讯TDSQL团队合作，共同将TDSQL打造为适合银行核心场景使用的金融级分布式数据库产品，并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。 一、背景介绍 微众银行在2014年成立之时，就非常有前瞻性的确立了微众银行的IT基础架构的方向：摒弃传统的基于商业IT
2018年10月份，UCloud数据中心基础网络完成了V4新架构的落地，自此，新建的数据中心（下简称DC）全面升级到25G/100G网络，极大提升了DC容量和DC间互联的性能。V4架构下的单可用区可提供320,000个服务器接入端口，是此前V3架构的4倍。并且支持无损网络特性，提供可用区资源的水平扩展和滚动升级能力。上线以来，新架构有力保障了UCloud福建GPU可用区开放、北京二可用区B/C/D扩容等需求。
本文将介绍微众银行的数据库架构演进过程，并分享 TiDB 在微众银行实践经验和部分业务案例。
前言 业务的高速发展驱动了腾讯DCN（Data Center Network）数据中心网络的大规模建设，对此我们通过设备自研、自动化系统等手段打造了高质量、低成本、高效率的智能DCN。近年来，随着大数据以及人工智能时代的来临，对性能有着苛刻诉求的分布式系统对网络提出了更高要求。因此，在规模与应用双重驱动下，我们也将极致性能与极致运营并驾齐驱，通过端网协同，构建高吞吐、低时延、高可用的极致DCN。 1.构建大规模网络的核心能力： 底层极简，上层智能 回顾过去几年DCN的演进历
「我们已经用起来了」，是我们最喜欢听到的话，简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始，我们将通过「相信开放的力量」系列深度案例分享，从业务的角度，看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 助力微众银行金融核心场景的故事。
“ 本文结合DeepCTR-Torch中的代码实现，介绍了DCN的改进版——DCN-M。该模型能更有效地学习特征交叉，并通过低秩矩阵分解对参数矩阵进行降维，降低计算成本。受MOE结构启发，作者还在多个子空间中建模特征交叉。实验表明，传统的基于ReLU的神经网络在学习高阶特征交叉时效率较低；DCN-M能够在保证效率较高的同时，取得优于SOTA方法的效果。”
https://arxiv.org/pdf/2401.06197.pdf https://github.com/OpenGVLab/DCNv4
【导语】前段时间纯粹为了论文凑字数做的一个工作，本文不对CenterNet原理进行详细解读，如果对CenterNet原理不了解，建议简单读一下原论文然后对照本文代码理解（对原版CenterNet目标检测代码进行了极大程度精简）。
在计算机视觉领域，同一物体在不同场景，角度中未知的几何变换是检测/识别的一大挑战，通常来说我们有两种做法:
构建推荐系统的关键点在于学习有效的交叉特征。特征的交叉一般通过哈达玛积来表示，比如x1表示性别，男、女；x2表示是否喜欢体育；x1&x2联合特征，会有4种取值。通过特征交叉，可以给模型带来一定的非线性表示。DCN在实际应用中，当处理十亿级别的训练数据样本时，其Cross网络部分在建模特征交叉时表达能力受限。尽管，交叉特征建模在学术上已经提出了很多新的技术方法， 但在实际工程中，许多深度学习模型仍然是通过传统的前馈神经网络来实现特征交叉建模。
Dataset不能满足需求需自定义继承torch.utils.data.Dataset时需要override __init__, __getitem__, __len__ ，否则DataLoader导入自定义Dataset时缺少上述函数会导致NotImplementedError错误
利用主从复制+GTID的特性实现异地数据同步与读写分离。下面是实现细节与不同于常规方案的特性。
create table if not exists bdp_log( tableName string , dataTime string , startTime string , endTime string , groupName string , dcn1 int, dcn2 int, dcn3 int, dcn4 int, dcnCount int, hiveCount int, executeStatus string) row format delimited fields terminated by '\|' stored as textfile;
第1篇是2016年的Deep&Wide,第2篇是2017年的Deep&Cross(DCN),第3篇是2020年的DCN-V2.
作者：唐玉柱，UCloud 高级网络架构师、UCloud新一代骨干网架构规划项目负责人。拥有丰富的数据中心、骨干网架构设计和运维经验；目前主要负责UCloud全球数据中心、骨干网架构设备选型、架构设计和规划。
为了有效地利用这一更强的形变建模能力，研究员们提出了一种利用更精细的驱动力量来引导网络学习的方法，具体来说，考虑到 R-CNN 框架在进行候选框特征提取时能排除无关背景的干扰，在网络训练过程中通过额外引入要求网络特征模仿 R-CNN 特征的损失函数，使得所学习到的形变更专注在前景物体上。通过引入以上更强的建模能力和更优的训练策略，新一代可变形卷积网络在多个主流的识别任务上取得了相比于第一代可变形卷积网络好得多的性能。
DCN（Data Center Network）数据中心网络是现代信息技术基础设施的重要组成部分。它提供了连接与通信的基础，支撑数据中心内外部各种应用和服务。作为一个复杂的网络系统，DCN承载着大量数据流量和通信需求，为AI、大数据、云计算等关键技术提供基础底座。
在日常生活中, 我们早已习惯用视频纪录生活点滴；视频影像在案件侦破等方面产生突出作用。
前一篇文章介绍了很多FM系列的方法，但是FM通过特征之间的两两关系来构建交叉特征，这些都是低阶特征组合。谷歌提出DCN，除了DNN部分，在显示构造特征的部分进行多层cross network进行特征的交叉。
数据中心是支持企业计算活动的物理设施，实现信息的集中处理、存储、传输、交换和管理，数据中心架构作为一种在交换机和服务器之间建立连接的架构设计，通常是在数据中心设计和建设阶段创建的。此外，它指定了服务器、存储网络、机架和其他数据中心资源的放置方式，并解决了这些设备的互连问题。
随着深度神经网络在语音和图像识别上取得的巨大成功，AlphaGo 战胜人类围棋顶尖高手，以深度网络为基础的人工智能迎来第三次高潮。与此同时互联网所面临的信息超载问题愈演愈烈，其中个性化推荐是重要的信息过滤手段。
从方法名中就可以知道这篇文章分享的是FM的进一步改进版，xDeepFM是将DeepFM和DCN结合的一篇文章，将多层特征交叉和Field的概念结合起来。在DCN的推文中我们在总结部分就提到，DCN相对于FM的不同之处在于FM系列方法是可以根据不同的field来做特征交叉的，而DCN是直接在整个特征向量上做特征交叉，没有field的概念。xDeepFM就是将两者结合。
Deep&Cross Network（DCN）[1]是由Google于2017年提出的用于计算CTR问题的方法，是对Wide&Deep[2]模型的进一步改进。线性模型无法学习到特征的交叉属性，需要大量的人工特征工程的介入，深度网络对于交叉特征的学习有着天然的优势，在Wide&Deep模型中，Deep侧已经是一个DNN模型，而Wide侧是一个线性模型LR，无法有效的学习到交叉特征。在DCN中针对Wide&Deep模型的Wide侧提出了Cross网络，通过Cross网络学习到更多的交叉特征，提升整个模型的特征表达能力。
不论是在学校里还是在公司中，远程登录服务器调试是一件很平常的事情。通过服务器，我们有很多种方式进行开发，喜欢极客风的可以直接通过Vim在服务器中进行开发，配合各种插件在开发效率上还是很高的；另一种就是利用IDE远程连接服务器进行调试，这样可以借助一些IDE的强大功能，提升自己的开发效率(Pycharm、VSCODE)。
今天知乎CV圈的一件大事即针对MSRA视觉组在arXiv放出了Deformable ConvNets V2的讨论。
NTIRE 挑战赛全称 New Trends in Image Restoration and Enhancement workshop and challenges on image and video processing，是 CVPR 一系列 Workshop 中较为著名的一个（CVPRW 2022 一共收录了约 71 个 Workshop）。NTIRE 是 Radu Timofte 主办的赛事，第一次在 ACCV 2016 举办，之后成为了 CVPRW 的常客。
info: Wang M , Cui Y , Xiao S ,et al.Neural Network Meets DCN: Traffic-driven Topology Adaptation with Deep Learning[C]//Abstracts of the 2018 ACM International Conference.ACM, 2018.DOI:10.1145/3219617.3219656.
【导读】本篇文章是由Salesforce Research团队发表在ICLR2017的一篇论文，文章中采用的方法在SQuAD比赛中排名第9。本文从模型和实验两部分介绍此论文。
承载网是指用于承载各种业务数据的网络，它可以是运营商的骨干网，也可以是企业的内部网络。承载网的主要任务是为各种业务提供稳定、可靠、高效的数据传输服务。
双塔模型是推荐、搜索、广告等多个领域的算法实现中最常用和经典的结构，实际各公司应用时，双塔结构中的每个塔会做结构升级，用CTR预估中的新网络结构替代全连接DNN，本期看到的是腾讯浏览器团队的推荐场景下，巧妙并联CTR模型应用于双塔的方案。
之前和大家分享了动手实现wide and deep和deepfm，今天和大家分享动手实现DCN。和之前连个方法类似，该方法也是考虑记忆和泛化两部分，泛化部分同样采用DNNs；而记忆部分采用了不同的方式，wide & deep和deepfm我们可以理解为都进行了一次交互，而DCN进行多次交互，每次进行特征的显式交叉，经过一层全连接层后加上原始输入（残差的思想），具体如下图所示。不过有个缺点是因为cross interaction之后得到的是将1n的向量变成nn的矩阵，所以占用内存会增大很多，需要考虑向量的大小。
视频讲解：https://www.yuque.com/chudi/tzqav9/ny150b#aalY8
大数据文摘作品 编译：田奥leo、桑桑、璐、Aileen 27种？！神经网络竟有那么多种？这篇文章将逐一介绍下面这张图片中的27种神经网络类型，并尝试解释如何使用它们。准备好了吗？让我们开始吧！ 神经网络的种类越来越多，可以说是在呈指数级地增长。我们需要一个一目了然的图表，在这些新出现的网络构架和方法之间进行导航。 幸运的是，来自Asimov研究所的Fjodor van Veen编写了一个关于神经网络的精彩图表（就是上面那张大图）。 下面，我们就来逐一看看图中的27种神经网络： Perceptron 感知
作者陈广镇、李焕，微众银行容器平台负责人，拥有大规模 Kubernetes 集群开发运维经验。目前负责微众银行容器项目规划、容器平台架构和开发。 本文整理自微众银行容器负责人陈广镇和李焕 在 Techo 开发者大会云原生专题的分享内容——微众容器化实践。本文主要和大家介绍微众的容器化实践，具体分为三个部分：里程碑、实践之路，以及未来的规划。 微众应用容器化项目始于2018年底，我们的生产环境在私有机房上，由于基础设施的差异，容器管理系统主要走自研路线，基于开源产品定制。 2019年1月，微众上线了第一
Continually updated，Constantly record my new summary of the Detection Algorithm。
本文是2022年的第一篇文章，给大家带来CIKM2021上中稿的一篇文章，提出了Deep Cross Attentional Product Network（以下简称DCAP），在显式建模高阶特征交互的基础上，引入自注意力机制来刻画不同交叉特征对于预测的重要性，一起来看一下。
本文是CIKM2021上中稿的一篇文章，提出了Deep Cross Attentional Product Network（以下简称DCAP），在显式建模高阶特征交互的基础上，引入自注意力机制来刻画不同交叉特征对于预测的重要性，一起来看一下。
在像素级预测问题中（比如语义分割，这里以FCN1为例进行说明），图像输入到网络中，FCN先如同传统的CNN网络一样对图像做卷积以及池化计算，降低特征图尺寸的同时增大感受野。但是由于图像分割是一种像素级的预测问题，因此我们使用转置卷积（Transpose Convolution）进行上采样使得输出图像的尺寸与原始的输入图像保持一致。综上，在这种像素级预测问题中，就有两个关键步骤：首先是使用卷积或者池化操作减小图像尺寸，增大感受野；其次是使用上采样扩大图像尺寸。但是，使用卷积或者池化操作进行下采样会导致一个非常严重的问题：图像细节信息被丢失，小物体信息将无法被重建(假设有4个步长为2的池化层，则任何小于 $2^4$pixel 的物体信息将理论上无法重建)。
本文介绍了基于深度学习的人脸检测技术的实现方法、框架和优化，以及应用于移动设备上的性能优化。
据有关数据显示，截止2021年，中国机动车保有量超过3.6亿，机动车驾驶人达到4.5亿，成为名副其实的汽车大国。但与此同时，全国每年有数万人丧生于交通事故，几乎平均每8分钟就有1人因车祸死亡。其中，驾驶员“三超一疲劳”也是造成事故的重要原因之一。
我的工作历程不算太长，但也不短，11年工龄，30岁出头，要写这么篇文章，其实很尴尬。刨去创业两年时光，我也就是9年在企业里工作的经验，更尴尬的是，这9年时间我就呆了两家公司，而且还在同一行业，这在瞬息万变的IT公司看上去比较少见，所以所述未必合大家的心。 为了便于描述，我还是以时间为轴，来展开讨论。本篇先讲我在神州数码的经历。 在『谈谈大学』里我说到本科毕业后，自己便加入了神州数码网络公司（DCN）。DCN前身是联想网络，脱胎于中科院，有浓郁的研发背景，相对于神码大家庭来说，DCN像是个正在创业的小兄弟。
欢迎关注公众帐号“鹅厂网事”，我们给你提供最新的行业动态信息、腾讯网络与服务器最接地气的干货分享，还有一大波互动交流板块和有奖活动正在筹备当中，需要您的热情参与哦，敬请期待！ 注1：凡注明来自“鹅厂网事”的文字和图片等作品，版权均属于“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用，如有违反，一经查实，将保留追究权利； 注2：本文图片部分来至互联网，如涉及相关版权问题，请联系v_huanjian@tencent.com 今天，关于技术开源，在深圳有一场重要的峰会—— 开放计算项目（Open
距离度量学习(DML)已成功地应用于目标分类，无论是在训练数据丰富的标准体系中，还是在每个类别仅用几个例子表示的few-shot场景中。在本文中，我们提出了一种新的DML方法，在一个端到端训练过程中，同时学习主干网络参数、嵌入空间以及该空间中每个训练类别的多模态分布。对于基于各种标准细粒度数据集的基于DML的目标分类，我们的方法优于最先进的方法。此外，我们将提出的DML架构作为分类头合并到一个标准的目标检测模型中，证明了我们的方法在处理few-shot目标检测问题上的有效性。与强基线相比，当只有少数训练示例可用时，我们在ImageNet-LOC数据集上获得了最佳结果。我们还为该领域提供了一个新的基于ImageNet数据集的场景benchmark，用于few-shot检测任务。
在深度学习还没有引入到点击率（Click-Through Rate，CTR）预估之前，CTR预估的模型大概经历了三个阶段：逻辑回归（Logistic Regression，LR），因子分解机（Factorization Machine，FM）、梯度提升树（Gradient Boosting Decision Tree，GBDT）。
导读：汽车之家的推荐系统紧随前沿技术，在支持内部多个推荐场景的同时，对外也有了一定的输出。未来我们期望汽车之家的推荐系统不只是前沿技术的应用者，更是推动者和创新者。本次分享的主题为汽车之家推荐系统排序算法迭代之路，主要包括：
2023年底出现了一篇论文介绍了一种新的卷积网络结构AKConv，它是可变形卷积网络结构的基础更进一步，实现了一种更加随机的卷积结构与参数选择的卷积神经网络结构，效果比DCN更加厉害，但是随着卷积窗口的增大，参数量却比DCN要少很多，图示如下：
时至今日，SDN的发展已经历了十余个年头。中国的网络生态经过云计算和大数据的洗礼，SDN的旁观者和先行者们早已心有千千结。近日，在北京•榕座举办的首场“SDN茶话会”上，掀起了一场关于用户价值的讨论。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
