导读 本文是针对多场景CTR预估中的特征交互提出的相关改进方法，利用LLM构建通用特征交互网络。常规的方法在迁移到新的推荐域会存在一定的问题，因为它们依赖于ID特征（例如，item ID）的建模。...本文提出了用于CTR预测的通用特征交互网络（UFIN）方法，利用文本数据来学习可以在不同domain有效迁移的通用特征交互。总体框架分为两部分：通用特征学习和基于通用特征的通用特征交互学习。...NN来学习用于增强表征的语义空间。...采用MoE来实现上述思路, 对于L个domain，引入L个专家，每个专家j由EulerNet实现，具有可学习的阶参数 A_j 。...最终的预测为 \hat{y}=sigmoid(\zeta) 对于多场景方法, 可以在每个场景的预测过程中加入场景信息, 因此预测值可以表示为 \hat{y}=sigmoid(\zeta+\zeta_f
针对交通参与者的轨迹预测可用于降低上述不确定性，更好的了解交通环境，从而实现更安全高效的自动驾驶。监督深度学习已成功应用于轨迹预测问题，但缺乏概率推理的方法难以对复杂的结构化输出进行建模。...长短期记忆（LSTM）网络是一种专门构建的用于建模时间序列数据的深度学习体系结构。然而，这种方法只产生单一的确定性轨迹输出，因此忽略了捕捉人类行为固有的不确定性。...有两种主要的深层生成方法在该领域占据主导地位，（条件）生成对抗网络（(C)GANs）[26]，[27]和（条件）变分自动编码器（(C)VAEs）[2]，[28]。...图2 CVAE的图模型，以及用于人类行为预测的CVAE的神经网络架构。实线表示生成过程（预测过程），虚线表示用于变分推理（训练过程）。...由φ参数化的解码器使用x和来自pθ(z | x)的样本来产生pφ(y | x, z)。实际上，编码器和解码器都是神经网络。
SSL-Lanes:用于自动驾驶中运动预测的自监督学习 0....摘要 自监督学习(SSL)是一种新兴的技术，已经被成功地用于训练卷积神经网络(CNNs)和图神经网络(GNNs)，以获得更可转移的、可推广的和鲁棒的表示学习。...然而，它在自动驾驶运动预测方面的潜力很少被探索。在这项研究中，我们报告了第一次将自监督纳入运动预测的系统的探索和评估。...3.1 自监督运动预测模型 自监督可以以各种方式与运动预测相结合，一种方案是假设性任务(可以看作是编码器参数的初始化)来预训练预测编码器，然后用下游解码器对预训练的编码器进行微调： 第二种方案是冻结编码器...表2 基于Argoverse验证的运动预测性能 此外，由于假设性任务不用于推理，而只用于训练，它们也不向基线添加任何额外的参数或FLOPs，从而提高了准确性，但不影响计算效率或架构复杂性。
论文题目 Attentive Symmetric Autoencoder for Brain MRI Segmentation 论文摘要 为磁共振成像 (MRI) 数据准确分割脑部病变、肿瘤或组织对于构建计算机辅助诊断...然而，现有方法在应用于 3D 医学图像时很少研究重建斑块的各种重要性和解剖结构的对称性。...观察到这样特征，作者在这篇文章中提出了一种基于Vision Transformer (ViT) 的新型注意力对称自动编码器 (ASA)用于 3D 大脑 MRI 分割任务，该方法包括新颖的注意力重建损失函数...，一种新的对称位置编码方法以及基于注意力对称自动编码器的用于脑 MRI 分割的自监督学习（Self-Supervised Learning, SSL）框架。...在三个脑 MRI 分割基准上优于最先进的自监督学习方法和医学图像分割模型。 论文链接 https://arxiv.org/pdf/2209.08887.pdf
右侧：提取的街道级信息，包括道路、人行道、交通标志/信号灯。由于生成的语义地图具有高精度和高质量，可以进一步进行矢量化，用于生成高精地图。...• 一个用于基于视觉的3D语义地图流程的基准，融合了3D激光雷达和2D图像的地面真值标签。...时间一致性标签 尽管基于图像的语义分割的深度神经网络在过去几年中取得了显著的改进，但这些网络仍然存在预测标签中的噪声以及在时间序列图像的估计中的时间不一致性，一方面，由于透视成像过程，物体的外观通常会发生显著变化...，另一方面，DNN的预测能力仍在发展中，因此常常会出现不完全一致的估计结果， 然而，就自动驾驶的任务而言，人们通常更关注时间上一致的三维语义标签，而不是图像空间中的二维标签，因此，我们提出了一种简单但有效的方案...总结 我们提出了一个大规模语义建图方案，将最先进的直接稀疏VO前端和具有全局优化和基于图像的语义分割的后端结合起来，证明了通过整合由VO建立的时间对应关系，可以改善语义分割网络的预测结果，此外，我们展示了该方案能够利用车队生成覆盖数千公里道路的城市规模语义地图
CNNs for object detection R-CNN，Faster R-CNN， R-FCN 这些基于候选区域的方法实时性比较差，YOLO是第一个实现实时检测的算法。...Small CNN models 小模型主要体现在参数数量规模上面。AlexNet 有240MB 参数，而 SqueezeNet 只有 4.8MB 参数，而且两者性能相当。 2.3....Fully convolutional networks 全卷积网络还是比较流行的。R-FCN 就是全卷积网络。 Method Description 3.1....输入图像经过一个卷积网络提取特征图 feature map，这个特征图经过一个 ConvDet 层处理得到 若干矩形框，每个矩形框有坐标，C个类别概率，1个confidence score，就是包含物体的概率...对特征图的每个网格位置使用 K个 anchors 进行矩形框的回归和置信度计算。 ? ? RPN, ConvDet and YOLO的检测层 对比，主要是参数数量的不一样。 性能对比： ?
，因为它允许我们识别不同的细胞类型。...然而，大量的细胞（高达数百万个）、高维的数据（成千上万个的基因）和高dropout率都给单细胞分析带来了巨大的挑战。...在这里，作者介绍了一种新的方法，利用自动编码器和网络融合（scCAN），可以克服这些在大型和稀疏的scRNA-seq数据中准确分离不同细胞类型的问题。...在使用28个真实的scRNA-seq数据集（超过300万个细胞）和243个模拟数据集进行的广泛分析中，作者验证了scCAN：(1)正确估计真实细胞类型的数量，(2)准确地分离不同类型的细胞，(3)对dropout...是鲁棒的。
尽管现有的实时语义分割模型在准确性和速度之间取得了令人称赞的平衡，但其多路径块仍然影响着整体速度。为了解决这个问题，本研究提出了一种专门用于实时语义分割的重参数化双分辨率网络（RDRNet）。...在本研究中，我们受到先前研究[13]、[14]的启发，提出了一种基于双分支架构的可重参数化双分辨率网络（RDRNet），用于实时语义分割任务。...主要贡献总结如下： 通过利用多路径块在训练中的优势来提升模型性能，并在推理过程中将多路径块重参数化为单路径块以提升推理速度，我们提出了一种新颖的模型，称为可重参数化双分辨率网络（RDRNet），用于实时语义分割...关于残差连接，RB将首先构建一个卷积来替代它，其中如果等于，则权重值为1；如果不等于，则权重值为0。然后，将卷积重新参数化为卷积。...Cityscapes[15]在城市场景理解和自动驾驶领域被广泛使用。它包含19个类别，共有5000张图像，其中2975张用于训练，500张用于验证，1525张用于测试。
一、前言 前几天在Python最强王者交流群【德善堂小儿推拿-瑜亮老师】分享了一个关于Python网络爬虫的问题，这里拿出来给大家分享下，一起学习。...content_length and int(content_length) > 10240: print(url) 程序运行之后，不到1秒就出来结果了，没想到jupyter里边可以自动显示时间...【月神】的方法完全满足题目要求，不过这个文件解析有点慢。 后来【德善堂小儿推拿-瑜亮老师】大佬摊牌了：题目就考这一个知识点：stream=True，别的都是简单的很。...共耗时: {end2 - start2:.2f}秒') 下面是代码截图： 那小伙伴们就问了，那个stream参数是干啥用的啊？不慌，【月神】丢来一个解析。 如此就清晰多了。...这篇文章主要分享了在Python网络爬虫过程中，构建网络请求的时候，参数stream=True的使用，使用了一个具体的实例给大家演示了该参数的具体用法！关于该参数的介绍，请参考文中的解析。
为了更全面地感知3D场景，在本文中，我们提出了一种名为SurroundOcc的方法，用于使用多摄像头图像预测3D占用情况。...SurroundOcc的概览，给定多摄像头图像，我们的方法可以预测周围3D场景的体积占用情况。为了训练网络，我们设计了一个流程，可以使用稀疏的LiDAR点生成稠密的占用标签。...最后，多尺度体积特征通过 3D 卷积网络上采样和组合，并通过递减的损失权重来监督每个级别的占据预测。 图2. 所提方法的流程。...首先使用主干网络提取多摄像头图像的多尺度特征，然后，我们采用2D-3D空间注意力来融合多摄像头的信息，以多尺度方式构建3D体积特征。...然后，通过 3D 反卷积层上采样前一级的 3D 体积特征，并将其与当前尺度的特征进行融合，生成当前尺度的 3D 体积特征。网络在每个尺度上都会输出一个占据预测结果。
但是，大多数网络仍然依赖于早期互联网的设计原则，这就导致了应用需求和网络现状间的不匹配。为了弥补这一差距，我们需要重新审视基本原则，实现可预测性能的网络。...本论文的观点是，我们可以有效地权衡利用率和性能并建立可预测的网络，为应用和用户提供有意义的保证。...为了实现这一目标，我们提出了一个双管齐下的方法：设计能够提供明确的性能保证的单个网络组件，并利用某种机制将它们结合起来，从较小的、不那么可预测的组件中建立更大、更可预测的系统。...在数据中心网络的背景下，本论文提出了三个系统：PicNIC、CoNIC和μP4。 PicNIC是一个端到端的系统，为共享公有云的用户提供可预测的性能，显示我们如何在较小的可预测组件上提供性能保证。...它为虚拟机引入了一个新的网络抽象，提供可量化的保证。 CoNIC和μP4专注于构建可预测网络组件的技术。为了满足主机网络堆栈的性能和灵活性的目标，CoNIC探索了基于异构包处理架构的软硬件协同设计。
在之前的 5 篇教程中，我们讨论了用于金融预测的人工神经网络，比较金融时序预测的不同架构，意识到如何通过正确的数据处理和正则化实现充分的预测，执行基于多变量时序的预测，并取得了非常好的波动率（volatility...在第 6 篇教程中，我们借助不同来源的数据进行设置和实验，用一个神经网络完成两个任务，优化超参数从而实现更优预测。...今天，我想借助一个实际的预测用例，对金融时序预测做个总结：我们将使用神经网络改善经典的移动平均线策略，证明它可以真正提升最后的结果，并介绍了一些大家可能感兴趣的新的预测目标。...网络架构 这里，我想展示如何训练正则化 MLP 用于时序预测： main_input = Input(shape=(len(X[0]), ), name='main_input') x = GaussianNoise...这篇文章介绍了如何使用神经网络实现金融时序预测，也暂时完结了该系列教程。坦白讲，我们无法使用神经网络来预测价格趋势。 我们考虑不同的数据源和目标，认真处理过拟合和优化超参数。
本文提出了提出了一种基于Vision Transformer (ViT) 的新型注意力对称自动编码器 (ASA)，用于 3D 大脑 MRI 分割任务，在三个脑 MRI 分割基准上优于最先进的自监督学习方法和医学图像分割模型...十分有必要开发一种用于脑MRI的自动分割工具。而近几年基于图像块重建的自监督学习方法在训练自动编码器方面取得了巨大成功，其预训练的权重可以转移到微调图像理解的其他下游任务。...基于注意力对称自动编码器的用于脑 MRI 分割的自监督学习（Self-Supervised Learning, SSL） 框架。...可视化结果如图4所示，本文的方法在ET区域（蓝色）实现了更准确的预测。而在表2中的IBSR数据集和WMH数据集上，本文的方法在CSF和GM和WMH上都显示了最高的Dice分数。...表3 消融实验结果 在表3中，‘Baseline’表示分割网络从头开始训练的结果，‘w/SSL’表示使用由3D掩码自动编码器[9]（MAE）自监督方法预训练模型后的结果，‘A-SSL’表示将基于注意力的重建损失引用的自监督网络后的结果
为了解决这一问题，作者提出了一个用于DDI预测的多模态深度神经网络(MDNN)。本文设计了一个基于药物知识图谱(DKG)的通道和基于异质特征(HF)的通道的双通道框架来获取药物的多模态表征。...因此，准确预测DDI成为临床重要任务，有助于临床医生做出有效决策，制定合适的治疗方案。目前已有许多基于人工智能的模型用于DDI预测。...2.模型介绍 MDNN模型的结构如上图所示，由两个主要通道组成：基于DKG的通道和基于HF的通道。基于DKG的通道利用图神经网络在构建的药物知识图上提取药物之间的拓扑结构信息和语义关系。...在本工作中，有三个重要参数，即邻域样本的大小 , GNN层数l和嵌入DKG的维数d。...4.总结 本文提出了一种新的用于药物-药物反应预测的MDNN模型。MDNN利用药物知识图上的图神经网络，有效地利用拓扑信息和语义关系。
对于SL pair的湿实验筛选存在成本高、成批效应和脱靶等问题。目前用于SL预测的计算方法包括基因敲除模拟、基于知识的数据挖掘和机器学习等方法。...结果:本文提出了一种新的基于图神经网络(GNN)的KG4SL模型，将知识图(KG)消息传递纳入到图神经网络预测中。...用于SL预测的计算方法可以分为三类。第一种是使用代谢网络模型来进行计算机模拟，第二种是面向知识的方法，主要是利用特定领域的知识进行特征工程。...在第三部分中，作者定义了一个以监督方式重构基因-基因相似度的译码器。这是第一个将KG与GNN集成用于SL预测的框架。...5.总结 本文提出了一种新的基于图神经网络(GNN)的KG4SL模型，将知识图(KG)消息传递纳入到图神经网络预测中。
Neural Network for Diagnosis and Prediction of COVID-19 Severity 论文摘要 随着新冠肺炎疫情在全球范围内快速传播，联合识别轻症重症病例并预测轻症转化时间...本研究提出了一种新型的新冠肺炎诊断框架——结构注意图神经网络(Structural Attention Graph Neural Network, SAGNN)，它可以结合胸部CT提取的特征、肺潜在结构分布和非影像学患者信息等多源信息...，对新冠肺炎的严重程度进行诊断，并预测从轻到重的转换时间。...具体而言，本文首先构建一个包含肺结构信息的图，并采用图注意网络迭代更新肺段的表示。为了区分不同的左右肺感染程度，作者进一步介绍了一种结构注意机制。...实验结果表明，与其他比较方法相比，该方法获得了最佳的分类性能(例如曲线下面积为86.86%)和回归性能(例如相关系数为0.58)。
简介： 城市场景的语义分割是自动驾驶应用的重要组成部分。随着深度学习技术的兴起，取得了巨大的进步。目前的语义分割网络大多使用单一模式的感知数据，通常是可见光摄像机产生的RGB图像。...我们的网络可以用于理解城市场景，这是许多自动驾驶任务的基本组成部分，如环境建模、避障、运动预测和规划。...： MCdropout 用于推断贝叶斯网络的模型参数的后验分布，进行不确定性估计。...通过在初始块之后插入dropout层，最大池层，以及RGB和热编码器的1-4个过渡层来构建贝叶斯FuseSeg。在运行时，对模型采样T次，设T = 50。...使用MC dropout技术估计了我们的网络预测的不确定性。 本文仅做学术分享，如有侵权，请联系删文。
这项工作中，研究人员开发了一种生成式网络复合体(GNC)，通过自动编码器在潜在空间中的梯度下降，基于多性质优化生成新的类药分子。...更有趣的是，许多基于序列对序列自动编码器(Seq2seq AEs)、变分自动编码器(VAEs)、对抗式自动编码器(AAEs)、生成式对抗网络(GANs)、强化学习等的深度生成模型被提出，用于探索广阔的类药物化学空间...2 方法 2.1 序列到序列的自动编码器(seq2seq AE) seq2seq模型是一种源于自然语言处理的自动编码器架构。已被证明是语言翻译领域的一个突破。...3 实验 3.1 设计BACE1抑制剂 3.1.1 seq2seq AE和预测器的准确性 首先测试了seq2seq自动编码器、LV-BP和2DFP-BP预测器的准确性。...这项工作中，研究人员开发了一种新的生成式网络复合体(GNC)，用于在潜伏空间中通过梯度下降的多性质优化来自动生成类药分子。
编译 | 洪越 今天给大家介绍由厦门大学刘向荣教授团队发表在Bioinformatics上的文章，文章提出一个用于DDI预测的链接感知图注意网络，称为LaGAT。...随着大型生物医学数据库的日益可用，药物相关的大规模生物知识图谱与深度学习技术已被广泛用于DDI预测，比如图神经网络（GNN）和翻译嵌入（TransE）。...因此，该论文提出了一种链路感知的图注意力网络LaGAT，能够根据不同的药物对为药物实体生成动态的注意力权重，对不同类型的DDI进行端到端的预测，并且模型生成的注意力权重具有良好的可解释性。...可以看出，在不同超参数下，作者提出的方法都优于基准方法，并且和GAT以及GAT-const相比，LaGAT在链路预测任务上存在优势，侧面支持了作者的假设。...5 总结 文章提出了一种基于链路感知的图注意网络，用于药物相互作用预测任务。它能够在不同的DDI中为同一药物实体产生不同的注意途径，为 KG 模型预测的结果提供可解释性。
，研究人员使用一些先验知识（如路段距离、POI相似度）来构建一个表示空间相关性的图结构。...所以如何脱离这些限制来构建动态图以提升模型的泛化性是一个重要的挑战。 （2）交通信号自然包含两种信号，即代表正常交通流量的正常信号和代表由于未知原因导致的异常流量的异常信号。...通过这种方式，它不依赖于预定义的邻接矩阵，使其适用于任何缺乏先验知识的情景。 为了充分考虑不同时间点道路网络的动态空间依赖关系，我们设计了一个时空嵌入生成器（STE generator）。...W_{r},W_{u},W_{c} 和 b_{r},b_{u},b_{c} 是可学习的参数。 由DGCRU组成的DGCRM用于从交通信号序列中提取时空特征。...通过残差分解，从 x^{l}_{P} 中学到的信息被移除，仅保留下一个块中尚未学到的部分 x^{l+1}_{P} 以用于下一个块中的建模。最终每个块的输出值相加形成最终的预测值。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
实时音视频
