开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

是否可以直接在实际数据上进行训练？

在云计算领域，可以直接在实际数据上进行训练。实际数据训练是指将真实场景中的数据应用于机器学习和深度学习模型的训练过程中，以获得更准确、更实用的模型结果。

优势：

数据真实性：实际数据训练可以使用真实场景中的数据，这样可以更好地反映实际应用中的情况，提高模型的准确性和可用性。
模型适应性：使用实际数据进行训练可以使模型更好地适应实际应用场景，能够更好地解决实际问题。
数据丰富性：实际数据通常比人工生成的数据更加丰富多样，能够覆盖更多的边界情况，提高模型的鲁棒性和泛化能力。

应用场景：

自然语言处理：在自然语言处理任务中，可以使用实际语料库进行训练，以提高机器翻译、文本分类、语义理解等任务的准确性和效果。
图像识别：对于图像识别任务，可以使用实际场景中的图像数据进行训练，以提高图像分类、目标检测、人脸识别等任务的性能。
声音识别：在语音识别领域，使用实际录音数据进行训练，可以提高语音识别模型在真实环境中的准确性和可靠性。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云机器学习平台（MLStudio）：https://cloud.tencent.com/product/mlstudio
腾讯云人工智能实验室：https://cloud.tencent.com/product/ailab
腾讯云语音识别：https://cloud.tencent.com/product/asr
腾讯云图像识别：https://cloud.tencent.com/product/imagerecognition

相关搜索:IPFS上是否可以进行临时的、非持久的存储？MatSort显示了箭头，但实际上并不对数据进行排序 mlr3:如何在训练数据集上使用mlr进行过滤，并将结果应用于模型训练？SwiftUI文本字段实际上没有对数据进行更新可以对训练集中的分类数据进行编码，但不能对测试集中的分类数据进行编码是否可以从angular app直接在google云中进行CURD操作？是否可以从重采样结果中获得对训练数据的预测？是否可以在BlueStacks上使用twilio数字进行whatsapp验证？是否可以在GCP上使用keras模型进行超参数优化？是否可以在GPU上训练模型，然后在CPU上进行预测

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

【神经网络架构搜索】ProxylessNAS 直接在ImageNet搜索

【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。

03

与视频和图像共同训练 Transformer 以提高动作识别

动作识别已成为研究界的主要关注领域，因为许多应用程序都可以从改进的建模中受益，例如视频检索、视频字幕、视频问答等。基于 Transformer 的方法最近展示了最先进的技术在多个基准测试中的表现。虽然与 ConvNet 相比，Transformer 模型需要数据来学习更好的视觉先验，但动作识别数据集的规模相对较小。大型 Transformer 模型通常首先在图像数据集上进行训练，然后在目标动作识别数据集上进行微调。

02

「合并」样本和标签? IBM 为多标签小样本图像分类带来新进展！| CVPR 2019

AI 科技评论按：目前大多数关于图像小样本分类的研究工作都是研究单标签场景，每个训练图像只包含一个对象，然而现实中的场景中以多对象多标签居多，因此对于多标签小样本的图像分类研究更具现实意义。IBM 的研究人员对多标签小样本的图像分类进行了研究，并在 CVPR 2019 大会上进行了论文分享，相关成果发表在 IBM 官网博客上，AI 科技评论编译如下。

03

手机也能直接玩机器学习了？来，让大神手把手教你

对于各种热门的机器学习、深度学习课程，你一定了解过不少了。但上课之后，如何把学出来的这些新方法用在你的工作项目？如何让你的移动应用也能具备机器学习、深度学习的能力？具体做这事的话：你是该自己训练模型，还是用现成的模型？你是该用自己的电脑训练，还是在云端上训练？你是需要深度学习部署在云端，还是移动端？本文将对这些问题作出具体的解答。作者 | Matthijs Hollemans 编译 | AI100 面对时下大热的机器学习和深度学习，是时候来加强你的移动应用了！可你有什么好主意吗？

09

麻省理工 | ProxylessNAS自动为目标任务和硬件定制高效CNN结构(文末论文及源码)

今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题，改进搜索策略，一定程度上解决资源消耗的问题。其主要是基于DARTs改的，那就先谈谈DARTs的一些问题：

01

AnimateDiffLCM更快效果更佳工作流分享

AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习，该项目提出了一种解耦的一致性学习策略，分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。

01

麻省理工HAN Lab | ProxylessNAS自动为目标任务和硬件定制高效CNN结构(文末论文及源码)

今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题，改进搜索策略，一定程度上解决资源消耗的问题。其主要是基于DARTs改的，那就先谈谈DARTs的一些问题：

02

阅读笔记｜Random sketch learning for deep neural networks in edge computing

info: B. Li et al., “Random sketch learning for deep neural networks in edge computing,” Nat Comput Sci, vol. 1, no. 3, pp. 221–228, Mar. 2021, doi: 10.1038/s43588-021-00039-6.

05

Stable Diffusion火到被艺术家集体举报，网友科普背后机制被LeCun点赞

白交发自凹非寺量子位 | 公众号 QbitAI 免费开源的Stable Diffusion太火了！有人拿它来做视频短片，几分钟内穿越时间看遍地球万物的演变。还有人拿它来制作守望先锋里的英雄。甚至因为使用过于泛滥，牵涉到艺术版权的问题，一群艺术家们还吵了起来，并把一个非官方账号举报到封号。这背后究竟是如何运作的，才能形成如此惊人的反响？这几天，有位小哥分享了Stable Diffusion工作机制的线程，还被LeCun点了赞。来看看究竟说了啥。又是扩散模型首先，从名字Stable

02

【华盛顿大学&&Facebook&&含源码】上下文元学习（Meta Learning）--学习如何学习

Meta Learning 元学习或者叫做 Learning to Learn 学会学习已经成为继Reinforcement Learning 增强学习之后又一个重要的研究分支（以后仅称为Meta Learning）。对于人工智能的理论研究，呈现出了：人工智能、机器学习、深度学习、强化学习、元学习这样的演化趋势。

02

2040张图片训练出的ViT，准确率96.7%，连迁移性能都令人惊讶 | 南京大学

晓查发自凹非寺量子位 | 公众号 QbitAI ViT在计算机视觉领域取得了巨大的成功，甚至大有取代CNN之势。但是相比CNN，训练ViT需要更多的数据，通常要在大型数据集JFT-300M或至少在ImageNet上进行预训练，很少有人研究少量数据训练ViT。最近，南京大学吴建鑫团队提出了一种新方法，只需2040张图片即可训练ViT。他们在2040张花（flowers）的图像上从头开始训练，达到了96.7%的准确率，表明用小数据训练ViT也是可行的。另外在ViT主干下的 7 个小型数据集上从头开

03

三维ImageNet开源！港中深韩晓光团队助力计算机视觉进入三维大数据时代

机器之心专栏机器之心编辑部随着深度学习技术的快速发展，数据驱动的方法已成为计算机视觉领域的核心。在过去的十年里，随着 ImageNet 诞生之后，计算机视觉领域见证了 “从数据中学习” 的范式的兴盛。在 ImageNet 上进行预训练，然后迁移到下游的视觉任务，都能显著提升模型性能，并且已经成为 2D 图像领域的标准化方式。然而，由于真实世界 3D 数据（通常以点云或者 mesh 的形式）的扫描和标注非常繁琐，现有的 3D 数据集要么是合成的，要么与 ImageNet 的规模相去甚远。因此，与 2D

02

数据和结构越大越精准！谷歌推出BigTransfer，计算机视觉领域最先进的迁移学习

ImageNet预训练的ResNet50s是目前提取图像表示的行业标准。BigTransfer（BiT）论文中分享的模型，即使每个类别只有几个例子，也能获得不错的效果，而且在许多任务中都取得了优于ResNet50s表现。

03

数据和结构越大越精准！谷歌推出BigTransfer，计算机视觉领域最先进的迁移学习

ImageNet预训练的ResNet50s是目前提取图像表示的行业标准。BigTransfer（BiT）论文中分享的模型，即使每个类别只有几个例子，也能获得不错的效果，而且在许多任务中都取得了优于ResNet50s表现。

00

麻省理工 HAN Lab 提出 ProxylessNAS 自动为目标任务和硬件定制高效 CNN 结构

摘要：NAS 受限于其过高的计算资源 (GPU 时间, GPU 内存) 需求，仍然无法在大规模任务 (例如 ImageNet) 上直接进行神经网络结构学习。目前一个普遍的做法是在一个小型的 Proxy 任务上进行网络结构的学习，然后再迁移到目标任务上。这样的 Proxy 包括: (i) 训练极少量轮数; (ii) 在较小的网络下学习一个结构单元 (block)，然后通过重复堆叠同样的 block 构建一个大的网络; (iii) 在小数据集 (例如 CIFAR) 上进行搜索。然而，这些在 Proxy 上优化的网络结构在目标任务上并不是最优的。在本文中，我们提出了 ProxylessNAS，第一个在没有任何 Proxy 的情况下直接在 ImageNet 量级的大规模数据集上搜索大设计空间的的 NAS 算法，并首次专门为硬件定制 CNN 架构。我们将模型压缩 (减枝，量化) 的思想与 NAS 进行结合，把 NAS 的计算成本 (GPU 时间, GPU 内存) 降低到与常规训练相同规模，同时保留了丰富的搜索空间，并将神经网络结构的硬件性能 (延时，能耗) 也直接纳入到优化目标中。我们在 CIFAR-10 和 ImageNet 的实验验证了」直接搜索」和「为硬件定制」的有效性。在 CIFAR-10 上，我们的模型仅用 5.7M 参数就达到了 2.08% 的测试误差。对比之前的最优模型 AmoebaNet-B，ProxylessNAS 仅用了六分之一的参数量就达到了更好的结果。在 ImageNet 上，ProxylessNAS 比 MobilenetV2 高了 3.1% 的 Top-1 正确率，并且在 GPU 上比 MobilenetV2 快了 20%。在同等的 top-1 准确率下 (74.5% 以上), ProxylessNAS 的手机实测速度是当今业界标准 MobileNetV2 的 1.8 倍。在用 ProxylessNAS 来为不同硬件定制神经网络结构的同时，我们发现各个平台上搜索到的神经网络在结构上有很大不同。这些发现为之后设计高效 CNN 结构提供新的思路。

05

统一图像和文字生成的MiniGPT-5来了：Token变Voken，模型不仅能续写，还会自动配图了

大模型正在实现语言和视觉的跨越，有望无缝地理解和生成文本和图像内容。在最近的一系列研究中，多模态特征集成不仅是一种不断发展的趋势，而且已经带来了从多模态对话到内容创建工具等关键进步。大型语言模型在文本理解和生成方面已经展现出无与伦比的能力。然而，同时生成具有连贯文本叙述的图像仍然是一个有待发展的领域。

04

预训练（Pre-train）

目前神经网络在进行训练的时候基本都是基于后向传播（Back Propagation，BP）算法，通过对网络模型参数进行随机初始化，然后利用优化算法优化模型参数。但是在标注数据很少的情况下，通过神经网络训练出的模型往往精度有限，“预训练”则能够很好地解决这个问题，并且对一词多义进行建模。

01

利用相似几何信息，做可泛化3D形状分割模型

不同的3D形状之间虽然在整体结构上差异较大，但其可能分享着一些十分相似的局部结构。例如图片中所示的自行车和汽车，虽然他们整体上差别较大，但他们的轮子共享着十分相似的几何形状。

02

Luna16——肺结节检测和良恶性分类挑战赛（四）

在luna16肺结节良恶性分类得例子中，有位细心的朋友提出一个很好的问题。今天首先分析上一篇中存在的问题，然后给出解决方案。

04

告别CPU，加速100-1000倍！只用GPU就能完成物理模拟和强化学习训练

Isaac Gym由英伟达开发，通过直接将数据从物理缓存传递到PyTorch张量进行通信，可以端到端地在GPU上实现物理模拟和神经网络策略训练，无需CPU。Isaac Gym提供了一个高性能的学习平台，使得各种智能体训练能够直接在GPU上进行。

01

深度 | 基于移动设备的机器学习，本地与云端孰优孰劣？

AI科技评论按：如果您觉得，是时候给自己的手机应用添加一些热门的机器学习或深度学习算法.....这是个好想法！但您会怎么选择？致力于提供算法服务及小白科普的咨询师 Matthijs Hollemans 近期在博客上分享了他的一些心得体会，AI科技评论独家编译，未经许可不得转载。绝大多数机器学习实现方法的步骤不外乎如下三点：采集数据利用采集的数据来训练一个模型使用该模型进行预测假设想做一个“名人匹配（celebrity match） ”的应用程序，告诉用户他们和哪位名人最相似。首先收集众多名人

07

超原版速度110倍，针对PyTorch的CPU到GPU张量迁移工具开源

神经网络的训练中往往需要进行很多环节的加速，这就是为什么我们逐渐使用 GPU 替代 CPU、使用各种各样的算法来加速机器学习过程。但是，在很多情况下，GPU 并不能完成 CPU 进行的很多操作。比如训练词嵌入时，计算是在 CPU 上进行的，然后需要将训练好的词嵌入转移到 GPU 上进行训练。

02

使用Tensorflow 2.0的超大规模生成对抗网络（SRGAN）

https://github.com/aryanmisra/NeuraScale/

00

VideoMAE：简单高效的视频自监督预训练新范式｜NeurIPS 2022

代码和预训练权重已经在Github开源：https://github.com/MCG-NJU/VideoMAE

03

快速入门TensorFlow.js指南

TensorFlow.JS，之前就发现这个好玩的东东，但是一直没有时间去看，作为一名深度学习者，没有折腾的心是不行的。我们都知道深度学习在工业和实际项目中有着很好的应用，但是如果用深度学习去做些有趣的应用也是很好玩的。

06

Facebook全新开源深度学习框架Pythia，即插即用快速构建AI模型

Facebook最近在开发者社区抛出了一系列工具。继一月份image processing library Spectrum、去年底的自然语言处理建模框架PyText和11月的人工智能增强学习平台Horizon的开源后，Facebook的人工智能研究部门又推出了Pythia，一个模块化的即插即用框架。

04

【论文读书笔记】无监督视频物体分割新思路：实例嵌入迁移

【导读】近日，针对视频物体分割中缺乏训练样本和准确率较低的问题，来自美国南加州大学、谷歌公司的学者发表论文提出基于实例嵌入迁移的无监督视频物体分割方法。其通过迁移封装在基于图像的实例嵌入网络（instance embedding network）中的知识来实现。实例嵌入网络为每个像素生成一个嵌入向量，可以识别属于同一个物体的所有像素。本文将在静态图像上训练的实例网络迁移到视频对象分割上，将嵌入向量与物体和光流特征结合，而无需模型再训练或在线微调。所提出的方法优于DAVIS数据集和FBMS数据集中最先进

04

谷歌提出Flan-T5，一个模型解决所有NLP任务

「Flan-T5」是Google最新的一篇工作，通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在1800多个NLP任务上都能有很好的表现。这意味着模型一旦训练完毕，可以直接在几乎全部的NLP任务上直接使用，实现「One model for ALL tasks」，这就非常有诱惑力！

02

InstantMesh：利用稀疏视图大规模重建模型从单张图像高效生成3D网格

摘要：本文提出了InstantMesh，这是一个用于从单视角图像生成即时3D网格的前馈框架，具有当前非常优秀的生成质量和显著的训练可扩展性。

01

TN-SCUI2020挑战赛详细讲解

今天将分享甲状腺超声结节二值分割和二值分类的完整实现过程并提供训练好的模型和在测试数据上的提交结果成绩，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

04

GitHub微软_推荐者：推荐系统的最佳实践

https://github.com/microsoft/recommenders/

08

英特尔开发模型训练新技术，效率更高且不影响准确性

一般而言，AI模型的大小与其训练时间相关，因此较大的模型需要更多的时间来训练。通过修剪可以优化数学函数（或神经元）之间的连接，从而减小其整体尺寸而不会影响准确性，但是训练之后才能进行修剪。

01

Zephyr模型详解

Zephyr利用dDPO，显著改善了意图对齐和AI反馈(AIF)偏好数据，该方法遵循与InstructGPT相似的步骤。

03

谷歌逆天「夜视」拍照突然火了！完美降噪还能合成3D视角｜CVPR 2022

---- 新智元报道编辑：好困 Aeneas 【新智元导读】谷歌一年前的论文突然火了！这个名叫RawNeRF的技术，不仅完美降噪，还能改变视角，调整焦点和曝光等等。难道，我们距离超强的夜景拍照相机不远了？最近，网上一段来自谷歌的AI夜景拍摄视频被刷爆了！视频中的这个技术叫RawNeRF，顾名思义就是NeRF的一个全新变体。 NeRF是一种全连接神经网络，使用2D图像的信息作为训练数据，还原出3D场景。 RawNeRF比起之前的NeRF，有了多处改进。不仅能完美降噪，还能改变相机视角，调整焦

04

Transformer模型训练环境配置指南

环境配置是模型训练的基础工作,本教程将详细介绍Transformer模型的训练环境配置过程,包括计算硬件选择、深度学习框架选型、多机集群构建、分布式训练等内容。希望本指南能帮助大家顺利配置Transformer的训练环境。

02

EMNLP 2021 | 百度：多语言预训练模型ERNIE-M

2021年伊始，百度发布多语言预训练模型ERNIE-M，通过对96门语言的学习，使得一个模型能同时理解96种语言，该项技术在5类典型跨语言理解任务上刷新世界最好效果。在权威跨语言理解榜单XTREME上，ERNIE-M也登顶榜首，超越微软、谷歌、Facebook等机构提出的模型。（但是现在降到了第7名）

02

文献阅读：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

这篇文章算是我司今年发表的一篇颇有影响力的文章了，连不做cv的我都有所耳闻，毕竟刷指标刷的委实是有点厉害，简直堪比18年bert刚出来时候的状况，所以就来跟风看一下这篇文章，看看他到底是怎么做的，然后能不能在nlp还有推荐领域给一些参考思路。

06

大模型Scaling Law同样适用于下游任务性能？斯坦福、谷歌最新研究揭秘

大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。

01

深度学习中的公平性

深度学习十分流行，在许多领域有着不错的表现。然而，深度学习算法中的公平性(fairness) 亦是重要的研究方向。这次，我们以Du的一篇文章为例，给大家介绍一下深度学习中的公平性。

04

未系安全带识别系统

未系安全带识别系统通过python+yolo智能视频分析技术，未系安全带识别系统对画面中高空作业人员未系安全带行为进行监测，未系安全带识别系统监测到人员未穿戴安全带时，未系安全带识别系统立即通知后台人员及时处理触发告警。Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测，核心思想就是利用整张图作为网络的输入，直接在输出层回归 bounding box（边界框）的位置及其所属的类别。YOLO系列算法是一类典型的one-stage目标检测算法，其利用anchor box将分类与目标定位的回归问题结合起来，从而做到了高效、灵活和泛化性能好。在介绍Yolo算法之前，我们回忆下RCNN模型，RCNN模型提出了候选区(Region Proposals)的方法，先从图片中搜索出一些可能存在对象的候选区（Selective Search），大概2000个左右，然后对每个候选区进行对象识别，但处理速度较慢。

00

ACMMM 2022 | 首个针对跨语言跨模态检索的噪声鲁棒研究工作

虽然目前传统的跨模态检索工作已取得了巨大的进展，但由于缺少低资源语言的标注数据，这些工作通常关注于高资源语言（比如英语），因此极大地限制了低资源语言在该领域的发展。为了解决这一问题，作者针对跨语言跨模态检索任务（CCR）展开了研究，该任务旨在仅使用人工标注的视觉-源语言（如英语）语料库对模型进行训练，使其可以适用于其他目标语言（非英语）进行评估【如下图所示】。

02

1/10体量达到SOTA！谷歌发布5B参数视觉语言模型PaLI-3，更小更快却更强

最近，堪称改变游戏规则的视觉语言模型（VLM）PaLI-3问世，引得大量科研人员关注。

06

1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4

1800亿参数，Falcon在3.5万亿token完成训练，直接登顶Hugging Face排行榜。

01

PaLI-3：5B参数视觉语言模型，1/10体量达到SOTA！谷歌发布

最近，堪称改变游戏规则的视觉语言模型（VLM）PaLI-3问世，引得大量科研人员关注。

02

每日学术速递8.8

1.Guiding Image Captioning Models Toward More Specific Captions(ICCV 2023)

05

业界 | 深度定制：揭秘Graphcore深度学习芯片加速软件

选自The Next Platform 作者：Nicole Hemsoth 机器之心编译参与：侯韵楚、黄小天、李泽南两年来，我们推出了一系列专为处理神经网络的训练及推理而设计的深度学习结构。我们广泛并购投资或并购，但仅有少部分人看出了要点——收购一年多前推出的 Nervana 系统。在众多神经网络芯片的初创公司中，Graphcore 凭借处理同一块多核芯片上的训练及推理问题的多核方法而鹤立鸡群。我们在三月份详述了其硬件架构（详情参阅机器之心报道：深度学习芯片公司 Graphcore 初探：颠覆 GPU

07

Tensorflow入门教程(二十三）——前列腺分割比赛top9之路

在前面篇章中我分享过用2D版本和3D版本的VNet来进行MR图像的前列腺分割，为了验证分割模型的鲁棒可靠性，我在测试数据上进行了分割并在网上提交分割结果，在差不多两个星期的时间内，成绩由最初的五十多名提升到第九名，虽然成绩不是最好的，但是这期间采用的一些策略技术我将分享给大家。

02

预训练、微调和上下文学习

最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。

03

目标检测 - YOLO9000 : Better, Faster, Stronger

本文主要有两点： 1）改进YOLO，提出了 YOLOv2,速度快，效果好。67 FPS, YOLOv2 gets 76.8 mAP on VOC 2007； 40 FPS, YOLOv2 gets 78.6mAP 2）将检测和分类训练融合到一起，可以检测没有学习到的类别。

02

大语言模型的预训练[5]：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数设计以及ICL底层机制等原理详解

大规模预训练语言模型（LLM）如 GPT-3 是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个 token（Next token prediction）。通过预测词的训练目标、大规模数据集以及超高参数量的模型相结合，产生了性能极强的 LLM，它可以 “理解” 任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3 的论文发现，大规模的训练数据会产生一种有趣的新兴行为，称为 In-Context Learning（又称上下文学习，语境学习， ICL），他并不需要调整模型参数，仅用几条下游任务的示例就可以取得极佳的结果。

04

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭