在文档列表的 加号 展开菜单中即可看到 新建API接口 按钮，创建后将以大家熟悉的API编写界面来编辑API文档，具有统一的编辑和查看风格，不必再花费许久时间来调整API文档的展示格式。
深度学习编译器的部署目标传统的深度学习框架也可以做，一个非常自然的问题是为什么不直接沿用传统的框架。这是一个编译器研究者来往往会忽略的问题。深度学习编译器只有在各种场景超过人工优化的传统办法，才有机会真正被采用，到达这一目标之前之前深度学习编译只是玩具。
本篇是基于 NAS 的图像超分辨率的文章，知名学术性自媒体 Paperweekly 在该文公布后迅速跟进，发表分析称「属于目前很火的 AutoML / Neural Architecture Search，论文基于弹性搜索（宏观+微观）在超分辨率问题上取得了非常好的结果。这种架构搜索在相当的 FLOPS 下生成了多个模型，结果完胜 ECCV 2018 明星模型 CARNM，这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA（涵盖 ICCV 2017 和 CVPR 2018）。
机器之心发布 作者：严志程 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。
近年来，神经网络已经成为了计算机视觉中主要的机器学习解决方案。然而神经网络结构的设计仍然需要极强的专业知识，在一定程度上妨碍了神经网络的普及。
搜索空间对于神经网络结构搜索方法至关重要，它决定了搜索结构的性能上下界。 到目前为止，许多研究精力已经被投入到了CNN搜索空间设计中。Vision Transformer模型作为计算机视觉的新宠儿，其搜索空间并未被很好地探索。这使得设计高效的Vision Transformer模型变得具有挑战。不同于人为地根据先验知识设计搜索空间，微软亚洲研究院的研究员提出了Search the Search Space （S3）来自动地设计Vision Transformer的搜索空间。其搜索出来的结构性能对比手工设计的ViT以及ViT变种模型有大幅度的提升。
论文地址： AutoML: A survey of the state-of-the-art[1]
研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，深度学习中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。
研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。
近年来，通过神经架构搜索（NAS）算法生成的架构在各种计算机视觉任务中获得了极强的的性能。然而，现有的 NAS 算法需要再上百个 GPU 上运行 30 多天。在本文中，我们提出了一种基于多项式分布估计快速 NAS 算法，它将搜索空间视为一个多项式分布，我们可以通过采样-分布估计来优化该分布，从而将 NAS 可以转换为分布估计/学习。
编者按：如今，基于 Transformer 的大规模预训练语言模型，如 BERT、XLNE、RoBERTa 和 GPT-3 等，已经在很多自然语言处理任务中都取得了十分惊人的效果。但是巨大的模型尺寸，使其在众多不同的下游任务中进行部署时非常困难。而且由于存在大量复杂的场景以及不同的下游任务，单独为不同场景设计一种压缩过的 BERT 模型既耗时又耗力。
长期以来，神经网络的进展已经与实际部署脱离。深度学习的研究人员致力于发明新的构建块，而DL工程师在现实任务中部署这些构建块，煞费苦心地重新组合它们，以找到满足设计要求的架构。
机器学习研究，已经在多个方面都取得了进步，包括模型结构和优化方法等。而使此类研究自动化的工作（称为AutoML）也有重大进展。这一进展主要集中在神经网络的体系结构，神经网络目前主要是依赖于专家设计复杂的层来构建块（或类似的限制性搜索空间）。
机器之心专栏 机器之心编辑部 针对各种任务设计合适的损失函数往往需要消耗一定的人力成本，一种名为AutoLoss-Zero的新型通用框架可以从零开始搜索损失函数，使成本大大降低。 近年来，自动机器学习（AutoML）在模型结构、训练策略等众多深度学习领域取得了进展。然而，损失函数作为深度学习模型训练中不可或缺的部分，仍然缺乏良好的探索。目前，多数研究工作仍然使用交叉熵损失（Cross-Entropy Loss）、范数损失（L1/L2 Loss）来监督网络训练。尽管这类损失函数在多数情况下可以取得不错的效果
近年来GNN (Graph Neural Network)受到了很大的关注，越来越多GNN方法应用在节点分类(node classification)[1]，推荐系统(recommendation)[2]，欺诈检测(fraud dection)[3]等。不同的GNN方法最大的差别，在于邻居聚合函数 (neighbor aggregation, 又叫message passing)。但是面对多样的数据集和任务，没有任何一个方法能够取得SOTA方法。最近，斯坦福大学Jure教授团队在NeurIPS 2020的工作上也指出了这一点[4]。
寄语：让计算机自己去学习和训练规则，是否能达到更好的效果呢？自动机器学习就是答案，也就是所谓“AI的AI”，让AI去学习AI。
张裕浩，东北大学自然语言处理实验室 2018 级研究生，研究方向包括神经网络结构搜索、机器翻译。
【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。
最近，地平线-华中科技大学计算机视觉联合实验室提出了一个新颖的 Differentiable NAS 方法——DenseNAS， 该方法可以搜索网络结构中每个 block 的宽度和对应的空间分辨率。本文将会从简介、对于网络规模搜索的思路、实现方法以及实验结果等方面诠释 DenseNAS 这一新的网络结构搜索方法。
arXiv：https://arxiv.org/pdf/2109.03508.pdf
近年来，深度学习在工业领域的应用越来越广泛，不但提升了企业的自动化生产效率，还为企业的重要决策提供了数据支撑，AI正逐步改变人们的生活和生产方式。由于深度神经网络计算复杂度高、参数量大，极大限制了模型的部署场景，尤其是移动嵌入式设备端。因此模型小型化技术成为最近几年学术界和工业界研究的热点。
深度学习在感知任务中取得的成功主要归功于其特征工程过程自动化：分层特征提取器是以端到端的形式从数据中学习，而不是手工设计。然而，伴随这一成功而来的是对架构工程日益增长的需求，越来越多的复杂神经架构是由手工设计的。神经架构搜索（NAS）是一个自动架构工程过程，因此成为自动化机器学习的合理发展方向。NAS 可以看做 AutoML 的子领域，与超参数优化和元学习有诸多交叉之处。我们根据三个维度对 NAS 方法进行分类：搜索空间、搜索策略及性能评估策略：
双 指 针 i 和 j , 固定指针i指向的元素，然后指针j指向元素的大小就已经确定了，等于target-numbers[i],我们可以用二分查找到区间[i+1,size)去快速查找值为target-numbers[i]的元素。
作者丨dwilimeth 编辑丨贾伟 本文转载自知乎专栏：AutoML随笔 ICLR 2020会议将于 4 月 26 日在非洲埃塞俄比亚（亚斯亚贝巴）举行。本届会议共有 2594篇投稿，其中 687篇论文被接收（48篇oral论文，107篇spotlight论文和531篇poster论文），接收率为26.5%。本文介绍的是巴黎综合理工和华为诺亚方舟实验室的Antoine Yang，Pedro M Esperanca 和 Fabio Maria Carlucc完成，发表在ICLR 2020 上的论文《NAS
【新智元导读】当您辛辛苦苦写了大半年程序，终于要享受一下国庆长假的时候，别让 bug 把您的假期毁了。MIT 研究团队开发了一个称为“创世纪”的系统，能够对以前的补丁进行自动学习，生成补丁模板，并对候选补丁进行评估。它修复的 bug 几乎是最好的手编模板系统的两倍，大大减少了程序员修复bug的工作量。 长假来了，你放假了，但你辛辛苦苦编程的软件没有放假。它还在产生着 bug...... 关于程序员大哥发现 bug 以后的心态，我们也略知一二： 别人写的代码有 bug——谁写了这么个烂代码，幸亏有哥这样神一样
最新消息，历经一年四个版本打磨之后，百度推出最新深度学习模型压缩工具PaddleSlim1.0。
构建在深度卷积上的Inverted bottleneck layers已经成为移动设备上最先进目标检测模型的主要构建模块。在这项工作中，作者通过回顾常规卷积的实用性，研究了这种设计模式在广泛的移动加速器上的最优性。
AutoML（automated machine learning）是模型选择、特征抽取和超参数调优的一系列自动化方法，可以实现自动训练有价值的模型。AutoML 适用于许多类型的算法，例如随机森林，gradient boosting machines，神经网络等。 机器学习最耗费人力的是数据清洗和模型调参，而一般在模型设计时超参数的取值无规律可言，而将这部分过程自动化可以使机器学习变得更加容易。即使是对经验丰富的机器学习从业者而言，这一自动化过程也可以加快速度。
现实世界的大多数系统是没有办法给出一个确切的函数定义，比如机器学习模型中的调参，大规模数据中心的冷藏策略等问题。这类问题统统被定义为黑盒优化。黑盒优化是在没办法求解梯度的情况下，通过观察输入和输出，去猜测优化变量的最优解。在过去的几十年发展中，遗传算法和贝叶斯优化一直是黑盒优化最热门的方法。不同于主流算法，本文介绍一个基于蒙特卡洛树搜索（MCTS）的全新黑盒优化算法，隐动作集蒙特卡洛树搜索 (LA-MCTS)。LA-MCTS 发表在 2020 年的 NeurIPS，仅仅在文章公开几个月后，就被来自俄罗斯 JetBrains 和韩国的 KAIST 的队伍独立复现，并用来参加 2020 年 NeurIPS 的黑盒优化挑战，分别取得了第三名和第八名的好成绩 [10][11]。
论文: MnasNet: Platform-Aware Neural Architecture Search for Mobile
计算机视觉研究院专栏 作者：Edison_G 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 长按扫描二维码关注我们 本篇文章转自于“机器之心” 就职于 Facebook AI 的严志程博士和他的同
这篇论文（简称CompOFA）主要是基于 Once for all: Train One Network and Specialize it for Efficient Deployment 论文的改进，其主要的改进就是把原来OFA的搜索空间简化，带来的好处有
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。
近年来Siamese网络在单目标跟踪中发展迅速，在近两年的VOT比赛和顶会中Siamese大放异彩。讲者张志鹏将分享经典的siamese跟踪论以及近期的进展。
网络架构搜索(NAS)已成为机器学习领域的热门课题。商业服务(如谷歌的AutoML)和开源库(如Auto-Keras[1])使NAS可用于更广泛的机器学习环境。在这篇文章中，我们主要探讨NAS的思想和方法，希望可以帮助读者更好地理解该领域并发现实时应用程序的可能性。
深度神经网络往往存在过拟合的问题，需要Dropout、权重衰减这样的正则化方法的加持。
1 . 模型或模式结构 : 通过 数据挖掘过程 得到知识 ; 是算法的输出格式 , 使用 模型 / 模式 将其表达出来, 如 : 线性回归模型 , 层次聚类模型 , 频繁序列模式 等 ;
最近几年AutoML炙手可热，一时风头无两。各大公司都推出了自己的AutoML服务。 谷歌云的Cloud AutoML
方杰民，华中科技大学电子信息与通信学院媒体与通信实验室研究生在读，师从王兴刚副教授，地平线平台与技术部算法实习生，主要研究方向为网络结构搜索、模型结构优化。
ICCV官方在推特上公布了这一消息，并表示今年共有6236篇投稿，最终1617篇论文被接收，接收率为25.9%，相比于2017年（约29%），保持了和2019年相当的较低水平。
BossNAS整体的的训练方式和DNA不太一样，在DNA里，学生网络每个block彼此之间的训练是独立开来的，比如学生网络 的输入是教师网络 的输出，然后使用知识蒸馏(MSE loss)来使得学生网络的输出尽可能和教师网络输出保持一致。BossNAS认为这样会使得搜到的子网和教师网络高度相关，即搜索结果是带有bias的。
选自arXiv 机器之心编译 参与：黄小天、刘晓坤 本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）。 1. 简介 神经架构搜索（NAS）已成功用来设计图像分类
本文介绍的是CVPR2020论文《IMPROVING ONE-SHOT NAS BY SUPPRESSING THE POSTERIOR FADING》，作者来自商汤 AutoML 团队。
在本文中，作者观察到在应用ViT进行图像识别时存在两级冗余。首先，固定整个网络的Token数量会在空间层面产生冗余特征；其次，不同Transformer之间的注意力图是冗余的。
论文提出超参数优化方法AABO，该方法核心基于贝叶斯优化和Sub-Sample方法，能够自适应的搜索最优的anchor设置。从实验结果来看，AABO能够仅通过anchor设置优化，为SOTA目标检测方法带来1.4%～2.4%的性能提升
神经架构搜索 (NAS) 改变了构建新神经网络架构的过程。这种技术可以自动地为特定问题找到最优的神经网络架构。「最优」的定义可以看成是对多个特征之间的权衡过程进行建模，例如网络的大小和准确率 [1]。更令人印象深刻的是，现在 NAS 在单个 GPU 上仅需执行 4 个小时，过去在 800 个 GPU 上需要执行 28 天。而实现这一飞跃只花了两年时间，现在我们不需要成为 Google 员工就可以使用 NAS。
本文提出了二进制架构搜索(BATS)，这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。实验表明，直接将NAS 应用于二进制领域的结果非常糟糕。为了缓解这种情况，本文描述了将 NAS 成功应用于二进制领域的 3 个关键要素：
大数据文摘授权转载自数据派THU 作者：Leonie Monigatti 翻译：欧阳锦 校对：王可汗 你如何在英语词典中查到一个词？我知道你不会按照这种方法做：从第一页开始，翻阅每一个词，直到找到你要找的那个词——当然，除非你的词是 "土豚"（aardvark）。但如果你要找的词是 "动物园"(zoo)，这种方法会花很长时间。 你会如何在英语词典中查找一个词呢？ 一个更快的方法是在中间打开，然后决定是在字典的前半部分还是后半部分继续搜索。 这种方法是对二分搜索算法的一种宽泛描述，这种算法在一个排序的元素列表
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
