搜索空间对于神经网络结构搜索方法至关重要，它决定了搜索结构的性能上下界。 到目前为止，许多研究精力已经被投入到了CNN搜索空间设计中。Vision Transformer模型作为计算机视觉的新宠儿，其搜索空间并未被很好地探索。这使得设计高效的Vision Transformer模型变得具有挑战。不同于人为地根据先验知识设计搜索空间，微软亚洲研究院的研究员提出了Search the Search Space （S3）来自动地设计Vision Transformer的搜索空间。其搜索出来的结构性能对比手工设计的ViT以及ViT变种模型有大幅度的提升。
研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，深度学习中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。
研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。
小史是一个应届生，虽然学的是电子专业，但是自己业余时间看了很多互联网与编程方面的书，一心想进BAT互联网公司。
近年来，通过神经架构搜索（NAS）算法生成的架构在各种计算机视觉任务中获得了极强的的性能。然而，现有的 NAS 算法需要再上百个 GPU 上运行 30 多天。在本文中，我们提出了一种基于多项式分布估计快速 NAS 算法，它将搜索空间视为一个多项式分布，我们可以通过采样-分布估计来优化该分布，从而将 NAS 可以转换为分布估计/学习。
长期以来，神经网络的进展已经与实际部署脱离。深度学习的研究人员致力于发明新的构建块，而DL工程师在现实任务中部署这些构建块，煞费苦心地重新组合它们，以找到满足设计要求的架构。
编者按：如今，基于 Transformer 的大规模预训练语言模型，如 BERT、XLNE、RoBERTa 和 GPT-3 等，已经在很多自然语言处理任务中都取得了十分惊人的效果。但是巨大的模型尺寸，使其在众多不同的下游任务中进行部署时非常困难。而且由于存在大量复杂的场景以及不同的下游任务，单独为不同场景设计一种压缩过的 BERT 模型既耗时又耗力。
机器学习研究，已经在多个方面都取得了进步，包括模型结构和优化方法等。而使此类研究自动化的工作（称为AutoML）也有重大进展。这一进展主要集中在神经网络的体系结构，神经网络目前主要是依赖于专家设计复杂的层来构建块（或类似的限制性搜索空间）。
近年来GNN (Graph Neural Network)受到了很大的关注，越来越多GNN方法应用在节点分类(node classification)[1]，推荐系统(recommendation)[2]，欺诈检测(fraud dection)[3]等。不同的GNN方法最大的差别，在于邻居聚合函数 (neighbor aggregation, 又叫message passing)。但是面对多样的数据集和任务，没有任何一个方法能够取得SOTA方法。最近，斯坦福大学Jure教授团队在NeurIPS 2020的工作上也指出了这一点[4]。
张裕浩，东北大学自然语言处理实验室 2018 级研究生，研究方向包括神经网络结构搜索、机器翻译。
寄语：让计算机自己去学习和训练规则，是否能达到更好的效果呢？自动机器学习就是答案，也就是所谓“AI的AI”，让AI去学习AI。
【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。
最近，地平线-华中科技大学计算机视觉联合实验室提出了一个新颖的 Differentiable NAS 方法——DenseNAS， 该方法可以搜索网络结构中每个 block 的宽度和对应的空间分辨率。本文将会从简介、对于网络规模搜索的思路、实现方法以及实验结果等方面诠释 DenseNAS 这一新的网络结构搜索方法。
arXiv：https://arxiv.org/pdf/2109.03508.pdf
深度学习在感知任务中取得的成功主要归功于其特征工程过程自动化：分层特征提取器是以端到端的形式从数据中学习，而不是手工设计。然而，伴随这一成功而来的是对架构工程日益增长的需求，越来越多的复杂神经架构是由手工设计的。神经架构搜索（NAS）是一个自动架构工程过程，因此成为自动化机器学习的合理发展方向。NAS 可以看做 AutoML 的子领域，与超参数优化和元学习有诸多交叉之处。我们根据三个维度对 NAS 方法进行分类：搜索空间、搜索策略及性能评估策略：
双 指 针 i 和 j , 固定指针i指向的元素，然后指针j指向元素的大小就已经确定了，等于target-numbers[i],我们可以用二分查找到区间[i+1,size)去快速查找值为target-numbers[i]的元素。
作者丨dwilimeth 编辑丨贾伟 本文转载自知乎专栏：AutoML随笔 ICLR 2020会议将于 4 月 26 日在非洲埃塞俄比亚（亚斯亚贝巴）举行。本届会议共有 2594篇投稿，其中 687篇论文被接收（48篇oral论文，107篇spotlight论文和531篇poster论文），接收率为26.5%。本文介绍的是巴黎综合理工和华为诺亚方舟实验室的Antoine Yang，Pedro M Esperanca 和 Fabio Maria Carlucc完成，发表在ICLR 2020 上的论文《NAS
构建在深度卷积上的Inverted bottleneck layers已经成为移动设备上最先进目标检测模型的主要构建模块。在这项工作中，作者通过回顾常规卷积的实用性，研究了这种设计模式在广泛的移动加速器上的最优性。
AutoML（automated machine learning）是模型选择、特征抽取和超参数调优的一系列自动化方法，可以实现自动训练有价值的模型。AutoML 适用于许多类型的算法，例如随机森林，gradient boosting machines，神经网络等。 机器学习最耗费人力的是数据清洗和模型调参，而一般在模型设计时超参数的取值无规律可言，而将这部分过程自动化可以使机器学习变得更加容易。即使是对经验丰富的机器学习从业者而言，这一自动化过程也可以加快速度。
现实世界的大多数系统是没有办法给出一个确切的函数定义，比如机器学习模型中的调参，大规模数据中心的冷藏策略等问题。这类问题统统被定义为黑盒优化。黑盒优化是在没办法求解梯度的情况下，通过观察输入和输出，去猜测优化变量的最优解。在过去的几十年发展中，遗传算法和贝叶斯优化一直是黑盒优化最热门的方法。不同于主流算法，本文介绍一个基于蒙特卡洛树搜索（MCTS）的全新黑盒优化算法，隐动作集蒙特卡洛树搜索 (LA-MCTS)。LA-MCTS 发表在 2020 年的 NeurIPS，仅仅在文章公开几个月后，就被来自俄罗斯 JetBrains 和韩国的 KAIST 的队伍独立复现，并用来参加 2020 年 NeurIPS 的黑盒优化挑战，分别取得了第三名和第八名的好成绩 [10][11]。
论文: MnasNet: Platform-Aware Neural Architecture Search for Mobile
计算机视觉研究院专栏 作者：Edison_G 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 长按扫描二维码关注我们 本篇文章转自于“机器之心” 就职于 Facebook AI 的严志程博士和他的同
这篇论文（简称CompOFA）主要是基于 Once for all: Train One Network and Specialize it for Efficient Deployment 论文的改进，其主要的改进就是把原来OFA的搜索空间简化，带来的好处有
这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。
近年来Siamese网络在单目标跟踪中发展迅速，在近两年的VOT比赛和顶会中Siamese大放异彩。讲者张志鹏将分享经典的siamese跟踪论以及近期的进展。
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
网络架构搜索(NAS)已成为机器学习领域的热门课题。商业服务(如谷歌的AutoML)和开源库(如Auto-Keras[1])使NAS可用于更广泛的机器学习环境。在这篇文章中，我们主要探讨NAS的思想和方法，希望可以帮助读者更好地理解该领域并发现实时应用程序的可能性。
1 . 模型或模式结构 : 通过 数据挖掘过程 得到知识 ; 是算法的输出格式 , 使用 模型 / 模式 将其表达出来, 如 : 线性回归模型 , 层次聚类模型 , 频繁序列模式 等 ;
最近几年AutoML炙手可热，一时风头无两。各大公司都推出了自己的AutoML服务。 谷歌云的Cloud AutoML
ICCV官方在推特上公布了这一消息，并表示今年共有6236篇投稿，最终1617篇论文被接收，接收率为25.9%，相比于2017年（约29%），保持了和2019年相当的较低水平。
深度神经网络往往存在过拟合的问题，需要Dropout、权重衰减这样的正则化方法的加持。
方杰民，华中科技大学电子信息与通信学院媒体与通信实验室研究生在读，师从王兴刚副教授，地平线平台与技术部算法实习生，主要研究方向为网络结构搜索、模型结构优化。
BossNAS整体的的训练方式和DNA不太一样，在DNA里，学生网络每个block彼此之间的训练是独立开来的，比如学生网络 的输入是教师网络 的输出，然后使用知识蒸馏(MSE loss)来使得学生网络的输出尽可能和教师网络输出保持一致。BossNAS认为这样会使得搜到的子网和教师网络高度相关，即搜索结果是带有bias的。
选自arXiv 机器之心编译 参与：黄小天、刘晓坤 本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）。 1. 简介 神经架构搜索（NAS）已成功用来设计图像分类
本文介绍的是CVPR2020论文《IMPROVING ONE-SHOT NAS BY SUPPRESSING THE POSTERIOR FADING》，作者来自商汤 AutoML 团队。
神经架构搜索 (NAS) 改变了构建新神经网络架构的过程。这种技术可以自动地为特定问题找到最优的神经网络架构。「最优」的定义可以看成是对多个特征之间的权衡过程进行建模，例如网络的大小和准确率 [1]。更令人印象深刻的是，现在 NAS 在单个 GPU 上仅需执行 4 个小时，过去在 800 个 GPU 上需要执行 28 天。而实现这一飞跃只花了两年时间，现在我们不需要成为 Google 员工就可以使用 NAS。
在本文中，作者观察到在应用ViT进行图像识别时存在两级冗余。首先，固定整个网络的Token数量会在空间层面产生冗余特征；其次，不同Transformer之间的注意力图是冗余的。
论文提出超参数优化方法AABO，该方法核心基于贝叶斯优化和Sub-Sample方法，能够自适应的搜索最优的anchor设置。从实验结果来看，AABO能够仅通过anchor设置优化，为SOTA目标检测方法带来1.4%～2.4%的性能提升
本文提出了二进制架构搜索(BATS)，这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。实验表明，直接将NAS 应用于二进制领域的结果非常糟糕。为了缓解这种情况，本文描述了将 NAS 成功应用于二进制领域的 3 个关键要素：
大数据文摘授权转载自数据派THU 作者：Leonie Monigatti 翻译：欧阳锦 校对：王可汗 你如何在英语词典中查到一个词？我知道你不会按照这种方法做：从第一页开始，翻阅每一个词，直到找到你要找的那个词——当然，除非你的词是 "土豚"（aardvark）。但如果你要找的词是 "动物园"(zoo)，这种方法会花很长时间。 你会如何在英语词典中查找一个词呢？ 一个更快的方法是在中间打开，然后决定是在字典的前半部分还是后半部分继续搜索。 这种方法是对二分搜索算法的一种宽泛描述，这种算法在一个排序的元素列表
一步法（One-Shot）是一个强大的神经网络模型搜索（Neural Architecture Search/NAS）框架，但是它的训练相对复杂，并且很难在大型数据集（比如 ImageNet）上取得较有竞争力的结果。
机器之心报道 机器之心编辑部 在 WAIC 2021 AI 开发者论坛上，九章云极 DataCanvas 董事长方磊发表主题演讲《Hypernets：自动化机器学习的基础框架》，在演讲中，他主要介绍了 Hypernets 的概念模型和两个具体实例。他认为，好的 AutoML 框架一定要具备富有表现力的搜索空间描述语言、支持高维空间的高效搜索算法和高性能的评估策略。 以下为方磊在 WAIC 2021 AI 开发者论坛上的演讲内容，机器之心进行了不改变原意的编辑、整理： 很高兴今天有这个机会跟大家分享我们所做
Inverted bottleneck layers, IBN已成为终端设备SOTA目标检测方法的主要模块。而在这篇文章里，作者通过重新分析研究终端芯片加速下的常规卷积而对“IBN主导的网络架构是否最优”提出了质疑。作者通过将常规卷积纳入搜索空间取得了延迟-精度均衡下的性能提升，得到了一类目标检测模型：MobileDets。在COCO目标检测任务上，基于同等终端CPU推理延迟，MobileDets以1.7mAP性能优于MobileNetV3+SSDLite，以1.9mAP性能优于MobileNetV2+SSDLite；在EdgeTPU平台上，以3.7mAP性能优于MobileNetV2+SSDLite且推理更快;在DSP平台上，以3.4mAP性能优于MobileNetV2+SSDLite且推理更快。与此同时，在不采用FPN的情况下，在终端CPU平台，MobileDets取得了媲美MnasFPN的性能；在EdgeTPU与DSP平台具有更优的mAP指标，同时推理速度快2倍。
就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。该工作提出了一种新的自适应架构分布熵的架构采样方法来显著加速搜索。同时，为了进一步加速在多变量空间中的搜索，他们通过在搜索初期使用分解的概率分布来极大减少架构搜索参数。结合上述两种技巧，严志程团队提出的搜索方法 FP-NAS 比 PARSEC [1] 快 2.1 倍，比 FBNetV2 [2] 快 1.9-3.5 倍，比 EfficientNet [3] 快 132 倍以上。FP-NAS 可以被用于直接搜索更大的模型。搜索得到 FP-NAS-L2 模型复杂度达到 1.0G FLOPS，在只采用简单知识蒸馏的情况下，FP-NAS-L2 能够比采用更复杂的就地蒸馏的 BigNAS-XL [4]模型，提高 0.7% 分类精度。
机器之心发布 作者：严志程 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。
本文分享一篇发表在SIGIR’21的点击率预估方面的文章，AutoPI：一种自动发掘点击率预估中强大特征交互的通用方法[1]
作者：Quanming Yao ，Ju Xu，Wei-Wei Tu，Zhanxing Zhu
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
