机器之心报道 编辑：陈萍、小舟 模型越大，超参数（HP）调优成本越高，微软联合 OpenAI 提出 HP 调优新范式，单个 GPU 上就可以调优 GPT-3 超参数。 伟大的科学成就不能仅靠反复试验取得。例如太空计划中的每一次发射都是基于数百年的空气动力学、推进和天体等基础研究。同样，在构建大规模人工智能系统时，基础研究大大减少了试错次数，效益明显。 超参数（Hyperparameter，HP）调优是深度学习的关键，但也是一个昂贵的过程，对于具有数十亿参数的神经网络来说更是如此。假如 HP 选择不当，会导致
如今，将人工智能技术应用到游戏中已经是一个成熟的研究领域，有许多会议和专门的期刊对此进行讨论。来自哥本哈根大学和纽约大学的几位研究人员近期发布的一篇综述文章中，梳理并回顾了视频游戏深度学习领域的最新进展，详细介绍了各种游戏研究平台及相关深度学习方法的演化历史，同时讨论了重要的开放性挑战。据作者介绍，其撰写该论文旨在从不同类型游戏的视角来回顾这个研究领域，指出它们对深度学习的挑战，以及如何利用深度学习来玩这些游戏。
大数据文摘转载自微软研究院AI头条 伟大的科学成就不能仅靠反复试验取得。例如太空计划中的每一次发射都是基于数百年的空气动力学、推进和天体等基础研究。同样，在构建大规模人工智能系统时，基础研究大大减少了试错次数，效益明显。 超参数（Hyperparameter，HP）调优是深度学习的关键，但也是一个昂贵的过程，对于具有数十亿参数的神经网络来说更是如此。假如 HP 选择不当，会导致模型性能不佳、训练不稳定。当训练超大型深度学习模型时，这些问题更加严重。 最近，有研究表明不同的神经网络参数化会导致不同的无限宽度极
编者按：OpenAI研究工程师Vicki Cheung, Jonas Schneider , Ilya Sutskever, and Greg Brockman在本文中分享了从事Deep Learning研究工作所需要的基础设施（软件、硬件、配置和编制），举例说明如何运用开源Kubernetes-ec2-autoscaler自动扩展深度学习研究中的网络模型，将有助于广大深度学习研究爱好者构建自己的深度学习基础设施。 深度学习是一门实证科学，一个研究团队的基础设施建设将对未来的研究工作产生重大影响。所幸，当今
选自IBM 机器之心编译 近日，IBM 发布了一种结合软件和硬件的新型分布式系统 PowerAI DDL，该系统不仅在 Imagenet 22K 任务上实现了当前最佳的性能，同时还只需要 7 小时就能完成训练。该软件库现已集成到 TensorFlow、Caffe 和 Torch 中。 IBM Research 在 arXiv 发表文章，称使用新型分布式深度学习软件可达到几乎完美的扩展效果，该系统在 64 位 IBM Power system 的 256 个英伟达 GPU 上使用 Caffe 深度学习框架获得
VS Code 网页版为你提供了一个功能齐全的开发环境，可用于构建你的机器学习项目，所有操作都可以从浏览器中完成，并且不需要安装任何软件或依赖项。通过连接你的 Azure 机器学习计算实例，你可以获得丰富的集成开发体验和代码，并通过 Azure 机器学习的强大功能得到增强。
在深度学习中，经常需要对张量进行形状变换和维度扩展操作。PyTorch库提供了丰富的函数和方法来方便地操作张量的维度。本文将重点讲解torch.unsqueeze和torch.unsqueeze_函数，它们可以用来扩展张量的维度。
对于 SPL 来说，除了我们之前学习到的各种 数据结构 以及 迭代器 之外，还有一类非常好用的功能就是对于文件的操作。今天我们就来学习这方面的内容，同时，这也是 SPL 系列文章中最后要学习的内容。
大数据文摘转载自微软研究院AI头条 编者按：伟大的科学成就不能仅靠反复试验取得。在构建大规模人工智能系统时，基础研究所形成的理论见解能够帮助研究员大大减少试错次数并提高成本效益。在今天的文章中，微软研究院的研究员们将介绍基础研究如何首次能够调整庞大的神经网络。由于庞大的神经网络训练十分昂贵，所以研究员们通过展示特定参数化在不同模型大小上保留最佳超参数来解决这一问题。通过与 OpenAI 合作，微软研究院的研究员们在一系列现实场景中也验证了该技术的实际优势。 伟大的科学成就不能仅靠反复试验取得。例如太空计划中
选自arXiv 机器之心编译 参与：蒋思源、李亚洲、路雪 自 Facebook 发布 1 小时训练 ImageNet 论文以来，很多研究者都在关注如何使用并行训练来提高深度学习的训练速度。Facebook 提出了一种提高批量大小的分布式同步 SGD 训练方法，而 Yang You 等人在 Facebook 的论文上更进一步采用层级对应的适应率缩放（LARS）来对每一层网络使用不同的学习率。他们在 AlexNet 和 ResNet-50 模型上分别实现了 8129 和 32768 的批量大小，而且在加速训练的
从数据分析、经典机器学习到搜索、推荐，再到语言处理和图像识别，每个 AI 任务运行的背后都需要海量的数学计算。可以说，AI 真的就是数学，但却是很多很多的数学。
（译者注：这个系列是翻译inovak在DiveDeeper上的LearnVSXNow系列博文，该系列的目录可以在这里找到，也可以点击这里直接访问DiveDeeper博客）
前面的动态代理学完了，以后在学习Spring的时候会用到这些动态代理的知识和原理，像目标对象，增强这两个术语，会经常听到。学习动态代理，就是学习JDK中反射包下的一个Proxy类，具体来说，我们只是学习newProxyInstance(ClassLoader, interfaces, hander)这个方法。这篇开始来学习下，加载器，我们在学习获取动态代理，第一个要准备的参数就是，类加载器，通过这篇的学习，稍微对类加载器有入门的了解。
关注并星标 从此不迷路 计算机视觉研究院 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 计算机视觉研究院专栏 作者：Edison_G 来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT，其能以高效和有原则的方式自动发现和扩展 ViT。 当前 Vision Transformers （ViT）领域有两个主要的痛点：1、缺少对 ViT 进行设计和扩展的有效方法；2、训练 ViT 的计算成本比卷积网络要大得多。 为了解
选自arXiv 作者：施少怀、褚晓文 机器之心编译 参与：陈韵竹、李泽南 随着深度学习应用不断进入商用化，各类框架在服务器端上的部署正在增多，可扩展性正逐渐成为性能的重要指标。香港浸会大学褚晓文团队近日提交的论文对四种可扩展框架进行了横向评测（Caffe-MPI、CNTK、MXNet 与 TensorFlow）。该研究不仅对各类深度学习框架的可扩展性做出了对比，也对高性能服务器的优化提供了方向。 近年来，深度学习（DL）技术在许多 AI 应用当中取得了巨大成功。在获得大量数据的情况下，深度神经网络（DNN）
都怪这些购物软件太了解我的喜好，我脑子里想什么大聪明们就给我推什么、“引诱”我“剁手”，更何况各类折扣活动算得人云里雾里，如何才能占到最大的便宜将资金进行合理支配。
来源：TsinghuaNLP、深度学习自然语言处理本文约2400字，建议阅读5分钟本文使用了知识库来进行标签词的扩展和改善，取得了更好的文本分类效果。 背景 利用Prompt Learning（提示学习）进行文本分类任务是一种新兴的利用预训练语言模型的方式。在提示学习中，我们需要一个标签词映射（verbalizer），将[MASK]位置上对于词表中词汇的预测转化成分类标签。例如{POLITICS: "politics", SPORTS: "sports"} 这个映射下，预训练模型在[MASK]位置对于po
关于 PDO 的学习我们告一段落，从这篇文章开始，我们继续学习另外一个 MySQL 扩展，也就是除了 PDO 之外的最核心的 MySQLi 扩展。可以说它的祖先，也就是 MySQL（原始） 扩展是我们很多人刚开始学习 PHP 时连接数据库的入门导师。不过随着时代的变迁，MySQL（原始） 扩展在 PHP7 中已经被彻底废弃了。现在如果想要使用过程式的代码来操作数据库，只能使用 mysqli 扩展了。当然，mysqli 扩展也是支持面向对象式的写法的。
「整体性学习方法」是在一本叫做《如何高效学习》的书中看到的。这本书的作者是个老外，他用一年就学完了四年的麻省理工课程。而这本书正是其这一年来的学习心得，书中介绍了他的学习方法。
作者｜波同学 原文｜http://www.jianshu.com/p/3f97570d22b4 早几年学习前端，大家都非常热衷于研究jQuery源码。我还记得当初从jQuery源码中学到一星半点应用技巧的时候常会有一种发自内心的惊叹，“原来JavaScript居然可以这样用！” 虽然随着前端的发展，另外几种前端框架的崛起，jQuery慢慢变得不再是必须。因此大家对于jQuery的热情低了很多。但是许多从jQuery中学到的技巧用在实际开发中仍然非常好用。简单的了解它也有助于我们更加深入的理解JavaScri
问题描述 深度学习在图像处理等领域具有广泛的应用，其本质是利用大量的数据，总结出可用的规律，找到输入量与输出量之间的内在联系。调研文献可知，获取大量的数据是深度学习的前期基础，因此，要想利用深度学习解决力学实际问题，首要的任务就是搭建力学和机器学习之间的桥梁（通俗的来讲，对现有的实验数据进行处理，转换为深度学习程序能够识别的格式）；附：高华健作报告时曾经说过：力学工作者也要顺应时代潮流~，把机器学习当作一种解决实际问题的工具，因此，本推文分享一篇相关文献（深度学习与分子动力学相结合的具体实例），希望对大家有
欢迎关注“ 计算机视觉研究院 ” 计算机视觉研究院专栏 作者：Edison_G 架构变化、训练方法和扩展策略是影响模型性能的不可或缺的重要因素，而当前的研究只侧重架构的变化。谷歌大脑和 UC 伯克利的一项最新研究重新审视了 ResNet 架构，发现对于提升模型性能而言，改进训练和扩展策略或许比架构变化更重要。他们提出了 ResNet 的变体架构 ResNet-RS，其使用的内存不仅更少，在 TPU 和 GPU 上的训练速度也数倍于 EfficientNet。 长按扫描二维码关注我们 本篇转自于机器之心
来自北京大学DAIR实验室与腾讯TEG机器学习平台部Angel Graph团队共同完成的研究斩获WWW 2022唯一最佳学生论文奖（Best Student Paper Award）。 直播预约 直播主题：可扩展的图神经结构搜索系统 | WWW2022 直播时间：6月1日 14：30-16：00 讲师介绍： 张文涛 腾讯TEG机器学习平台部 Angel Graph团队应用研究员 北京大学计算机学院2020级博士生，TEG机器学习平台部Angel Graph团队成员。以第一作者在机器学习（ICML，Neur
微软Project Brainwave是一个基于FPGA的低延迟深度学习云平台。微软创新地使用了英特尔提供的Stratix10 FPGA，创新的硬件赋予了这一深度学习云平台强大的计算性能。随着英特尔在人工智能领域的投入不断深化，越来越多的云服务提供商通过英特尔架构获取更高的性能，以及更可控的基础设施构建和运维成本。
本篇的主题是《如何高效学习》，所谓高效就是花最少的时间达到最好的效果。高效率是我们在做任何事都希望达到的，包括工作、生活、学习。本篇文章重点介绍一种可以提高学习效率的方法——整体性学习。源知识来源于书籍《如何高效学习》。 （本文框架） 01|什么是整体性学习： 整体性学习到底是什么样子？简单来说，整体性学习就是看待知识的角度是多方面的。通过搭建信息网络（知识体系），将不同的知识进行关联，那些相互关联的知识能够使你真正做到对知识的理解，从而可以对知识达到真正的内化吸收的效果。 如果只用一种方式
如何高效学习？ 搜索 本篇的主题是《如何高效学习》，所谓高效就是花最少的时间达到最好的效果。高效率是我们在做任何事都希望达到的，包括工作、生活、学习。本篇文章重点介绍一种可以提高学习效率的方法——整体
④ 装饰者模式 : 移除类中的被装饰功能 , 将被装饰类简化 , 区分类的核心职责 和 装饰功能 ;
本文主要针对直播中的用户行为（评论，礼物等）建模中的问题提出解决方案，以往关于直播礼物预测的研究将这项任务视为一个传统的推荐问题，并使用分类数据和观察到的历史行为对用户的偏好进行建模。但是，由于用户行为很稀疏，尤其是送礼物这类付费行为，想要捕捉用户的偏好和意图相当困难。本文提出了基于实时多模态融合和行为扩展的MMBee方法。
前言 最近看了《FDG 2nd Edition》，也适当做了些笔记，在这里写这篇文章的目的主要有两个，一是对自己学习的一个记录、积累；另外，还可以用这篇总结向一些有需要的朋友推荐这本书。 书籍总结 这本书是MS公司的框架设计师，经过多年框架开发后的经验总结。 首先，它是一本设计规范。该书从规范的角度，规定了一个好的框架应该满足哪些条件、不应该犯什么错误。它从粗细不同的各个维度详细地列出了很多规范，细则细到变量名的命名，粗得粗到.NET中的模式应用规范。（早知道有这样一本书，我们
在这个软件主导的世界里，如何提高编程效率，成为了每位开发者必须面对的课题。正如史蒂夫·麦康奈尔（Steve C McConnell）所说：“等待一位高效的程序员变得可用，比等待第一个可用的程序员变得高效要好。” 这句话强调了软件工程师角色中效率的重要性。
An Active Inference Approach to Modeling Structure Learning: Concept Learning as an Example Case
【磐创AI导读】：Jupyter Notebook是一个交互式的、便于创建的、支持实时编程和共享文档的编程环境。本文将带大家学习几个Jupyter Notebook的扩展功能，以便大家更方便的使用这个宝贵的工具。也欢迎大家点击上方蓝字关注我们的公众号：磐创AI，获取更多的机器学习、深度学习资源。
▍有个小妹子问：非常渴望成长，虽然已经工作了，仍然不敢中断学习。但是，在工作中学吧，好像学不深；想学习工作之外的东西，又不知道如何入手。到底应该如何学？
在操作系统的文件中，还存在着一种我们可以自己定义的文件属性。这些属性不是保存在文件内容中，也不是直接可以通过 ls -al 所能看到的内容。它们可以将一个键值对信息永久得关联到文件上，一般现在的 Linux 系统都支持这样的文件扩展属性的功能。在操作系统中我们可以通过 setfattr、 getfattr、 attr 这些命令来操作它们。当然，PHP 也为我们提供了一个扩展可以用于对文件的扩展属性进行操作。
图深度学习已经展示了其在学习丰富的图结构数据上的有效性。并且在许多问题上取得了重大进展， 例如药物发现、社交网络、物理仿真等。许多图深度学习框架（如 PyG，DGL 等）主要关注实现基本的图深度学习模块和基础任务，比如节点分类与图分类等。但对于复杂的任务，比如图生成和图神经网络的可解释性，研究人员仍然需要花费巨大精力实现算法并与基准模型进行比较。
下面将会对机器学习算法的不同的实现范式进行讲解，既有来自文献中的，也有来自开源社区里的。首先，这里列出了目前可用的三代机器学习工具。 传统的机器学习和数据分析的工具，包括SAS，IBM的SPSS，Weka以及R语言。它们可以在小数据集上进行深度分析——工具所运行的节点的内存可以容纳得下的数据集。 第二代机器学习工具，包括Mahout，Pentaho，以及RapidMiner。它们可以对大数据进行我称之为粗浅的分析。基于Hadoop之上进行 的传统机器学习工具的规模化的尝试，包括Revolution Anal
深度模型已经在解决各种单独的机器学习任务上取得了卓越的性能。然而，在实际应用中，训练数据通常是顺序接收的，而不是一次性全部可用。因此，为深度模型装备在动态环境中学习的能力是深度学习（DL）的一个长期目标。增量学习（IL）涉及跨不同任务动态学习深度模型，并且经常遭受对先前学习任务性能下降的问题，这被称为灾难性遗忘（CF）。最近，基于排练的方法可以通过在固定内存缓冲区中保留一些旧任务的代表性样本（即示例）有效地减轻IL中的遗忘。然而，在严格保护隐私和内存严重受限的情况下，这些方法无法奏效，因为旧任务的样本不可用，且内存缓冲区有限。在本文中，作者专注于无需示例和内存严重受限的增量学习（RFMCIL）的策略，该策略无需示例并且在内存严重受限的情况下训练深度模型。
Pytorch Vs TensorFlow：AI、ML和DL框架不仅仅是工具；它们是决定我们如何创建、实施和部署智能系统的基础构建块。这些框架配备了库和预构建的功能，使开发人员能够在不从头开始的情况下制定复杂的人工智能算法。它们简化了开发过程，确保了各个项目的一致性，并使人工智能功能能够集成到不同的平台和应用程序中。
前段时间因为项目需要，研究了一下在 Windows 系统下进行 PHP 扩展的开发，对于 PHP 扩展的开发并不是一件容易的事情（话又说回来了，会者不难，难者不会，关键是自己不会）。我当时的需求，主要是通过 PHP 扩展来加载 DLL 文件，并调用 DLL 中的导出函数。由于以前有一些 Win32 开发的基础，因此这个需求相对还不算太复杂。
在当今的软件工程领域，随着系统和应用程序变得越来越大、越来越复杂，学会大规模思维变得至关重要。大规模思维涉及到如何设计、开发和管理能够有效应对工作量增加或用户数量增长的系统。这不仅是技术问题，更是一种思维方式。本文将详细介绍如何培养这种思维。
陈桦 编译整理 量子位 出品 | 公众号 QbitAI 昨晚，外媒都在用夸张的标题报道IBM的人工智能又立功了，例如说IBM的速度快得很“抓马”云云。到底怎么回事，量子位把IBM Research的博
视觉模型的性能是架构、训练方法和扩展策略的综合结果。但是，研究往往只强调架构的变化。新架构是促成诸多进展的基础，但与新架构同时出现的通常还有训练方法和超参数变化——一些关键但很少公开的细节。此外，通过现代训练方法改进的新架构有时需要与使用过时训练方法的旧架构进行对比，例如 ImageNet 数据集上 Top-1 准确率为 76.5% 的 ResNet-50 架构。
今年9月份举办的深度学习Indaba2018峰会的干货确实不少，昨天文摘菌给大家整理了27位大咖关于自然语言处理的精彩问答。今天文摘菌再给大家整理一份关于强化学习的10个原则，不仅在强化学习中有用，在机器学习研究中也能够提供一些参考。
随着人工智能技术的发展，机器学习应用场景越来越广泛，从智能语音助手到自动驾驶，从智能推荐到图像识别，都需要大量的计算资源来支持。而GPU作为一种高效的计算资源，越来越受到关注，成为机器学习加速计算的重要工具。然而，跨硬件通用加速缺乏跨平台跨硬件的通用API，不同显卡实现高效算子十分困难和复杂。
来源：机器之心本文约4200字，建议阅读8分钟剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研究者们在克服这些问题时取得的进展。 图神经网络在应用到现实世界时会面临很多挑战，比如内存限制、硬件限制、可靠性限制等。在这篇文章中，剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研究者们在克服这些问题时取得的进展。 用于高效和可扩展的图形表示学习的工具箱。 本文旨在概述关于高效图神经网络和可扩展图表示学
在选择一个适合你项目的Web开发框架时，常常会遇到 Flask 和 Django 这两个流行的选择。两者都有其优势和适用场景，本文将探讨它们的特点，并通过代码实例和解析来帮助你更好地做出选择。
当今时代，各行各业与人工智能（AI）加速融合，通过智能化创新来寻求业务转型升级。与为数不多的顶级AI研发公司相比，大多数传统行业或企业有着更丰富的 AI 应用场景，推动着规模化的AI应用落地，其AI应用更具有实践意义。然而，在智能化技术架构和平台选择上，它们又往往面临着“拿着钉子到处找锤子”的尴尬局面。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
