中国科学家团队利用FAST观测数据，发现了纳赫兹引力波存在的关键证据，使纳赫兹引力波研究进入了新时代。
7月8日，为期三天的2021 年世界人工智能大会（WAIC）于上海世博展馆拉开序幕。本届大会继续秉持「智联世界」的理念，以「众智成城」为主题，集聚全球范围内的人工智能创新思想、技术、应用、人才和资本，推动全球科技的创新协同。8日下午，星云Clustar受邀出席同期举办的「2021 WAIC· 隐私计算学术交流会」，并进行了基于联邦学习的安全矩阵分解框架的论文分享。
今天为大家介绍的是来自Nathan C. Frey团队的一篇论文。在数据可用性和计算量方面的大规模扩展，使得深度学习在自然语言处理和计算机视觉等关键应用领域实现了重要突破。越来越多的证据表明，在科学深度学习中，规模可能是一个关键因素，但科学领域中物理先验的重要性使得规模扩展的策略和益处尚不确定。在这里，作者通过改变模型和数据集的大小（跨越多个数量级），研究了大型化学模型中的神经缩放行为，研究对象包括拥有超过十亿参数的模型，这些模型在高达一千万数据点的数据集上进行了预训练。
该论文发表几个月内就连遭多个科研团队“痛锤”，甚至NASA科学家联名致信Nature要求撤稿。
📷 摘要：数据分析在多数人看来是个与数据打交道的枯燥过程，但是，当它遇到可视化的时候，这些数字也能迸发出艺术感和色彩。分析过程可视化图在数据分析中具有广泛的应用。 本文将展示Teradata利用Teradata Aster对不同行业数据分析过程的可视化图，你可能无法想象，航线数据分析可以变换成绚烂的星云、保险索赔和欺诈保险索赔之间的联系在可视化图表中变成了花丛一般的“秘密花园”、而中国大型企业之间的资金流动量的关系则幻化成了一团烟花。 ◆ ◆ ◆ 航线星云 📷 l 关于洞察 图
在这篇文章中，我们将介绍这几天开源的三种数据集，它们与已有的通用数据集都不太一样，且更关注精细化的任务。例如在谷歌开源的 QA 数据集中，它里面都是真实的搜索问题，答案也都是从维基百科查找的。这种大型的真实数据集更适合训练一个不那么「低智商」的 QA 对话系统，也更符合成年人实际会问的一些问题。
AI 研习社按：「AI Challenger 全球 AI 挑战赛」是面向全球人工智能人才的开源数据集和编程竞赛平台，本次 AI 大赛气象赛道应用了一个很重要的数据源-「睿图」预报数据，睿图就是北京市气象局数值天气预报体系。
作者：Jason Brownlee 翻译：梁傅淇 本文长度为1500字，建议阅读3分钟 本文提供了七个不同分类的自然语言处理小型标准数据集的下载链接，对于有志于练习自然语言处理的新手而言，是极有帮助的资源。 在你刚开始入手自然语言处理任务时，你需要数据集来练习。 最好是使用小型数据集，这样你可以快速下载，也不用花费很长的时间来调试模型。同时，使用被广泛使用和了解的标准数据集也是有所帮助的，你可以用你的结果来做比较，看一下是否有所进步。 在这篇博文中，你会找到一系列标准数据集来开始你的深度学习之旅。 总
---- 新智元报道 来源：thenextweb 编辑：LRS 【新智元导读】深度学习的转折点往往都发生在不经意间。IBM的Project CodeNet发布五个多月仍未引起过多关注，但它可能是助力AI编程的最有用的数据集，但它的风头似乎都被Copilot抢走了，至今未见过多宣传，沦为小众数据集。 如今写代码已经成为各行各业的必备技能，学会写代码可以让计算机代替我们做一些重复的工作，极大提升工作效率。 但一个真正能帮你写代码的AI程序离我们还有多远？ 5月5日，IBM向极少数媒体和学术界发布了Pr
最近，大型语言模型获得了前所未有的关注度。在更迭迅速的情况下，开源模型与闭源模型的发展并驾齐驱，同时呈现百花齐放的态势。
随着智能家居的普及，物联网设备的数量也在增加。但是，由于物联网设备的开发商和供应商往往会忽略基本的安全机制，导致越来越多大规模网络攻击事件都与物联网设备有关。这不仅危及用户的安全，也给互联网带来了极大的安全威胁。目前，网络空间测绘系统使用主动探测技术来扫描整个IPv4空间，并通过获取banner或其他指纹来识别网络服务和暴露的物联网设备。然而，这种主动探测技术无法识别隐藏在NAT防火墙设备之后的IoT设备，同时，当IoT设备被分配到IPv6地址时，主动探测也面临挑战。
---- 新智元报道 编辑：LRS 【新智元导读】OpenAI的GPT-3已发布两年，但还是只听说过，没见过。最近Meta复现了一遍GPT-3，改名OPT，把代码、权重、部署都开源了出来，并且还更环保，碳足迹仅为原版七分之一。 2020年，OpenAI放出了具有1750亿参数的预训练模型GPT-3，横扫文本生成领域，不仅能问答、翻译、写文章，还能做数学计算。 唯一的「美中不足」就是没开源，代码和模型看着眼馋，却到不了嘴边。 并且与微软签订了「独占协议」，公众只能通过付费API与模型进行交互，完整的
现在经常生成大型单细胞图谱，作为分析小规模研究的参考。然而，由于数据集之间的批处理效应、计算资源的有限可用性以及对原始数据的共享限制，从参考数据中学习变得复杂。德国亥姆霍兹慕尼黑中心和慕尼黑工业大学 (TUM) 的研究人员创建了一种名为“scArches”的新算法，用于在称为单细胞架构手术 (scArches) 的参考之上映射查询数据集。scArches使用转移学习和参数优化来实现高效、分散、迭代的参考构建和新数据集与现有参考的上下关系，而无需分享原始数据。利用小鼠大脑、胰腺、免疫和全生物体图谱的例子，研究人员的工作表明scArches保留了生物状态信息，同时消除了批量效应，尽管使用的参数比从头整合少四个数量级。最后，scArches在映射到健康参照物时保留了冠状病毒疾病2019（COVID-19）的疾病变异，从而能够发现疾病特定的细胞状态。scArches将通过实现参照物图谱的迭代构建、更新、共享和有效使用来促进合作项目。
机器之心报道 机器之心编辑部 Yann LeCun 表示：Atlas 是一个不太大的语言模型，具有 110 亿参数，在问答和事实核查方面击败了「大家伙」。 我们可以将大型语言模型（LLMs）理解为小样本学习者，其能够通过很少的例子就能学习新任务，甚至仅通过简单的说明就能学习，其中对模型参数量和训练数据的大小进行扩展是模型拥有泛化能力的关键。LLMs 的这种提升归功于更强大算力和存储能力。直观上，推理能力的提高会带来更好的泛化，从而减少样本的学习，然而目前还不清楚有效的小样本学习在多大程度上需要大量的模型参数
本文介绍由美国卡内基梅隆大学的Ziv Bar-Joseph教授团队和加拿大麦吉尔大学健康中心的Jun Ding助理教授团队联合发表在 Nature Communications 的研究成果。细胞分类为高通量单细胞数据的主要挑战，在许多情况下，这种分配需要重复使用外部和补充数据源。为了提高跨大型联盟、平台和模态统一分配细胞类型的能力，作者开发了一种软件工具Cellar，可为分配和数据集比较过程中涉及的所有不同步骤提供交互式支持。作者讨论了由Cellar实现的不同方法，以及如何将这些方法用于不同的数据类型，如何组合互补的数据类型以及如何分析和可视化空间数据。作者通过使用Cellar注释几个来自多组学单细胞测序和空间蛋白质组学研究的HuBMAP数据集来展示Cellar的优势。
指令微调(IT)是提高大型语言模型(LLM)能力和可控性的关键技术。其本质是指在由(INSTRUCTION, OUTPUT)对组成的数据集上以监督的方式进一步训练LLM的过程，它弥合了LLM的下一个词预测目标与用户让LLM遵循人类指令的目标之间的差距。这篇文章对现有研究进行了系统的回顾、包括IT的一般方法、IT数据集的构建、IT模型的训练、以及不同模式，领域和应用的应用。
现代组织不断从各个来源产生和收集大量数据。数据可能存储在不同的格式、位置，并且在容量、速度和种类上可能存在差异，使用户难以快速提取其中的价值。数据孤岛在许多公司都是存在，为了解决数据孤岛问题，企业可以采取的措施有：数据集成、建立数据共享机制、数据标准化、数据虚拟化等。其中数据虚拟化通常需要一个引擎支持读取多源的数据，且统一访问逻辑；业界解决改场景的引擎有Spark、Presto、Dremio等，本文接下来主要描述Dremio。
今天给大家介绍的是来自瑞士伯尔尼大学及IBM欧洲研究院联合发表在Nature Communications上的文章。在本文中，作者挑战了用Molecular Transformer模型预测碳水化合物中的区域性和立体选择性反应，实验通过在少量碳水化合物反应的通用模型上进行迁移学习产生特定反应模型解决该问题，最终该模型以惊人的准确性返回预测结果。作者提出迁移学习应适用于任何特定类型。
机器之心报道 机器之心编辑部 「 SpeechGPT 为打造真正的多模态大语言模型指明了方向：将不同模态的数据（视觉，语音等）统一表示为离散单元集成在 LLM 之中，在跨模态数据集上经过预训练和指令微调，来使得模型具有多模态理解和生成的能力，从而离 AGI 更进一步。」—— 复旦大学计算机学院教授邱锡鹏 大型语言模型（LLM）在各种自然语言处理任务上表现出惊人的能力。与此同时，多模态大型语言模型，如 GPT-4、PALM-E 和 LLaVA，已经探索了 LLM 理解多模态信息的能力。然而，当前 LLM 与
深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率，但仅仅过了三年，冠军的宝座就被Squeeze-and-ExcitationNetworks抢去，后者以1.458亿（前者的36倍还多）的参数量取得了82.7%的top-1准确率。然而，在这段时间里，GPU的内存只提高了3倍左右，当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此，我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。
文章：LOCUS 2.0: Robust and Computationally Efficient Lidar Odometry for Real-Time 3D Mapping
2021年10月21日，Nature Computational Science 杂志发表文章，就如何报告基于机器学习的研究提供了一些建议，以提方法的透明度和可重复性。
深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT 2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率，但仅仅过了三年，冠军的宝座就被Squeeze-and-ExcitationNetworks抢去，后者以1.458亿（前者的36倍还多）的参数量取得了82.7%的top-1准确率。然而，在这段时间里，GPU的内存只提高了3倍左右，当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此，我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。
---- 新智元报道 编辑：LRS 【新智元导读】语言模型动物园加入新成员Koala，更符合真实用户需求！ 自从Meta开源LLaMA之后，学术界内各种类ChatGPT模型如雨后春笋般开始发布。 先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。 最近伯克利又发布了一个新模型「考拉Koala」，相比之前使用OpenAI的GPT数据进行指令微调，Koa
2022年12月23日，《Nature Biomedical Engineering》编辑部发表社论“Contextual learning is nearly all you need”，对利用上下文信息与大型未标记多模态数据集的transformer和图神经网络在计算医学领域的可能性进行了论述。
AI科技评论今天给大家介绍一下一篇被NeurIPS 2020接收的工作:《Rethinking the Value of Labels for Improving Class-Imbalanced Learning》。
大型语言模型已经看到数万亿个tokens。然而，谁知道里面是什么？最近的工作已经在许多不同的任务中评估了这些模型，但是，他们是否确保模型没有看到训练甚至评估数据集？在这篇博文中，我们展示了一些流行的已经被 ChatGPT 记住的基准数据集，并且可以提示 ChatGPT 重新生成它们。
大型语言模型在自然语言处理方面变得越来越熟练（OpenAI等人，2023年；陈等人，2024年），这导致在各个下游任务中对它们的应用需求日益增长。监督微调是目前最广泛使用的适配方法，但由于对计算资源和内存使用的巨大消耗，完全微调大型模型具有挑战性。
在今年AI Challenger天气预报赛道的采访中，中国气象局北京气象研究所副所长陈敏透露，本次比赛已经有20支参赛队伍的预报结果优于传统的数值模型式预报。
测试数据集：301,749 cells we previously profiled in a complex experimental design from the colon mucosa of 18 patients with ulcerative colitis (UC 溃疡性结肠炎), a major type of inflammatory bowel diseases (IBD 发炎性肠症), and 12 healthy individuals
此次比赛所用数据集RACE，全称：Large-scale ReAding Comprehension Dataset From Examination，是一个从初中和高中试题中收集的大型英文阅读理解数据集。
这是本系列的第六篇文章，在这篇中我们需要了解并处理语言模型最为棘手的问题，也就是AI"幻觉”（Hallucination）问题。在大型语言模型和聊天机器人的世界里，"幻觉"现象指的是这些智能系统有时会基于给定的提示，创造出并不存在的信息或事实。简而言之，就是这些先进的AI在对话过程中可能会偶尔"脱轨"，提供与问题无关的回答，或者讲述一些与现实不符的内容。这种现象反映了AI在理解和生成语言时，尽管它们通常表现出色，但有时仍会犯错或产生与期望不符的输出。
大型视觉语言模型（LVLMs）能够将图像和文本表示对齐，以理解跨越前所未有的真实世界数据规模的图像中的普遍关系，这已经在现代机器学习中呈现出显著的范式转变。许多先进的LVLM作品，如CLIP、ALIGN、BASIC、Flamingo和BLIP，已经在广泛的视觉和多模态任务中展现出卓越的性能，大幅超过了传统的ImageNet训练模型。因此，LVLMs的巨大成功使得社区的焦点从ImageNet基准测试转向了如LAION这样的网络规模的多模态数据集。
【概要】英特尔和美国国家能源研究科学计算中心、斯坦福大学联合开发出一套深度学习系统，可在15 Petaflops的超级计算机上运行。
机器之心报道 机器之心编辑部 平替再平替，可以在消费级 GPU 上运行的 Koala 模型能实现 ChatGPT 一半的性能。 自从 Meta 发布并开源了 LLaMA 系列模型，来自斯坦福大学、UC 伯克利等机构的研究者们纷纷在 LLaMA 的基础上进行「二创」，先后推出了 Alpaca、Vicuna 等多个「羊驼」大模型。 羊驼已然成为开源社区的新晋顶流。由于「二创」过于丰富，生物学羊驼属的英文单词都快不够用了，但是用其他动物的名字给大模型命名也是可以的。 最近，UC 伯克利的伯克利人工智能研究院（BA
Dask是一个用于并行计算的强大工具，它旨在处理大规模数据集，将数据拆分成小块，并使用多核或分布式系统并行计算。Dask提供了两种主要的数据结构：Dask.array和Dask.dataframe。在本文中，我们将重点介绍Dask.array，它是Dask中用于处理多维数组数据的部分。
今天给大家介绍2020年11月12日发表在Nature Machine Intelligence上的三篇评论。这三篇评论都缘于该期刊往期的一篇标题为“An interpretable mortality prediction model for COVID-19 patients”的文章，评论主要抨击了原文章提出的对于COVID-19患者的死亡率预测模型所存在的问题。同时，该期刊同期发表了原作者li Yan等人对该三篇评论的回复。
随着计算机的出现，人们开始用机器分析大型数据集，这一阶段最早可以追溯到大型计算机时代。
本文介绍由德国计算生物学研究所的M. Colomé-Tatché和Fabian J. Theis共同通讯发表在 Nature Methods 的研究成果：作者对来自23篇出版物的85批基因表达、染色质可及性和模拟数据的68种方法和预处理组合进行了基准测试，总共代表了分布在13个图谱集成任务中的超过120万个细胞。作者使用14个评估指标，根据可伸缩性、可用性及其在保留生物变异的同时消除批次效应的能力对方法进行评估。研究表明，高度可变的基因选择提高了数据集成方法的性能，而数据缩放推动方法优先考虑批次去除而不是保留生物变异。总体而言，scANVI、Scanorama、scVI 和 scGen 表现良好，尤其是在复杂的集成任务上，而单细胞 ATAC 测序集成性能受特征空间选择的影响很大。该文免费提供的 Python 模块和基准测试管道可以为新数据确定最佳的数据集成方法，还能对新开发的方法进行基准测试。
距离EMNLP2023放榜已经有两周了，相关接收论文也正在陆陆续续地更新。虽迟但到，最近抽时间看了下已接收的论文，整理了十篇还不错的文章给大家分享一下，主要涉及：大模型微调（微调7B模型性能堪比175B）、中文拼写检查、数据合成、问题生成、开放QA问答、Transformer改进（涉及MASFormer、SRformer）、多跳QA问答、知识反思等。
单细胞和空间组学技术的迅速崛起生成了大量数据，为提供具有用户友好界面的更全面的数据分析平台，近日《Nature Communications》发表了一款交互式且易于使用的应用程序——ezSingleCell，无需事先具备编程知识即可分析各种单细胞和空间组学数据类型。
丰色 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 搜集的全部新冠机器学习“看片”论文，一篇能用的都没有？！ 就在“广州两名医务人员核酸检测呈阳性”的新闻再度牵动大家伙的神经之际，一项来自剑桥大学的新研究也在外网上点燃了炸药桶。 打从疫情之初，就有不少机器学习领域的研究人员，希望借助AI之力，帮助医务人员更好地保护自己： 去年1月到10月，就有2000多篇相关论文发表。 但是，就在AI比较成熟的看片领域，剑桥大学的结论却让人大跌眼镜： 搜集到的关于用AI进行新冠病毒医学图像检测、诊断的论文
而迁移学习之所以如此有效，得益于其利用自监督任务（如语言建模或填充缺失词）在大量可用的无标注的文本数据上对模型进行预训练；接着，又在更小的标注数据集上对模型进行微调，从而让模型实现比单单在标注数据上训练更好得多的性能。
来源：机器之心本文共3000字，建议阅读5分钟本文研究了如何使用有限数据训练 ViT，由于可以捕获特征对齐和实例相似性，新方法展现了优势。 预训练模型是否也能只需要很少的样本就能完成任务？ Transformer 架构的强大性能不仅在 NLP 领域成为了主流，也在代替卷积神经网络 CNN，成为视觉识别的一个方向（ViT）。一些 transformer 模型已经取得了有竞争力的结果，但因为缺乏典型的卷积归纳偏差使得它们比普通 CNN 需要更多的训练数据。 在南京大学吴建鑫团队近日提交的一篇论文中，研究者研究了
Transformer 架构的强大性能不仅在 NLP 领域成为了主流，也在代替卷积神经网络 CNN，成为视觉识别的一个方向（ViT）。一些 transformer 模型已经取得了有竞争力的结果，但因为缺乏典型的卷积归纳偏差使得它们比普通 CNN 需要更多的训练数据。
Kaggle：一个数据科学竞赛网站，其中包含大量外部贡献的有趣数据集。你可以在它长长的列表中（https://www.kaggle.com/datasets）找到各种小众数据集，从拉面的评分、篮球数据，到西雅图的宠物牌照。
在如今深度学习的领域中，如果把数据比作老K，用以确保数据格式正确的就是Q，或者至少也得是J或者10，由此你可以看出它相当重要。在努力收集图像并注释所有的对象之后，你需要决定用什么格式来存储所有的信息。与其他你需要担心的事情相比，做这个决定似乎不算困难，但如果你想看到不同模型在数据上的表现差异多大，这一步是至关重要的。
大家好，非常荣幸今天有机会在这样一个天气晴朗的日子咱们济济一堂相聚在北京腾讯club展开我们第一次的腾讯数据中心分享活动。首先感谢各位贵宾抽时间来参加分享活动，让我们以热烈的掌声欢迎各位嘉宾。 今天虽然腾讯汇会场的房间并不大，但在座的各位刚才Jimmy也介绍过了，全是咱们数据中心生态系统里重量级的专家。希望大家在会中多多互动，多多交流，有什么问题，随时提出来。数据中心圈子也不大，大家茶歇的时候也可以互相认识一下。 首先，我想讲一讲为什么会有这样一个分享日。腾讯在数据中心领域起步比较早，在2006年就应业
顾翔老师开发的bugreport2script开源了，希望大家多提建议。文件在https://github.com/xianggu625/bug2testscript，
选自code.Facebook 作者：Dhruv Mahajana、Ross Girshick、Vignesh Ramanathan、Manohar Paluri、Laurens van der Maaten 机器之心编译 参与：路、张倩 人工标注数据需要耗费大量人力成本和时间，对模型训练数据集的规模扩大带来限制。Facebook 在图像识别方面的最新研究利用带有 hashtag 的大规模公共图像数据集解决了该问题，其最佳模型的性能超越了之前最优的模型。 图像识别是 AI 研究的重要分支之一，也是 F
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
