近年来，在全社会对隐私保护日益重视的背景下，联邦学习的研究和应用得到了长足发展。这一进步很大程度上得益于联邦学习框架及算法库的支持。当前，这类框架对联邦学习中各个参与方的通信、计算图的描述和拆分调度、模型的部署与推理等一般性的基础设施均有完整丰富的支持。但是，现有框架和库对图联邦的支持相对有限，难以基于已有工作去建立联邦图学习的基准。学术界和工业界都对一款功能全面且对实现联邦图学习算法友好的框架有强烈需求。 在最近的 KDD 2022 应用方向最佳论文获奖工作 FederatedScope-GNN 中，阿里
论文 1：Best Practices for Scientific Research on Neural Architecture Search
本文介绍一篇来自 ACMMM20 Oral 的论文，这篇论文主要通过构建一个 benchmark，并基于 benchmark 结果的深入分析，提出两个优化方法，提升现实场景下联邦学习在行人重识别上碰到的数据异构性问题。
回归是描述自变量和因变量之间相互依赖关系的统计分析方法。线性回归作为一种常见的回归方法，常用作线性模型（或线性关系）的拟合。
谷歌于2017年提出联邦学习的训练方法，发表了相关博客链接[1]，从[1]这篇文章的标题《Federated Learning: Collaborative Machine Learning without Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。
可信联邦学习 (Trustworthy federated learning) 是一种增强型的联邦学习，它除了保证原始数据的隐私安全和模型的可证安全，还保证学习过程的高效率和模型的可用性，模型决策机制的可解释性、及模型的可溯源和审计监管。 为了帮助读者了解可信联邦学习前沿进展，机器之心机动组组织策划了最新一期视频分享。 在此次分享中，加拿大工程院及加拿大皇家科学院两院院士，微众银行首席人工智能官杨强老师将首先为我们系统回顾联邦学习的进展和挑战，并展望几个重要发展方向。而后以下四篇论文作者将从不同角度介绍可信
联邦学习（federated learning，FL）是指在保护数据隐私的前提下实现分布式多数据源模型训练的学习范式。由于各个数据源的统计异质性在现实场景下广泛存在，同时统计异质性也给联邦学习下合作式的模型学习带来了负面影响，甚至会损害模型性能。 因而，这也带来了一个基本问题：一个机构（client）加入合作网络能否获得增益，即参与合作是否意味着自身模型性能的提升。 事实上，一个机构并非总是与所有机构合作才能带来自身性能的最大化。清华大学三年级博士生崔森等人建立了联邦学习下的合作均衡理论，其中各个机构只与对
NeurIPS发布联邦学习论文41篇，较前一年有近30%的增长幅度；ICML则在2022年收录联邦学习论文74篇，几乎成倍于2021年。
第1篇是对联邦图神经网络的调研，将目前的工作根据三层分类法进行了划分，即根据数据的原始存在形式、联邦学习的常规设置进行了分类介绍；
联邦强化学习的核心问题是如何将来自多个agent的见解聚合为一个。常见的解决方法是将每个agent的模型权重的平均值带入到一个通用模型(FedAvg)中。相反，「本文提出了一种新的联邦学习策略FedFormer，它利用Transformer Attention对来自不同agent模型的嵌入进行上下文聚合」。在此过程中，主要是根据当前agent的环境和学习到的关系来衡量其它agent的贡献，从而实现更有效的联邦学习。
本文精选了美团技术团队被SIGIR 2024收录的3篇论文进行解读，第一篇论文围绕如何利用深度学习，来整合广告拍卖和混排；第二篇论文扩展定义了全用户纵向联邦推荐范式，并首次提出基于检索增强的纵向联邦推荐框架ReFer，解决了跨域特征缺失问题；第三篇论文提出了一种新颖的框架——解耦对比超图学习，并应用于下一个兴趣点推荐任务中。这些论文有美团技术团队的独立产出，也有跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
学会忘记:联邦学习中的用户级记忆消除是一种分散性的机器学习技术，在研究领域和现实市场都引起了广泛的关注。 然而，目前保护隐私的联邦学习方案只是为用户提供了一个安全的方式来贡献他们的私有数据，而没有留下一个方法来收回对模型更新的贡献。这种不可逆的设置可能会打破有关数据保护的规定，并增加数据抽取的风险。 为了解决这个问题，本文提出了联邦学习的一个新概念，叫做记忆消除。基于这个概念，我们提出了sysname，一个联邦学习框架，允许用户在训练模型中消除对私人数据的记忆。具体来说，sysname 中的每个用户都部署了一个可训练的虚拟梯度生成器。经过一系列的训练，生成器可以产生虚拟梯度来刺激机器学习模型的神经元，从而消除对特定数据的记忆。同时，我们证明 sysname 的附加存储消除服务并没有破坏联邦学习的一般流程或降低其安全性。
导读：大家好，我是《深度学习推荐系统》的作者王喆，很多同行可能读过这本系统性介绍推荐系统的书，但大多数人可能不知道我职业生涯的头四年都在做广告系统，之后才在推荐系统方向工作了四年，这两年又回到了广告方向。既然是重操旧业，就不免想对计算广告这个方向做一次全面的再思考。
SpreadGNN: Decentralized Multi-Task Federated Learning for Graph Neural Networks on Molecular Data
机器之心专栏 作者：新加坡国立大学、清华大学 来自新加坡国立大学和清华大学的研究者提出了一种专注于训练树模型的联邦学习新系统 FedTree。 联邦学习是机器学习中一个非常火热的领域，指多方在不传递数据的情况下共同训练模型。随着联邦学习的发展，联邦学习系统也层出不穷，例如 FATE, FedML, PaddleFL, TensorFlow-Federated 等等。 然而，大部分联邦学习系统不支持树模型的联邦学习训练。相比于神经网络，树模型具有训练快，可解释性强，适合表格型数据的特点。树模型在金融，医疗，互
【导语】2019年，联邦学习成为业界技术研究与应用的焦点。近日，微众银行 AI 项目组编制并发布了《联邦学习白皮书1.0》，并开源了自研的联邦学习框架。白皮书中对联邦学习的背景、概述、分类、研究、应用案例与发展路径进行了全面的介绍，总结了联邦学习技术发展至今取得的成果以及对未来的展望。
联邦学习无疑是近期 AI 界最火爆的技术范式之一，在过去的2019年，涌现了大量联邦学习相关研究。
本文介绍一篇 NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』，对个性化联邦学习 PFedMe 进行详细解读。
2022年第15届国际网络搜索与数据挖掘会议WSDM将在2022年2月21日到25日于线上举行。今年此次会议共收到了786份有效投稿，最终录取篇数为159篇，录取率为20.23%。该会议历年的论文投稿量以及接收率可见下图。
随着互联网覆盖范围的扩大，越来越多的用户习惯于在网上消费各种形式的内容，推荐系统应运而生。推荐系统在我们的日常生活中无处不在，它们非常有用，既可以节省时间，又可以帮助我们发现与我们的兴趣相关的东西。目前，推荐系统是消费领域最常见的机器学习算法之一[1]。以网络新闻为例，由于每天都有大量的新闻文章发布在网上，在线新闻服务的用户面临着严重的信息过载。不同的用户通常喜欢不同的新闻信息。因此，个性化新闻推荐技术被广泛应用于用户的个性化新闻展示和服务中。关于新闻的推荐算法 / 模型研究已经引起了学术界和产业界的广泛关注。
6 月 11 日，在美国加州长滩举行的 ICML 公布了 2019 年最佳论文奖，来自苏黎世联邦理工大学、谷歌大脑等的团队和英国剑桥大学团队摘得最佳论文奖项，此外，大会还公布了 7 篇获最佳论文提名的论文，获奖团队来自 DeepMind、牛津、MIT 等。据统计，此次大会共收到 3424 篇提交论文，深度学习、通用机器学习、强化学习、优化是提交最多的子领域，但最终录取的论文仅有 774 篇，谷歌更是成为被接受论文最多的霸主。
今年有两支团队收获了最佳论文的奖项，来自剑桥大学、科技公司 PROWLER.io 的《Rates of Convergence for Sparse Variational Gaussian Process Regression》与苏黎世联邦理工学院（ETH）、德国马普所、谷歌大脑共同完成的《Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations》获得了殊荣。
机器之心发布 机器之心编辑部 8 月 18 日，全球数据挖掘领域顶级会议 KDD 2022 大奖公布，阿里巴巴达摩院团队斩获应用科学方向“最佳论文奖”，这是中国企业首次获得该重磅奖项。 KDD（ACM SIGKDD）是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，也是全球录取率最低的计算机顶会之一，在知识发现、数据挖掘、人工智能等领域具有重大影响力。KDD 组委会对达摩院获奖的联邦图学习开源工作 FederatedScope-GNN 给予充分肯定，评语提到，该工作“推动了联邦图学习技术的发展，并树
机器之心分析师网络 作者：Jiying 编辑：H4O 本文对 NSF CISE CAREER 2022 年公开资助的一项与联邦学习相关的项目进行了分析，结合 PI 的相关研究背景，了解美国青年研究学者在该方面开展的研究工作。 美国国家科学基金会（National Science Foundation，NSF）是美国独立的联邦机构，由美国国会于 1950 年创建。NSF 的任务是通过对基础科学研究计划的资助，改进科学教育，发展科学信息和增进国际科学合作等办法促进美国科学的发展。NSF 包括以下七个方向：生物科
论文链接：https://arxiv.org/pdf/1912.04977.pdf
1. Audio Hotspot Attack: An Attack on Voice Assistance Systems Using Directional Sound Beams and its Feasibility
从AlphaGo到MuZero以及最近的AlphaFold 2，DeepMind一直在寻求强化学习方面的突破。
Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach 论文链接：https://proceedings.neurips.cc/paper/2020/file/24389bfe4fe2eba8bf9aa9203a44cdad-Paper.pdf
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周主要论文包括阿里达摩院获 KDD 2022 最佳论文，这是国内企业首次获奖；Meta 发布 110 亿参数模型，击败谷歌 PaLM 等研究。 目录 FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning High-Resolution Image Synthes
在这魔幻且艰难的一年里， 有人见尘埃，也有人见星辰。 无论是意料之中的成长或失败， 还是意料之外的惊喜或惊吓， 一切都将画上句号！ 一定有很多人和博文菌一样， 在阅读中度过了这不平凡的一年。 这一年，我们坚守初心，为大家带来了众多业内佳作， 这其中不乏一些领域内优秀的开山之作， 它们的存在，为推动行业发展带来了积极影响！ 踩在2020年的尾巴尖， 博文菌与你来一同回顾2020年出版的这些 “大咖之作”~ No.1 程序员修炼之道 《程序员修炼之道：通向务实的最高境界（第2版）》 【美】David Thom
本文精选了美团技术团队被CVPR 2023收录的8篇论文进行解读。这些论文既有自监督学习、领域自适应、联邦学习等通用学习范式方面的技术迭代，也涉及目标检测、跟踪、分割、Low-level Vision等典型视觉任务的性能，体现了美团在基础通用技术和垂直领域技术上的全方位创新。这些论文也是美团技术团队与国内多所高校、科研机构合作的成果。希望给从事相关研究工作的同学带来一些启发或者帮助。
---- 新智元报道 编辑：David 【新智元导读】SIGGRAPH 2022最佳技术论文奖揭晓！北大陈宝权教授团队论文获荣誉提名奖。 计算机图形领域顶会SIGGRAPH 2022最佳技术论文奖揭晓！ 今年，SIGGRAPH提供了两种提交研究成果的方式：期刊论文和会议论文，前者是往年同一计划的延续，后者是以较短的形式分享观点。 另外，SIGGRAPH 2022今年新推出了技术论文奖，包括最佳论文奖和荣誉提名奖。这些论文因研究的突出性和对计算机图形和交互技术研究的未来的创新贡献而被选中。 正式
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周主要论文包括：首次无残差连接或归一化层也能训练深度 Transformer 的探索性研究，以及 DeepMind携其写代码 AI AlphaCode 登上了 Science 封面，写代码能力不输程序员。 目录： Competition-level code generation with AlphaCode Inverse scaling can become U-shaped FedALA: Adaptive
经典的机器学习方法基于样本数据（库）训练得到适用于不同任务和场景的机器学习模型。这些样本数据（库）一般通过从不同用户、终端、系统中收集并集中存储而得到。在实际应用场景中，这种收集样本数据的方式面临很多问题。一方面，这种方法损害了数据的隐私性和安全性。在一些应用场景中，例如金融行业、政府行业等，受限于数据隐私和安全的要求，根本无法实现对数据的集中存储；另一方面，这种方法会增加通信开销。在物联网等一些大量依赖于移动终端的应用中，这种数据汇聚的通信开销成本是非常巨大的。
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周重要论文包括普林斯顿大学的研究人员应用人工智能来预测过冷水中冰核的形成速率；湖大等开发药物筛选新模型等研究。 目录： Homogeneous ice nucleation in an ab initio machine-learning model of water KG-MTL: Knowledge Graph Enhanced Multi-Task Learning for Molecular Interac
除此之外，大会还公布了七篇获得提名奖(Honorable Mentions)论文。
Yijun Tian, Kaiwen Dong, Chunhui Zhang, Chuxu Zhang, Nitesh V. Chawla
在线推荐需要处理快速变化的用户偏好。深度强化学习(DRL)作为一种在与推荐系统交互过程中捕捉用户动态兴趣的有效手段，正在受到人们的关注。然而，由于状态空间大(如用户物品评分矩阵和用户档案)、动作空间大(如候选物品)和奖励稀疏，训练DRL代理具有挑战性。现有的研究鼓励实施者通过经验重放(ER)从过去的经验中学习。然而他们不能很好地适应在线推荐系统的复杂环境，而且不能根据过去的经验来确定最佳策略。为了解决这些问题，作者设计了一个新的状态感知经验重放模型，该模型使用位置敏感哈希将高维数据映射到低维表示，并使用优先奖励驱动策略以更高的机会重放更有价值的经验。本文的模型可以选择最相关和最显著的经验，并推荐策略最优的代理。在三个在线仿真平台上的实验证明了该模型的可行性和优越性。
机器之心报道 机器之心编辑部 一文总结联邦图机器学习。 近年来，图已被广泛应用于表示和处理很多领域的复杂数据，如医疗、交通运输、生物信息学和推荐系统等。图机器学习技术是获取隐匿在复杂数据中丰富信息的有力工具，并且在像节点分类和链接预测等任务中，展现出很强的性能。 尽管图机器学习技术取得了重大进展，但大多数都需要把图数据集中存储在单机上。然而，随着对数据安全和用户隐私的重视，集中存储数据变的不安全和不可行。图数据通常分布在多个数据源（数据孤岛），由于隐私和安全的原因，从不同的地方收集所需的图数据变的不可行。
知乎 ｜ https://www.zhihu.com/people/xu-xiu-jian-33
论文地址： http://arxiv.org/pdf/1809.10099v1.pdf
谷歌大脑、MaxPlanck和苏黎世联邦理工学院合作的《挑战无监督分离式表征的常见假设》，以及剑桥大学的一篇《稀疏变分高斯过程回归的收敛速率》作为最佳论文摘得桂冠。另外，还有七篇论文获得提名奖。
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周主要论文包括MSU 联合 MIT-IBM 提出首个黑箱防御框架；CMU 提出首个快速知识蒸馏的视觉框架等
作者 | 施方圆 编辑 | 陈彩娴 2022 年 11 月 7 日，第 31 届国际人工智能联合会议-中国会议（IJCAI 2022 China ）在深圳市坪山燕子湖国际会展中心拉开帷幕。 众所周知，从 1969 年开始， IJCAI 就一直是汇集国际人工智能研究者的重要会议，是大家交流人工智能研究最新进展和成果的重要平台。 今年的IJCAI-ECAI 2022在奥地利维也纳召开，但因受到新冠疫情影响，许多中国学者仅能在线上展示自己的研究成果。为了让众多中国学者有机会线下交流，因此 IJCAI 理事会授权I
联邦学习使多个参与方可以在数据隐私得到保护的情况下训练机器学习模型。但是由于服务器无法监控参与者在本地进行的训练过程，参与者可以篡改本地训练模型，从而对联邦学习的全局模型构成安全序隐患，如后门攻击。
今天跟大家分享一篇利用机器遗忘学习（Machine Unlearning）来选择性的忘掉某些特定数据进而完成带有隐私保护功能的推荐系统的文章。该文章发表在WWW2022会议上，是第一篇解决机器遗忘问题的推荐系统工作。该文提出了一种通用的可擦除推荐框架RecEraser，其通过将全部训练数据集进行划分成若干份，然后在每份子数据集上单独训练推荐模型，最后将多个子推荐模型的结果进行聚合来得到最终的推荐结果。由于其可以只重新训练删除数据的子模型而不用重新训练整个模型，因此可以以实现高效的数据擦除与出色的推荐性能。
论文地址：https://opt-ml.org/oldopt/papers/2020/paper_28.pdf
2008年10月,化名为“中本聪”的学者在密码学论坛上公开了《比特币:一种点对点的电子现金系统》一文[1],提出了利用PoW和时间戳机制构造交易区块的链式结构,剔除了可信第三方,实现了去中心化的匿名支付。比特币于2009年1月上线并发布创世块,标志着首个基于区块链技术应用的诞生。2010—2015年，比特币逐渐进入大众视野。2016—2018年，随着各国陆续对比特币进行公开表态以及世界主流经济的不确定性增强，比特币的受关注程度激增，需求量迅速扩大。事实上，比特币是区块链技术最成功的应用场景之一。2015年12月,英国政府发布了《分布式账本技术:超越区块链》[2],预测区块链将引起新一轮技术变革,建议加快区块链理论推广与应用开发进程。我国工信部于2016年10月发布了《中国区块链技术与应用发展白皮书(2016)》[3]。国务院在《“十三五”国家信息化规划》中将区块链列入战略性前沿科技之一。同年,世界经济论坛也对区块链在金融场景下的应用进行预测分析,认为区块链将在跨境支付、保险、贷款等多方面重塑金融市场基础设施。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
