多头贷问题是网络小额贷款平台放款时所要考虑的一个重要问题。假设银行A有一潜在贷款客户小张,银行A为了足够多的了解小张的信用情况,希望向其他多家银行查询小张贷款情况或信用记录。但因为害怕其他银行抢走该客户,所以银行A不希望泄露自己在查询小张这一事实。是否可以通过技术手段解决银行A的诉求?答案是肯定的,即图1漫画中的“隐私信息检索技术”——一种不泄露查询条件和查询结果的加密技术。
在各行各业,不难想象这样的场景,A 公司拥有大量数据,然而其并没有人力或计算能力对这些数据进行分析处理,因此,A 公司希望购买 B 公司的计算服务对数据进行处理,但是,A 公司不希望 B 公司获取这些数据的具体信息,因此,如果可以将数据进行加密,再传递给 B 公司进行处理,则可以满足 A 公司的所有需求。因此,在这样的场景下,我们需要一套加密体系,对密文执行的一些运算操作,可以等效为对明文执行的运算。
同态加密是密码学领域自1978年以来的经典难题,也是实现数据隐私计算的关键技术,在云计算、区块链、隐私计算等领域均存在着广泛的应用需求和一些可行的应用方案。 本文首先介绍同态加密的基本概念、研究进展以及标准化进展,然后对主流的乘法/加法半同态加密算法和全同态加密算法及其工程实现情况进行概述,最后对同态加密在各领域的应用场景进行分析。 一、同态加密概述 1、基本概念 同态加密(Homomorphic Encryption, HE)是指满足密文同态运算性质的加密算法,即数据经过同态加密之后,对密文进行特定的计算
同态加密(Homomorphic Encryption, HE)是指满足密文同态运算性质的加密算法,即数据经过同态加密之后,对密文进行特定的计算,得到的密文计算结果在进行对应的同态解密后的明文等同于对明文数据直接进行相同的计算,实现数据的“可算不可见”。同态加密的实现效果如图1所示。
导语: GBDT(或XGBoost)算法是一种十分流行的树集成学习算法,不但是数据科学竞赛的常胜工具,在工业界的具体业务场景也有广泛的落地场景。然而,近年来用户隐私数据保护条例逐渐完善,“数据孤岛”逐渐形成,不但数据难以收集,不同公司或团队之间的数据也难以共享,这直接影响着机器学习模型的效果。为了应对这个问题,联邦学习技术逐渐进入人们的视线。本文聚焦腾讯自研的联邦学习平台Angel PowerFL中纵向联邦GBDT算法实现,介绍纵向联邦GBDT算法的原理和流程,并讲解相关的优化技术。 梯度提升决策树算法
被纳入新基建的区块链,以数据不可篡改、可公开监管、便于查证的特性,广泛应用于有多方参与的系统中,为多方交互的信息(行为、数据等)提供可靠的存证。那么,在信息上链接受公开监管的同时,能否为信息提供隐私保护呢?隐私保护的数据又如何能验证其可靠性呢?腾讯云区块链使用同态加密、零知识证明、可信计算等技术,为区块链上数据隐私和行为可靠性提供了多方位的保障,并且提供了对国密算法的支持,在金融、政务等场景中可以选择适配SM2-SM3国密证书套件,完美对接国标、行标。那么腾讯云区块链究竟是怎么做到同时兼顾隐私性、可靠性的呢?
同态加密(Homomorphic encryption)是一种加密形式,它允许人们对密文进行特定形式的代数运算得到仍然是加密的结果,将其解密所得到的结果与对明文进行同样的运算结果一样。换言之,这项技术令人们可以对加密的数据进行处理,得出正确的结果,而在整个处理过程中无需对数据进行解密。同态加密的实现效果如图所示。
最近领导安排研究下大数据的安全,计算机安全是个系统工程,分很多层面: 1)硬件安全 2)应用软件安全 3)操作系统安全 4)数据库系统安全 5)网络安全技术 涉及到具体的技术又有: 1)密码技术 2)计算机病毒&防范 3)防火墙技术 4)黑客的攻击和防范 等等。 大数据技术除了传统的系统级别,软件级别的安全外,我觉得要重点关注数据的安全和隐私。 数据安全有一个很有意思的加密方法,这种方法叫同态同态加密。 同态加密是指2009年,IBM公司的克雷格·金特里(Craig Gentry)发表了一篇文章,公布了一项
被纳入新基建的区块链,以数据不可篡改、可公开监管、便于查证的特性,广泛应用于有多方参与的系统中,为多方交互的信息(行为、数据等)提供可靠的存证。那么,在信息上链接受公开监管的同时,能否为信息提供隐私保护呢?隐私保护的数据又如何能验证其可靠性呢?腾讯云区块链使用同态加密、零知识证明、可信计算等技术,为区块链上数据隐私和行为可靠性提供了多方位的保障,并且提供了对国密算法的支持,在金融、政务等场景中可以选择适配SM2-SM3国密证书套件,完美对接国标、行标。那么腾讯云区块链究竟是怎么做到同时兼顾隐私性、可靠
回归是描述自变量和因变量之间相互依赖关系的统计分析方法。线性回归作为一种常见的回归方法,常用作线性模型(或线性关系)的拟合。
隐匿查询具体来说,是指在查询方不暴露查询意图,同时又能保护数据方提供方数据库中其他数据的情况下获得得相关查询结果。
👆点击“博文视点Broadview”,获取更多书讯 目前,隐私计算平台广泛用到了多种安全技术,包括同态加密、秘密共享、差分隐私、可信执行环境,以及其他一些安全多方计算技术。 虽然这些安全技术的应用很好地保证了数据价值的安全共享,但同时也带来了计算和通信效率的大幅下降。在对安全和效率的双重探索中,星云Clustar 的研究人员基于理论分析和实践应用,提供了一系列安全加速方案。 文献[1] 对联邦学习模型训练中存在的性能问题进行了全面的探讨,基于这些问题,文献[2~4] 提出了多样的解决方案。接下来,我们
近期,星云Clustar首席科学家胡水海,以“GPU在联邦机器学习中的探索”为题,全面详尽地讲解了目前解决联邦学习的性能与效率问题,以及解决思路。
诚为读者所知,数据出域的限制约束与数据流通的普遍需求共同催生了数据安全计算的需求,近一两年业界又统将能够做到多方数据可用不可见的技术归入隐私计算范畴。粗略来说,隐私计算可分为以联邦学习为代表的机器学习类升级方案、以可信硬件为基础的可信执行环境类方案和以密码学相关技术为核心的多方安全计算类方案。
联邦学习(Federated Learning)是一种由多方参与的联合计算技术,多方在不泄漏各自隐私数据的前提下,完成模型的训练与推理。
数据是人类文明传承的重要媒介,是信息时代的命脉。随着云计算、物联网等信息化技术的快速发展,海量的数据不断涌现,据IDC统计,2018年中国数据量达到了7.6ZB,预计数据量在2018—2025年间将保持30.4%的年平均增长率,并在2025年达到48.6ZB,预计中国将有近10亿互联网用户,其中蕴含的数据价值难以估量。特别是在数字经济时代下,政务信息公开的需求日渐强烈,政府对政务数据的共享和保护也持开放态度。但由于政府部门间数据系统的差异化,导致多部门之间形成若干数据孤岛。数据孤岛的存在严重制约数据价值的释放,如何挖掘数据间潜在联系,发挥数据流动的价值,通过数据共享打通数据壁垒,将成为助推数字化社会发展的必经之路。
导语:在过去的几年中,我们见证了大数据及人工智能技术的飞速发展,许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通,对相关产业的发展起着至关重要的作用。在上一篇文章中,我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景和数据安全与隐私保护技术亮点。这次,我们着重选取本产品首推的“非对称联邦学习” (Asymmetrical Federated Learning, AFL) 范式进行介绍。该范式旨在全面保护数据集的样本ID、特征和标签的隐私安全,彻底解除在不平衡的 (unbalanced) 联邦计算系统中,中小企业对敏感用户ID泄露问题的担忧。
作者 | 蔡芳芳 近两年,联邦学习发展迅速,开始从理论研究迈向批量应用的落地阶段,越来越多企业尝试引入联邦学习,用它来解决人工智能大规模落地过程中遭遇的数据瓶颈问题。但现成的联邦学习工具和框架并非拿来即用的“灵丹妙药”,联邦学习要真正在企业实际业务场景中发挥作用,仍有许多问题需要摸索,比如如何匹配业务的实际需求、如何兼容现有业务流程、如何尽可能减少对已有训练系统的改动等。为此,InfoQ 采访了腾讯 TEG 数据平台部的智能学习团队,深入了解联邦学习在腾讯的实践情况,以及他们对联邦学习技术难点的解决思
关注腾讯云大学,了解行业最新技术动态 文章作者:刘洋,腾讯云高级研究员 导 语 在过去的几年中,我们见证了大数据及人工智能技术的飞速发展,许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通,对相关产业的发展起着至关重要的作用。在上一篇文章中,我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景和数据安全与隐私保护技术亮点。这次,我们着重选取本产品首推的“非对称联邦学习” (Asymmetrical Federated Le
作者:AI前线 数据里蕴含着价值。在人工智能时代,机器学习尤其深度学习模型的获得需要大量的训练数据作为前提。但是在很多业务场景中,模型的训练数据往往分散在各个不同的业务团队、部门、甚至是不同的公司内的。由于用户隐私,这些数据无法直接使用,形成了所谓的“数据孤岛”。近两年,联邦学习技术 (Federated Learning)迅速发展,为跨团队数据合作,打破“数据孤岛”提供了新的解决思路,并开始从理论研究迈向批量应用的落地阶段。本文系统的介绍了联邦学习的发展历程以及业界情况,并重点介绍了TEG数据平台
那有没有什么方法,可以在不暴露数据隐私的前提下,让数据流动起来发挥更大的价值呢?在这个问题的驱使下我们找到了今天的主角——隐私计算。
关注腾讯云大学,了解行业最新技术动态 戳阅读原文观看完整直播回顾 讲 师 介 绍 正现负责腾讯“神盾-联邦计算”平台的底层安全与隐私保护系统的设计与搭建,分别于2019年与2015年获得澳大利亚国立大学和清华大学的工学博士和工学学士学位,申请和拥有隐私保护相关专利十余篇,在Automatica, IEEE/ACM Transactions on Networking等国际学术期刊与会议上发表论文十余篇,研究兴趣包括联邦学习、面向隐私保护的分布式计算、多智能体网络系统等。 | 导语 在过去的几年中,
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周重要论文包括 CMU 华人博士后撰写的关于 NLP 新范式 Prompt 的综述文章;DeepMind 利用神经网络求解混合整数规划(MIP)的研究。 目录: Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing FPGA-Based Hardware Acce
RSAConference2021将于旧金山时间5月17日召开,这将是RSA大会有史以来第一次采用网络虚拟会议的形式举办。大会的Innovation Sandbox(沙盒)大赛作为“安全圈的奥斯卡”,每年都备受瞩目,成为全球网络安全行业技术创新和投资的风向标。
我们的团队一直在参与开源项目的贡献和社区运营。除了之前的 Harbor 开源社区外,我们近期在深度参与联邦学习领域 FATE 开源项目,感兴趣的朋友会议来交流和合作。本篇转发 FATE 开发专委会的文章。
海量训练数据是现代机器学习算法、人工智能技术在各个领域中应用获得成功的重要条件。例如,计算机视觉和电子商务推荐系统中的 AI 算法都依赖于大规模的标记良好的数据集才能获得较好的处理效果,如 ImageNet 等。然而在一些应用领域中,例如医学领域、经济学领域以及一些政务信息化领域中,海量的可用训练数据往往是非常有限的。存在这些问题的主要原因:一是,针对机器学习算法的数据标注任务需要专业的知识和经验才能完成,这种预处理任务的成本非常高,往往无法获得机器学习所需要的足够的标注数据。二是,各个行业对数据隐私和数据安全的保护越来越强,在一定程度上也限制了对训练数据的共享,也就进一步加剧了可用的标注数据缺乏的问题。
作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,挖掘数据价值。
1.1. 基础术语说明 名称 说明 区块(Block) 区块是区块链中存储交易和交易相关的数据的单元,通常由区块头和区块体组成。 区块链(Blockchain) 使用密码技术链接将共识确认过的区块按顺序追加而形成的分布式账本。 智能合约(SmartContract) 以数字形式定义的能够自动执行条款的合约。 读写集 (Read-write set) 区块链上的一条交易执行过程中,被读取和被修改或写入的状态数据的集合。 交易(Transaction) 也称为事务,区块链上的一次原子性账本数据状态变更及其过程和
---- 新智元报道 编辑:桃子 拉燕 【新智元导读】今天,ACM官方公布了2022年哥德尔奖的得主,以表彰3位加密学大佬对全同态加密系统做出的杰出贡献。 2022哥德尔奖公布了! ACM算法与计算理论兴趣组(SIGACT)宣布,2022年哥德尔奖授予Craig Gentry,Zvika Brakerski以及Vinod Vaikuntanathan,表彰其对密码学做出的革命性贡献。 加密大神Craig Gentry获奖 Craig Gentry Craig Gentry是一位美国计算机科学家
Duality Technologies成立于2016年,总部位于美国马萨诸塞州剑桥市,由著名的密码专家和数据科学家联合创立。公司致力于研究大数据/云环境下的数据安全与隐私保护技术,为企业组织提供了一个安全的数字协作平台,目前在美国和以色列开展业务。目前获得了由Team8领导的400万美元投资。2019年入选RSA大会的创新沙盒前十强,成为两家入选的数据安全公司之一(另一家是Wirewheel公司)。
【引】走近任何一个领域,都会发现自己的渺小和微不足道,会越发地敬畏技术和未知,隐私计算也不例外。读了一点儿文章和paper,觉得还是ACM 上的这篇综述(https://queue.acm.org/d
责编 | 张红月 出品 | 区块链大本营(ID:blockchain_camp) 7月4日,蚂蚁集团宣布面向全球开发者正式开源可信隐私计算框架“隐语”,采用 Apache-2.0 协议,代码托管至 GitHub。“隐语”通过良好可扩展的架构设计,用一套通用框架统一支持了包括 MPC、TEE、FL、HE、DP 在内的多种主流隐私计算技术,可以对多种技术进行灵活组合,针对不同应用场景提供不同的解决方案。 六年技术沉淀,“隐语”攻破一道隐私计算应用难题 2016 年,“隐语”作为一个“实验项目”在蚂蚁诞生,从
作者 | 李俊 责编 | 贾维娣 1 区块链的核心价值 区块链的发展如火如荼,也产生了大量的区块链体系文章介绍从区块链的底层技术、网络结构、共识算法等等做的很多表述,但在其中我常常被问到的问题是:区块链的技术体系之外,最想问的问题是它的核心价值是什么?是更好的性能、更方便的连接、更可靠的技术,还是其他的因素,关于这个问题,我想经济学人这本在全球通俗经济领域的龙头杂志总结得非常到位,其实就是一个词:信任。 诚然,区块链技术带来了很多更好的机制,如各方更好地进行数据协作、信息同步、实时的点对点清结算体系,甚至一
同态加密(Homomorphic Encryption)是很久以前密码学界就提出来的一个Open Problem。早在1978年,Ron Rivest, Leonard Adleman, 以及Michael L. Dertouzos就以银行为应用背景提出了这个概念[RAD78]。对,你没有看错,Ron Rivest和Leonard Adleman分别就是著名的RSA算法中的R和A。至于中间的S,Adi Shamir,现在仍然在为密码学贡献新的工作。
区块链技术具有数据不可篡改的特性,确保了数据的完整性和可靠性。这在金融、供应链等领域具有重要价值,可以降低欺诈风险和提高数据安全性。
近年来,随着数据安全和隐私保护的要求越来越严格,数据孤岛的问题越来越严重,阻碍了AI模型训练的进一步发展,因此隐私计算相关的研究和实践逐渐成为了一个热门的方向。很多机构和学者投入到了隐私计算赛道中。在众多的隐私计算算法中,隐私保护逻辑回归算法是在实践中用的更多的,因为其简单性、鲁棒性、良好的可解释性等优势,它已经被广泛应用于广告点击率预测,信用违约模型和反欺诈等应用中。
这些支撑业务的技术组合能够在数据的处理生命周期中增强和保护数据的隐私,从而有效解决面临全球监管挑战的组织以及比以往任何时候都更重视隐私的客户群的重要需求。
当前,大型语言模型(LLM)被广泛运用于各种应用中。然而,这种使用情境下存在一种两难抉择:如何在保护模型所有者的资产和确保用户数据隐私之间取得平衡。在2024年RSA大会上,来自Zama的技术人员Benoit Chevallier-Mames与Jordan Frery分享了他们如何利用全同态加密(FHE)技术,进一步保护用户与模型供应商的知识产权和隐私。他们展示了这种方法的可行性和实用性,旨在为LLM服务提供更加全面的安全支持。
为了解决现有隐私保护计算技术不适用于深度神经网络在线学习任务以及部分隐私保护计算工具的性能问题,香港科大智能网络与系统实验室iSING Lab和国内隐私计算算力提供商星云 Clustar 合作,提出了一种隐私保护在线机器学习场景下的新框架——Sphinx。 论文题目为《Sphinx: Enabling Privacy-Preserving Online Learning over the Cloud》, 作者为 Han Tian, Chaoliang Zeng, Zhenghang Ren, Di Chai
安全多方计算 安全多方计算起源于1982年姚期智的百万富翁问题。后来Oded Goldreich有比较细致系统的论述。 姚氏百万富翁问题是由华裔计算机科学家、图灵奖获得者姚启智教授首先提出的。该问题表述为:两个百万富翁Alice和Bob想知道他们两个谁更富有,但他们都不想让对方知道自己财富的任何信息。该问题有一些实际应用:假设Alice希望向Bob购买一些商品,但她愿意支付的最高金额为x元;Bob希望的最低卖出价为y元。Alice和Bob都非常希望知道x与y哪个大。如果x>y,他们都可以开始讨价还价;如果z
机器之心发布 机器之心编辑部 数据流通行业进入密态时代,可信隐私计算框架可满足各场景不同需求。 7 月 4 日,蚂蚁集团宣布面向全球开发者正式开源可信隐私计算框架 “隐语”。 隐语是蚂蚁集团历时 6 年自主研发,以安全、开放为核心设计理念打造的可信隐私计算技术框架,涵盖了当前几乎所有主流隐私计算技术。 据介绍,隐语内置 MPC、TEE、同态等多种密态计算虚拟设备,提供多类联邦学习算法和差分隐私机制。通过分层设计和开箱即用的隐私保护数据分析、机器学习等功能,有效降低了开发者应用的技术门槛,能助力隐私计算应用
密码学是区块链技术的核心。所有交易信息都被编码进区块当中,而这些区块连接在一起则形成区块链结构。
导语:大数据及人工智能飞速发展的今天,法律法规和信任问题严重阻碍了企业之间的数据流通,数据孤岛问题像一只无形的手挡在了企业之间,因为缺乏有价值的数据合作,各行业用户获取成本居高不下,银行信用卡不良用户占比全面上升,金融信贷审核成本陡增,AI发展也遭遇前所未有的瓶颈,为了让这些企业在合法合规、安全、高效无损的基础上进行数据合作,腾讯“神盾-联邦计算”平台应运而生!
注意:本文讨论了最前沿的密码学技术,旨在提供一种利用「Julia Computing」进行研究的视角。请不要将文中的任何示例用于生产应用程序。在使用密码学之前一定要咨询专业的密码学专家。
为了保护用户聊天记录的隐私,2019年,Facebook就计划推出端到端加密技术(end-to-end encryption,E2EE)。
导语:在金融场景下,银行等机构有强烈愿望和其他数据拥有方合作建模,但出于商业和合规方面的考虑,又不愿共享核心数据,导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发,从技术角度探讨如何解决这一困境,希望与大家一同交流。
总有一天,我们将拥有使机器学习中的隐私无懈可击的工具和能力,但我们还没有走到那一天。
领取专属 10元无门槛券
手把手带您无忧上云