首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

银行AI团队开源联邦学习框架,并发布《联邦学习白皮书1.0》

近日,银行 AI 项目组编制并发布了《联邦学习白皮书1.0》,并开源了自研的联邦学习框架。...而联邦学习正是解决这些问题的可行方案。 什么是联邦学习联邦学习是一个机器学习框架。...根据不同的数据分布,联邦学习可以分为三种类型:横向联邦学习、纵向联邦学习和迁移联邦学习。 如下图所示,以纵向联邦学习为例,联邦学习的架构是一个“闭环”学习机制。 联邦学习有什么优势?...比如在小企业贷款项目中保证数据安全,不对外输出,同时提高预测能力,共享模型效果;在反洗钱场景中,满足金融数据安全的合规,解决样本数据集少的问题;在故障检测中,保证不同设备运营商的数据安全,通过联邦学习建模技术...github.com/FederatedAI/FATE 获取白皮书 https://img.fedai.org.cn/fedweb/1552917119598.pdf (*本文为 AI科技大本营整理文章,转载请信联系

4.9K31

银行面经

银行一面(电话面试): 上午11点10电话面试,持续时间大概23分钟,问题如下 1.自我介绍,项目 2.项目中的难点,怎么解决的 3.项目中有没有用到新技术 4.最近有没有做什么项目 5.怎么判断一个字符串中的大小写字母...9.同一个类的两个对象的hashcode一样吗 10.数据库的索引 11.表内连接和外连接 12.什么时候会出现内存溢出(堆、栈、大数组、老年代) 13.自己写过什么博客,手上有其他offer吗,对有啥了解...(然后面试官介绍了一下) 14.爱好,说下QQ以备视频面试 总结:难度一般,正如前人所说,上来就侧重项目,而且一直追着问, 银行二面(视频面试): 上午10:40左右QQ视频面试,两个面试官,不过视频一直卡顿...手上还有其他offer吗(说了一下手里的offer),面试官介绍了一些微是干嘛的,说他们的工作挺有趣的,主要是java和python, 9.你还有啥想问的 总结:java基础难度不大,场景题回答的不理想

2.3K00
您找到你想要的搜索结果了吗?
是的
没有找到

银行首席人工智能官杨强:可信联邦学习让隐私计算既安全又可用

近来,银行在IJCAI 2022、TPAMI 2022、ACM TIST等顶级学术期刊和顶会上接连发表了联邦学习领域最新进展的前沿论文。究竟哪些理论实践为产业界带来了新的研究和落地视角?...为此,我们采访了银行首席人工智能官杨强教授,看他是如何带领团队取得这一领域研究的突破性进展。...在所有被引文章中,香港科技大学计算机科学与工程学系讲席教授、银行首席人工智能官杨强作为第一作者,与银行AI团队、北京航空航天大学计算机学院的研究人员联合发表的Federated Machine...《FedCG:利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能》由银行和中山大学合作发表,提出“FedCG”,将条件生成对抗网络与分割学习相结合,实现对数据的有效隐私保护。...联邦学习框架“分久必合,合久必分” Q:据了解,银行开源了全球首个工业级联邦学习框架FATE。请问联邦学习的框架经历了怎样的发展历程,您如何看待目前的趋势?

72840

银行AI团队亮相CCF年度盛会,探讨“联邦学习”下一个十年

银行AI团队作为联邦学习技术在国内的首倡者受邀参会,银行首席人工智能官(CAIO)杨强教授发表特邀报告:《用户隐私,数据孤岛和联邦迁移学习》,为上述人工智能的数据难题提供了答案。...针对以上问题,银行首席人工智能官(CAIO)杨强教授在特邀报告《用户隐私,数据孤岛和联邦迁移学习》中指出:“迁移学习”是将大数据迁移到小数据,实现举一反三,而“联邦学习”则可以让多个参与方数据不出本地进行合作...谷歌提出了基于手机终端的联邦学习算法框架,银行则首次提出针对多方机构合作的“联邦迁移学习”,并且通过开放开源平台Federated AI Technology Enabler(FATE)发布了通用的联邦学习解决方案...图:银行参与联邦学习圆桌论坛 为期两天的大会是学术论辩,是思想碰撞,更是对科技未来的大胆探索。联邦学习作为新兴的人工智能技术,下一个十年将走向何方?...银行和业界各位专家们给出了答案——行业落地。

72330

进化战争:银行的1800天

分行 作为民营银行银行根本没有线下网点,其实不用设立分行。...(三)“国产化”的使命  2015年,银行正式营业 。 那个春天,还挤在临时的办公楼里“创业维艰”的银行同学们,迎来了一位重要的客人——李克强总理视察银行。...2015年5月15日,微粒贷接入手机QQ;2015年8月,银行独立 App 上线;2015年9月,信用户看到了微粒贷的申请入口,当年底,银行的用户很快冲到100万人。...我们是“第一家民营银行”,穿行岁月,我们荣耀了这个名字。 最近,银行刚刚送走了某个国家中央银行的考察团,对于“分布式系统”的纯熟应用,让对方惊为天人。...而除了区块链,银行还在紧锣密鼓地开源包括“大数据计算引擎”、“人工智能联邦学习框架”在内的更多黑科技。 中国的技术,成为世界学习的标杆,这件事正在发生,还挺让人幸福的。

1.2K20

银行杨强NeurIPS最新演讲:联邦推荐技术如何应对推荐场景化的发展

银行联合谷歌、卡内基梅隆大学举办的联邦学习国际研讨会上,杨强教授以《Federated Recommendation》为主题,分享了银行首创的联邦推荐技术的最新研究成果和落地应用。 ?...FATE:首个支持联邦学习架构体系的工业级联邦学习开源框架 ---- 银行在“数据孤岛”和“隐私保护”问题上,是业界的引领者,它提出的联邦学习解决方案能够让多个机构同时协作,通过交换加密的模型参数进行综合训练持续优化模型...银行开发的工业级的联邦学习开源框架--FATE(Federated AI Technology Enabler,https://www.fedai.org),作为联邦学习全球首个工业级开源框架,支持联邦学习架构体系...联邦推荐:银行首次将联邦学习应用于推荐场景 ---- 推荐系统中算法的目标是挖掘用户和内容、商品之间的联系,根据问题的特点,银行联邦推荐算法总结成三类,如下图所示,包括横向联邦推荐算法(也可称为基于商品的联邦推荐...银行在该方向上做了初步的探索和应用,同时,也在积极推进关于联邦学习国家和国际标准的建立。杨强教授表示,会继续开源工具,与业界共铸联邦学习开放生态。

84910

银行揭晓学者计划,支持科研实干者研以致用

机制更完善: 学者计划创新研究项目引入研究人员访问机制,课题学者团队可派驻研究人员到银行,与银行技术团队进行深入交流协作,访问期将至少有 6 个月以上的开放时间。...面向多源异质大数据的联邦学习方法的研究概述: 课题组提出面向多源异质大数据的联邦学习方法,秉承大数据开源共享的理念,系统地建立安全高效的联邦学习理论与技术。...课题组立足于以银行真实应用场景为代表的多方数据联邦学习问题,针对多源异质数据之间存在的难以互通的瓶颈,提出具有落地意义的解决方案。...联邦迁移学习的肿瘤病人个体化用药的研究概述: 课题组发展和应用人工智能技术,结合生物组学分析,进行复杂疾病(肿瘤)的精准药物治疗和精准基因治疗。...在人才培养合作上,银行与清华大学、华中科技大学、华南理工大学等 20 余所高校开展人才培养合作,将银行的技术积累融入到高校教学工作中。

46540

盘点大厂的那些开源项目 - 银行

作为国内第一家互联网银行、也是首家民营银行银行坚持科技立行、科技兴行的发展之路,致力于推进科技创新,勇于开拓、积极创新,为探索互联网金融新路、践行普惠金融做出自己的贡献。...FATE 分类:AI FATE (Federated AI Technology Enabler) 是银行AI部门发起的开源项目,为联邦学习生态系统提供了可靠的安全计算框架。...FATE目前支持三种类型联邦学习算法:横向联邦学习、纵向联邦学习以及迁移学习。...WeEvent由银行自主研发并完全开源,秉承分布式商业模式中对等合作、智能协同、价值共享的设计理念,致力于提升机构间合作效率,降低合作成本,同时打通应用程序、物联网、云服务和私有服务等不同平台,最终在不改变已有商业系统的开发语言...Stars:348 Github: https://github.com/WeBankFinTech/EventMesh[5] Dockin 分类:容器 Dockin 是银行开源的生产级容器平台,提供了一整套私有云容器化的落地方案

1.2K30

银行技术产品 暑期实习面经

一般是学习能力、团队沟通、逻辑、专业背景。 岗位信息 产品经理-技术产品方向 具体岗位要求没有保存,回头查jd,发现岗位在校招官网已经下掉了。具体是做智能运维方向的技术产品。...为什么投技术产品:明确技术产品规划(自我介绍讲了原因),海投,大厂有技术产品的岗位少。看到是智能运维,比较感兴趣。...补充了也可以使用机器学习检测异常情况,但第一版还是可以用sql模板。面试官补充智能运维会用到AI模型,寻找经验无法确认的隐秘错误。 追问,如何确保异常告警的可信度。...答背靠背开发,两个团队提供双份不同计算方式核验,参考银行对账。 补充问可实习时间。 专业复试 比想象中要宏观一些,没有具体追问业务和产品观方面的东西,主要讨论校园生活以及个人规划方面的事项。...暑期寻找实习过程也发现技术产品比较少,除了腾讯阿里字节目前只看到有。因此相比华为更倾向。 反问:技术产品岗位职责 hr不清楚具体工作,但技术产品与普通产品会有区别。

65520

李克强考察银行,见证互联网银行首笔贷款

本文转自腾讯公司官方公众帐号tencent_blackboard 11月4日,国内第一家互联网民营银行—“Webank”银行才刚刚上线,就迎来了重量级的大访客。...在电脑键盘上按了一下回车键后,国务院总理李克强见证了银行的第一笔放贷业务:远在家中的货车司机徐军足不出户,就获得了3.5万元的贷款。“这是银行的一小步,却是金融改革的一大步!”李克强说。...互联网民营银行发放首笔贷款 新年假期后的第一天,国务院总理李克强来到深圳银行考察。作为去年7月银监会正式批复筹建的5家民营银行之一,银行是国内第一家获准开业的互联网民营银行。...李克强称赞,银行“服务小企业和普罗大众”的理念非常可贵。他说,金融行业要致力于“普惠”,“要让普罗大众都念你们的好”!...总理为什么要考察前海银行? “总理的表态意味深长。”

81440

银行开发的全球首个工业级联邦学习开源框架 FATE 升级 v1.1!特别支持云上部署

作为联邦学习全球首个工业级开源框架,FATE 在近日发布的 v1.1 版本中,不仅上线了横向联邦学习通用算法框架,增加了DNN、回归等多个联邦算法,并开始支持多方纵向联邦建模,支持spark引擎,支持FATEServing...FATE 作为联邦学习全球首个工业级开源框架,支持联邦学习架构体系,为机器学习、深度学习、迁移学习提供了高性能联邦学习机制,FATE 本身还支持多种多方安全计算协议,如同态加密、秘密共享、哈希散列等,具有友好的跨域交互信息管理方案...FATE v1.1提供易扩展的横向联邦学习通用算法框架,支持Secure Aggregation,通过封装横向联邦学习的主要流程,开发者能够简单地实现横向联邦学习算法。 ?...生产服务 FATEFlow是联邦学习建模Pipeline 调度和生命周期管理工具,为用户构建端到端的联邦学习Pipeline生产服务。...团队也欢迎对联邦学习有兴趣的同仁一起贡献代码,提交 Issues 或者 Pull Requests。

1.1K20

TDSQL在银行的大规模实践之路

2014年:基于分布式的基础架构 银行在2014年成立之时,就非常有前瞻性的确立了银行的IT基础架构的方向:摒弃传统的基于商业IT产品的集中架构模式,走互联网模式的分布式架构。...银行基础架构团队,经过多轮的评估和测试,最终确定和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融级分布式数据库产品,并将TDSQL用于银行的核心系统数据库。...当前银行的TDSQL SET个数已达350+(生产+容灾),数据库实例个数已达到1700+, 整体数据规模已达到PB级,承载了银行数百个核心系统。...如图8所示: 图8 银行TDSQL业务规模 在过去4年多的运营中,TDSQL也从未出现过大的系统故障,或者数据安全问题,同时基于TDSQL的X86的软硬件架构,帮助银行极大的降低IT户均成本,极大提升了银行的行业竞争力...作者简介: 胡盼盼,银行数据库平台负责人。

1.4K61

资讯 | 银行、TalkingData眼中的人工智能

卢道和:基于人工智能的未来移动银行设计 前海银行科技事业部零售客户产品部总经理 卢道和 前海银行科技事业部零售客户产品部总经理卢道和的演讲主题是《基于人工智能的未来移动银行设计》,他首先介绍了人工智能在目前银行中的应用...在银行领域,基于场景和深度学习构建专业人工智能。构建没有自助,不需要手机的未来的智能移动银行是未来的一个趋势。...TalkingData通过结合大数据和机器学习,来提高数据处理加工的效率。...但后来加入机器学习的算法,能够对原始机型数据进行一些过滤和初加工,工作量可以小很多。TalkingData目前很多数据的清洗工作,都是通过人工加上部分机器学习的方式进行的。...对于深度学习,TalkingData虽然有尝试,但还没有大量的使用。肖文峰认为,深度学习为提高精度付出的成本太高,有时候甚至会有数量级的成本增加。

76720

TiDB 在银行核心批量场景的实践

本文根据 PingCAP DevCon 2021 上来自银行资深数据库架构师黄蔚的分享整理而成,主要阐述 TiDB 在银行的应用实践,包括银行选择 TiDB 的背景和 TiDB 的部署架构...基于这些背景问题,银行借助 TiDB 做了架构优化的升级。...下图左边是银行其中一个贷款业务的账单日的批量耗时对比,可以看到在单实例架构下面,批量大概是跑三个多小时,而银行通过借助 TiDB 进行架构的升级优化后,耗时减少到了 30 分钟左右,有绝对效率上的提升...银行的需求不仅仅是效率提升,而且要求其做到水平扩展,也就是弹性伸缩。...未来规划 银行从 2018 年开始调研及 POC,2019 年上线了第一个 TiDB 的应用,当前 TiDB 在银行的应用领域已覆盖了贷款、同业、科技管理、基础科技等等,当前还有多个核心业务场景在做

70420

NewSQL 在银行核心批量场景的应用

编者按 本文由银行数据库负责人胡盼盼撰写,介绍了银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进,以及 TiDB 在银行核心批量场景的应用。...转眼间,已在工作近七载。这期间,一直负责银行数据库平台的建设和运营。银行在成立之初,IT 基础建设就没有选择传统的 IOE 集中式架构路线,转而选择采用了基于单元化的分布式架构。...在这种大的背景下,银行的数据库的架构演进,也是走出了一条不同寻常的路线。...一、2014 ~ 2016,两地三中心时代 在银行 IT 建设的第一阶段,基于成本和效率的考虑,IDC 的建设采用了两地三中心的架构(简称 IDC 1.0 架构)。...本文内容来自银行基础科技产品部公众号 TCTP《银行数据库架构编年史》一文,作者胡盼盼,银行数据库负责人。

66420

Nebula Graph 在银行数据治理业务的实践

本文为银行大数据平台:周可在 nMeetup 深圳场的演讲这里文字稿,演讲视频参见:B站 [银行图数据库实践] 自我介绍下,我是银行大数据平台的工程师:周可,今天给大家分享一下 Nebula...Graph 在银行 WeDataSphere 的实践情况。...[银行图数据库实践] 先来说下图数据库应用背景。...[银行图数据库实践] 至于银行大数据平台为什么选用 Nebula Graph,银行早期调研过一些商用、开源的图数据库解决方案,测试部分这里不做赘述,可以参考下 Nebula Graph 社区...银行的图数据库选择还有一个重量考核点,高可用和容灾的架构支持。这个考核项,Nebula Graph 本身的架构存在一定优势,符合银行行内硬性的架构要求和规范。

1.6K20

银行 TiDB HTAP 和自动化运维实践

本文根据银行资深数据库架构师黄蔚在 DevCon 2022 上的分享整理,主要讲述了银行对于 HTAP 架构的探索和实践情况,以及提升大规模分布式数据库运维效率的经验。...内容将从四个方面展开:HTAP 技术的演进历程、银行在 HTAP 技术的选型以及实践、在大规模分布式数据库自动化运维的优化实践、TiDB 在银行的未来规划。...银行的基础架构是基于 DCN 的分布式架构,也就是单元化,一笔简单的交易可能涉及到几十甚至上百个微服务在背后支撑,所以微服务的调用量很大。那么我们怎样快速地进行定位异常问题呢?...基于银行 DCN 的分布式架构,如果两个用户分属不同的 DCN,要进行交互比如转账,就需要通过 RMB 可靠消息总线来进行交互。...图片基于信机器人的 TiDB 数据库运维优化目前 TiDB 在银行的集群规模越来越大,从 2021 年开始的 20 多个集群到现在已经接近 60 个集群,数据的总容量也接近 800T,同样使用 TiDB

49820

首部全面、系统的联邦学习专著,杨强教授领衔撰写,《联邦学习》教你打破数据孤岛

要做到「不把用户信息扔出池子」,除了需要依靠银行等部门严格遵守规定,还需要技术的加持。近几年兴起的联邦学习就是基于这个目标提出的。 联邦学习也叫联邦机器学习。数据是机器学习的基础。...针对数据孤岛和隐私安全这两大问题,谷歌和银行分别提出了不同的联邦学习框架,而后者的背后就是银行首席人工智能官、香港科技大学计算机科学与工程系讲席教授杨强带领的团队。...杨强:国际「迁移学习」与「联邦学习」带头人 杨强教授是银行的首席人工智能官和香港科技大学计算机科学与工程系讲席教授。...2018 年,杨强教授出任银行首席人工智能官(CAIO),带领银行 AI 团队开源了全球首个工业级的「联邦学习」技术框架 Federated AI Technology Enabler(FATE...除了杨强教授之外,参与本书撰写的还包括银行 AI 部门的高级研究员刘洋、程勇、康焱,银行 AI 部门的副总经理陈天健,新加坡南洋理工大学计算机科学与工程学院助理教授、银行特聘顾问于涵 5 人

89010
领券