报告主题:大模型时代数据的价值与隐私保护
报告日期:3月28日(周四)10:30-11:30
主题简介:
在大模型的时代,数据的重要性前所未有地凸显出来。本次讲座将关注数据与大模型交互时的两个问题:隐私问题和数据价值评估。具体来说,将分享关于具有差分隐私保证的大模型学习的最新进展,相关技术和理论创新使得我们能够首次成功隐私微调超大模型如GPT-3(175B)。
除了关注隐私问题,数据所有者还可能希望公平地交易他们的数据。确实,在大模型时代,这样的数据交易和评估变得可行。作为一个例子,报告将介绍一个在文本到图像生成任务中对版权数据进行准确价值评估的框架,这自然导出了一种新的版权保护方式。在此框架下,版权数据被构建为大型模型的插件形式,并支持对这些插件进行提取和多个插件间的整合操作。这样做旨在确保终端用户能够自由而轻松地利用版权数据,同时通过插件的调用频率来评估版权数据的价值,确保其既可控又公平。
报告嘉宾:
张辉帅,北京大学王选计算机研究所助理教授(点击查看代表性研究成果:大语言模型的隐私保护学习,提出了隐私机器学习的新范式,突破大语言模型隐私学习的限制,相关技术被广泛用于商业产品中。)此前曾在微软亚洲研究院担任首席研究员。他的研究领域集中在自然语言处理、大型模型的隐私保护,以及机器学习优化算法上。已在机器学习和人工智能的顶级会议与期刊上发表了40余篇论文。他与合作者的一系列创新性工作首次成功将差分隐私技术应用于大型语言模型的训练中,推动了相关技术在商业产品中的应用。
领取专属 10元无门槛券
私享最新 技术干货