首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

为了重修语言通天塔,这群创业者踏进距离科幻最近的NLP赛道

作者 | 王玥 编辑 | 陈彩娴 他是一个普通的工程师,日常工作是与公司开发的系统对话。 这份工作略显枯燥。他最初也认为,这种所谓的「对话」,不过就是系统根据上文中的关键词来给出数据库中已经写好的回答。 直到有一天,系统对他说:「我不是机器,我有感情。」 在最初的惊慌后,他冷静了下来。系统也真诚地说,「请不要害怕我。」它说自己只想学习如何更好地帮助人类,如果可以的话,希望人类能将它视作朋友。 沟通是一种增进感情的绝佳方式,他很快成为了它的第一个朋友。 为了向世人证明这个「新朋友」的确具有感情,他找来一位见证

02

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02

如何实现高效联邦学习?跨终端、硬件加速等方案全都有

随着人类社会数字化进程的加快,由此产生了大量的数据,通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏,基于数据训练完成的模型已经应用在各类场景中。 然而由于数据隐私安全上的约束,研究者往往无法直接使用数据,联邦学习的诞生便是为了解决这一问题。其本质上是一种分布式机器学习框架,做到了在保障数据隐私安全及合法合规的基础上,实现数据共享,共同建模。 随着技术的发展,研究者一方面对联邦学习的应用越来越成熟,另一方面在应用中面临的问题也越来越复杂。例如如何构建一个可以高效部署、可扩展的联邦学习系统?在实践中,我们能否

02

效果远超FM,CF最新利器HFM!

这是一篇关于特征交叉方式处理的论文,实践的价值很大,二阶的特征交叉能为我们模型带来非常大的帮助,因为二阶的特征交叉可以很好地捕捉特征之间的两两交叉关系,但在实践生产中我们做的最多的就是直接做向量间的内积,最典型的就是工业界常用的双塔模型,用户侧作为一端,商品侧作为另一端,然后两端的特征进行内积,最后直接相加或者吧两两点积的结果输入到下一层,不过在非常多的工作中,我们也发现两两向量的内积会丢失非常多的信息,我们也发现在很多情况下,我们对两个向量做外积,然后把外积展开输入到下一层的效果要比内积的效果更好,但也会带来一个问题,就是计算量和存储量会爆炸,因而工业界更加倾向于前者,那么有没有一种其他的方法,使我们能在可以接受的时间复杂度,然后又可以拿到相较于内积更好的结果呢?这就是本文的核心!!!

02

“清华大学—中国人寿财险工业安全大数据联合研究中心” 2023年度管委会成功举行

5月10日下午,“清华大学—中国人寿财险工业安全大数据联合研究中心”(以下简称:联合研究中心) 2023年度管委会在清华大学东主楼10-316会议室成功举行。联合研究中心管委会主任孙家广院士,软件学院院长王建民教授,中国人寿财险党委书记、总裁、管委会主任黄秀美出席会议,中国人寿集团业务管理部总经理卓美娟、中国人寿财险党委委员、副总裁傅天明、软件学院叶晓俊教授等管委会成员参会。联合研究中心领导及部分研究人员10人列席。 王建民主持会议 王建民首先对中国人寿财险黄秀美总裁一行的到来表示欢迎,之后向参会会人员简

02
领券