首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Google BERT 中文应用之春节对对联

    在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

    02

    Google BERT 中文应用之春节对对联

    在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

    02

    上海市教委与腾讯达成战略合作,打造具有全球影响力的科创中心

    8月29日,2019世界人工智能大会教育行业主题论坛上,腾讯与上海市教育委员会(以下简称“上海市教委”)签署战略合作协议。今后,双方将基于互联网、大数据、人工智能的教育应用基础,在上海市打造智慧校园试点,并深入推进智慧校园建设,建立“覆盖全市、统一标准、上下联动、资源共享”的移动智慧校园体系。腾讯将积极支持上海市高校“双一流”新工科建设,为上海市培养面向新一轮科技革命与产业变革的新工科专业人才,推动上海成为具有全球影响力的科创中心。 图:签约仪式现场 上海市教委主任陆靖指出,教育信息化2.0的本质是

    02

    别动!你已被黑产从业者盯上了,文末的武器请拿好!

    当你想尽情地浏览网页,可满屏都是垃圾内容;有时不得已留下联系方式,立刻被各种垃圾营销找上门来?你气得大骂网站,其实这些都是互联网黑产从业者的”杰作“! 曾经刷版广告、垃圾内容满天飞 天涯社区作为在全球极具影响力的网络社区,也是互联网黑产从业者所青睐的目标。曾经一度在天涯上涌现出大量垃圾广告信息,严重影响到了正常的用户体验。 58同城是中国最大的分类信息网站,上面留有众多企业和个人的联系方式。这些联系方式给黑产从业者创造了机会,借助于群发软件,外挂等,黑产从业者进行疯狂宣传,对用户造成了很大骚扰,也对58同

    07
    领券