首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Reformer: 高效的Transformer

    理解序列数据 —— 如语言、音乐或视频 —— 是一项具有挑战性的任务,特别是当它依赖于大量的周围环境时。例如,如果一个人或一个物体在视频中消失,很久以后又重新出现,许多模型就会忘记它的样子。在语言领域,长短时记忆(LSTM)神经网络覆盖了足够的上下文来逐句翻译。在这种情况下,上下文窗口(在翻译过程中需要考虑的数据范围),从几十个词到大约 100 个词不等。最新的 Transformer 模型不仅改进了逐句翻译的性能,还可以通过多文档摘要生成整个 Wikipedia 的文章。这是可能的,因为 Transformer 使用的上下文窗口可以扩展到数千个单词。有了这样一个大的上下文窗口,Transformer 可以用于文本以外的应用,包括像素或音符,使其能够用于生成音乐和图像。

    01

    智能过程自动化:IPA实施的4个阶段

    今天的知识工作者就像昨天的上班族。他们花时间在电子邮件,电话,各种桌面和在线应用程序以及与客户,供应商,员工,合作伙伴和内部利益相关者打交道的网站上。大部分时间都花在处理各种系统上,以便将信息从一处转移到另一处,或者将数据从一个系统输入/处理到另一个系统。如果你曾经处理过一个官僚机构,比如你的汽车部门,那么你正在经历处理知识型服务经济的乐趣。但它并不需要这样。 组织似乎认为办公室和知识型员工生产力有限的原因大部分是因为信息存在于多个不同的系统中,采用不同的格式,而且各种流程决定了信息如何从一个地方流向另一个

    06
    领券