这一章我们主要关注transformer在序列标注任务上的应用，作为2017年后最热的模型结构之一，在序列标注任务上原生transformer的表现并不尽如人意，效果比bilstm还要差不少，这背后有
相对位置编码(Relative position encoding, RPE)是Transformer获取输入Token序列顺序的重要方法。在自然语言处理中已证实了其有效性。
一篇来自微软关于Transformer中位置编码的文章，关于位置编码，我们之前也有讨论过，参见：
DeBERTa刷新了GLUE的榜首，本文解读一下DeBERTa在BERT上有哪些改造
1.文档流： 浏览器窗口，自上而下，自左到右元素的排班成为文档流 2.文档流和元素定位的关系： 由于文档流中每个元素都有固定的位置，为改变文档流的位置，或者隐藏元素在文档流中的物理空间。 3.元素定位的分类： 相对位置 绝对位置 固定位置 4.相对位置： 相对位置需要设置参照 position：relative属性将元素自身位置设为参照物。 如果一个元素设置了该属性 上下左右移动属性： bottom(向上移动，即距离相对位置下端的距离) top(向下移动，即距离相对位置上端的距离) left(向右移动，即
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP) 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE) 的引入，2022年标志着该领域的重大发展。
第四篇也非常有趣提出将独立的词向量替换成自变量为位置的函数，引入了复数空间综合了词向量和位置向量」
大多数的生成模型（例如seq2seq模型），生成句子的顺序都是从左向右的，但是这不一定是最优的生成顺序。可能有人要说，反正最终都是生成一个句子，跟生成顺序有啥关系？但是大量实验确实表明了从左向右生成不一定是最好的，比如先生成句子中的核心词（出现词频最高的词，或者动词等）可能效果会更好。
现如今很多大模型都开始支持超过4096长度的推理，例如GPT-4支持超过30k，ChatGLM2-6B也支持最长为32K的文本。但是由于显存资源的限制，这些大模型在真正在训练过程中不一定要训练这么长的文本，通常在预训练时只会设计到4k左右。
论文: Conditional Positional Encodings for Vision Transformers
这要从Transformer设计之初说起。在人类语言中，单词的位置和顺序定义了语法，也影响着语义，无法捕获单词的顺序，会导致我们很难理解一句话的含义。
我们知道，BERT无法处理超长文本的根本原因是BERT使用了从随机初始化训练出来的绝对位置编码，一般的最大位置设为了512，因此顶多只能处理512个token，多出来的部分就没有位置编码可用了。当然，还有一个重要的原因是Attention的O(n^2)复杂度，导致长序列时显存用量大大增加，一般显卡也finetune不了
5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]
今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，目前被引次数超 200 次。
本文小结：本文主要对原始 Transformer[1]、RPR[2]以及 Transformer-XL[3] 中使用的位置表示方法，进行详细介绍。从最初的绝对位置编码，与单词嵌入相加作为第一层的输入，再到 RPR 提出直接在注意力分数的计算中引入相对位置信息，并学习相对距离的表示矩阵(长度固定)，再到 Transformer-XL 中引入偏置信息，并重新使用 Transformer 中的编码公式生成相对距离的表示矩阵，使长度可泛化。
机器之心专栏 作者：Joshua 今年以来，中文 NLP 圈陆续出现了百亿、千亿甚至万亿参数的预训练语言模型，炼大模型再次延续了「暴力美学」。但 QQ 浏览器搜索团队选择构建十亿级别参数量的「小」模型，提出的预训练模型「摩天」登顶了 CLUE 总排行榜以及下游四个分榜。 2021 年，自然语言处理（NLP）领域技术关注者一定听说过预训练的大名。随着以 BERT 为代表的一系列优秀预训练模型的推出，先基于预训练，再到下游任务的微调训练范式也已经成为一种主流，甚者对于产业界来说，某种意义上打破了之前语义理解的技
近年来，LLM在各个领域的性能都有了显著的进展。随着这些LLM被用于越来越复杂的任务，它们经常需要更长的推理过程或理解更大的上下文。在这些情况下，LLM在长序列上的长度泛化失败问题变得更加突出。
众所周知，transformer的attention机制本身是不带有位置信息的，因此对于文本序列，attention机制本身就会丢失掉原文当中的序列信息，造成信息缺失，影响到模型的效果表达，这个应该已经算是面试中常见的八股文问题了。
TENER: Adapting Transformer Encoder for Name Entity Recognition
SVG Path可用于绘制复杂的路径，如创建线条, 曲线, 弧形等等。其所有属性中，属性d是一个“命令+参数”的序列，用于描述路径，Path强大正在于d属性，因此掌握了d属性成了关键。
这篇文章主要是介绍自己对 Google 在《Attention is All You Need》中提出来的 Sinusoidal 位置编码
论文：https://arxiv.org/abs/2006.15595 代码：https://github.com/guolinke/TUPE
输入一个长度为 n 整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前面部分，所有的偶数位于数组的后面部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。
制作网页的过程中，你有时候需要知道某个元素在网页上的确切位置。 下面的教程总结了Javascript在网页定位方面的相关知识。 一、网页的大小和浏览器窗口的大小 首先，要明确两个基本概念。 一张网页的全部面积，就是它的大小。通常情况下，网页的大小由内容和CSS样式表决定。 浏览器窗口的大小，则是指在浏览器窗口中看到的那部分网页面积，又叫做viewport（视口）。 很显然，如果网页的内容能够在浏览器窗口中全部显示（也就是不出现滚动条），那么网页的大小和浏览器窗口的大小是相等的。如果不能全部显示，则滚动浏览器
Co-Scale Conv-Attentional Image Transformers
这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(n^2)的计算和内存复杂度，也限制了Transformer在长文本中的应用。
搞电机的宝宝们都知道，电机要想实现稳定的机电能量转换，必须满足两个条件，一是定转子极数相等；二是定转子的磁场还要相对静止。这是无数电机界老前辈在他们的书里都讲过的定论，我们就不要怀疑了！我们要说的是，如果不满足上述两个条件，电磁转矩会如何？为什么？关于第二个条件很好理解，电机就是靠定转子磁场相互作用而实现稳定持续的机电能量转换的，定转子极数相同的情况下，如果定转子磁场不相对静止，而是有相对运动，就会出现定子磁极时而超前、时而滞后转子磁极，对转子的作用也就时而驱动时而制动，电磁转矩在正负之间波动，平
本文来自快手科技算法科学家，快手传输算法团队负责人周超博士在LiveVideoStackCon 2020线上峰会的分享，介绍了快手基于流式直播多码率的实践与优化，以及LAS (Live Adaptive Streaming)标准的架构、原理、自适应算法与未来规划。
近年来很多研究将NLP中的attention机制融入到视觉的研究中，得到很不错的结果。这篇发表于 ICLR 2020 的论文侧重于从理论和实验去验证self-attention可以代替卷积网络独立进行类似卷积的操作，给self-attention在图像领域的应用奠定基础。
摘要：本篇从理论到实践介绍了Transformer中的位置编码。首先介绍了位置编码的作用以及主要实现方式；然后重点介绍了主流的位置编码方式，包括训练式位置编码、三角函数式位置编码和相对位置编码，同时基于开源项目bert4keras源码实践了各种位置编码。对Transformer中位置编码的知识和源码实践感兴趣的小伙伴可以多交流。
前面介绍过Transformer作为一种特征抽取器的强大之处。那么，它有没有弱点呢？能不能改进呢？
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Models，LLMs）都不具备有效长度外推（Length Extrapolation）的能力。这意味着，受限于其训练时预设的上下文长度限制，大模型无法有效处理超过该长度限制的序列。
为不同的视觉识别任务设计架构一直以来都很困难，而采用最广泛的架构是那些结合了简单和高效的架构，例如VGGNet和ResNet。最近，Vision Transformers(ViT)已经展现出了有前途的性能，并可以与卷积神经网络竞争，最近也有很多研究提出了很多的改进工作，将它们应用到不同的视觉任务。
最近又重新读了Transformer-XL和XLNet的论文和代码，又有很多新的感悟。其中，要想搞懂XLNet的同学一定要首先明白Transofrmer-XL，因为XLNet是基于Transformer-XL进行改进的。
顾名思义：双目定位就是用两部相机来定位。双目定位过程中，两部相机在同一平面上，并且光轴互相平行，就像是人的两只眼睛一样，针对物体上某一个或某些特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。
序列化推荐系统通过探索用户的交互顺序，以此基于他们最近所做过的事情的上下文预测他们的下一个动作。之前有马尔可夫链以及循环神经网络RNN和Self Attention可以解决类似的问题。
知乎上，如何设计一个网络拟合 xx 函数的讨论层出不穷（e.g. 判断一个数是奇数还是偶数、能否被 n 整除）；
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。
上一篇文章中，我们对原始的Sinusoidal位置编码做了较为详细的推导和理解，总的感觉是Sinusoidal位置编码是一种"想要成为相对位置编码的绝对位置编码"。
我们还可以采用手工布局的方式，这对于时序违例路径集中在某一个模块或某一个层次内的情形较为适用。使用此方法时需要注意Pblock的大小。Pblock不能太小，否则会增加布局布线的压力；Pblock也不能太大，否则会浪费资源。实际上，Vivado针对Pblock的资源利用率也提供了指导值，该指导值跟整个芯片的资源利用率指导值一致，可通过命令report_failfast查看。Pblock的形状也是一个重要的因素。通常建议为标准的矩形。不规则的形状如在矩形框中挖掉一个小的矩形形成“回”字形状会严重危害时序性能且导致编译时间增长。Pblock的位置也是一个重要因素。可以先让工具自动布局，在此基础上观察关键模块的分布情况，然后参考此位置确定Pblock的位置。可以看到，使用Pblock要求工程师有一定的工程经验，需要考虑的因素也较多。如果Pblock的位置不合理，可能会出现顾此失彼的情形（Pblock内的模块时序改善了，而其他模块的时序又恶化了）。Pblock的另一弊端是缺乏灵活性。当芯片型号发生改变时很有可能重新确定Pblock的大小或位置。
记:序列长度为n，一个位置的embedding大小为d。例如(32,512,768)的序列，n=512，d=768.
「Key insight」: 本文在Lattice LSTM(ACL 2018)[1]的基础上作出了两方面的改进：
机器之心原创 作者：思源 在刚刚结束的 WMT2018 国际机器翻译大赛上，阿里巴巴达摩院机器智能实验室机器翻译团队打败多个国外巨头与研究机构，并在英文-中文翻译、英文-俄罗斯语互译、英文-土耳其语互译这 5 个项目的自动评测指标 BLEU 分值都位居第一。阿里达摩院机器智能实验室的陈博兴博士和司罗教授向机器之心介绍了阿里在机器翻译领域的布局应用，以及如何通过对标准的 Transformer 模型进行改进和优化，而获得更为优秀的神经机器翻译系统。 WMT 的全称是 Workshop on Machine T
它与以往的方法，如RNN和CNN的主要区别在于，Tranformer可以同时处理输入序列中的每个单词。
使用android发起打印任务，通过蓝牙连接打印机。条件如下： 打印机：南京富士通DPK760E，具有蓝牙功能 Android手机：普通手机，Android 4.4版本，具有蓝牙功能
给你一个下标从 0 开始的整数数组 nums 和一个整数 pivot 。 请你将 nums 重新排列，使得以下条件均成立：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
